github：https://github.com/wuzy361/mnist_homework_project
由來(lái)
本學(xué)期，有一門(mén)課叫《高級(jí)程序設(shè)計(jì)c#》赘艳，實(shí)際上的python課兼耀，所以留的項(xiàng)目也是python的絮短。我們小組項(xiàng)目選的是基于minst手寫(xiě)庫(kù)的機(jī)器學(xué)習(xí)算法性能比較填抬，如果我熟悉tensorflow庫(kù)了翻默，可能會(huì)加入使用tensorflow深度學(xué)習(xí)的算法臼婆，但希望渺茫抒痒。
minst介紹
minst其實(shí)是 THE MNIST DATABASE of handwritten digits 。一個(gè)手寫(xiě)圖片庫(kù)颁褂，主要是提供四個(gè)數(shù)據(jù)集的下載故响，如下：
前兩個(gè)是訓(xùn)練集，后兩個(gè)是測(cè)試集颁独，訓(xùn)練集有6萬(wàn)個(gè)手寫(xiě)圖片的像素信息以及標(biāo)簽彩届，測(cè)試集有1萬(wàn)個(gè)。每一個(gè)圖片像素是28*28的誓酒，還原后是這個(gè)樣子的：
但文件不是圖片的格式樟蠕，解壓后文件格式是無(wú)符號(hào)字節(jié)流，這就需要我們使用數(shù)據(jù)集前先解析文件，王晗老師給我們組提了寶貴的建議坯墨，簡(jiǎn)要概括就是”高度模塊化寂汇，提高代碼復(fù)用性“。實(shí)際中就是捣染，最好單獨(dú)寫(xiě)一個(gè)解析文件骄瓣，來(lái)解析數(shù)據(jù)集，不要把代碼都放到一個(gè)文件里耍攘，這樣你寫(xiě)的代碼更容易給他人或者別的項(xiàng)目使用榕栏。這是個(gè)非常寶貴的意見(jiàn)±俑鳎可以讓我的代碼看起來(lái)沒(méi)有那么low扒磁。下面說(shuō)明一下解析文件 input_file.py。
input_file.py
這個(gè)文件是專(zhuān)門(mén)用來(lái)把數(shù)據(jù)集轉(zhuǎn)換成我們機(jī)器學(xué)習(xí)所需要的文件類(lèi)型式曲。下面我想粘代碼妨托，我會(huì)用圖片的形式展示代碼，而不是文本吝羞。好處有二：1,簡(jiǎn)書(shū)的代碼高亮太丑兰伤，也有可能是我設(shè)置不對(duì)。2,手機(jī)看簡(jiǎn)書(shū)的時(shí)候代碼是沒(méi)有高亮的钧排，代碼粘成圖片可以方便手機(jī)回顧敦腔。
這里是返回標(biāo)準(zhǔn)格式的Date弯院，你傳入?yún)?shù)“train”或者“test”來(lái)控制得到的是訓(xùn)練集還是測(cè)試集數(shù)據(jù)同廉。這里必須要提一下struct這個(gè)庫(kù)，我在這淺析Python中的struct模塊里面看到了相關(guān)簡(jiǎn)介丈屹，這里主要是用到了struct.unpack_from()函數(shù)糟袁，它有三個(gè)參數(shù)判族，第一個(gè)是讀取模式，第二個(gè)是緩存项戴，描述了從那個(gè)地方讀形帮，第三那個(gè)是偏移量。
magic , numImages , numRows , numColumns = struct.unpack_from('>IIII' , buf , index)
這行代碼意思就是從buf里面肯尺，從index這個(gè)地方，以大端存儲(chǔ)的方式讀取4個(gè)unsigned int的長(zhǎng)度躯枢，所以就有四個(gè)返回值(準(zhǔn)確說(shuō)是返回了四個(gè)元素的列表则吟，函數(shù)永遠(yuǎn)只有一個(gè)返回值)〕澹‘>’代表大端存儲(chǔ)氓仲，‘<’代表小段存儲(chǔ)，正好是大于小于號(hào)，很好集敬扛。后面'IIII'等的含義見(jiàn)下表：
每個(gè)變量的含義：
magic：魔數(shù)晰洒，用來(lái)鑒別文件的，暫時(shí)用不著啥箭。
NumImages：圖片的數(shù)目
NumRows：圖片的行像素的大小
numColumns：圖片的列像素的大小
為什么我會(huì)這道這些信息呢谍珊，官方網(wǎng)站拉到最下面可以看到說(shuō)明：
這樣，從第16個(gè)字節(jié)開(kāi)始急侥，就是這個(gè)數(shù)據(jù)集真正的內(nèi)容了砌滞，之后每個(gè)字節(jié)代表一個(gè)像素的取值，取值范圍是0-255坏怪，0代表全白贝润，255代表全黑。由于圖片是28*28的铝宵，所以每讀取784個(gè)像素打掘，就相當(dāng)于讀取了一張圖片，把所有值添加到列表里鹏秋，最后在轉(zhuǎn)化成numpy.array格式的尊蚁。
main.py
現(xiàn)在只寫(xiě)了測(cè)試函數(shù)，引用了input_file的函數(shù)拼岳，使用getData和getLabel得到數(shù)據(jù)枝誊，檢查是否數(shù)據(jù)和標(biāo)簽匹配。這幾個(gè)語(yǔ)句測(cè)試了訓(xùn)練集5-10惜纸，測(cè)試集105-110,范圍可以隨便取叶撒。程序結(jié)果如下：
跳過(guò)一段，再看測(cè)試集：
可以看到耐版，數(shù)據(jù)和標(biāo)簽是匹配的祠够，這大概可以說(shuō)明，input_file是正常工作的粪牲。
