項(xiàng)目地址

我的github地址

目的

對(duì)手勢(shì)數(shù)字?jǐn)?shù)據(jù)集進(jìn)行分類。數(shù)據(jù)采用./data/images/中的數(shù)據(jù)著恩。其中院尔，訓(xùn)練集4324張，測(cè)試集484張喉誊，手勢(shì)數(shù)字類別：0-5邀摆，圖像大小均為64*64。

Update

• 180521：增加多GPU支持
  • 設(shè)置classifier_train.py及classifier_test.py文件中的params.gpus變量設(shè)定使用的GPU序號(hào)（與nvidia-smi命令顯示的GPU需要對(duì)應(yīng)）伍茄。例如：params.gpus = [2,3]栋盹。
  • CPU模式：設(shè)定params.gpus = []
  • 由于目前測(cè)試部分計(jì)算量小，因此當(dāng)前代碼執(zhí)行測(cè)試步驟（classifier_test.py）時(shí)敷矫，僅使用指定的第一個(gè)GPU（params.gpus[0]）

步驟

使用Pytorch為工具例获，以ResNet34或者ResNet101為基礎(chǔ)，實(shí)現(xiàn)手勢(shì)識(shí)別曹仗。

• 數(shù)據(jù)準(zhǔn)備：
  • 訓(xùn)練：將image文件夾放在./data/路徑下榨汤。image文件下載
  • 測(cè)試：將訓(xùn)練好的模型放在./models/路徑下。 模型下載
• 訓(xùn)練步驟：
  • 首先使用nohup python -m visdom.server &打開Visdom服務(wù)器
  • 然后運(yùn)行classifier_train.py即可怎茫。
  • 訓(xùn)練好的模型將以.pth文件的形式保存在./models/文件夾下件余。
  • 注意：需根據(jù)GPU情況調(diào)整代碼中的batch_size參數(shù)，確保顯存不溢出遭居。
    • ResNet34，1GPU旬渠，batch_size=120俱萍，顯存占用<7G
    • ResNet101，1GPU告丢，batch_size=60枪蘑，顯存占用<10G
• 測(cè)試步驟：
  • 修改classifier_test.py文件相關(guān)參數(shù)，其中ckpt表示模型加載位置岖免，testdata_dir表示待測(cè)試圖片文件夾岳颇。注意ckpt需要與model選擇相對(duì)應(yīng)。
  • 然后運(yùn)行classifier_test.py即可颅湘。在控制臺(tái)輸出每張圖片的預(yù)測(cè)結(jié)果话侧。

方法

• 使用的庫(kù)：PIL、torch闯参、torchvision瞻鹏、numpy悲立、visdom

• ResNet：

  對(duì)ResNet34及ResNet101兩種網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)。為了節(jié)省較深網(wǎng)絡(luò)中的參數(shù)新博，ResNet34及ResNet101分別具有兩種不同的基本“shortcut connection”結(jié)構(gòu)薪夕。ResNet34使用BasicBlock，ResNet101使用 Bottleneck作為“shortcut connection”赫悄。

BasicBlock_Bottleneck

ResNet34_ResNet101

訓(xùn)練代碼流程

1. Hyper-params: 設(shè)置數(shù)據(jù)加載路徑原献、模型保存路徑、初始學(xué)習(xí)率等參數(shù)埂淮。
2. Training parameters: 用于定義模型訓(xùn)練中的相關(guān)參數(shù)姑隅，例如最大迭代次數(shù)、優(yōu)化器同诫、損失函數(shù)粤策、是否使用GPU等、模型保存頻率等
3. load data: 定義了用于讀取數(shù)據(jù)的Hand類误窖，在其中實(shí)現(xiàn)了數(shù)據(jù)叮盘、標(biāo)簽讀取及預(yù)處理過程。預(yù)處理過程在__getitem__中霹俺。
4. models: 從定義的ResNet類柔吼，實(shí)例化ResNet34及ResNet101網(wǎng)絡(luò)模型。
5. optimizer丙唧、criterion愈魏、lr_scheduler: 定義優(yōu)化器為SGD優(yōu)化器，損失函數(shù)為CrossEntropyLoss想际，學(xué)習(xí)率調(diào)整策略采用ReduceLROnPlateau培漏。
6. trainer: 定義了用于模型訓(xùn)練和驗(yàn)證的類Trainer，trainer為Trainer的實(shí)例化胡本。在Trainer的構(gòu)造函數(shù)中根據(jù)步驟二中的參數(shù)設(shè)定牌柄，對(duì)訓(xùn)練過程中的參數(shù)進(jìn)行設(shè)置，包括訓(xùn)練數(shù)據(jù)侧甫、測(cè)試數(shù)據(jù)珊佣、模型、是否使用GPU等披粟。
   Trainer中定義了訓(xùn)練和測(cè)試函數(shù)咒锻，分別為train()和_val_one_epoch()。train()函數(shù)中守屉，根據(jù)設(shè)定的最大循環(huán)次數(shù)進(jìn)行訓(xùn)練惑艇，每次循環(huán)調(diào)用_train_one_epoch()函數(shù)進(jìn)行單步訓(xùn)練。訓(xùn)練過程中的loss保存在loss_meter中拇泛，confusion_matrix中保存具體預(yù)測(cè)結(jié)果敦捧。_val_one_epoch()函數(shù)對(duì)測(cè)試集在當(dāng)前訓(xùn)練模型上的表現(xiàn)進(jìn)行測(cè)試须板，具體預(yù)測(cè)結(jié)果保存在val_cm中，預(yù)測(cè)精度保存在val_accuracy中兢卵。
   最后习瑰，通過Visdom工具對(duì)結(jié)果進(jìn)行輸出，包括loss和accuracy以及訓(xùn)練日志秽荤√鹧伲可以在瀏覽器地址 http://localhost:8097 中查看結(jié)果。

測(cè)試代碼流程

1. Test parameters: 用于定義模型測(cè)試中的相關(guān)參數(shù)
2. models: 從定義的ResNet類窃款，實(shí)例化ResNet34及ResNet101網(wǎng)絡(luò)模型课兄。
3. tester: 對(duì)測(cè)試類Tester實(shí)例化，Tester中主要進(jìn)行模型加載函數(shù)與預(yù)測(cè)函數(shù)晨继。
   _load_ckpt()函數(shù)加載模型烟阐；
   test()函數(shù)進(jìn)行預(yù)測(cè)，其中定義了對(duì)單張圖片進(jìn)行預(yù)處理的過程紊扬，并輸出預(yù)測(cè)結(jié)果蜒茄。

Result

• Loss

  
  
  loss

• accuracy

  
  
  accuracy

• 預(yù)測(cè)結(jié)果：

Processing image: img_0046.png
Prediction number: 0
Processing image: img_0000.png
Prediction number: 1
Processing image: img_0072.png
Prediction number: 2
Processing image: img_0080.png
Prediction number: 4
Processing image: img_0100.png
Prediction number: 5
Processing image: img_0014.png
Prediction number: 3

Reference

• pytorch
• pytorch-book