學(xué)習(xí)一個工具最好的方法就是去使用它。在學(xué)習(xí)「深度學(xué)習(xí)」的路上，你需要選擇一個用來搭建神經(jīng)網(wǎng)絡(luò)的框架括尸，常見的框架包括 Tensorflow，Caffe病毡，Pytorch 等濒翻， 其中最推薦的是 Pytorch，尤其是對于新手啦膜，Pytorch 入門快有送，易上手，代碼非常 pythonic僧家。不論你是自己做 demo 還是做產(chǎn)品級的應(yīng)用雀摘，Pytorch 都能勝任，實在是居家旅行必備八拱。
環(huán)境搭建
首先需要搭建軟硬件環(huán)境阵赠，如果有 GPU 的話那最好，沒有的話也沒關(guān)系肌稻，跑 demo 還是可以的豌注。如果數(shù)據(jù)集大的話還是需要 GPU 做支持，GPU 的訓(xùn)練速度是 CPU 的 10 倍以上灯萍。操作系統(tǒng)推薦 Linux轧铁，我由于工作需要已經(jīng)把之前的 Linux 換成了 Windows，就主要介紹 Windows旦棉。環(huán)境搭建的大致步驟如下齿风，如果碰到問題歡迎在下方留言討論。
- 安裝 python绑洛，推薦 python3救斑，本人安裝的是 3.7，直接去官網(wǎng)下載 exe 安裝即可真屯，要注意的是安裝過程中需要勾選 “將其添加到環(huán)境變量” 選項脸候，這樣就可以直接在命令行輸入 python 進(jìn)入 python 提示符界面了。
python安裝驗證 - 如果有 GPU 的話需要安裝 GPU 對應(yīng)的驅(qū)動以及 CUDA绑蔫，驅(qū)動直接官網(wǎng)找到對應(yīng)顯卡版本下載安裝运沦，CUDA 的話直接搜索 CUDA 點(diǎn)擊進(jìn)入系統(tǒng)選擇頁面選擇自己的系統(tǒng)版本 Download，下載完成安裝一下就好了配深。安裝完成之后可以在 "C:\Program Files\NVIDIA Corporation\NVSMI" 路徑下面運(yùn)行一下 nvidia-smi.exe 確認(rèn)安裝成功携添。
NVIDIA 官網(wǎng)驅(qū)動下載頁: https://www.nvidia.com/Download/index.aspx
CUDA 下載頁: https://developer.nvidia.com/cuda-downloads - 安裝 pytorch 和 torchvision。在 pytorch 官網(wǎng)主頁就可以選擇需要的版本以及安裝方式篓叶，推薦直接 pip 安裝烈掠，兩行命令搞定羞秤。
pytorch 官網(wǎng): https://pytorch.org/get-started/locally/
pytorch安裝
安裝完成之后在命令行里驗證一下有沒有實際安裝成功，成功的話應(yīng)該跟我一樣：
pytorch安裝完成
模型訓(xùn)練
訓(xùn)練模型中最重要的就是訓(xùn)練集的準(zhǔn)備左敌，模型就像是一個小孩子瘾蛋，一開始他啥也不知道，訓(xùn)練的過程就是在“教”他一些矫限。要是一開始“教”的就是錯的瘦黑，那么也不可能期望他能在考試的時候把題目答對是不是。訓(xùn)練集的準(zhǔn)備通常需要耗費(fèi)大量人力物力奇唤，所以現(xiàn)在正在往半監(jiān)督或無監(jiān)督的方向發(fā)展幸斥，這是后話。啰嗦這么多咬扇，其實我就是想強(qiáng)調(diào)訓(xùn)練集的重要性甲葬，因為之前吃過虧，在這里提醒一下大家懈贺。
這里我使用開放數(shù)據(jù)集做為例子:
transform = transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])
trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True, num_workers=1)
valset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transform)
valloader = torch.utils.data.DataLoader(valset, batch_size=64, shuffle=False, num_workers=1)
datasets = {"train":trainset, "val":valset}
dataloaders = {"train":trainloader, "val":valloader}
torchvision 中集成了一些開放數(shù)據(jù)集经窖，可以直接下載。上面的代碼創(chuàng)建了訓(xùn)練集和驗證集的數(shù)據(jù)加載器梭灿，batch_size 表示每個 batch 中圖片的數(shù)量画侣，如果顯存小的話可以設(shè)置小一點(diǎn)如(8/16/32)，shuffle 表示是否打亂數(shù)據(jù)集堡妒，在訓(xùn)練的時候需要打亂配乱，驗證的時候自然不需要，num_workers 表示加載數(shù)據(jù)集的進(jìn)程數(shù)皮迟，需要注意在 Windows 上該參數(shù)只能設(shè)置為1搬泥，否則會報錯。在 Linux 上可以設(shè)置得大一點(diǎn)加快訓(xùn)練速度伏尼。
你也可以定義自己的數(shù)據(jù)集忿檩，只需要繼承torch.utils.data.Dataset，然后實現(xiàn)一下自己的 getitem() 和 len() 就可以爆阶。下面是一個最簡單的例子燥透，你可以根據(jù)自己的需求定制:
class MyDataset(Dataset):
def __init__(self, image_path, transform=None):
self.image_path = image_path
self.transform = transform
def __len__(self):
return 1
def __getitem__(self, index):
pic = Image.open(self.image_path).convert("RGB")
if self.transform:
pic = self.transform(pic)
return (index, pic)
訓(xùn)練集準(zhǔn)備結(jié)束，可以開始編寫訓(xùn)練代碼:
model = torchvision.models.resnet18(pretrained=True)
model.fc = nn.Linear(model.fc.in_features, 10)
模型我們選用 torchvision 中集成的預(yù)訓(xùn)練好的 Resnet-18 模型辨图，想要了解更多有關(guān) Resnet 可以看看我的另一篇 經(jīng)典分類網(wǎng)絡(luò) ResNet 論文閱讀及PYTORCH示例代碼 班套，因為這個數(shù)據(jù)集的輸出有 10 種類型，所以最后全連接層的輸出改成了 10徒役。
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
定義損失函數(shù)及優(yōu)化器孽尽，這里采用了 交叉熵 作為最優(yōu)化的目標(biāo)窖壕，優(yōu)化器采用 SGD忧勿，初始學(xué)習(xí)率為 0.01杉女，動量 0.9，這些都是比較常用的參數(shù)值鸳吸。
cuda = torch.cuda.is_available()
if cuda:
model.cuda()
best_accuracy = 0.0
start_time = time.time()
epoches = 5
for epoch in range(epoches):
print('Epoch {}/{}'.format(epoch, epoches - 1))
print('-' * 40)
since_epoch = time.time()
for phase in ["train", "val"]:
if phase == "train":
model.train()
else:
model.eval()
running_loss = 0.0
running_corrects = 0
for data in dataloaders[phase]:
inputs, labels = data
# put data on GPU
if cuda:
inputs = inputs.cuda()
labels = labels.cuda()
# init optimizer
optimizer.zero_grad()
# forward
outputs = model(inputs)
_, preds = torch.max(outputs.data, 1)
# loss
loss = criterion(outputs, labels)
if phase == "train":
# backward
loss.backward()
# update params
optimizer.step()
# total loss
running_loss += loss.item() * inputs.size(0)
# correct numbers
running_corrects += torch.sum(preds == labels.data)
epoch_loss = running_loss / len(datasets[phase])
epoch_acc = float(running_corrects) / len(datasets[phase])
time_elapsed_epoch = time.time() - since_epoch
print('{} Loss: {:.4f} Acc: {:.4f} in {:.0f}m {:.0f}s'.format(
phase, epoch_loss, epoch_acc, time_elapsed_epoch // 60, time_elapsed_epoch % 60))
if phase == "val" and epoch_acc >= best_accuracy:
best_accuracy = epoch_acc
best_model_wts = copy.deepcopy(model.state_dict())
time_elapsed = time.time() - start_time
print('Training complete in {:.0f}m {:.0f}s'.format(
time_elapsed // 60, time_elapsed % 60))
print('Best val Acc: {:4f}'.format(best_accuracy))
model.load_state_dict(best_model_wts)
上面就是一個基本的模型訓(xùn)練的 backbone熏挎，有一些打印可以看見訓(xùn)練的過程，我稍微寫了些注釋晌砾，有問題的話歡迎留言討論坎拐。看一下訓(xùn)練結(jié)果:
可以看到隨著訓(xùn)練的進(jìn)行养匈，訓(xùn)練集跟測試集的準(zhǔn)確率都在逐步上升哼勇，后面在 loss 穩(wěn)定不變的時候可以嘗試降低學(xué)習(xí)率等調(diào)參方法來訓(xùn)練。
最后呕乎，除了 torchvision 中自帶的預(yù)訓(xùn)練的模型之外积担，另外在介紹一個庫，叫做 pretrainedmodels猬仁，里面包含了很多比較新的預(yù)訓(xùn)練好的模型帝璧，用起來也非常方便，強(qiáng)烈推薦湿刽。安裝:
pip install pretrainedmodels
使用起來一樣簡單的烁，這里以 se_ResNeXt101 為例:
model_name = "se_resnext101_32x4d"
model = pretrainedmodels.__dict__[model_name](num_classes=1000, pretrained='imagenet')
model.avg_pool = nn.AvgPool2d(int(image_size / 32), stride=1)
model.last_linear = nn.Linear(model.last_linear.in_features, your_num_classes)
首先確認(rèn)你想要用的模型，用其對應(yīng)名稱初始化該模型诈闺。需要注意的是這里不僅改變了最后一層的全連接層渴庆，為了維度匹配也改變了前面的池化層，因為這個模型默認(rèn)的輸入圖片大小為(448, 448)雅镊，跟這個不一樣的話就要匹配一下把曼。pretrainedmodels 的 github地址：https://github.com/Cadene/pretrained-models.pytorch
最后，求贊求關(guān)注漓穿，歡迎關(guān)注我的微信公眾號[MachineLearning學(xué)習(xí)之路] 嗤军，深度學(xué)習(xí) & CV 方向的童鞋不要錯過！晃危！
