本案例參考課程：百度架構(gòu)師手把手教深度學(xué)習(xí)的內(nèi)容。 主要目的為練習(xí)Resnet動(dòng)態(tài)圖的PaddlePaddle實(shí)現(xiàn)躲查。
本案例已經(jīng)在AISTUDIO共享，鏈接為：
https://aistudio.baidu.com/aistudio/projectdetail/244766
數(shù)據(jù)集：
查看數(shù)據(jù)集圖片 iChallenge-PM中既有病理性近視患者的眼底圖片，也有非病理性近視患者的圖片饭入，命名規(guī)則如下：
病理性近視（PM）：文件名以P開頭
非病理性近視（non-PM）：
高度近似（high myopia）：文件名以H開頭
正常眼睛（normal）：文件名以N開頭
我們將病理性患者的圖片作為正樣本嘹悼，標(biāo)簽為1叛甫； 非病理性患者的圖片作為負(fù)樣本，標(biāo)簽為0杨伙。從數(shù)據(jù)集中選取兩張圖片其监，通過LeNet提取特征，構(gòu)建分類器限匣，對正負(fù)樣本進(jìn)行分類抖苦，并將圖片顯示出來。
ResNet
ResNet是2015年ImageNet比賽的冠軍，將識(shí)別錯(cuò)誤率降低到了3.6%锌历，這個(gè)結(jié)果甚至超出了正常人眼識(shí)別的精度贮庞。
通過前面幾個(gè)經(jīng)典模型學(xué)習(xí)，我們可以發(fā)現(xiàn)隨著深度學(xué)習(xí)的不斷發(fā)展究西，模型的層數(shù)越來越多窗慎，網(wǎng)絡(luò)結(jié)構(gòu)也越來越復(fù)雜。那么是否加深網(wǎng)絡(luò)結(jié)構(gòu)卤材，就一定會(huì)得到更好的效果呢遮斥？從理論上來說，假設(shè)新增加的層都是恒等映射扇丛，只要原有的層學(xué)出跟原模型一樣的參數(shù)伏伐，那么深模型結(jié)構(gòu)就能達(dá)到原模型結(jié)構(gòu)的效果。換句話說晕拆，原模型的解只是新模型的解的子空間藐翎，在新模型解的空間里應(yīng)該能找到比原模型解對應(yīng)的子空間更好的結(jié)果。但是實(shí)踐表明实幕，增加網(wǎng)絡(luò)的層數(shù)之后巩趁，訓(xùn)練誤差往往不降反升氮帐。
Kaiming He等人提出了殘差網(wǎng)絡(luò)ResNet來解決上述問題银酬，其基本思想如圖6所示揩晴。
圖6(a)：表示增加網(wǎng)絡(luò)的時(shí)候，將x映射成y=F(x)y=F(x)y=F(x)輸出整吆。
圖6(b)：對圖6(a)作了改進(jìn)拱撵，輸出y=F(x)+xy=F(x) + xy=F(x)+x。這時(shí)不是直接學(xué)習(xí)輸出特征y的表示表蝙，而是學(xué)習(xí)y?xy-xy?x拴测。
如果想學(xué)習(xí)出原模型的表示，只需將F(x)的參數(shù)全部設(shè)置為0府蛇，則y=xy=xy=x是恒等映射集索。
F(x)=y?xF(x) = y - xF(x)=y?x也叫做殘差項(xiàng)，如果x→yx\rightarrow yx→y的映射接近恒等映射汇跨，圖6(b)中通過學(xué)習(xí)殘差項(xiàng)也比圖6(a)學(xué)習(xí)完整映射形式更加容易务荆。
?
圖6：殘差塊設(shè)計(jì)思想
圖6(b)的結(jié)構(gòu)是殘差網(wǎng)絡(luò)的基礎(chǔ)，這種結(jié)構(gòu)也叫做殘差塊（residual block）穷遂。輸入x通過跨層連接函匕，能更快的向前傳播數(shù)據(jù)，或者向后傳播梯度蚪黑。殘差塊的具體設(shè)計(jì)方案如圖7 所示盅惜，這種設(shè)計(jì)方案也成稱作瓶頸結(jié)構(gòu)（BottleNeck）吸耿。
?
圖7：殘差塊結(jié)構(gòu)示意圖
下圖表示出了ResNet-50的結(jié)構(gòu)，一共包含49層卷積和1層全連接酷窥，所以被稱為ResNet-50。
?
圖8：ResNet-50模型網(wǎng)絡(luò)結(jié)構(gòu)示意圖
ResNet-50的具體實(shí)現(xiàn)如下代碼所示：
In[2]
import os
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
from PIL import Image
DATADIR = '/home/aistudio/work/palm/PALM-Training400/PALM-Training400'
# 文件名以N開頭的是正常眼底圖片伴网，以P開頭的是病變眼底圖片
file1 = 'N0012.jpg'
file2 = 'P0095.jpg'
# 讀取圖片
img1 = Image.open(os.path.join(DATADIR, file1))
img1 = np.array(img1)
img2 = Image.open(os.path.join(DATADIR, file2))
img2 = np.array(img2)
# 畫出讀取的圖片
plt.figure(figsize=(16, 8))
f = plt.subplot(121)
f.set_title('Normal', fontsize=20)
plt.imshow(img1)
f = plt.subplot(122)
f.set_title('PM', fontsize=20)
plt.imshow(img2)
plt.show()
?
In[4]
# 查看圖片形狀
img1.shape, img2.shape
((2056, 2124, 3), (2056, 2124, 3))
In[3]
#定義數(shù)據(jù)讀取器
import cv2
import random
import numpy as np
# 對讀入的圖像數(shù)據(jù)進(jìn)行預(yù)處理
def transform_img(img):
? ? # 將圖片尺寸縮放道 224x224
? ? img = cv2.resize(img, (224, 224))
? ? # 讀入的圖像數(shù)據(jù)格式是[H, W, C]
? ? # 使用轉(zhuǎn)置操作將其變成[C, H, W]
? ? img = np.transpose(img, (2,0,1))
? ? img = img.astype('float32')
? ? # 將數(shù)據(jù)范圍調(diào)整到[-1.0, 1.0]之間
? ? img = img / 255.
? ? img = img * 2.0 - 1.0
? ? return img
# 定義訓(xùn)練集數(shù)據(jù)讀取器
def data_loader(datadir, batch_size=10, mode = 'train'):
? ? # 將datadir目錄下的文件列出來蓬推，每條文件都要讀入
? ? filenames = os.listdir(datadir)
? ? def reader():
? ? ? ? if mode == 'train':
? ? ? ? ? ? # 訓(xùn)練時(shí)隨機(jī)打亂數(shù)據(jù)順序
? ? ? ? ? ? random.shuffle(filenames)
? ? ? ? batch_imgs = []
? ? ? ? batch_labels = []
? ? ? ? for name in filenames:
? ? ? ? ? ? filepath = os.path.join(datadir, name)
? ? ? ? ? ? img = cv2.imread(filepath)
? ? ? ? ? ? img = transform_img(img)
? ? ? ? ? ? if name[0] == 'H' or name[0] == 'N':
? ? ? ? ? ? ? ? # H開頭的文件名表示高度近似，N開頭的文件名表示正常視力
? ? ? ? ? ? ? ? # 高度近視和正常視力的樣本澡腾，都不是病理性的沸伏，屬于負(fù)樣本，標(biāo)簽為0
? ? ? ? ? ? ? ? label = 0
? ? ? ? ? ? elif name[0] == 'P':
? ? ? ? ? ? ? ? # P開頭的是病理性近視动分，屬于正樣本毅糟，標(biāo)簽為1
? ? ? ? ? ? ? ? label = 1
? ? ? ? ? ? else:
? ? ? ? ? ? ? ? raise('Not excepted file name')
? ? ? ? ? ? # 每讀取一個(gè)樣本的數(shù)據(jù)，就將其放入數(shù)據(jù)列表中
? ? ? ? ? ? batch_imgs.append(img)
? ? ? ? ? ? batch_labels.append(label)
? ? ? ? ? ? if len(batch_imgs) == batch_size:
? ? ? ? ? ? ? ? # 當(dāng)數(shù)據(jù)列表的長度等于batch_size的時(shí)候澜公，
? ? ? ? ? ? ? ? # 把這些數(shù)據(jù)當(dāng)作一個(gè)mini-batch姆另，并作為數(shù)據(jù)生成器的一個(gè)輸出
? ? ? ? ? ? ? ? imgs_array = np.array(batch_imgs).astype('float32')
? ? ? ? ? ? ? ? labels_array = np.array(batch_labels).astype('float32').reshape(-1, 1)
? ? ? ? ? ? ? ? yield imgs_array, labels_array
? ? ? ? ? ? ? ? batch_imgs = []
? ? ? ? ? ? ? ? batch_labels = []
? ? ? ? if len(batch_imgs) > 0:
? ? ? ? ? ? # 剩余樣本數(shù)目不足一個(gè)batch_size的數(shù)據(jù)，一起打包成一個(gè)mini-batch
? ? ? ? ? ? imgs_array = np.array(batch_imgs).astype('float32')
? ? ? ? ? ? labels_array = np.array(batch_labels).astype('float32').reshape(-1, 1)
? ? ? ? ? ? yield imgs_array, labels_array
? ? return reader
# 定義驗(yàn)證集數(shù)據(jù)讀取器
def valid_data_loader(datadir, csvfile, batch_size=10, mode='valid'):
? ? # 訓(xùn)練集讀取時(shí)通過文件名來確定樣本標(biāo)簽坟乾，驗(yàn)證集則通過csvfile來讀取每個(gè)圖片對應(yīng)的標(biāo)簽
? ? # 請查看解壓后的驗(yàn)證集標(biāo)簽數(shù)據(jù)迹辐，觀察csvfile文件里面所包含的內(nèi)容
? ? # csvfile文件所包含的內(nèi)容格式如下，每一行代表一個(gè)樣本甚侣，
? ? # 其中第一列是圖片id明吩，第二列是文件名，第三列是圖片標(biāo)簽殷费，
? ? # 第四列和第五列是Fovea的坐標(biāo)印荔，與分類任務(wù)無關(guān)
? ? # ID,imgName,Label,Fovea_X,Fovea_Y
? ? # 1,V0001.jpg,0,1157.74,1019.87
? ? # 2,V0002.jpg,1,1285.82,1080.47
? ? # 打開包含驗(yàn)證集標(biāo)簽的csvfile，并讀入其中的內(nèi)容
? ? filelists = open(csvfile).readlines()
? ? def reader():
? ? ? ? batch_imgs = []
? ? ? ? batch_labels = []
? ? ? ? for line in filelists[1:]:
? ? ? ? ? ? line = line.strip().split(',')
? ? ? ? ? ? name = line[1]
? ? ? ? ? ? label = int(line[2])
? ? ? ? ? ? # 根據(jù)圖片文件名加載圖片详羡，并對圖像數(shù)據(jù)作預(yù)處理
? ? ? ? ? ? filepath = os.path.join(datadir, name)
? ? ? ? ? ? img = cv2.imread(filepath)
? ? ? ? ? ? img = transform_img(img)
? ? ? ? ? ? # 每讀取一個(gè)樣本的數(shù)據(jù)仍律，就將其放入數(shù)據(jù)列表中
? ? ? ? ? ? batch_imgs.append(img)
? ? ? ? ? ? batch_labels.append(label)
? ? ? ? ? ? if len(batch_imgs) == batch_size:
? ? ? ? ? ? ? ? # 當(dāng)數(shù)據(jù)列表的長度等于batch_size的時(shí)候，
? ? ? ? ? ? ? ? # 把這些數(shù)據(jù)當(dāng)作一個(gè)mini-batch实柠，并作為數(shù)據(jù)生成器的一個(gè)輸出
? ? ? ? ? ? ? ? imgs_array = np.array(batch_imgs).astype('float32')
? ? ? ? ? ? ? ? labels_array = np.array(batch_labels).astype('float32').reshape(-1, 1)
? ? ? ? ? ? ? ? yield imgs_array, labels_array
? ? ? ? ? ? ? ? batch_imgs = []
? ? ? ? ? ? ? ? batch_labels = []
? ? ? ? if len(batch_imgs) > 0:
? ? ? ? ? ? # 剩余樣本數(shù)目不足一個(gè)batch_size的數(shù)據(jù)染苛，一起打包成一個(gè)mini-batch
? ? ? ? ? ? imgs_array = np.array(batch_imgs).astype('float32')
? ? ? ? ? ? labels_array = np.array(batch_labels).astype('float32').reshape(-1, 1)
? ? ? ? ? ? yield imgs_array, labels_array
? ? return reader
In[5]
# 查看數(shù)據(jù)形狀
DATADIR = '/home/aistudio/work/palm/PALM-Training400/PALM-Training400'
train_loader = data_loader(DATADIR,
? ? ? ? ? ? ? ? ? ? ? ? ? batch_size=10, mode='train')
data_reader = train_loader()
data = next(data_reader)
data[0].shape, data[1].shape
((10, 3, 224, 224), (10, 1))
In[6]
!pip install xlrd
import pandas as pd
df=pd.read_excel('/home/aistudio/work/palm/PALM-Validation-GT/PM_Label_and_Fovea_Location.xlsx')
df.to_csv('/home/aistudio/work/palm/PALM-Validation-GT/labels.csv',index=False)
Looking in indexes: https://pypi.mirrors.ustc.edu.cn/simple/
Collecting xlrd
? Downloading https://mirrors.tuna.tsinghua.edu.cn/pypi/web/packages/b0/16/63576a1a001752e34bf8ea62e367997530dc553b689356b9879339cf45a4/xlrd-1.2.0-py2.py3-none-any.whl (103kB)
? ? |████████████████████████████████| 112kB 9.2MB/s eta 0:00:01
Installing collected packages: xlrd
Successfully installed xlrd-1.2.0
In[7]
#訓(xùn)練和評估代碼
import os
import random
import paddle
import paddle.fluid as fluid
import numpy as np
DATADIR = '/home/aistudio/work/palm/PALM-Training400/PALM-Training400'
DATADIR2 = '/home/aistudio/work/palm/PALM-Validation400'
CSVFILE = '/home/aistudio/work/palm/PALM-Validation-GT/labels.csv'
# 定義訓(xùn)練過程
def train(model):
? ? with fluid.dygraph.guard():
? ? ? ? print('start training ... ')
? ? ? ? model.train()
? ? ? ? epoch_num = 5
? ? ? ? # 定義優(yōu)化器
? ? ? ? opt = fluid.optimizer.Momentum(learning_rate=0.001, momentum=0.9)
? ? ? ? # 定義數(shù)據(jù)讀取器，訓(xùn)練數(shù)據(jù)讀取器和驗(yàn)證數(shù)據(jù)讀取器
? ? ? ? train_loader = data_loader(DATADIR, batch_size=10, mode='train')
? ? ? ? valid_loader = valid_data_loader(DATADIR2, CSVFILE)
? ? ? ? for epoch in range(epoch_num):
? ? ? ? ? ? for batch_id, data in enumerate(train_loader()):
? ? ? ? ? ? ? ? x_data, y_data = data
? ? ? ? ? ? ? ? img = fluid.dygraph.to_variable(x_data)
? ? ? ? ? ? ? ? label = fluid.dygraph.to_variable(y_data)
? ? ? ? ? ? ? ? # 運(yùn)行模型前向計(jì)算主到，得到預(yù)測值
? ? ? ? ? ? ? ? logits = model(img)
? ? ? ? ? ? ? ? # 進(jìn)行l(wèi)oss計(jì)算
? ? ? ? ? ? ? ? loss = fluid.layers.sigmoid_cross_entropy_with_logits(logits, label)
? ? ? ? ? ? ? ? avg_loss = fluid.layers.mean(loss)
? ? ? ? ? ? ? ? if batch_id % 10 == 0:
? ? ? ? ? ? ? ? ? ? print("epoch: {}, batch_id: {}, loss is: {}".format(epoch, batch_id, avg_loss.numpy()))
? ? ? ? ? ? ? ? # 反向傳播茶行，更新權(quán)重，清除梯度
? ? ? ? ? ? ? ? avg_loss.backward()
? ? ? ? ? ? ? ? opt.minimize(avg_loss)
? ? ? ? ? ? ? ? model.clear_gradients()
? ? ? ? ? ? model.eval()
? ? ? ? ? ? accuracies = []
? ? ? ? ? ? losses = []
? ? ? ? ? ? for batch_id, data in enumerate(valid_loader()):
? ? ? ? ? ? ? ? x_data, y_data = data
? ? ? ? ? ? ? ? img = fluid.dygraph.to_variable(x_data)
? ? ? ? ? ? ? ? label = fluid.dygraph.to_variable(y_data)
? ? ? ? ? ? ? ? # 運(yùn)行模型前向計(jì)算登钥，得到預(yù)測值
? ? ? ? ? ? ? ? logits = model(img)
? ? ? ? ? ? ? ? # 二分類畔师，sigmoid計(jì)算后的結(jié)果以0.5為閾值分兩個(gè)類別
? ? ? ? ? ? ? ? # 計(jì)算sigmoid后的預(yù)測概率，進(jìn)行l(wèi)oss計(jì)算
? ? ? ? ? ? ? ? pred = fluid.layers.sigmoid(logits)
? ? ? ? ? ? ? ? loss = fluid.layers.sigmoid_cross_entropy_with_logits(logits, label)
? ? ? ? ? ? ? ? # 計(jì)算預(yù)測概率小于0.5的類別
? ? ? ? ? ? ? ? pred2 = pred * (-1.0) + 1.0
? ? ? ? ? ? ? ? # 得到兩個(gè)類別的預(yù)測概率牧牢，并沿第一個(gè)維度級聯(lián)
? ? ? ? ? ? ? ? pred = fluid.layers.concat([pred2, pred], axis=1)
? ? ? ? ? ? ? ? acc = fluid.layers.accuracy(pred, fluid.layers.cast(label, dtype='int64'))
? ? ? ? ? ? ? ? accuracies.append(acc.numpy())
? ? ? ? ? ? ? ? losses.append(loss.numpy())
? ? ? ? ? ? print("[validation] accuracy/loss: {}/{}".format(np.mean(accuracies), np.mean(losses)))
? ? ? ? ? ? model.train()
? ? ? ? # save params of model
? ? ? ? fluid.save_dygraph(model.state_dict(), 'mnist')
? ? ? ? # save optimizer state
? ? ? ? fluid.save_dygraph(opt.state_dict(), 'mnist')
# 定義評估過程
def evaluation(model, params_file_path):
? ? with fluid.dygraph.guard():
? ? ? ? print('start evaluation .......')
? ? ? ? #加載模型參數(shù)
? ? ? ? model_state_dict, _ = fluid.load_dygraph(params_file_path)
? ? ? ? model.load_dict(model_state_dict)
? ? ? ? model.eval()
? ? ? ? eval_loader = load_data('eval')
? ? ? ? acc_set = []
? ? ? ? avg_loss_set = []
? ? ? ? for batch_id, data in enumerate(eval_loader()):
? ? ? ? ? ? x_data, y_data = data
? ? ? ? ? ? img = fluid.dygraph.to_variable(x_data)
? ? ? ? ? ? label = fluid.dygraph.to_variable(y_data)
? ? ? ? ? ? # 計(jì)算預(yù)測和精度
? ? ? ? ? ? prediction, acc = model(img, label)
? ? ? ? ? ? # 計(jì)算損失函數(shù)值
? ? ? ? ? ? loss = fluid.layers.cross_entropy(input=prediction, label=label)
? ? ? ? ? ? avg_loss = fluid.layers.mean(loss)
? ? ? ? ? ? acc_set.append(float(acc.numpy()))
? ? ? ? ? ? avg_loss_set.append(float(avg_loss.numpy()))
? ? ? ? # 求平均精度
? ? ? ? acc_val_mean = np.array(acc_set).mean()
? ? ? ? avg_loss_val_mean = np.array(avg_loss_set).mean()
? ? ? ? print('loss={}, acc={}'.format(avg_loss_val_mean, acc_val_mean))
ResNet-50的具體實(shí)現(xiàn)如下代碼所示：
In[8]
# -*- coding:utf-8 -*-
# ResNet模型代碼
import numpy as np
import paddle
import paddle.fluid as fluid
from paddle.fluid.layer_helper import LayerHelper
from paddle.fluid.dygraph.nn import Conv2D, Pool2D, BatchNorm, FC
from paddle.fluid.dygraph.base import to_variable
# ResNet中使用了BatchNorm層看锉，在卷積層的后面加上BatchNorm以提升數(shù)值穩(wěn)定性
# 定義卷積批歸一化塊
class ConvBNLayer(fluid.dygraph.Layer):
? ? def __init__(self,
? ? ? ? ? ? ? ? name_scope,
? ? ? ? ? ? ? ? num_channels,
? ? ? ? ? ? ? ? num_filters,
? ? ? ? ? ? ? ? filter_size,
? ? ? ? ? ? ? ? stride=1,
? ? ? ? ? ? ? ? groups=1,
? ? ? ? ? ? ? ? act=None):
? ? ? ? """
? ? ? ? name_scope, 模塊的名字
? ? ? ? num_channels, 卷積層的輸入通道數(shù)
? ? ? ? num_filters, 卷積層的輸出通道數(shù)
? ? ? ? stride, 卷積層的步幅
? ? ? ? groups, 分組卷積的組數(shù)姿锭，默認(rèn)groups=1不使用分組卷積
? ? ? ? act, 激活函數(shù)類型，默認(rèn)act=None不使用激活函數(shù)
? ? ? ? """
? ? ? ? super(ConvBNLayer, self).__init__(name_scope)
? ? ? ? # 創(chuàng)建卷積層
? ? ? ? self._conv = Conv2D(
? ? ? ? ? ? self.full_name(),
? ? ? ? ? ? num_filters=num_filters,
? ? ? ? ? ? filter_size=filter_size,
? ? ? ? ? ? stride=stride,
? ? ? ? ? ? padding=(filter_size - 1) // 2,
? ? ? ? ? ? groups=groups,
? ? ? ? ? ? act=None,
? ? ? ? ? ? bias_attr=False)
? ? ? ? # 創(chuàng)建BatchNorm層
? ? ? ? self._batch_norm = BatchNorm(self.full_name(), num_filters, act=act)
? ? def forward(self, inputs):
? ? ? ? y = self._conv(inputs)
? ? ? ? y = self._batch_norm(y)
? ? ? ? return y
# 定義殘差塊
# 每個(gè)殘差塊會(huì)對輸入圖片做三次卷積伯铣，然后跟輸入圖片進(jìn)行短接
# 如果殘差塊中第三次卷積輸出特征圖的形狀與輸入不一致呻此，則對輸入圖片做1x1卷積，將其輸出形狀調(diào)整成一致
class BottleneckBlock(fluid.dygraph.Layer):
? ? def __init__(self,
? ? ? ? ? ? ? ? name_scope,
? ? ? ? ? ? ? ? num_channels,
? ? ? ? ? ? ? ? num_filters,
? ? ? ? ? ? ? ? stride,
? ? ? ? ? ? ? ? shortcut=True):
? ? ? ? super(BottleneckBlock, self).__init__(name_scope)
? ? ? ? # 創(chuàng)建第一個(gè)卷積層 1x1
? ? ? ? self.conv0 = ConvBNLayer(
? ? ? ? ? ? self.full_name(),
? ? ? ? ? ? num_channels=num_channels,
? ? ? ? ? ? num_filters=num_filters,
? ? ? ? ? ? filter_size=1,
? ? ? ? ? ? act='relu')
? ? ? ? # 創(chuàng)建第二個(gè)卷積層 3x3
? ? ? ? self.conv1 = ConvBNLayer(
? ? ? ? ? ? self.full_name(),
? ? ? ? ? ? num_channels=num_filters,
? ? ? ? ? ? num_filters=num_filters,
? ? ? ? ? ? filter_size=3,
? ? ? ? ? ? stride=stride,
? ? ? ? ? ? act='relu')
? ? ? ? # 創(chuàng)建第三個(gè)卷積 1x1腔寡，但輸出通道數(shù)乘以4
? ? ? ? self.conv2 = ConvBNLayer(
? ? ? ? ? ? self.full_name(),
? ? ? ? ? ? num_channels=num_filters,
? ? ? ? ? ? num_filters=num_filters * 4,
? ? ? ? ? ? filter_size=1,
? ? ? ? ? ? act=None)
? ? ? ? # 如果conv2的輸出跟此殘差塊的輸入數(shù)據(jù)形狀一致焚鲜，則shortcut=True
? ? ? ? # 否則shortcut = False，添加1個(gè)1x1的卷積作用在輸入數(shù)據(jù)上放前，使其形狀變成跟conv2一致
? ? ? ? if not shortcut:
? ? ? ? ? ? self.short = ConvBNLayer(
? ? ? ? ? ? ? ? self.full_name(),
? ? ? ? ? ? ? ? num_channels=num_channels,
? ? ? ? ? ? ? ? num_filters=num_filters * 4,
? ? ? ? ? ? ? ? filter_size=1,
? ? ? ? ? ? ? ? stride=stride)
? ? ? ? self.shortcut = shortcut
? ? ? ? self._num_channels_out = num_filters * 4
? ? def forward(self, inputs):
? ? ? ? y = self.conv0(inputs)
? ? ? ? conv1 = self.conv1(y)
? ? ? ? conv2 = self.conv2(conv1)
? ? ? ? # 如果shortcut=True忿磅，直接將inputs跟conv2的輸出相加
? ? ? ? # 否則需要對inputs進(jìn)行一次卷積，將形狀調(diào)整成跟conv2輸出一致
? ? ? ? if self.shortcut:
? ? ? ? ? ? short = inputs
? ? ? ? else:
? ? ? ? ? ? short = self.short(inputs)
? ? ? ? y = fluid.layers.elementwise_add(x=short, y=conv2)
? ? ? ? layer_helper = LayerHelper(self.full_name(), act='relu')
? ? ? ? return layer_helper.append_activation(y)
# 定義ResNet模型
class ResNet(fluid.dygraph.Layer):
? ? def __init__(self, name_scope, layers=50, class_dim=1):
? ? ? ? """
? ? ? ? name_scope凭语，模塊名稱
? ? ? ? layers, 網(wǎng)絡(luò)層數(shù)葱她，可以是50, 101或者152
? ? ? ? class_dim，分類標(biāo)簽的類別數(shù)
? ? ? ? """
? ? ? ? super(ResNet, self).__init__(name_scope)
? ? ? ? self.layers = layers
? ? ? ? supported_layers = [50, 101, 152]
? ? ? ? assert layers in supported_layers, \
? ? ? ? ? ? "supported layers are {} but input layer is {}".format(supported_layers, layers)
? ? ? ? if layers == 50:
? ? ? ? ? ? #ResNet50包含多個(gè)模塊似扔，其中第2到第5個(gè)模塊分別包含3吨些、4、6炒辉、3個(gè)殘差塊
? ? ? ? ? ? depth = [3, 4, 6, 3]
? ? ? ? elif layers == 101:
? ? ? ? ? ? #ResNet101包含多個(gè)模塊锤灿，其中第2到第5個(gè)模塊分別包含3、4辆脸、23但校、3個(gè)殘差塊
? ? ? ? ? ? depth = [3, 4, 23, 3]
? ? ? ? elif layers == 152:
? ? ? ? ? ? #ResNet50包含多個(gè)模塊，其中第2到第5個(gè)模塊分別包含3啡氢、8状囱、36、3個(gè)殘差塊
? ? ? ? ? ? depth = [3, 8, 36, 3]
? ? ? ? # 殘差塊中使用到的卷積的輸出通道數(shù)
? ? ? ? num_filters = [64, 128, 256, 512]
? ? ? ? # ResNet的第一個(gè)模塊倘是，包含1個(gè)7x7卷積亭枷，后面跟著1個(gè)最大池化層
? ? ? ? self.conv = ConvBNLayer(
? ? ? ? ? ? self.full_name(),
? ? ? ? ? ? num_channels=3,
? ? ? ? ? ? num_filters=64,
? ? ? ? ? ? filter_size=7,
? ? ? ? ? ? stride=2,
? ? ? ? ? ? act='relu')
? ? ? ? self.pool2d_max = Pool2D(
? ? ? ? ? ? self.full_name(),
? ? ? ? ? ? pool_size=3,
? ? ? ? ? ? pool_stride=2,
? ? ? ? ? ? pool_padding=1,
? ? ? ? ? ? pool_type='max')
? ? ? ? # ResNet的第二到第五個(gè)模塊c2、c3搀崭、c4叨粘、c5
? ? ? ? self.bottleneck_block_list = []
? ? ? ? num_channels = 64
? ? ? ? for block in range(len(depth)):
? ? ? ? ? ? shortcut = False
? ? ? ? ? ? for i in range(depth[block]):
? ? ? ? ? ? ? ? bottleneck_block = self.add_sublayer(
? ? ? ? ? ? ? ? ? ? 'bb_%d_%d' % (block, i),
? ? ? ? ? ? ? ? ? ? BottleneckBlock(
? ? ? ? ? ? ? ? ? ? ? ? self.full_name(),
? ? ? ? ? ? ? ? ? ? ? ? num_channels=num_channels,
? ? ? ? ? ? ? ? ? ? ? ? num_filters=num_filters[block],
? ? ? ? ? ? ? ? ? ? ? ? stride=2 if i == 0 and block != 0 else 1, # c3、c4瘤睹、c5將會(huì)在第一個(gè)殘差塊使用stride=2升敲；其余所有殘差塊stride=1
? ? ? ? ? ? ? ? ? ? ? ? shortcut=shortcut))
? ? ? ? ? ? ? ? num_channels = bottleneck_block._num_channels_out
? ? ? ? ? ? ? ? self.bottleneck_block_list.append(bottleneck_block)
? ? ? ? ? ? ? ? shortcut = True
? ? ? ? # 在c5的輸出特征圖上使用全局池化
? ? ? ? self.pool2d_avg = Pool2D(
? ? ? ? ? ? self.full_name(), pool_size=7, pool_type='avg', global_pooling=True)
? ? ? ? # stdv用來作為全連接層隨機(jī)初始化參數(shù)的方差
? ? ? ? import math
? ? ? ? stdv = 1.0 / math.sqrt(2048 * 1.0)
? ? ? ? # 創(chuàng)建全連接層，輸出大小為類別數(shù)目
? ? ? ? self.out = FC(self.full_name(),
? ? ? ? ? ? ? ? ? ? ? size=class_dim,
? ? ? ? ? ? ? ? ? ? ? param_attr=fluid.param_attr.ParamAttr(
? ? ? ? ? ? ? ? ? ? ? ? ? initializer=fluid.initializer.Uniform(-stdv, stdv)))
? ? def forward(self, inputs):
? ? ? ? y = self.conv(inputs)
? ? ? ? y = self.pool2d_max(y)
? ? ? ? for bottleneck_block in self.bottleneck_block_list:
? ? ? ? ? ? y = bottleneck_block(y)
? ? ? ? y = self.pool2d_avg(y)
? ? ? ? y = self.out(y)
? ? ? ? return y
In[9]
with fluid.dygraph.guard():
? ? model = ResNet("ResNet")
train(model)
start training ...
epoch: 0, batch_id: 0, loss is: [0.83079195]
epoch: 0, batch_id: 10, loss is: [0.5477183]
epoch: 0, batch_id: 20, loss is: [0.87052524]
epoch: 0, batch_id: 30, loss is: [1.0255078]
[validation] accuracy/loss: 0.7450000047683716/0.5235034823417664
epoch: 1, batch_id: 0, loss is: [0.41455013]
epoch: 1, batch_id: 10, loss is: [0.54812586]
epoch: 1, batch_id: 20, loss is: [0.17374663]
epoch: 1, batch_id: 30, loss is: [0.30293828]
[validation] accuracy/loss: 0.887499988079071/0.27671539783477783
epoch: 2, batch_id: 0, loss is: [0.38499922]
epoch: 2, batch_id: 10, loss is: [0.29150736]
epoch: 2, batch_id: 20, loss is: [0.3396409]
[validation] accuracy/loss: 0.9274999499320984/0.17061272263526917
epoch: 3, batch_id: 0, loss is: [0.06969612]
epoch: 3, batch_id: 10, loss is: [0.0861987]
epoch: 3, batch_id: 20, loss is: [0.05332329]
epoch: 3, batch_id: 30, loss is: [0.46470308]
[validation] accuracy/loss: 0.9375/0.20805077254772186
epoch: 4, batch_id: 0, loss is: [0.38617897]
epoch: 4, batch_id: 10, loss is: [0.16854036]
epoch: 4, batch_id: 20, loss is: [0.05454079]
epoch: 4, batch_id: 30, loss is: [0.32432565]
[validation] accuracy/loss: 0.8600000143051147/0.3488900661468506
