轉(zhuǎn)載于:https://mp.weixin.qq.com/s/CTS3MUkcNTZXbAR2gvkcQw
1. 設(shè)置場景
- 給概覽功能的可視化作為一個研究領(lǐng)域，并推出了FlashTorch-? 一個開放源碼的功能可視化工具包建在PyTorch神經(jīng)網(wǎng)絡(luò)。
- 該軟件包可通過安裝pip贵试。查看GitHub倉庫的源代碼咖耘。也可以在Google Colab上托管的這款筆記本中使用它，而無需安裝任何東西！
https://github.com/MisaOgura/flashtorch
https://colab.research.google.com/github/MisaOgura/flashtorch/blob/master/examples/visualise_saliency_with_backprop_colab.ipynb
2. 使用FlashTorch進行功能可視化
- 通過創(chuàng)建 AlexNet的顯著圖來實現(xiàn)的菇篡，該圖是在ImageNet分類任務(wù)上預(yù)先訓(xùn)練過的顿涣。從任務(wù)中選擇了三個類（灰色的大貓頭鷹波闹，孔雀和巨嘴鳥），并使用這些類的圖像來檢查AlexNet學(xué)到了什么涛碑，以便在識別這些對象時最集中在圖像中精堕。
3. 遷移傾向
- 機器學(xué)習(xí)中的遷移傾向是知識轉(zhuǎn)移的一種形式?- 一種方法，其中使用經(jīng)過一項任務(wù)訓(xùn)練的模型蒲障，通常作為另一項任務(wù)的起點歹篓。新任務(wù)所需的額外訓(xùn)練數(shù)量取決于原始任務(wù)和新任務(wù)的相似性，訓(xùn)練數(shù)據(jù)的可用性等揉阎。
- 傳統(tǒng)學(xué)習(xí)與遷移學(xué)習(xí)
- 遷移學(xué)習(xí)通常用于計算機視覺和自然語言處理任務(wù)庄撮，因為它通過利用先前的訓(xùn)練幫助節(jié)省計算/時間資源。
例如毙籽，在ImageNet（1000個類）上訓(xùn)練的網(wǎng)絡(luò)可以重新用作狗標(biāo)識符洞斯，而無需額外的訓(xùn)練】由模或者可以將在大型文本語料（例如來自Google的Word2Vec）上訓(xùn)練的單詞嵌入引入另一個深度神經(jīng)網(wǎng)絡(luò)烙如，以從新的語料庫中提取單詞的向量表示。
4. ImageNet→花卉分類器
- 為了測試遷移學(xué)習(xí)的動力毅否，決定把DenseNet亚铁，在ImageNet任務(wù)預(yù)先訓(xùn)練，到用花分類102類花卉數(shù)據(jù)集螟加。http://www.robots.ox.ac.uk/~vgg/data/flowers/102/index.html
- 事實證明徘溢，該模型沒有經(jīng)過任何進一步的訓(xùn)練，表現(xiàn)得非常糟糕 ?- 高達0.1％的測試精度捆探！如果已經(jīng)完成了數(shù)學(xué)計算......會更好地隨意猜測它甸昏。直覺上，這可能是有道理的徐许。原始的ImageNet數(shù)據(jù)集中只包含少數(shù)幾個花類施蜜，因此要求模型識別102種花卉是推動的圖像并不太難。
-
使用FlashTorch創(chuàng)建顯著性圖并可視化網(wǎng)絡(luò)（不）看到的內(nèi)容雌隅。將以毛地黃的這個圖像為例翻默。
- 在這里可以欣賞的是缸沃，沒有額外訓(xùn)練的網(wǎng)絡(luò)正在關(guān)注花杯的形狀。但是有許多形狀相似的花（例如藍鈴花）修械。對于人類而言趾牧，可能很明顯（即使不知道該物種的名稱）這種花朵的獨特之處在于花杯內(nèi)的斑駁圖案。然而網(wǎng)絡(luò)目前還不知道在哪里要注意肯污，除了花的一般形狀翘单，因為它從來沒有真正需要在舊任務(wù)（ImageNet分類）。
-
現(xiàn)在有一個深入了解蹦渣，為什么在網(wǎng)絡(luò)表現(xiàn)不佳哄芜，覺得準(zhǔn)備訓(xùn)練它。最終經(jīng)過反復(fù)試驗柬唯，訓(xùn)練有素的模型達到了98.7％的測試精度认臊。
- 網(wǎng)絡(luò)已經(jīng)學(xué)會減少對花的形狀的關(guān)注，并強烈關(guān)注那些斑駁的圖案:顯示什么樣的神經(jīng)網(wǎng)絡(luò)學(xué)會是非常有用的锄奢。將其提升到另一個層次并解釋神經(jīng)網(wǎng)絡(luò)如何學(xué)習(xí)的過程是特征可視化技術(shù)的另一個強大應(yīng)用失晴。
5.從準(zhǔn)確性向前邁進
-
通過特征可視化技術(shù)，不僅可以更好地了解神經(jīng)網(wǎng)絡(luò)對物體的感知拘央，而且還可以更好地：
