Y. J. Zhang, Q. Zheng, X. R. Zhu, Z. Yuan, and K. Xia, Spintronic devices for neuromorphic computing, Sci. China-Phys. Mech. Astron. 63, 277531(2020), https://doi.org/10.1007/s11433-019-1499-3
1. 背景
目前存在的問題:當前基于神經(jīng)網(wǎng)絡(luò)計算的軟件實現(xiàn)與當前計算機的von Neumann體系結(jié)構(gòu)之間不匹配
-
解決方案:開發(fā)一種神經(jīng)形態(tài)(neurophomic)芯片微酬,它們適合于基于人工神經(jīng)網(wǎng)絡(luò)(ANN)執(zhí)行所需的計算
- 然而史辙,這種芯片通常需要數(shù)千個晶體管來模擬一個尖峰神經(jīng)元焚刚,并采用與神經(jīng)元分離的突觸胆建;
- 因此返十,進行了許多嘗試來開發(fā)具有新材料和新技術(shù)的神經(jīng)形態(tài)芯片庶喜,例如 電阻憶阻器(resistive meristor)泡仗,相變材料(phase change material)和鐵電材料(ferroelectricity)番甩;
自旋電子器件(spintronics)作為存儲單元已被廣泛研究索赏,本質(zhì)上具有ANN中基本元素 -- 神經(jīng)元(neurons)和突觸(synapses)所需的動力學(xué)特性
-
人工神經(jīng)元的非線性動力學(xué)可以用磁化動力學(xué)代替盼玄,因為后者由非線性Landau-Lifshitz-Gilbert方程描述
- 磁存儲設(shè)備中使用的可調(diào)電阻是自然的人工突觸,其非易失性進一步降低了功耗潜腻;
- 此外埃儿,磁性設(shè)備的耐用性極高(> 1015)特別適用于實現(xiàn)可重新編程的神經(jīng)網(wǎng)絡(luò);
- 例如融涣,作為一種存儲設(shè)備童番,只需要探測磁性開關(guān)前后的靜態(tài)狀態(tài),而磁化的動態(tài)過程就對神經(jīng)形態(tài)計算和隨機性至關(guān)重要威鹿。
2. 實現(xiàn)方法
- 實現(xiàn)自旋電子神經(jīng)網(wǎng)絡(luò)硬件的必要步驟是找到合適的設(shè)備來代替AI計算模型中的數(shù)學(xué)單元
- 神經(jīng)元和突觸通常由微分方程描述
- 突觸是神經(jīng)網(wǎng)絡(luò)中的存儲的數(shù)值剃斧,會在訓(xùn)練過程中更新參數(shù)
- 由于電阻可調(diào),憶阻器廣泛用于硬件突觸的實現(xiàn)中
- 可以通過將磁疇壁放在共線磁性層的頂部來設(shè)計自旋電子憶阻器
- 基于MgO的磁隧道結(jié)(MTJ)也可以用作憶阻器件忽你,這種器件的電阻變化幼东,是由電壓驅(qū)動氧原子再MgO中的擴散而實現(xiàn)的
- 由串聯(lián)連接的n個MTJ組成的另一種自旋電子突觸,可以具有2n種離散的電阻狀態(tài)
- 實驗證明了遵循有監(jiān)督和無監(jiān)督學(xué)習(xí)規(guī)則的算法來調(diào)節(jié)自旋電子突觸,包括長期增強/抑制和更復(fù)雜的與時間相關(guān)的尖峰可塑性(STDP)
- 如圖一所示筋粗,在神經(jīng)形態(tài)計算中使用了兩類神經(jīng)元:一種通常用于傳統(tǒng)的ANN策橘,并且使用非線性激活函數(shù)來模擬其動力學(xué),例如
ReLU
娜亿,Sigmoid
和Step function
丽已;另一種類型是在受生物神經(jīng)元啟發(fā)的尖峰神經(jīng)網(wǎng)絡(luò)(SNN)中使用的
fig.1(a)具有固定(紫色)磁性層和自由(紅色)層的MTJ的示意圖。 當兩層具有平行(反平行)磁化時买决,它具有低(高)電阻沛婴,如圖(b)所示;(c)在超順磁狀態(tài)下督赤,自由層通過熱波動而切換嘁灯,并且電阻在兩種狀態(tài)之間表現(xiàn)出隨機跳變。(d)磁性憶阻器的示意圖:MTJ的自由層由底部的磁疇壁代替躲舌,其位置決定了兩個磁層之間的總電阻(f)丑婿。(e)模擬尖峰神經(jīng)元的裝置。 當疇壁通過電極時發(fā)生燒結(jié)没卸,導(dǎo)致電阻(g)突然變化
3. 先前的工作
- 許多實驗研究試圖改善自旋電子神經(jīng)網(wǎng)絡(luò)的這些基本單元羹奉,但是缺乏神經(jīng)元和突觸的標準,使得通往具有更好功能的硬件的技術(shù)路線不清楚
- 即使在計算模型中约计,非線性激活函數(shù)都沒有一個明顯優(yōu)于其他非線性激活函數(shù)诀拭,并且許多ANN在不同的激活函數(shù)下均能很好地工作,最終的驗證只能是使用這些人工神經(jīng)元和突觸構(gòu)建的神經(jīng)網(wǎng)絡(luò)的性能煤蚌。
- 目前有很多使用自旋電子設(shè)備實現(xiàn)神經(jīng)網(wǎng)絡(luò)的嘗試:
- 比如耕挨,使用霍爾棒作為突觸來構(gòu)建Hopfield型ANN;
- 霍爾棒由位于反鐵磁PtMn頂部的鐵磁Co / Ni多層組成尉桩,其中Co / Ni的磁化強度可以通過電流通過所謂的自旋軌道轉(zhuǎn)矩來控制筒占;
- 在沒有外部磁場的情況下,霍爾電阻與寫入電流之間具有線性關(guān)系蜘犁,因此在訓(xùn)練過程中很容易調(diào)整突觸權(quán)重赋铝;
- 該Hopfield網(wǎng)絡(luò)集成在板上,經(jīng)過測試可存儲3×3像素的三個字母“ I”沽瘦,“ C”和“ T”;
- 受技術(shù)和成本的限制农尖,更多建議僅基于仿真析恋,而器件參數(shù)可以通過實驗或微磁學(xué)獲得;
- 如圖2所示盛卡,交叉開關(guān)矩陣(crossbar)是一種十分方便用作矩陣相乘的器件助隧,其中自旋電子設(shè)備(如MTJ)可用于連接所有交叉點,然后利用MTJ的憶阻特性來模擬可調(diào)節(jié)的突觸權(quán)重;
- 進行仿真以驗證這種基于crossbar的人工神經(jīng)網(wǎng)絡(luò)并村,該人工神經(jīng)網(wǎng)絡(luò)被用于對車牌號碼巍实,以及MNIST手寫數(shù)字進行識別
fig.2,(a)將矩陣乘以向量的設(shè)備草圖; (b)可以執(zhí)行乘法的交叉開關(guān)哩牍,其中連接點處的權(quán)重對應(yīng)于MTJ的電阻棚潦。
-
在更復(fù)雜的模擬計算中,通過磁突觸連接的crossbar來模擬SNN膝昆,其中STDP可以用于無監(jiān)督學(xué)習(xí)
- 結(jié)合基于CMOS的LIF神經(jīng)元丸边,可以利用識別MNIST數(shù)據(jù)集中的手寫數(shù)字;
- 然而荚孵,這些模擬尚未在實驗中進行檢驗妹窖,特別是對于各種訓(xùn)練算法與硬件突觸的適用性
-
近年來,一種特殊的神經(jīng)形態(tài)計算吸引了很多注意力骄呼,這種形態(tài)稱為水庫計算(reservoir computing),它一般于處理動態(tài)的信息判没;
- 它通常在遞歸神經(jīng)網(wǎng)絡(luò)(RNN)中執(zhí)行(如圖三所示結(jié)構(gòu))蜓萄,該神經(jīng)網(wǎng)絡(luò)具有稀疏且隨機連接的大量人工神經(jīng)元;
- 由40個MTJ組成的RNN經(jīng)過訓(xùn)練可以生成和識別簡單的周期性函數(shù)绕德,每個神經(jīng)元都由單個MTJ實現(xiàn)耻蛇;
- 一項系統(tǒng)研究表明臣咖,RNN對MTJ的相位噪聲和不完美的突觸具有魯棒性;
- 或者酣胀,可以使用具有延遲反饋的單個非線性節(jié)點來實現(xiàn)RNN,從而顯著降低實驗中的技術(shù)難度甚脉;
- 由于具有非線性動力學(xué)和記憶效應(yīng)牺氨,單個MTJ可以顯著改善語音識別猴凹;
- 后來沼头,如微磁模擬所示歹篓,通過使用單磁Skyrmion的動態(tài)運動來實現(xiàn)圖像識別庄撮;
- 由于其潛在的功能和技術(shù)簡單性毡庆,使用單個自旋電子設(shè)備的神經(jīng)形態(tài)計算的實現(xiàn)很可能很快會應(yīng)用于實際的認知任務(wù)么抗。
fig. 3