自旋電子學(xué)神經(jīng)的形態(tài)計算

Y. J. Zhang, Q. Zheng, X. R. Zhu, Z. Yuan, and K. Xia, Spintronic devices for neuromorphic computing, Sci. China-Phys. Mech. Astron. 63, 277531(2020), https://doi.org/10.1007/s11433-019-1499-3

1. 背景

  • 目前存在的問題:當前基于神經(jīng)網(wǎng)絡(luò)計算的軟件實現(xiàn)與當前計算機的von Neumann體系結(jié)構(gòu)之間不匹配

  • 解決方案:開發(fā)一種神經(jīng)形態(tài)(neurophomic)芯片微酬,它們適合于基于人工神經(jīng)網(wǎng)絡(luò)(ANN)執(zhí)行所需的計算

    • 然而史辙,這種芯片通常需要數(shù)千個晶體管來模擬一個尖峰神經(jīng)元焚刚,并采用與神經(jīng)元分離的突觸胆建;
    • 因此返十,進行了許多嘗試來開發(fā)具有新材料和新技術(shù)的神經(jīng)形態(tài)芯片庶喜,例如 電阻憶阻器(resistive meristor)泡仗,相變材料(phase change material)和鐵電材料(ferroelectricity)番甩;
  • 自旋電子器件(spintronics)作為存儲單元已被廣泛研究索赏,本質(zhì)上具有ANN中基本元素 -- 神經(jīng)元(neurons)突觸(synapses)所需的動力學(xué)特性

  • 人工神經(jīng)元的非線性動力學(xué)可以用磁化動力學(xué)代替盼玄,因為后者由非線性Landau-Lifshitz-Gilbert方程描述

    • 磁存儲設(shè)備中使用的可調(diào)電阻是自然的人工突觸,其非易失性進一步降低了功耗潜腻;
    • 此外埃儿,磁性設(shè)備的耐用性極高(> 1015)特別適用于實現(xiàn)可重新編程的神經(jīng)網(wǎng)絡(luò);
    • 例如融涣,作為一種存儲設(shè)備童番,只需要探測磁性開關(guān)前后的靜態(tài)狀態(tài),而磁化的動態(tài)過程就對神經(jīng)形態(tài)計算和隨機性至關(guān)重要威鹿。

2. 實現(xiàn)方法

  • 實現(xiàn)自旋電子神經(jīng)網(wǎng)絡(luò)硬件的必要步驟是找到合適的設(shè)備來代替AI計算模型中的數(shù)學(xué)單元
    • 神經(jīng)元和突觸通常由微分方程描述
    • 突觸是神經(jīng)網(wǎng)絡(luò)中的存儲的數(shù)值剃斧,會在訓(xùn)練過程中更新參數(shù)
    • 由于電阻可調(diào),憶阻器廣泛用于硬件突觸的實現(xiàn)中
    • 可以通過將磁疇壁放在共線磁性層的頂部來設(shè)計自旋電子憶阻器
    • 基于MgO的磁隧道結(jié)(MTJ)也可以用作憶阻器件忽你,這種器件的電阻變化幼东,是由電壓驅(qū)動氧原子再MgO中的擴散而實現(xiàn)的
    • 由串聯(lián)連接的n個MTJ組成的另一種自旋電子突觸,可以具有2n種離散的電阻狀態(tài)
    • 實驗證明了遵循有監(jiān)督和無監(jiān)督學(xué)習(xí)規(guī)則的算法來調(diào)節(jié)自旋電子突觸,包括長期增強/抑制和更復(fù)雜的與時間相關(guān)的尖峰可塑性(STDP)
    • 圖一所示筋粗,在神經(jīng)形態(tài)計算中使用了兩類神經(jīng)元:一種通常用于傳統(tǒng)的ANN策橘,并且使用非線性激活函數(shù)來模擬其動力學(xué),例如ReLU娜亿,SigmoidStep function丽已;另一種類型是在受生物神經(jīng)元啟發(fā)的尖峰神經(jīng)網(wǎng)絡(luò)(SNN)中使用的
fig.1(a)具有固定(紫色)磁性層和自由(紅色)層的MTJ的示意圖。 當兩層具有平行(反平行)磁化時买决,它具有低(高)電阻沛婴,如圖(b)所示;(c)在超順磁狀態(tài)下督赤,自由層通過熱波動而切換嘁灯,并且電阻在兩種狀態(tài)之間表現(xiàn)出隨機跳變。(d)磁性憶阻器的示意圖:MTJ的自由層由底部的磁疇壁代替躲舌,其位置決定了兩個磁層之間的總電阻(f)丑婿。(e)模擬尖峰神經(jīng)元的裝置。 當疇壁通過電極時發(fā)生燒結(jié)没卸,導(dǎo)致電阻(g)突然變化

3. 先前的工作

  • 許多實驗研究試圖改善自旋電子神經(jīng)網(wǎng)絡(luò)的這些基本單元羹奉,但是缺乏神經(jīng)元和突觸的標準,使得通往具有更好功能的硬件的技術(shù)路線不清楚
  • 即使在計算模型中约计,非線性激活函數(shù)都沒有一個明顯優(yōu)于其他非線性激活函數(shù)诀拭,并且許多ANN在不同的激活函數(shù)下均能很好地工作,最終的驗證只能是使用這些人工神經(jīng)元和突觸構(gòu)建的神經(jīng)網(wǎng)絡(luò)的性能煤蚌。
  • 目前有很多使用自旋電子設(shè)備實現(xiàn)神經(jīng)網(wǎng)絡(luò)的嘗試:
    • 比如耕挨,使用霍爾棒作為突觸來構(gòu)建Hopfield型ANN;
    • 霍爾棒由位于反鐵磁PtMn頂部的鐵磁Co / Ni多層組成尉桩,其中Co / Ni的磁化強度可以通過電流通過所謂的自旋軌道轉(zhuǎn)矩來控制筒占;
    • 在沒有外部磁場的情況下,霍爾電阻與寫入電流之間具有線性關(guān)系蜘犁,因此在訓(xùn)練過程中很容易調(diào)整突觸權(quán)重赋铝;
    • 該Hopfield網(wǎng)絡(luò)集成在板上,經(jīng)過測試可存儲3×3像素的三個字母“ I”沽瘦,“ C”和“ T”;
    • 受技術(shù)和成本的限制农尖,更多建議僅基于仿真析恋,而器件參數(shù)可以通過實驗或微磁學(xué)獲得;
    • 圖2所示盛卡,交叉開關(guān)矩陣(crossbar)是一種十分方便用作矩陣相乘的器件助隧,其中自旋電子設(shè)備(如MTJ)可用于連接所有交叉點,然后利用MTJ的憶阻特性來模擬可調(diào)節(jié)的突觸權(quán)重
    • 進行仿真以驗證這種基于crossbar的人工神經(jīng)網(wǎng)絡(luò)并村,該人工神經(jīng)網(wǎng)絡(luò)被用于對車牌號碼巍实,以及MNIST手寫數(shù)字進行識別
fig.2,(a)將矩陣乘以向量的設(shè)備草圖; (b)可以執(zhí)行乘法的交叉開關(guān)哩牍,其中連接點處的權(quán)重對應(yīng)于MTJ的電阻棚潦。
  • 在更復(fù)雜的模擬計算中,通過磁突觸連接的crossbar來模擬SNN膝昆,其中STDP可以用于無監(jiān)督學(xué)習(xí)

    • 結(jié)合基于CMOS的LIF神經(jīng)元丸边,可以利用識別MNIST數(shù)據(jù)集中的手寫數(shù)字;
    • 然而荚孵,這些模擬尚未在實驗中進行檢驗妹窖,特別是對于各種訓(xùn)練算法與硬件突觸的適用性
  • 近年來,一種特殊的神經(jīng)形態(tài)計算吸引了很多注意力骄呼,這種形態(tài)稱為水庫計算(reservoir computing),它一般于處理動態(tài)的信息判没;

    • 它通常在遞歸神經(jīng)網(wǎng)絡(luò)(RNN)中執(zhí)行(如圖三所示結(jié)構(gòu))蜓萄,該神經(jīng)網(wǎng)絡(luò)具有稀疏且隨機連接的大量人工神經(jīng)元;
    • 由40個MTJ組成的RNN經(jīng)過訓(xùn)練可以生成和識別簡單的周期性函數(shù)绕德,每個神經(jīng)元都由單個MTJ實現(xiàn)耻蛇;
    • 一項系統(tǒng)研究表明臣咖,RNN對MTJ的相位噪聲和不完美的突觸具有魯棒性;
    • 或者酣胀,可以使用具有延遲反饋的單個非線性節(jié)點來實現(xiàn)RNN,從而顯著降低實驗中的技術(shù)難度甚脉;
    • 由于具有非線性動力學(xué)和記憶效應(yīng)牺氨,單個MTJ可以顯著改善語音識別猴凹;
    • 后來沼头,如微磁模擬所示歹篓,通過使用單磁Skyrmion的動態(tài)運動來實現(xiàn)圖像識別庄撮;
    • 由于其潛在的功能和技術(shù)簡單性毡庆,使用單個自旋電子設(shè)備的神經(jīng)形態(tài)計算的實現(xiàn)很可能很快會應(yīng)用于實際的認知任務(wù)么抗。
fig. 3
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末蝇刀,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子站粟,更是在濱河造成了極大的恐慌,老刑警劉巖切诀,帶你破解...
    沈念sama閱讀 212,383評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件趾牧,死亡現(xiàn)場離奇詭異,居然都是意外死亡哄芜,警方通過查閱死者的電腦和手機柬唯,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,522評論 3 385
  • 文/潘曉璐 我一進店門锄奢,熙熙樓的掌柜王于貴愁眉苦臉地迎上來拘央,“玉大人拆又,你說我怎么就攤上這事∈悖” “怎么了?”我有些...
    開封第一講書人閱讀 157,852評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長男杈。 經(jīng)常有香客問我旺垒,道長,這世上最難降的妖魔是什么眯搭? 我笑而不...
    開封第一講書人閱讀 56,621評論 1 284
  • 正文 為了忘掉前任笔时,我火速辦了婚禮允耿,結(jié)果婚禮上较锡,老公的妹妹穿的比我還像新娘盼忌。我一直安慰自己君编,他們只是感情好祠乃,可當我...
    茶點故事閱讀 65,741評論 6 386
  • 文/花漫 我一把揭開白布嘱支。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪倚舀。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,929評論 1 290
  • 那天柱查,我揣著相機與錄音,去河邊找鬼。 笑死谣膳,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播诡壁,決...
    沈念sama閱讀 39,076評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼妹卿,長吁一口氣:“原來是場噩夢啊……” “哼举反!你這毒婦竟也來了室囊?” 一聲冷哼從身側(cè)響起盼铁,我...
    開封第一講書人閱讀 37,803評論 0 268
  • 序言:老撾萬榮一對情侶失蹤饶火,失蹤者是張志新(化名)和其女友劉穎抖僵,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,265評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡沐祷,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,582評論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了凌那。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片励稳。...
    茶點故事閱讀 38,716評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡程帕,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出妆绞,到底是詐尸還是另有隱情括饶,我是刑警寧澤图焰,帶...
    沈念sama閱讀 34,395評論 4 333
  • 正文 年R本政府宣布藤滥,位于F島的核電站拙绊,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜趴梢,卻給世界環(huán)境...
    茶點故事閱讀 40,039評論 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,798評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽陕靠。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背蛔六。 一陣腳步聲響...
    開封第一講書人閱讀 32,027評論 1 266
  • 我被黑心中介騙來泰國打工桃漾, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留罚屋,地道東北人猛拴。 一個月前我還...
    沈念sama閱讀 46,488評論 2 361
  • 正文 我出身青樓麻蹋,卻偏偏與公主長得像嚎尤,于是被迫代替她去往敵國和親抖格。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 43,612評論 2 350