Y. J. Zhang, Q. Zheng, X. R. Zhu, Z. Yuan, and K. Xia, Spintronic devices for neuromorphic computing, Sci. China-Phys. Mech. Astron. 63, 277531(2020), https://doi.org/10.1007/s11433-019-1499-3

1. 背景

• 目前存在的問題：當前基于神經(jīng)網(wǎng)絡(luò)計算的軟件實現(xiàn)與當前計算機的von Neumann體系結(jié)構(gòu)之間不匹配

• 解決方案：開發(fā)一種神經(jīng)形態(tài)（neurophomic）芯片微酬，它們適合于基于人工神經(jīng)網(wǎng)絡(luò)（ANN）執(zhí)行所需的計算

  • 然而史辙，這種芯片通常需要數(shù)千個晶體管來模擬一個尖峰神經(jīng)元焚刚，并采用與神經(jīng)元分離的突觸胆建；
  • 因此返十，進行了許多嘗試來開發(fā)具有新材料和新技術(shù)的神經(jīng)形態(tài)芯片庶喜，例如 電阻憶阻器（resistive meristor）泡仗，相變材料（phase change material）和鐵電材料（ferroelectricity）番甩；

• 自旋電子器件（spintronics）作為存儲單元已被廣泛研究索赏，本質(zhì)上具有ANN中基本元素 -- 神經(jīng)元（neurons）和突觸（synapses）所需的動力學(xué)特性

• 人工神經(jīng)元的非線性動力學(xué)可以用磁化動力學(xué)代替盼玄，因為后者由非線性Landau-Lifshitz-Gilbert方程描述

  • 磁存儲設(shè)備中使用的可調(diào)電阻是自然的人工突觸，其非易失性進一步降低了功耗潜腻；
  • 此外埃儿，磁性設(shè)備的耐用性極高（> 10¹⁵）特別適用于實現(xiàn)可重新編程的神經(jīng)網(wǎng)絡(luò)；
  • 例如融涣，作為一種存儲設(shè)備童番，只需要探測磁性開關(guān)前后的靜態(tài)狀態(tài)，而磁化的動態(tài)過程就對神經(jīng)形態(tài)計算和隨機性至關(guān)重要威鹿。

2. 實現(xiàn)方法

• 實現(xiàn)自旋電子神經(jīng)網(wǎng)絡(luò)硬件的必要步驟是找到合適的設(shè)備來代替AI計算模型中的數(shù)學(xué)單元
  • 神經(jīng)元和突觸通常由微分方程描述
  • 突觸是神經(jīng)網(wǎng)絡(luò)中的存儲的數(shù)值剃斧，會在訓(xùn)練過程中更新參數(shù)
  • 由于電阻可調(diào)，憶阻器廣泛用于硬件突觸的實現(xiàn)中
  • 可以通過將磁疇壁放在共線磁性層的頂部來設(shè)計自旋電子憶阻器
  • 基于MgO的磁隧道結(jié)（MTJ）也可以用作憶阻器件忽你，這種器件的電阻變化幼东，是由電壓驅(qū)動氧原子再MgO中的擴散而實現(xiàn)的
  • 由串聯(lián)連接的n個MTJ組成的另一種自旋電子突觸，可以具有2ⁿ種離散的電阻狀態(tài)
  • 實驗證明了遵循有監(jiān)督和無監(jiān)督學(xué)習(xí)規(guī)則的算法來調(diào)節(jié)自旋電子突觸，包括長期增強/抑制和更復(fù)雜的與時間相關(guān)的尖峰可塑性（STDP）
  • 如圖一所示筋粗，在神經(jīng)形態(tài)計算中使用了兩類神經(jīng)元：一種通常用于傳統(tǒng)的ANN策橘，并且使用非線性激活函數(shù)來模擬其動力學(xué)，例如ReLU娜亿，Sigmoid和Step function丽已；另一種類型是在受生物神經(jīng)元啟發(fā)的尖峰神經(jīng)網(wǎng)絡(luò)（SNN）中使用的

fig.1（a）具有固定（紫色）磁性層和自由（紅色）層的MTJ的示意圖。 當兩層具有平行（反平行）磁化時买决，它具有低（高）電阻沛婴，如圖（b）所示；（c）在超順磁狀態(tài)下督赤，自由層通過熱波動而切換嘁灯，并且電阻在兩種狀態(tài)之間表現(xiàn)出隨機跳變。（d）磁性憶阻器的示意圖：MTJ的自由層由底部的磁疇壁代替躲舌，其位置決定了兩個磁層之間的總電阻（f）丑婿。（e）模擬尖峰神經(jīng)元的裝置。 當疇壁通過電極時發(fā)生燒結(jié)没卸，導(dǎo)致電阻（g）突然變化

3. 先前的工作

• 許多實驗研究試圖改善自旋電子神經(jīng)網(wǎng)絡(luò)的這些基本單元羹奉，但是缺乏神經(jīng)元和突觸的標準，使得通往具有更好功能的硬件的技術(shù)路線不清楚
• 即使在計算模型中约计，非線性激活函數(shù)都沒有一個明顯優(yōu)于其他非線性激活函數(shù)诀拭，并且許多ANN在不同的激活函數(shù)下均能很好地工作，最終的驗證只能是使用這些人工神經(jīng)元和突觸構(gòu)建的神經(jīng)網(wǎng)絡(luò)的性能煤蚌。
• 目前有很多使用自旋電子設(shè)備實現(xiàn)神經(jīng)網(wǎng)絡(luò)的嘗試：
  • 比如耕挨，使用霍爾棒作為突觸來構(gòu)建Hopfield型ANN；
  • 霍爾棒由位于反鐵磁PtMn頂部的鐵磁Co / Ni多層組成尉桩，其中Co / Ni的磁化強度可以通過電流通過所謂的自旋軌道轉(zhuǎn)矩來控制筒占；
  • 在沒有外部磁場的情況下，霍爾電阻與寫入電流之間具有線性關(guān)系蜘犁，因此在訓(xùn)練過程中很容易調(diào)整突觸權(quán)重赋铝；
  • 該Hopfield網(wǎng)絡(luò)集成在板上，經(jīng)過測試可存儲3×3像素的三個字母“ I”沽瘦，“ C”和“ T”；
  • 受技術(shù)和成本的限制农尖，更多建議僅基于仿真析恋，而器件參數(shù)可以通過實驗或微磁學(xué)獲得；
  • 如圖2所示盛卡，交叉開關(guān)矩陣（crossbar）是一種十分方便用作矩陣相乘的器件助隧，其中自旋電子設(shè)備（如MTJ）可用于連接所有交叉點，然后利用MTJ的憶阻特性來模擬可調(diào)節(jié)的突觸權(quán)重；
  • 進行仿真以驗證這種基于crossbar的人工神經(jīng)網(wǎng)絡(luò)并村，該人工神經(jīng)網(wǎng)絡(luò)被用于對車牌號碼巍实，以及MNIST手寫數(shù)字進行識別

fig.2,（a）將矩陣乘以向量的設(shè)備草圖； （b）可以執(zhí)行乘法的交叉開關(guān)哩牍，其中連接點處的權(quán)重對應(yīng)于MTJ的電阻棚潦。

• 在更復(fù)雜的模擬計算中，通過磁突觸連接的crossbar來模擬SNN膝昆，其中STDP可以用于無監(jiān)督學(xué)習(xí)

  • 結(jié)合基于CMOS的LIF神經(jīng)元丸边，可以利用識別MNIST數(shù)據(jù)集中的手寫數(shù)字；
  • 然而荚孵，這些模擬尚未在實驗中進行檢驗妹窖，特別是對于各種訓(xùn)練算法與硬件突觸的適用性

• 近年來，一種特殊的神經(jīng)形態(tài)計算吸引了很多注意力骄呼，這種形態(tài)稱為水庫計算（reservoir computing），它一般于處理動態(tài)的信息判没；

  • 它通常在遞歸神經(jīng)網(wǎng)絡(luò)（RNN）中執(zhí)行（如圖三所示結(jié)構(gòu)）蜓萄，該神經(jīng)網(wǎng)絡(luò)具有稀疏且隨機連接的大量人工神經(jīng)元；
  • 由40個MTJ組成的RNN經(jīng)過訓(xùn)練可以生成和識別簡單的周期性函數(shù)绕德，每個神經(jīng)元都由單個MTJ實現(xiàn)耻蛇；
  • 一項系統(tǒng)研究表明臣咖，RNN對MTJ的相位噪聲和不完美的突觸具有魯棒性；
  • 或者酣胀，可以使用具有延遲反饋的單個非線性節(jié)點來實現(xiàn)RNN，從而顯著降低實驗中的技術(shù)難度甚脉；
  • 由于具有非線性動力學(xué)和記憶效應(yīng)牺氨，單個MTJ可以顯著改善語音識別猴凹；
  • 后來沼头，如微磁模擬所示歹篓，通過使用單磁Skyrmion的動態(tài)運動來實現(xiàn)圖像識別庄撮；
  • 由于其潛在的功能和技術(shù)簡單性毡庆，使用單個自旋電子設(shè)備的神經(jīng)形態(tài)計算的實現(xiàn)很可能很快會應(yīng)用于實際的認知任務(wù)么抗。

fig. 3