圖片來源：David Baillot/加州大學圣地亞哥分校
一組國際研究人員設計，制造和測試了NeurRRAM芯片。
NeuRRAM芯片是第一款展示各種AI應用的內存計算芯片，同時僅使用其他平臺消耗的一小部分能量，同時保持等效精度。
NeuRRAM是一種新芯片，可以直接在內存中運行計算，并且可以運行各種AI應用程序，由一個國際研究小組設計和構建。它與眾不同的是，它所做的這一切都只是通用AI計算平臺消耗的一小部分能量。
NeuRRAM神經形態芯片使AI更接近于在各種邊緣設備上運行，與云斷開連接。這意味著他們可以隨時隨地執行復雜的認知任務，而無需依賴與集中式服務器的網絡連接。該設備的應用遍布全球每個角落和我們生活的方方面面。它們的范圍從智能手表到VR頭顯，智能耳塞，工廠智能傳感器以及用于太空探索的漫游車。
NeuRRAM芯片的能效不僅是最先進的“內存計算”芯片（一種在內存中運行計算的創新型混合芯片）的兩倍，而且還提供與傳統數字芯片一樣準確的結果。傳統的AI平臺要笨重得多，并且通常僅限于使用在云中運行的大型數據服務器。
NeuRRAM芯片的特寫鏡頭。圖片來源：David Baillot/加州大學圣地亞哥分校
此外，NeuRRAM芯片具有高度通用性，支持許多不同的神經網絡模型和架構。因此，該芯片可用于許多不同的應用，包括圖像識別和重建以及語音識別。
“傳統觀點認為，內存計算的更高效率是以犧牲多功能性為代價的，但是我們的NeuRRAM芯片在不犧牲多功能性的同時獲得了效率，”該論文的第一位通訊作者，最近畢業于斯坦福大學的博士Weier Wan說，他在加州大學圣地亞哥分校期間從事芯片工作，在那里他得到了生物工程系的Gert Cauwenberghs的共同建議。
該研究小組由加州大學圣地亞哥分校（UCSD）的生物工程師共同領導，在8月17日的《自然》雜志上展示了他們的研究結果。
NeuRRAM芯片采用創新架構，在整個堆棧中進行了共同優化。圖片來源：David Baillot/加州大學圣地亞哥分校
目前，人工智能計算既耗電又計算成本高昂。邊緣設備上的大多數AI應用程序都涉及將數據從設備移動到云端，AI在那里處理和分析數據。然后將結果傳輸回設備。這是必要的，因為大多數邊緣設備都是電池供電的，因此只有有限的功率可以專用于計算。
通過降低邊緣AI推理所需的功耗，這種NeurRAM芯片可以帶來更強大，更智能，更易訪問的邊緣設備和更智能的制造。它還可能導致更好的數據隱私，因為將數據從設備傳輸到云端會帶來更高的安全風險。
在AI芯片上，將數據從內存移動到計算單元是一個主要瓶頸。
“這相當于每天工作兩小時，上下班八小時，”萬說。
為了解決這種數據傳輸問題，研究人員使用了所謂的電阻式隨機存取存儲器。這種類型的非易失性存儲器允許直接在存儲器中計算，而不是在單獨的計算單元中計算。RRAM和其他用作神經形態計算的突觸陣列的新興記憶技術是在斯坦福大學Wan的顧問，也是這項工作的主要貢獻者之一Philip Wong的實驗室中率先提出的。雖然使用RRAM芯片進行計算不一定是新的，但通常，它會導致芯片上執行的計算精度降低，并且芯片架構缺乏靈活性。
“自30多年前引入以來，內存計算一直是神經形態工程中的常見做法，”Cauwenberghs說。“NeuRRAM的新穎之處在于，對于各種AI應用，極高的效率現在與極大的靈活性相結合，與標準數字通用計算平臺相比，精度幾乎沒有損失。
精心設計的方法論是跨硬件和軟件抽象層的多層次“協同優化”工作的關鍵，從芯片的設計到運行各種AI任務的配置。此外，該團隊還確�？紤]從存儲設備物理場到電路和網絡架構的各種約束。
“這個芯片現在為我們提供了一個平臺，可以解決從設備和電路到算法的整個堆棧中的這些問題，”圣母大學計算機科學與工程助理教授Siddharth Joshi說，他作為博士生和博士后研究員在UCSD的Cauwenberghs實驗室開始從事該項目。
芯片性能
研究人員通過一種稱為能量延遲產物（EDP）的測量來測量芯片的能效。EDP 將每個操作消耗的能量與完成操作所需的時間相結合。通過這種措施，NeuRRAM芯片實現了比最先進的芯片低1.6至2.3倍的EDP（越低越好）和7至13倍的計算密度。
工程師在芯片上運行各種AI任務。它在手寫數字識別任務中實現了99%的準確率;85.7%用于圖像分類任務;和84.7%的谷歌語音命令識別任務。此外，該芯片還實現了圖像恢復任務中圖像重建誤差降低70%。這些結果與現有的數字芯片相當，這些芯片在相同的位精度下執行計算，但大大節省了能源。
研究人員指出，該論文的一個關鍵貢獻是，所有結果都是直接在硬件上獲得的。在以前的許多內存計算芯片作品中，AI基準測試結果通常部分通過軟件模擬獲得。
后續步驟包括改進架構和電路，并將設計擴展到更先進的技術節點。工程師們還計劃解決其他應用，例如尖峰神經網絡。
“我們可以在設備級別做得更好，改進電路設計以實現其他功能，并使用我們的動態NeuRRAM平臺解決各種應用，”匹茲堡大學助理教授Rajkumar Kubendran說，他在UCSD的Cauwenberghs研究小組攻讀博士學位時就開始了該項目的工作。
此外，Wan還是一家致力于將內存計算技術產品化的初創公司的創始成員。“作為一名研究人員和工程師，我的雄心壯志是將實驗室的研究創新帶入實際應用，”萬說。
新架構
NeuRRAM能效的關鍵是一種檢測內存中輸出的創新方法。傳統方法使用電壓作為輸入，并測量電流作為結果。但這導致需要更復雜、更耗電的電路。在NeurIRRAM中，該團隊設計了一個神經元電路，該電路可檢測電壓并以節能方式執行模數轉換。這種電壓模式檢測可以在單個計算周期內激活RRAM陣列的所有行和所有列，從而實現更高的并行度。
在NeurRRAM架構中，CMOS神經元電路與RRAM權重在物理上交錯。它與傳統設計不同，傳統設計中的CMOS電路通常位于RRAM砝碼的外圍。神經元與RRAM陣列的連接可以配置為神經元的輸入或輸出。這允許神經網絡在各種數據流方向上進行推理，而不會產生面積或功耗方面的開銷。這反過來又使體系結構更易于重新配置。
為了確保AI計算的準確性可以在各種神經網絡架構中保持，工程師開發了一套硬件算法協同優化技術。這些技術在各種神經網絡上得到了驗證，包括卷積神經網絡，長短期記憶和受限玻爾茲曼機。
作為神經形態AI芯片，NeuroRRAM在48個神經突觸內核上執行并行分布式處理。為了同時實現高通用性和高效率，NeuRRAM通過將神經網絡模型中的一層映射到多個內核上以對多個數據進行并行推理來支持數據并行性。此外，NeuRRAM通過將模型的不同層映射到不同的內核并以流水線方式執行推理來提供模型并行性。
國際化研究團隊
這項工作是國際研究團隊的結果。
UCSD團隊設計了CMOS電路，實現了與RRAM陣列接口的神經功能，以支持芯片架構中的突觸功能，從而實現高效率和多功能性。Wan與整個團隊密切合作，實施了設計;表征芯片;訓練人工智能模型;并執行實驗。Wan還開發了一個軟件工具鏈，將AI應用程序映射到芯片上。
RRAM突觸陣列及其工作條件在斯坦福大學進行了廣泛的表征和優化。
RRAM陣列由清華大學制造并集成到CMOS上。
Notre Dame的團隊為芯片的設計和架構以及隨后的機器學習模型設計和培訓做出了貢獻。
該研究始于賓夕法尼亞州立大學國家科學基金會資助的Expeditions in Computing項目，該項目涉及硅上視覺皮層，并得到了海軍研究科學辦公室人工智能計劃，半導體研究公司和DARPA JUMP計劃以及西部數字公司的持續資助。
