思元370采用了寒武紀最新智能芯片架構MLUarch03,是寒武紀第一款采用chiplet技術的AI芯片,也是國內第一顆支持LPDDR5內存的云端AI芯片,集成了390億個晶體管,基于7nm工藝制造。寒武紀表示,思元370的最大算力達256 TOPS(INT8),是第二代產品思元270算力的2倍,同時內存帶寬是上一代產品的3倍,訪存能效達GDDR6的1.5倍。
據寒武紀介紹,chiplet技術使得2顆AI計算芯?梢苑庋b在一起,為客戶提供更多樣化的產品,以適應不同的應用場景。思元370的MLUarch03芯片架構采用了新一代計算單元,運算能力有了大幅度提升,將業內首個基于MLIR圖編譯技術并商業部署的推理引擎MagicMind引入,使得新芯片變得更有競爭力。同時思元370內置了安全模塊,支持國內外主流加密標準,全新視頻圖像編解碼單元可支持132路1080p視頻解碼或10路8K視頻解碼。
此外,升級后的CampiconNeuware軟件棧整合了訓練和推理的全部底層軟件棧,包括底層驅動、運行時庫、算子庫以及工具鏈等,將MagicMind和深度學習框架Tensorflow,Pytorch深度融合,實現訓推一體。
MLU370-S4是采用半高半長規格的加速卡,功耗為75W,而MLU370-X4則采用全高全長的加速卡,功耗為150W,兩款產品可滿足不同的用戶群體需要。寒武紀表示,未來會發布更多搭載思元370的產品。據了解,推訓一體的思元370是在2020年第三季度流片,相關加速卡是在2021年第二季度送達測試客戶,目前進入早期銷售階段。