在深度學習框架領域,飛槳已經取得斐然成績,打破了谷歌、Meta的壟斷。
”
近日,斯坦福大學發布了《2022年AI指數報告》。這份長達190多頁的報告涵蓋研發、經濟、教育等各個方面的AI發展成果。
根據這份報告,2021年,中國AI專利申請量占全球總數的52%,專利申請數量居世界首位。但是,在授權專利數量上,仍然落后于美國。
這個結果并不意外,作為計算機科學的發源地,美國在AI領域始終獨樹一幟,其它國家難以望其項背。但中國的發足追趕也是不爭的事實。
在整體落后的背景下,中國AI如何實現趕超?是單點突破還是多點開花?是在商業落地領域突進還是在工程技術角度比拼,這些問題都有待探討。
不過,在深度學習框架/平臺這個基于底層創新,又服務于產業落地的交界領域,似乎給我們提供了一條中國AI如何趕超的良好視角。
1
是AI大國,但還不是AI強國
1956年,美國漢諾斯小鎮寧靜的一所大學內,包括諾貝爾經濟學家獎得主赫伯特西蒙在內的一眾知名科學家聚集一堂,召開了一場漫長的會議,討論一個在當時的人們看來天方夜譚的話題:用機器模仿人類學習以及其他方面的智能。
這就是后來廣為熟知的達特茅斯會議,這次會議時間足足長達兩個月,學者們卻仍然沒有達成共識,但為討論內容起了一個名字:人工智能(AI)。
時間過去66載,曾經討論的話題有許多可能已然成為現實,AI已經從邏輯推理、專家系統來到機器學習、深度學習的第三次發展浪潮,迎來發展的爆發期。
客觀的說,最早提出AI理論的美國在整個AI發展的全球化潮流中,在基礎技術創新、商業化落地等領域,依然獨占鰲頭,在學術研究、實踐應用等方面也均有著他國無可比擬的水平。
不過,中國也有獨特的優勢。
很多人都知道,AI研發的三要素是算法、算力和數據,但這只是技術意義上的要素。更重要的要素,其實來自于需求和場景,在這方面,中國有14億人口的龐大國內市嘗有不少世界級的超大規;ヂ摼W平臺、有大量來自傳統產業轉型升級的新基建需求,它們決定了除了美國之外,再沒有任何一個經濟體擁有與中國競爭成為AI創新的世界級策源地的底蘊,包括科技發達的歐盟。
的確,關于AI,我們有很多很好的政策,也有不錯的數據和成績。
比如,早在2016年,“人工智能”一詞就已經被寫入我國“十三五”規劃綱要。這之后,相關利好政策頻出,AI企業的發展隨之進入快車道,融資數量和金額都在快速增長。
例如,2016年以來,中國AI投資領域每年融資事件平均約1000 起。在過去的2021年,中國發生了1132起相關行業投融資事件,累計金額3996.4億元,較2020年增長51.44%,再創新高。
又比如,在AI最為核心的算力水平,中國的發展速度同樣不容忽視。有報告顯示,過去一年,各國算力評分均有提升,但中國增幅最大,以總分70分進入全球領跑者行列。
還有,中國可能是發表AI會議出版物數量最多的的國家,已經成為AI專利“賬面上”的全球第一。
但這不是我們盲目樂觀的理由。
AI畢竟是要通過應用才能發揮實際效能的。
而根據斯坦福大學發布的《2022年AI指數報告》,美國在授權專利數量上占全球總數的40%,排名世界第一。
這個數據的意義是,獲得專利授權才能“證明你的專利實際上是可信并且有用的”。這有點類似于出版物數量和被引用次數的情況。也就是說,中國的研究成果很多,但在真實落地上的影響力和美國仍存在一定的差距。
某種程度上,這當然是因為美國在AI以及整個計算機科學領域,有著不是一星半點的先發優勢。
但某種程度上,即使在美國,AI也是極少部分有前瞻精神的學者,在公眾普遍看不到AI潛力的情況下,堅持努力、篳路藍縷開創的結果,這種精神才是值得我們學習的。
回顧歷史,深度學習的發展實際上經歷了從邊緣化課題走向主流技術的路徑。“教父”級人物杰弗里辛頓對神經網絡的探索最早可以追溯到上世紀80年代初期,當時的AI不僅是邊緣,還是低谷。但正是少數人的努力,比如像辛頓這樣,將神經網絡帶入到研究與應用的熱潮,將“深度學習”從邊緣課題變成了谷歌等互聯網巨頭仰賴的核心技術,使人工智能發展到今天這般炙手可熱。
更值得一提的是,辛頓早在2013年就意識到企業可能比學校能提供更好的AI研究場景和數據、算力,于是他在2013年進入谷歌,由此推動了一系列AI技術的產品化。
但是,對于矢志成為人工智能全球中心的中國來說,追趕也同時開始了。
2
為什么是深度學習框架?
從表面上看,2015年-2016年是AI技術走進公眾認知的一個分水嶺。
2015年的年尾,谷歌對外發布了迄今為止仍然占據深度學習主流框架位置的TensorFlow,其支撐的AlphaGo在2016年3月的人機大戰中以4:1戰勝世界圍棋冠軍李世石。深度學習的概念由此開始被越來越多的“外行人”知曉,更新迭代也日新月異。
杰弗里辛頓曾在一次演講中講道:“深度學習以前之所以不成功是因為缺乏三個必要前提:足夠多的數據、足夠強大的計算能力和設定好初始化權重”。而現在,這些困難正在被逐漸抹平。
業界有一句名言是,搜索引擎是現有的最大的人工智能項目。這一點,在中美兩國都得到了確證。
早在2011年,谷歌已經通過Google Brain(谷歌大腦)內部孵化了一個叫做DistBelief的項目。隨后,包括杰弗里辛頓在內的大批科學家、工程師對其進行改造,才有了后來聲名鵲起的TensorFlow。
無獨有偶,在中國產業界,最早孕育出人工智能特別是深度學習框架的,也是搜索引擎公司。
在現有的記錄中,百度自發應用人工智能技術最早可以追溯到2006年,深度學習這一波強勢崛起后,百度也是國內最早能夠“看到”深度學習技術及應用的潛力的,某種程度上,百度同樣屬于早期的深度學習開拓者之一。例如,2013年,百度率先建立全球首個專注深度學習研究的深度學習研究院。
這里要重點講一下的是,為什么百度在AI研發中,逐步選擇了深度學習框架/平臺作為核心突破口。
事實上,百度最早的應用人工智能,并不完全是自上而下的,相反有某種自下而上的趨勢,人工智能猶如火種,在百度的不同體系、架構、產品中,逐漸出現了不同層次的應用。
可以說,深度學習框架是絕大多數人使用人工智能的起點,再往前則是通過手工搭建模型,這是屬于部分科學家和高級工程技術人員的專利,它們太難也無法推廣。
當時百度的內部,不僅在使用不同來源的早期深度學習框架,甚至是不同部門都開始了自行研究深度學習框架。
“研發隨著業務走”也是一種常態。但深度學習的星火燎原,引發了百度高層的關注。
在超大型互聯網平臺中,不同業務、不同部門使用不同的技術底座是很常見的事情,部門墻也是很難穿透的。但百度這次做了一個決定,要把深度學習的技術底座統一到一個框架中來,實現集中資源重點突破。
為此,百度梳理了各個部門的需求,從某種程度上來說,這些部門的需求其實就代表著當時中國產業界對AI應用需求的最高水平,而匯集并設計一個可以包容這些需求的框架,則可以解決許許多多個企業、行業降低AI應用門檻的問題。
相較于很多出自高校、歷史久遠、演變曲折的框架,飛槳一開始就奠定了“產業級”深度學習框架的基矗
基于已有的技術積累,百度在2016年正式對外開源PaddlePaddle框架;而三年后的2019年4月,PaddlePaddle正式發布中文名飛槳。
而在美國,2018年時,在GitHub的活躍度、Google上的搜索量、知名科技媒體Medium上的文章數量以及arXiv上的論文數量,TensorFlow所占比重都是最多的。
同年,也是2018年,Caffe2代碼并入PyTorch ,Facebook主力支持的兩大深度學習框架合二為一,PyTorch的發展駛入快車道,如今,PyTorch已經在學術論文圈形成了絕對的優勢。據統計,在Hugging Face上有85%的模型是PyTorch獨家的。
百度在觀察到這兩大世界級框架的各自長短板后,毅然做出了一個重要的決定。
3
為什么是PPT?
飛槳能夠成為Pytorch和TensorFlow之外的世界深度學習框架第三極,真正的彎道超車來自一個重大的決定。
美國的兩大框架一個在學術圈受歡迎,一個在產業界受歡迎,而飛槳要形成差異化致勝,并盡可能把學術界和產業界的精銳集中到一個生態中來,唯有走一條不同的路從單純的產業級框架,變成一個打通產業界和學術界藩籬的通用型框架,它既是產業級的,也同樣要是學術界深度歡迎和擁抱的。
為了一切從實際出發,飛槳研發人員經常深入到QQ群接受開發者反饋的問題,及時予以解決。這種把開發者需求放在首位的低姿態,既幫助飛槳獲得了不少開發人員的擁躉,也促進了飛槳的快速發展。截至2021年底,飛槳PaddlePaddle已經匯聚406萬開發者,創建了47.6萬個模型,服務15.7萬家企業。
從市場份額看,IDC發布的報告顯示,在中國深度學習平臺市場,2021年上半年,百度的綜合份額持續增長,已經超過Google和Meta(Facebook),躍居第一。
《2021中國開源年度報告》也提到,2021年GitHub中國項目活躍度Top30中,飛槳占據5個項目,其中飛槳框架位列榜首。
這使得我國AI技術開發者和使用者不再依賴于國外平臺,同時也為進一步培育自主可控的AI開發應用生態奠定了扎實的基礎,更是中國在計算機科學的基礎領域非常突出的世界級成就。
至此,飛槳PaddlePaddle、PyTorch、TensorFlow形成三強鼎立局面,深度學習框架步入“PPT”時代。
但這并不是故事的終點。
隨著深度學習的理論研究日趨成熟和深度學習框架的快速迭代,AI技術的應用和普及進入加速期,但在具體實踐應用過程中仍存在許多痛點。
比如,人工智能模型的生產成本仍然很高,而在企業實際應用中也存在適配等各種疑難雜癥。就此,飛槳在模型庫中為開發者提供了一套全流程指導。從前期適配到后期運行,飛槳都提供了相應方案。
具體而言,在前期數據處理、模型選擇時,飛槳能夠通過自己的方式幫助企業選擇一個合適的場景。在此之后,飛槳還會對部署芯片的效率進行跟蹤,在出現準確率不高等問題時快速提供反饋指導。
換句話說,這套指導不僅僅是一個學術界的算法,而是真正根據行業需求所梳理設計的環節。
此外,由于某些行業的特殊要求,如零件質檢對速度要求非常高,有限的算力很難同時在速度和精度上達到極致。為此,針對這些痛點,飛槳通過對算法模型的優化設計了PP系列模型, 實現精度和性能兩者間的平衡。
截至2021年,飛槳已經發布13個PP系列模型,官方提供的算法模型庫更是已經超過500個。在訓練這些模型過程中,飛槳總結了自己的一套方法論,在一定程度上,加快了訓練速度。
百度AI技術生態總經理馬艷軍告訴雷峰網,深度學習框架要解決的一個長期研發問題就是提升訓練效果。為此,飛槳做了很多工作去提升訓練性能。
據馬艷軍介紹,訓練性能主要包括兩個層面,一是跟訓練芯片間的聯合優化,充分發揮硬件本身的算力;二是針對深度框架本身執行調度的優化。同時也結合模型設計進行全鏈路優化,最終實現提高訓練速度的目的。
可以說,從始至終,飛槳在每一個步驟的設計、優化上都為保障后期訓練速度提供了助力。
經過努力,飛槳大約70%的模型訓練速度已經快于業界最快水準。這些模型主要包括兩類:一是通用模型,比如芯片適配是在所有地方都會應用到的。二是基于飛槳視角,所發現的需求量大的應用場景。例如,圖像分類在物流、電商等場景應用非常普遍。
飛槳在發揮硬件算力性能上也幾乎發揮到了極致,得到了包括英特爾、英偉達、ARM等諸多芯片廠商的支持,同22家國內外硬件廠商完成了31種芯片的適配和聯合優化工作。值得一提的是,不少硬件廠商還主動在開源社區為飛槳貢獻代碼。
像英偉達這樣的深度適配芯片,飛槳更可以將其所能用的算力充分發揮出來。
在深度學習框架領域,飛槳已經取得斐然成績,打破了谷歌、Meta的壟斷,成為中國深度學習平臺名副其實的行業第一。
當然,不可否認,到目前為止,深度學習框架適配仍較為復雜,有些行業的低頻長尾問題尚不能通過AI得以解決。但這正是飛槳一直在努力解決的問題,而且也的確已經小有成績。
馬艷軍坦言,“盡管深度學習框架屬于高投入、長周期、搶生態的競爭,但已經得到國家和企業的戰略性支持,是開啟下一個AI時代的鑰匙。”
人工智能的下一個十年,飛槳以及中國AI將書寫怎樣的傳奇,我們不妨拭目以待。
版權申明:凡本公眾號內容注明【原創】的,內容版權歸本作者所有,未標注【原創】的圖片與文字內容均轉載自網絡,版權歸原創者所有,圖片和文字如有侵權煩請告知我們,我們會立即刪除。謝謝!