新智元報道
編輯：Joey 桃子
【新智元導讀】繼提出「深度學習撞墻」后，馬庫斯再發長文稱，僅靠深度學習并不能實現類人智能。
今年3月，Gary Marcus（加里馬庫斯）提出「深度學習撞墻」這個觀點后，在人工智能學界激起千層浪。
當時，就連深度學習三巨頭都坐不住了，先是Geoffrey Hinton在一期播客中駁斥了這個觀點。
緊接著6月，Yann LeCun撰寫了一篇文章對此作出了回應，并指出別把一時困難當撞墻。
現在，馬庫斯在美國NOEMA雜志發表了一篇題為「Deep Learning Alone Isn’t Getting Us To Human-Like AI」的文章。
同樣，他依舊沒有改變自己的觀點僅靠深度學習并不能實現類人智能。
并提出，當前人工智能主要集中在深度學習上的研究，是時候該重新考慮一下了。
近70年來，人工智能領域中最根本的爭論就是：人工智能系統是否應該建立在「符號操作」上 ，還是應該建立在類腦的「神經網絡」系統之上。
其實，這里還有第三種可能性：混合模型 將神經網絡的深度學習與符號操作的強大抽象能力相結合。
LeCun近期在NOEMA雜志發表的文章「What AI Can Tell Us About Intelligence」同樣探討了這個問題，但是馬庫斯指出他的文章看似清晰，但又有明顯缺陷，即前后邏輯矛盾。
這篇文章開頭，他們拒絕混合模型，但文章最后又承認混合模型的存在，并提到它是一種可能的前進方式。
神經網絡和符號操作的混合模型
馬庫斯指出，LeCun和Browning的觀點主要是「如果一個模型學會了符號操作，它就不是混合的」。
但機器學習的問題是一個發展的問題（系統是如何產生的？）
而系統一旦發展起來如何運作是一個計算問題（例如，它使用一種機制還是兩種機制？），即「任何利用了符號和神經網絡兩者的系統都是混合模型」。
也許他們真正想說的是，人工智能很可能是一種學習的混合體，而不是天生的混合體。但學習的混合體仍然是混合體。
而馬庫斯的觀點是，「符號操作本身就是與生俱來的，或者有另外一種東西是與生俱來的，這種東西間接促成了符號操作的產生」。
所以我們的研究重心應當放在如何發現這個間接促成符號操作的介質上。
即提出了假設，只要我們能弄清楚是什么介質讓系統達到可以學習符號抽象的程度，我們就能構建利用世界上所有知識的系統。
接下來，馬庫斯引經據典，梳理了人工智能領域關于符號操作和神經網絡辯論的歷史。
早期的人工智能先驅如Marvin Minsky、John McCarthy認為符號操作是唯一合理的前進方式。
而神經網絡先驅Frank Rosenblatt則認為，AI建立在神經節點疊加并處理數字輸入的結構上表現可能會更好。
事實上，這兩種可能性并不相互排斥。
AI所使用的神經網絡并不是字面上的生物神經元網絡，相反，它是一個簡化的數字模型，它具備一些人類大腦的特性，但復雜性很校
原則上，這些抽象符號可以以許多不同的方式連接起來，其中一些可以直接實現邏輯和符號操作。
Warren S. McCulloch 和 Walter Pitts在1943年發表的A Logical Calculus of the Ideas Inmanent in Nervous Activity，明確承認了這種可能性。
其他人包括1950 年代的 Frank Rosenblatt 和 1980 年代的 David Rumelhart 和 Jay McClelland，提出了神經網絡作為符號操作的替代方案。Geoffrey Hinton 也普遍支持這一立常
然后馬庫斯又接連把LeCun、Hinton和Yoshua Bengio等圖靈獎獲得者cue了個遍。
意思是光我說了不算，其他大佬都這么說的！
時間來到2015年，LeCun、Bengio和Hinton在Nature上寫了一篇關于深度學習的宣言式論文。
這篇文章以對符號的攻擊結束，認為「需要新的范式來通過對大向量的操作來取代基于規則的符號表達式操作」。
事實上，Hinton 非常確信符號是一條死胡同，同年他在斯坦福大學發表了一個名為「以太符號」的演講將符號比作科學史上最大的錯誤之一。
上世紀80年代，他的兩位前合作者 Rumelhart 和 McClelland 也提出了類似的論點，他們在 1986 年的一本著名著作中辯稱，符號不是「人類計算的本質」，引發了大辯論。
馬庫斯稱，2018年他寫了一篇文章為符號操作辯護時，LeCun不加解釋地否定了他關于混合AI的論點，在 Twitter上將其斥為「大部分錯誤的觀點」。
然后又說，兩位著名的深度學習領域的大牛也表示支持混合 AI。
Andrew Ng在3月表示支持此類系統。
Sepp HochreiterLSTMs 的共同創造者，領先的學習序列深度學習架構之一，也做了同樣的事情，他在四月公開表示，最有希望的廣泛人工智能方法是神經符號人工智能。
而在LeCun和Browning的新觀點里，符號操作實際上是至關重要的，正如馬庫斯和Steven Pinker從1988年開始提出的觀點。
馬庫斯也就由此指責Lecun，「你的觀點我幾十年前就提出了，你的研究倒退了幾十年」。
而且不只是我一個人說的，其他大佬也這么認為。
LeCun 和 Browning 的其余文章大致可以分為三個部分：
1、對我的立場的錯誤描述
2、努力縮小混合模型的范圍
3、符號操作可能是通過學習而不是與生俱來的原因。
接下來馬庫斯又針對LeCun論文中的觀點進行反駁：
LeCun和Browning說，「Marcus說，如果你一開始沒有符號操作，你就永遠不會擁有它」。
而事實上我在2001年的《代數思維》一書中明確承認，我們不確定符號操作是否是與生俱來的。
他們批評我「深度學習無法取得進一步進展」的言論，而我的實際觀點并不是DL在任何問題上都不會再有進展，而是深度學習本身對于組合性、推理等某些工作來說是錯誤的工具。
同樣，他們污蔑我說系統中符號推理要么有要么沒有（1或者0）。
這根本就是瞎說。
的確DALL-E不使用符號進行推理，但這并不意味著任何包含符號推理的系統都必須是有或者沒有。
至少早在上世紀70年代的系統MYCIN中，就有純粹的符號系統可以進行各種定量推理。
符號操作先天性
符號操作能力是否可以通過學習而不是從一開始就建立？
答案是肯定的。
馬庫斯稱，之前的實驗雖然不能保證符號操作的能力是與生俱來的，但幾乎與這一觀點別無二致。它們確實對任何依賴大量經驗的學習理論構成了挑戰。
并提出了以下2個主要的論點：
1、可學習性
在2001年出版的The Algepaic Mind一書中，馬庫斯展示了某些系統都能夠學習符號操作。
一個系統，如果有一些內置的起點，將比一塊純粹的白板更能有效地了解這個世界。
事實上，就連LeCun自己最著名的工作On Convolutional Neural Networks 就是一個很好的例證：對神經網絡學習方式的內置約束，從而大大提高了效率。很好地集成符號操作后，可能會帶來更大的收益。
2、人類嬰兒表現出一些符號操作的能力
在一系列經常被引用的規則學習實驗中，嬰兒們將抽象模式推廣到了他們所接受過訓練的具體例子之外。隨后對人類嬰兒內隱邏輯推理能力的研究更加證明了這一點。
另外，研究表明，比如蜜蜂可以以將太陽方位角函數推廣到它們從未見過的光照條件下。
在LeCun看來，學習符號等同于晚年獲得的東西，是因為年輕時候需要更精確、更專業的技能。
而令人費解的是，在反對符號操作的先天性后，LeCun并沒有給出強有力的證據，證明符號操作是后天習得的。
如果一只小山羊在出生后不久就可以爬下山坡，為什么新生的神經網絡不能開箱即用地結合一點符號操作呢？
同時，LeCun和Browning沒有具體說明，缺乏符號操作的內在機制，如何解決語言理解和推理中眾所周知的特定問題？
他們只是給出一個微弱的歸納：由于深度學習已經克服了從1到N的問題，我們應該對它能克服N+1問題有信心。
人們應該懷疑深度學習是否已經達到了極限。鑒于最近在DALL-E 2、Gato和PaLM中看到的任務持續增量改進，不要將一時困難誤認為是「墻」似乎是明智的。深度學習不可避免的失敗之前已經被預言過，但押注它是不值得的。
樂觀是一方面，但要看清現實。
深度學習原則上面臨著一些特定的挑戰，主要在組合性、系統性和語言理解方面，所有這些圍繞著一般化和「分布遷移」。
現在，每個人都認識到分布遷移是當前神經網絡的致命弱點。當然，深度學習已經取得了進展，但是在這些基礎問題上，進展并不大。
在馬庫斯看來，符號操作可能具有先天性的情況與以往的情況大致相同:
1、當前的系統，在「代數思維」出現的20年后，即使面對海量的數據集和訓練，仍然無法可靠地提取符號運算（例如乘法）。
2、人類嬰兒的例子表明，在接受正規教育之前，他們有能力概括自然語言和推理的復雜方面。
3、一點內在的象征意義可以大大提高學習效率。AlphaFold 2的強大功能部分來自于精心構建的分子生物學與生俱來的表征。
簡言之，世界可能大致分為三個垃圾箱:
一是在工廠完全安裝了符號操作設備的系統。
二是具有先天的學習裝置系統缺乏符號操作，但是在正確的數據和訓練環境下，有足夠的能力獲得它。
三是即使有足夠的訓練，也無法獲得完整的符號操作機制的系統。
當前的深度學習系統似乎屬于第三類：一開始沒有符號操作機制，并且在此過程中沒有可靠的符號操作機制。
當前，了解符號操作的來源是我們的首要任務。即便是神經網絡最狂熱的支持者現在也認識到符號操作對于實現AI的重要性。
而這正是神經符號學界一直關注的問題: ：如何讓數據驅動的學習和符號表示在一個單一的、更強大的智能中協調一致地工作？
參考資料：
https://www.noemamag.com/deep-learning-alone-isnt-getting-us-to-human-like-ai
