2017年6月，谷歌的8位AI研究員發表了一篇名爲 《Attention Is All You Need》 的論文，提出了 Transformer 架構。
Transformer就是ChatGPT裏的“T”，大公司的大模型、各種各樣的AI Agent、自動駕駛的算法、幾乎所有人工智能的創造，底座都是Transformer。
不誇張地說，Transformer誕生的那一刻，人工智能的歷史進程驟然加速。
《Attention Is All You Need》的8位作者
然而，這篇開山之作發表時，論文的8位作者、他們供職的谷歌、全球高科技公司都遠遠低估了Transformer的革命性。對它最準確的評價來自《連線》雜誌[1]： 一個不是祕密的祕密武器。
當時，社會公衆對人工智能的想象還集中在下圍棋的AlphaGo。論文發表一個月前，AlphaGo在烏鎮3:0橫掃圍棋選手柯潔，直觀塑造了社會公衆對AI的認知。
這似乎解釋了爲什麼最不該低估Transformer的谷歌，會大大低估論文的重要性：
AlphaGo的發明者 DeepMind 在2014年被谷歌收購，擊敗柯潔同期，DeepMind發佈新版 AlphaGo Zero ，以100:0吊打AlphaGo。另一個大項目 AlphaFold（蛋白質摺疊預測） 也在緊鑼密鼓推進，創始人 Demis Hassabis 憑藉該項目，拿到2024年諾貝爾化學獎。
而Transformer論文作者來自谷歌另一個AI研究部門 Google Brain 和 Google Research 團隊。在DeepMind看來，自己在倫敦解決複雜的科學難題，Google Brain在美國做翻譯軟件，高下立判。
谷歌管理層對Transformer也談不上重視。2018年，谷歌基於Transformer架構推出BERT模型，用來優化谷歌搜索，完全沒意識到人工智能的核武器握在自己手裏。
AlphaGo也迷惑了馬斯克，作爲OpenAI的重要金主，馬斯克覺得他們進展太慢，完全打不過谷歌和DeepMind，提出將OpenAI併入特斯拉，自己親自掛帥指揮，被創始人 Sam Altman 拒絕。
隨後，馬斯克完全退出OpenAI，反手挖走了創始成員 Andrej Karpathy ，擔任特斯拉自動駕駛總監。
英偉達的遭遇更富戲劇性：2017年5月，英偉達推出了搭載Tensor Core（張量核心）的V100 GPU。黃仁勳大概率沒想到，這種設計可以說是爲一個月後誕生的Transformer量身定製。
唯一對Transformer革命性有着清醒認知的是 OpenAI ，技術骨幹 Ilya Sutskever 認爲，Transformer解決了之前種種技術方案力有未逮之處，堅決砍掉了很多看似有趣但毫無前景的研究，將所有資源集中在一個項目上： 訓練 GPT 模型 。
到了2022年，OpenAI已經開始訓練 GPT-4 模型，團隊希望在模型發佈前開發一款聊天機器人，觀測人類對AI的反饋，指引後續研究，並由創始人Sam Altman在推特上發佈：
我們做了一個叫 ChatGPT 的東西，大家來試試吧。
ChatGPT上線5天突破100萬用戶，兩個月突破1億，打破了TikTok創造的互聯網產品最快增長紀錄，一場新的工業革命拉開了大幕。
從2017年《Attention Is All You Need》發表到2022年ChatGPT發佈，醞釀五年的風暴漸行漸近，世界在一聲驚雷中被永久改變。
直到今天，人類似乎都沒做好準備。
2012：最後一個冬天
人工智能的終極目標是讓機器擁有人類的各種能力，這就需要模擬人類的各種感知與認知能力。其中， 計算機視覺 （ CV ） 和 自然語言處理 （ NLP ） 是最核心的兩個研究領域。
2012年，多倫多大學教授 傑夫·辛頓（Geoffrey Hinton） 帶着兩個學生 Ilya Sutskever 和 Alex Krizhevsky 參加當年的ImageNet圖像識別比賽，以84%的準確率奪得冠軍，人工智能產業化開始爆發。
辛頓團隊主攻計算機視覺，採用了名叫 卷積神經網絡 （CNN ） 的算法。其運作原理是讓“卷積核”在圖片上滑動，提取輪廓、邊緣和紋理，配合並行計算，識別效率很高。
這其實是對人腦的一種模擬：大腦會不斷抽象瞳孔攝入的像素，因此 人類不需要看到整體，根據一些特徵就能判別物體。
比如下圖並未展示整隻鴨子，但絕大部分人都不會把它認成老鼠或其他生物：
CNN的高效率配合GPU的大算力，讓計算機視覺的產業化空間迅速打開，智慧停車、快遞分揀、人臉識別等應用迅速落地，資本投資熱情空間高漲。
辛頓教授憑藉這一貢獻獲得2024年諾貝爾物理學獎；Alex Krizhevsky在谷歌幹了幾年，逐漸淡出產業界；Ilya Sutskever活躍至今，參與了OpenAI的創辦，是GPT系列模型的核心骨幹。
計算機視覺夜夜笙歌，隔壁的自然語言處理卻在苦苦掙扎。
原因在於，圖像是“連續”的，就像一套拼圖，每片拼圖之間都存在“關聯”，組合成完整圖像。同時，計算機視覺主要處理“感知”問題，無論是識別貓狗還是識別車牌，答案是客觀的。準確率不高，也可以通過人工彌補。
而語言是“離散”的，字詞之間的關聯是抽象的語法和邏輯，沒法像拼圖一樣“串聯”。換句話說，自然語言處理難就難在它的“自然”：它是日常生活中非結構化的口語，而非標準的財務指標或編程語言。
同時，語言識別更接近“認知”問題，不僅要識別文字和發音，還要弄懂其中含義。
當時，NLP領域的主流算法是 循環神經網絡 （ RNN ） ，一是需要一個字一個字按順序看，計算效率極低；二是一旦文本量太大，算法讀到後面就會忘記前面，這種現象被稱爲“長距離依賴”。
這也是Siri等很多語音助手讓人覺得智商不高的原因： RNN 無法真正理解長文本抽象的邏輯，高度依賴人工編寫規則。
比起計算機視覺的商業化前景，NLP顯然是投資機構的座下賓，跟當年的PPT造車比地位，也只能說是險勝。
這也解釋了Transformer爲何被業界集體低估：8位作者只想拿它來優化翻譯效率，在BLEU（機器翻譯準確度測試）上刷刷榜。
如果翻看《Attention Is All You Need》論文原文，實驗部分展示的成果幾乎全是雙語翻譯的屠榜記錄，完全沒想過AGI的東西。
這也不難理解，鈾元素被發現後的150多年裏，沒有人把它和原子彈聯繫起來。
2017：Attention
2016年AlphaGo戰勝李世石，嚇醒了全世界的科技公司。同期，谷歌內部正被翻譯產品折磨的死去活來。
當時，谷歌針對機器翻譯推出了 GNMT （Google Neural Machine Translation）系統，基於業內主流的RNN（LSTM）方案，谷歌在GNMT中引入了一個名爲“ Attention（注意力） ”的機制。
簡單來說，Attention的作用是解決RNN“讀到後面忘記前面”的問題：它可以讓算法識別長段落時，動態關注段落的不同部分，時不時看兩眼前面的詞，爲不同的詞分配不同的權重，讓翻譯變準確。
GNMT承襲了Attention的理論思想，併爲每天數十億真實的翻譯任務做了大量工程優化。但RNN順序計算的特點，導致計算效率非常低。
Transformer誕生的動機是提高計算效率，作者之一的 Jakob Uszkoreit 提出，既然Attention這麼好，爲什麼還要用RNN呢？這就是論文標題表達的含義： Attention Is All You Need。
基於這種思路，Transformer拋棄RNN，引入 自注意力機制（Self-Attention） 。簡單來說，一段文本中的每一個詞都會和其他詞瞅一眼，動態判斷每個詞的權重，決定重點關注哪個詞。
由於任意距離的兩個詞都可以互相關聯，“讀到後面忘記前面”的問題被解決，但這也讓算法無法識別詞的先後順序。因此，Transformer用 位置編碼 給每個詞打上座標，還原原始語序。
同時，在Transformer的框架下，所有詞同時進入矩陣並行計算，配合 多頭注意力 （Multi-Head Attention，多個Attention模塊同時計算），特別適合GPU計算，效率指數級提高。
論文一經發布，立刻在自然語言處理領域引發轟動，帶動了2018年後產業界的創新浪潮。
2018年初，華盛頓大學發佈了一個 ELMo 模型，研究人員先讓模型閱讀大量無標註文本，自己慢慢琢磨語言規律，再執行具體任務，效果不錯。這種思路被稱爲“ 預訓練 ”。
ELMo證明了預訓練的思想行得通，讓算法對人工標註的依賴大幅降低，極大緩解了“有多少人工，就有多少智能”的問題。但ELMo沿用了RNN架構，計算效率很低。
2018年10月，谷歌基於Transformer和預訓練推出 BERT 模型，刷新了NLP領域主要基準測試的全部記錄。在斯坦福大學的SQuAD1.1測試中，BERT全面超越人類表現。
有BERT的帶頭表率作用，Meta用更多數據訓練出了RoBERTa，微軟亞洲研究院搞出了MT-DNN，百度在2019年3月發佈ERNIE（後來的文心一言），在中文任務上超過了BERT。
谷歌的管理層也意識到了BERT巨大的商業價值，2019年10月，谷歌宣佈在英語搜索中全面啓用BERT，第一時間賦能業務，配合自研TPU計算集羣，一個人工智能產業帝國冉冉升起。
但後來發生的事情我們都知道：OpenAI谷歌發明的武器打垮了谷歌。
2018：力大磚飛
BERT誕生的原因之一，是谷歌與OpenAI的技術理念分歧。
Transformer問世後，第一個動手的其實是OpenAI。2018年6月，OpenAI發佈了GPT-1模型。其中GPT指是的Generative Pre-trained Transformer。
這個只有1.17億參數的模型，完整呈現了技術骨幹 Ilya Sutskever 的技術理念。
通俗來說，OpenAI的思路是 “ 生成式”：給算法輸入足夠多的數據，讓它不斷預測下一個詞，算法就能在這個過程中理解事物的規律。
2023年的英偉達GTC，已經謝頂的Ilya Sutskever在與黃仁勳的對話中解釋過這種“智能就是壓縮”的概念：
表面上看，算法只是學習文本在統計學層面的相關性，但這些文本實際上是這個世界的映射。算法爲了預測的足夠準，就會學習這些文本背後真實世界的規律和機制。
2023年GTC，黃仁勳對談Ilya Sutskever
2017年4月，Transformer誕生兩個月前，OpenAI在一篇論文[12]中公開了一項研究成果：
給算法投餵8200萬條亞馬遜評論組成的語料庫，讓算法預測一段文本中的下一個字符，算法內部自行生成了一個情感神經元（Sentiment Neuron），用來判斷評論是正面還是負面。
也就是說，OpenAI沒有告訴算法什麼是“正面”和“負面”，但算法爲了預測下一個字符，自己進化出了判斷感情色彩的能力。
但這項研究當時並未得到足夠重視，產業界的主流觀點是，靠文字接龍游戲搞AI屬於民科，正經的學者不會湊這個熱鬧。
與OpenAI對應，谷歌的思路是“判別式”：在BERT之父 Jacob Devlin 看來，GPT-1根據前文預測後文不符合人類的直覺，因爲人類通過上下文來理解文本背後的抽象含義，AI也應該這麼做。
用不太嚴謹但通俗的類比，谷歌認爲AI應該先學通識，再做幾萬套真題鍛鍊；OpenAI認爲真正的天才不需要老師，但當時的GPT-1參數量有限，算法難免滿嘴跑火車，被BERT在各項測試中打的頭破血流。
谷歌發佈BERT的論文[13]中，Jacob Devlin點名批評了GPT-1的技術思路。認爲GPT-1的思路與人類認知相悖，在特定任務中是“有害的（harmful）”。
順帶一提，Jacob Devlin的經歷也很有意思：ChatGPT上線後，爲了快速追上OpenAI，谷歌內部用ChatGPT訓練自家模型，觸發了Jacob Devlin的技術潔癖。大哥一不做二不休，直接跳槽去了OpenAI，結果在新東家幹了三個月，又回到了谷歌[8]。
面對BERT壓倒式的優勢，OpenAI認爲自己的技術路線沒有問題，只是模型參數不夠多，訓練算力不夠大。只要用更強的算力訓練參數量更大的模型，就會產生質變，即 湧現 。
這種思路就是今天的產業界司空見慣的一個詞： Scaling Laws。
2020：舊金山的弗蘭肯斯坦
Scaling Laws是人工智能領域的摩爾定律，即參數量、數據量、計算資源越大，模型能力會對應提升。
Transformer之前的深度學習時代，很多學者就意識到了Scaling Law的存在，但第一個對其進行系統性闡釋的其實是 百度 。
2017年，百度硅谷AI實驗室在論文中展示了模型參數和算力大小對模型的促進作用。Anthropic創始人 Dario Amodei 後來也在播客中回憶，2014年自己和吳恩達在百度工作時，就察覺到了Scaling Laws的特徵。
Dario Amodei沒在百度幹多久就去了OpenAI，結果和創始人Sam Altman反目成仇，隨後離職創辦了OpenAI的最大競爭對手Anthropic。
今年印度AI峯會，Sam Altman和Dario Amodei拒絕手拉手
百度雖然“發現”了Scaling Laws，但未做更多工程探索。很長時間裏，產業界都將Scaling Laws的起點放在OpenAI的奠基性論文《Scaling Laws for Neural Language Models》上。
這篇著名的論文，爲大名鼎鼎的 GPT-3 模型提供了關鍵的理論基礎。
2020年6月，OpenAI發佈了GPT-3模型，架構和GPT-2大差不差（引入了稀疏注意力）。但拿了微軟10億美元投資後，財大氣粗的OpenAI把互聯網上的語料洗劫一空，模型參數量膨脹到1750億，是GPT-2的116倍。
模型發佈同時，OpenAI藉助測試申請，向特定人羣開放了API接口，立刻引發小範圍轟動。
參與測試的人發現，GPT-3不僅能生成文本，也能寫文檔摘要、回答問題，甚至自己寫代碼。《衛報》就用GPT-3搓了一篇文章：
在備註中，編輯表示GPT-3生成了8個版本，最終的刊發版本經由編輯“潤色”
文中提到的Liam Porr是加州大學伯克利分校的一名學生，他用GPT-3生成的文章被兩萬多人閱讀，只有一個人指出文章是AI寫的[25]
而對硅谷的大公司來說，GPT-3無疑是劃過總部上空的斯普特尼克1號。
OpenAI證明了Scaling Laws的可行性。決定模型性能的關鍵變成了算力和參數規模，技術路線的交鋒迅速被整齊劃一的算力恐慌取代。
微軟發現自己撿了大漏，自然樂開了花，一邊興高采烈宣佈自己拿到了GPT-3的排他性授權，一邊用這個樣板工程給自家雲服務打廣告[21]。
另一個夢中笑醒的公司是英偉達。GPT-3原版論文中，OpenAI只是含糊的提了一句，模型訓練用了“微軟的V100 GPU”。但微軟自己沒憋住，在通稿中[22]大吹特吹由一萬張V100 GPU構建的超算，實際上是在給英偉達打廣告。
2016年，黃仁勳親自上門向OpenAI贈送英偉達DGX-1超算，當時馬斯克還沒和Sam Altman鬧掰
至於其他公司，幾乎都在第一時間加入了競爭：
大受刺激的谷歌設計了一個名叫Switch Transformer的簡化稀疏架構，可以將模型參數擴展到1.6萬億。Meta也是急火攻心，指責OpenAI違背極客精神，做了個同爲1750億參數的模型，但開源且“民主化（Democratizing）”。
作爲微軟在雲計算的競爭對手，錯失OpenAI的亞馬遜投資了全球最大的開源AI社區 Hugging Face 。特斯拉一邊造車一邊掏出了D1芯片和Dojo超算。百度在2022年1月推出ERNIE 3.0 Titan，參數量飆升至2600億。
客觀來說，GPT-3不算完美，除了嚴重幻覺導致夢見啥說啥，AI也全盤吸收了人類所有的價值取向，時不時爲種族歧視和恐怖主義大唱讚歌。加上GPT-3的測試範圍非常有限，並未被社會公衆廣泛關注。
但產業界振奮的是，技術迷霧被Scaling Laws的暴力工程吹散，大家紛紛拎起鏟子開挖護城河：
特斯拉忙裏偷閒進軍機器人，蘋果對着自動駕駛躍躍欲試，谷歌建設了壯觀的TPU算力集羣，英偉手握牢不可破的CUDA生態，百度爲中國AI產業輸送了大量人才。
經歷一個又一個寒冬，人工智能的終極理想似乎只差臨門一腳。套用丘吉爾的話說： “這不是結束，甚至不是結束的開始，可能只是開始的結束。”
2022：風暴前夕
GPT-3發佈後，Dario Amodei與創始人Sam Altman徹底分道揚鑣，從公司帶走了幾位研究員創辦了Anthropic。兩人的決裂，很大程度上源於微軟的投資。
對人工智能的擔憂幾乎與這門學科的歷史一樣長，作爲研究副總裁，Dario Amodei認爲如果只給模型瘋狂堆參數，而不引入人類的道德和價值觀，無異於隨時會失控的核彈。
Sam Altman是公司的掌舵者，必須四處畫餅化緣，找人報銷龐大的算力開支，只能在安全與商業化上找平衡區間。
科學所到之處，資本總是如影隨形。2019年，OpenAI窮的揭不開鍋，爲了拿微軟的錢，OpenAI成立了一家有限盈利公司。同時，協議規定OpenAI必須使用微軟的雲服務[28]。
就像當年列寧和羅莎·盧森堡的論戰，Dario Amodei認爲拿了微軟的錢，安全就必須屈從於商業化；Sam Altman的邏輯是，沒有微軟的錢，模型都做不出來，安全更是空談。
隨着GPT-3的發佈，Dario Amodei擔憂的安全問題逐漸具體。
GPT-3是Scaling Laws的奇蹟，也是個毫無是非觀念的機器。OpenAI在訓練過程中把互聯網上的語料洗劫一空，自然也沒放過暴力、色情和種族歧視內容。
爲了解決這個問題，2022年1月，OpenAI發佈了一個名爲 InstructGPT 的模型。相比GPT-3，InstructGPT通過 RLHF （人類反饋 強化學習 ） ，大量剝離了色情暴力等有害內容，讓模型更貼近人類的價值觀，即所謂 “對齊（AI Alignment）” 。
RLHF聽上去高大上，但底子還是能工智人：爲了不讓模型頻繁爆典，OpenAI讓一羣人類當道德裁判，給模型輸出的內容打分排序。模型在人類監督下自我訓練，逐漸向人類的道德品格靠攏。
OpenAI把當裁判這個任務交給了一家名叫 Sama 的肯尼亞外包公司。硅谷精英侃侃而談的“對齊”，似乎也離不開古典的全球分工。
按照《時代週刊》的獨家報道[30]，2021年，OpenAI和Sama簽了20萬美元的合同，外包工人實發時薪爲1.32美元到2美元，工作內容就是瀏覽大量極端內容，怎麼勁大怎麼來，標註完成後反饋給模型訓練。
Sama位於肯尼亞的辦公室
雖然OpenAI承諾提供心理健康諮詢，但外包員工工作太充實，基本沒時間諮詢。2022年2月，OpenAI又要求Sama蒐集“性和暴力圖像”[30]，後者認爲甲方玩的有點大，導致雙方合作破裂。
但此時，OpenAI已經拿到足夠多的人類標註數據。綠色健康講文明的InstructGPT發佈，爲ChatGPT的誕生鋪平了道路。
Sam Altman的說法是，團隊正在開發的GPT-4過於強大，如果直接發佈，人類社會接受不了。因此可以先做一個聊天機器人，看看公衆的反應，積累的數據也可以用於後續模型的改進。
《紐約時報》則提供了另一種說法[31]：OpenAI擔心競爭對手（可能是Anthropic）先於自己發佈聊天機器人，因此提前動手，緊急啓動ChatGPT的開發。
無論如何，OpenAI內部沒有一個人預料到ChatGPT席捲的風暴，畢竟大家只是把它視爲用來測試的技術預覽產品。而外界眼中如魔法一般的生成能力，也是工程師們過去多年研究生涯的日常。
ChatGPT這個名字直到上線前一天才確定，代替原本的“Chat with GPT-3.5”。Ilya Sutskever在前一晚問了它十個刁鑽問題，只有一半回答準確[35]。
就這樣，他們結束了一天的工作，隨手按下了人工智能的核按鈕。
尾聲
這場風暴由一篇標題不太正經的論文醞釀，在一個粗糙的套殼產品上爆發。時間線被一次次改寫的時候，那些正在創造歷史的人似乎毫不知情，甚至不知道自己身在現場。
這其實是科學史上的常態。我們今天感嘆那些改變世界的璀璨羣星，似乎他們的成功是因爲看見了遠方的目標，然後一步步抵達了終點。但更真實的歷史是，他們只是相信腳下的道路，然後一步步發現了遠方。
在那扇被打開的大門背後，歷史前進的信號清晰又具體，人工智能勾勒的福祉尚且遙遠，被甩下列車的焦慮和恐慌卻迅速蔓延。
人類離真正的通用人工智能從未如此接近，但學術層面的理念分歧、技術領域的道德交鋒、資本市場的利益博弈，和以理念與道德爲名的利益博弈似乎又在證明，在某些方面，人工智能永遠替代不了人類。
總之，一段技術與夢想的冒險結束了，一個進步與失控的時代開始了。
全文完，感謝您的耐心閱讀。
參考資料
[1] 8 Google Employees Invented Modern AI. Here's the Inside Story，Wired
[2] Sakana AI's CTO says he's 'absolutely sick' of transformers, the tech that powers every major AI model，venturebeat
[3] 專訪 | 谷歌神經網絡翻譯系統發佈後，我們和Google Brain的工程師聊了聊，機器之心
[4] 專訪“AI教父”本吉奧：袒露恐懼與遺憾，指出可能更安全之路，騰訊科技
[5] 被忽略的起點？Karpathy揭祕最初的注意力論文被Transformer光芒掩蓋的故事，機器之心
[6] 全面超越人類！Google稱霸SQuAD，BERT橫掃11大NLP測試，量子位
[7] 谷歌搜索近5年來最大變化，使用BERT算法改進10％搜索結果，新智元
[8] AI Boomerang: Google’s Internal Critic Returns From Rival OpenAI，The Information
[9] 黃仁勳與 Ilya Sutskever 的爐邊談話：看AI的現狀和未來，EETChina
[10] Improving Language Understanding by Generative Pre-Training，OpenAI
[11] OpenAI新研究發現無監督情感神經元：可直接調控生成文本的情感，機器之心
[12] Unsupervised Sentiment Neuron，OpenAI
[13] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding，Google
[14] Scaling Laws for Neural Language Models，OpenAI
[15] The Microsoft-OpenAI Files，GeekWire
[16] Meet GPT-3. It Has Learned to Code (and Blog and Argue)，Cade Metz
[17] OpenAI’s new language generator GPT-3 is shockingly good—and completely mindless，MIT Technology Review
[18] A robot wrote this entire article. Are you scared yet, human，衛報
[19] With $1 Billion From Microsoft, an A.I. Lab Wants to Mimic the Brain，Cade Metz
[20] OpenAI has released the largest version yet of its fake-news-spewing AI，MIT Technology Review
[21] Microsoft teams up with OpenAI to exclusively license GPT-3 language model，微軟
[22] Microsoft announces new supercomputer, lays out vision for future AI work，微軟
[23] US-China tech war: Beijing-funded AI researchers surpass Google and OpenAI with new language model，南華早報
[24] 深度學習革命，Cade Metz
[25] My GPT-3 Blog Got 26 Thousand Visitors in 2 Weeks，Liam Porr
[26] Training language models to follow instructions with human feedback，OpenAI
[27] 馬斯克傳，Walter Isaacson
[28] Inside the white-hot centre of AI doomerism，金融時報
[29] OpenAI’s Top Researchers Defect to Start Rival Backed by Billionaire，The Information
[30] Exclusive: OpenAI Used Kenyan Workers on Less Than $2 Per Hour to Make ChatGPT Less Toxic，Time
[31] How ChatGPT Kicked Off an A.I. Arms Race，紐約時報
[32] Inside facebook's african sweatshop，Time
[33] PTSD, depression and anxiety: why former Facebook moderators in Kenya are taking legal action，衛報
[34] What OpenAI Really Wants，Wired
[35] Inside ChatGPT, AI assistants, and building at OpenAI， OpenAI
作者：李墨天
編輯：張婕妤
責任編輯：李墨天