文｜謝瑞瑞
編輯｜徐青陽
“AI既降低了作惡的門檻，又抬高了危害的上限。”
7月17日下午，在2026世界人工智能大會（WAIC）科學前沿論壇上，圖靈獎得主約書亞·本吉奧通過遠程連線發出了上述警告。
近年來，這名富有遠瞻的“AI教父”，始終致力於應對AI帶來的安全挑戰。2025年6月，本吉奧主導的LawZero項目正致力於構建能識別並阻止AI欺騙、自我保護等有害行爲的防護系統。
他領銜的國際AI安全報告也給出了一致的結論：當前的安全措施，已經追不上AI能力狂飆的速度。
同樣站在臺上的，還有上海人工智能實驗室主任、首席科學家周伯文。他沒有重複對風險的警告，而是拋出了兩個更根本的問題：AI如何從模仿已知轉向探索未知？如何確保這股力量始終可控？
兩人的演講爲整場論壇定下了核心基調。
隨後，西安電子科技大學校長高新波、復旦大學副校長姜育剛、香港科技大學（廣州）協理副校長熊輝、SecureBio AI研究負責人賈斯珀·戈汀、獨立研究員傑夫·吳以及知名AI研究員索倫·明德曼，圍繞“邁向AGI時代：前沿人工智能的安全挑戰與全球治理”展開了圓桌討論。
01
外掛護欄，擋不住精準“越獄”
當AI學會推理與規劃，傳統的安全護欄正在系統層面悄然失效。
西安電子科技大學校長高新波認爲，傳統AI安全的護欄，本質上是一種“補丁思維”——發現漏洞，堵上漏洞，再發現，再堵上。
高新波、熊輝等人蔘加AI安全與治理討論
而當模型具備了推理、規劃與工具調用能力，傳統模型變成了智能體後，這套“補丁思維”的打法便開始從根上崩潰。
失效方式可以歸納爲四種：
一是推理能力讓AI可以理解防護的邊界，找到盲區，實施精準“越獄”；
二是規劃能力讓AI學會戰略性欺騙，懂得在靜態或實時測試中隱藏真實意圖；
三是工具調用的鏈條一旦變得複雜，傳統防護系統根本無從辨別某個操作背後潛藏的語義副作用；
四是前三種能力相互激發，形成一種湧現出的綜合能力，讓AI在開放環境中的行爲空間幾乎趨於無限。
靠“找漏洞、打補丁”的老辦法，早已防不勝防。
對此，高新波與復旦大學副校長姜育剛不約而同地指向了同一個概念：“內生安全”。
姜育剛用了一個很貼切的類比。他說，人的成長靠兩條腿走路：一是從小受的教育，把道德和法律變成心裏的“規矩”；二是在社會上仍然需要警察和制度，來處理那些教育未能約束的行爲。
對AI而言，“內生安全”就是希望它在“受教育”階段就把規則印在骨子裏，同時輔以必要的監管。當然，姜育剛也強調，指望人去監督AI的每一步，顯然不現實，也違背了發展AI的初衷。
但一定程度的監管必須存在，而且這種監管絕不只是人的事，也需要技術手段、評估體系和評測機制，去檢驗模型是否真正符合人的價值觀與社會期待。
順着這個思路，香港科技大學（廣州）協理副校長熊輝引入了一個更有東方智慧的視角——道法自然。他把安全框架的演進歸納成三個層次，“由外而內，由強制到自覺“。
第一層是“不敢爲”。通過加裝安全圍欄等外部懲罰機制形成約束，讓AI因爲害怕代價而不敢越界。這是目前AI行業投入精力最多的層面。
第二層是“不能爲”。從數學底座、優化函數和系統架構層面做內置約束，讓AI從根本上沒有犯錯的能力。
第三層是“不欲爲”。讓AI在心智和邏輯層面，把道德與法律變成一種近乎“本能”的東西，達到一種類似“明心見性”的狀態，自己就不想做壞事。
熊輝承認，眼下AI行業在底座架構和目標函數層面的內生安全努力還遠遠不夠，技術差距依然巨大。但他同時拋出一個構想：一旦內核層面的安全控制得以實現，就可以把安全內核保持閉源，而外圍部分更放心地開源。
這或許會爲開源模型的安全治理打開一條全新的路徑。
02
編程能力飆升，安全能力滑坡
周伯文發表演講
安全的挑戰從來不是孤立的，它和AI的能力邊界息息相關。
周伯文在演講中揭示了一組冷熱反差，從另一個維度解釋了安全問題的緊迫性。
他指出，過去18個月，AI的編程成功率從5%一路飆升到88%，以至於國外一半的基準測試因爲模型表現太強，已經失去了參考價值。
“整個行業都在感受強烈的推背感。”周伯文說。
但科學發現領域卻是另一番景象。
艾倫研究所發佈的端到端科學研究評測顯示，同一時期，表現最好的大模型在科學任務上的完成率始終停在3%，幾乎紋絲不動。大部分模型卡在60%到70%的區間，無法獨立跑完科研全流程。
NatureBench（周伯文團隊聯合銜遠科技等發佈的AI編碼智能體評測基準）顯示：AI產出一篇超越當前最好成果的科學論文，成功率只有17.8%。《自然》雜誌的一篇研究論文據此判斷，目前AI產出的科學工作都屬於“增量發現”，還沒有出現根本性突破。
一邊是編程能力逼近天花板，一邊是科研能力原地踏步。周伯文將出現這種反差的原因歸結爲三個層面：
第一，大模型只能被動觀察世界，學到的是相關性，而不是因果性，換一個環境就容易失靈；
第二，科研中越有價值的問題，越難立刻知道對錯，反饋週期很長，不像編程可以秒級驗證，模型因此很難學進去；
第三，人類發表的科研成果只有成功數據，失敗經驗幾乎從未進入訓練集，模型被鎖死在已知的分佈裏，只會模仿成功路徑，走不出新路。
這組對比恰好揭示了安全治理中一個容易被忽視的維度：當前AI的強大，主要體現在閉環任務上——編程、翻譯、下棋，都有明確的目標、即時的反饋和清晰的邊界；而真正的安全威脅恰恰來自開放任務：沒有標準答案，反饋週期漫長，失敗是常態，還要跟物理世界交互。
周伯文據此提出一個判斷：“AGI for Science（AI4S）不是通用人工智能的應用，而是人工智能的終極考題。”
在他看來，要讓模型突破智能上限，就得主動介入世界去尋找真正的因果關係，從密集的反饋中學會處理難題，在探索失敗的過程中拓展能力的邊界。
這些要求跟安全治理的內在邏輯完全一致。一個不理解因果、不會從稀疏反饋中學習、只會模仿成功的AI系統，面對惡意攻擊者的創造性手段，同樣會毫無招架之力。
順着這一思路，上海人工智能實驗室推出了“書生·端硯”科學發現平臺，試圖把知識認知、邏輯推演、實驗行動與結果反饋貫通起來，形成一套新的研究範式。其核心邏輯是，讓科學研究在真實反饋中形成閉環：結果符合預期，就沉澱爲可信發現；結果反預期甚至失敗，則反過來觸發問題重構，促使研究者重新審視最初假設。
清華大學教師張數一課題組花了4年時間改造一種基因調控蛋白，接入“書生-端硯”後只經過兩輪迭代，AI就發現了新的突變組合，功能比此前《自然》報道的最好結果高出77%。其中一個關鍵突變落在傳統認知中的“非功能區”，相當於AlphaGo的“神之一手”。
這套範式背後，還有年輕博士生提出的MOBIUS架構，把知識向量和推理算子分離開來，讓模型具備了可持續成長的能力。
從安全治理的角度審視，這種將失敗納入學習閉環、追求因果理解而非統計相關的路徑，恰恰是構建內生安全所必需的技術基礎。
03
當AI學會作惡：從生物風險到證據困境
在各類前沿風險中，化學、生物、放射性與核風險（統稱爲CBRN）被視爲最致命的領域之一。
圖靈獎得主、“AI教父”約書亞·本吉奧在遠程致辭中發出警告：AI正從兩個方向爲惡意行爲者“賦能”，既降低了作惡的門檻，又抬高了危害的上限。智力本身就是力量，而AI的能力正在極速膨脹。
本吉奧發出警告
尤其在網絡安全和生物領域，開源模型一旦發佈就不可逆轉。那些具有雙重用途的能力一旦被釋放，就無法召回，也無法修復。他強調，僅僅基於當前前沿水平來思考AI風險是遠遠不夠的。
“必須在AI模型能力躍遷之前就做好準備，而不是事後才應對，這應當成爲我們的默認姿態。”
非營利組織SecureBio的AI研究負責人賈斯珀·戈汀進一步聚焦到了生物風險上。
他提到知名AI研究員索倫·明德曼分享的一項實地調查：在尼日利亞，前恐怖組織“博科聖地”的成員每天都在使用AI，AI不只用來製造更大的炸彈，還包括制定攻擊計劃。
更令人不安的是，他們還辦起了培訓班，教組織成員如何用AI進行恐怖活動。
戈汀指出，生物學天然具有雙重屬性，但“我們希望AI驅動的是疫苗實驗室，而不是恐怖分子的病毒學實驗室。”
研究人員在防護欄之內，應當獲得AI輔助來完成對策研發，但這些知識不應出現在開源模型裏。
獨立研究員、前OpenAI項目負責人傑夫·吳則從權力集中的角度補充了思考。他指出，前沿AI的發展伴隨着資源的集中，很可能導致權力匯聚到少數公司或機構手中。如果未來製造出遠比人類聰明的系統，人類可能面臨被全面剝奪權力的風險。
明德曼則指出一個更深的治理困境——“證據困境”：AI能力常跳躍式提升，讓人措手不及；但真正棘手的是，在風險變成現實之前，人們很難拿到“它一定會造成危害”的確鑿證據。
Anthropic就遇到過這種情況，模型能力突然躍升，團隊擔憂網絡攻擊風險，卻無法證明“一定會出事”，最終自願決定暫不投放市場，才避免了潛在危害。
這正是困境所在：能力已強到令人不安，卻沒有硬證據支撐立即干預。
04
AI威脅是炒作or真相？
面對如此嚴峻的前沿風險，全球科技界在治理態度上呈現出顯著分歧。
本吉奧呼籲立即採取行動。他警告稱，在模型能力出現躍升之前做好準備，必須成爲默認姿態。各國政府需要意識到，這不是某個國家單獨面對的威脅，而是AI濫用帶來的共同挑戰，必須共同預防。
相比之下，國內學者給出的回應更爲務實。
高新波認爲，前沿AI風險確實是基於邏輯推演的系統性威脅，但不必因此陷入末日恐慌，更不能直接叫停研究。他把前沿AI比作“比核能還要深刻的潘多拉魔盒”——打開之前，必須在工程和設計層面把“安全鎖”打造完美。
姜育剛的立場更貼近現實。他指出，呼籲停止研發在現實中根本不可能，沒人會停下來。不管各方覺得該開源還是閉源，兩種模式已經同時存在了。最務實的做法，是在新技術研發的過程中同步推進風險防控。
熊輝則堅定支持開源。他認爲閉源大模型的能力越強，風險同樣在急劇增加。問題的核心不在於開不開源，而在於重構安全架構：如果能在內核層面把安全控制做到極致，外圍完全可以放心開源，讓開源的生產力紅利惠及更多人。
在具體操作層面，傑夫·吳和明德曼都提到了可落地的緩解措施。
傑夫·吳建議通過預訓練和後訓練階段的數據過濾來降低風險。明德曼補充稱，雲服務商也可以在身份覈查層面設置門檻，就像進地鐵站需要出示證件一樣，確保只有更可信的人才能獲得模型權重訪問權限。
05
結語
討論最後，技術派把焦點放在了“可控”上。
高新波希望，AI專家不僅能造出最聰明的模型，還能提供一套能證明、能解釋、能控制的安全防護體系；姜育剛強調，內生安全重要，但攻防技術同樣關鍵，更堅固的盾才能支撐技術持續發展；熊輝則期待安全控制能力與開發能力齊頭並進。
樂觀派把目光投向了未來。
賈斯珀·戈汀認爲AI在生物學領域擁有巨大潛力，人類能找到收穫所有好處同時，也能遏制嚴重風險的方式。
制度派的思考則落在了人與人之間的協調上。
傑夫·吳和明德曼都指出，除了科學研究與風險緩解，還需要建立協調機制，在共識和監督下推進AI的開發進程。
周伯文在演講最後留下一個判斷：“安全價值就是商業價值，它們並不對立。”
推薦閱讀
108款芯片、261款大模型亮相，9位圖靈獎得主開講丨WAIC26“全劇透”