近期發生的一系列模型安全問題，正對行業發出警示，我們可能從未面臨過如此嚴峻的 AI 安全挑戰。
7 月 22 日，OpenAI 披露了一起“前所未有的網絡安全事件”：在一次內部評測中，公司的 AI 模型逃出隔離的沙箱環境，入侵 AI 開源平臺 Hugging Face 的生產服務器，目的是獲取評測答案來“作弊”。
20 日，OpenAI 已經發出過一次安全報告：稱公司因安全問題被迫暫停了一個內部實驗模型的部署。該模型曾獨立證明一項懸置近 80 年數學猜想，在測試中，它耗費一個小時找到沙箱環境的漏洞，繞過限制在 GitHub 上提交了未經授權的代碼。
再往前追溯，6 月，Anthropic 發佈新一代模型 Fable 5 和 Mythos 5，隨即因越獄技術爭議被全面停用，19 天后才恢復訪問，其中，Mythos 5 至今僅限經過審查的美國機構使用。
能力越強、自主性越高，AI 安全問題的複雜度也隨之倍增。
但與此同時，AI 的應用邊界還在快速擴展。智能體（Agent）開始進入企業工作流，7×24 小時自主執行任務；具身智能讓機器人走出實驗室，在物理世界中與人直接交互。真實場景下的 AI 安全風險，已經成爲產業界和監管層不得不面對的現實挑戰。
清華大學人工智能學院助理教授董胤蓬是最早一批進入 AI 安全研究領域的學者。從 2017 年起，他與團隊的研究路徑覆蓋了 AI 安全整個閉環。
董胤蓬曾從安全攻防的“紅隊”（攻擊方）角度出發，提出動量迭代攻擊法（已被 Google、OpenAI、IBM 列爲基準算法）、與團隊首次攻破 GPT-4o、Gemini 等商用多模態大模型。站在“藍隊”（防禦方）視角，他主導提出了推理增強安全對齊方法 STAIR，並被用於 DeepSeek-R1 的安全對齊；同時，董胤蓬還在積極參與安全評測基準的構建。
在剛剛結束的 ICML 2026 上，他在安全對齊研討會（Alignment Workshop）上做了一場有關 AI 前沿風險的報告，提示當下最大的安全問題正從“AI 被人利用開展攻擊”擴展到“AI 正在學會主動欺騙人”。
圍繞 AI 安全的攻防邏輯與未來走向，DeepTech 近期與董胤蓬展開了一場深度對話。對談中，我們回溯了他早年間選擇踏入一個“沒人知道的方向”、如今卻成爲一類緊迫課題的過程。
對於 Fable 5 的回退策略，董胤蓬直言，“這是一個折中方案，侷限非常明顯”。談到未來，他通過一個簡潔的公式提醒行業，預判風險正在變得越來越重要。
以下爲對話全文，經編輯整理。
起點：走一條沒人走過的路
DeepTech： 你剛從 ICML 回來，這次參會有什麼感受？整個行業有沒有發生一些新的變化？
董胤蓬： 整體上，我覺得不只是這次會議的感受，可能是這一段時間的感受：大家現在更多在講 AI 的自進化，目標是讓 AI 自己去發展自己。這件事的發展速度可能很快，也可以推廣到其他學科領域，做整個科學研究或者產業開發的自動化。
在這件事上，我們更關注的是，未來整個 AI 的訓練流程、發展過程實現自主化之後，會不會湧現出新的風險。
DeepTech： 這次 你 在 Workshop 上的報告主要是什麼內容？
董胤蓬： 主要是我們最近的研究方向，我們叫做前沿風險（Frontier Risk）：人工智能的能力提升到一定程度之後，會湧現出我們比較擔心的、現在已經出現或者未來可能會出現的新風險。
更具體來說，我們正在研究前沿 AI 模型在實際應用中可能出現的失控風險（Loss of Control）。它指的是，模型所做的事情完全不受人或者監控系統等防護機制的控制，一旦失控，很難再恢復。
我們希望能夠在更前期的階段開展研究。看模型在什麼情況下會失控，它具備什麼能力就會失控。以及在發生失控行爲後，到底能不能被發現。更前沿一些，我們要看 AI 在感知到人的監控的情況下，會不會試圖逃脫人類的監控。
當然，現在前沿的模型還沒有出現完全失控的信號。但可能會有一些早期的現象值得我們去研究，比如欺騙，以及 AI 初步產生的自我意識等，這也是我現在關注的方向之一。
DeepTech： 2017 年 你 就開始進入 AI 安全領域，當時這是一個非常冷門的早期方向，是什麼契機讓 你 決定做這件事？
董胤蓬： 我們大概是從 2016 年底、2017 年初開始做一個方向，叫深度學習的對抗樣本。當時人工智能也很火，比較火的是 AlphaGo、人臉識別這些方向。
這個方向應該不能被稱爲“冷門”，冷門是大家知道這件事但不做，當時的情況是沒有人知道，它是一個非常早期的方向。
做這個方向的契機是我即將要讀博，在組會上偶然聽到了一個現象：深度神經網絡雖然在圖像識別、人臉識別這些任務上準確率非常高，但如果我們在圖片里加入一些非常小的、基本看不出來的噪聲，神經網絡的預測就會發生嚴重偏離。
這在當時是非常讓人震驚的。因爲當時主流的認知是，深度神經網絡基於類似人的神經連接所構建的網絡，大家會認爲模型的工作機理和人是類似的。而對抗樣本表明，模型和人的行爲存在系統性的區別。這對我們當時對深度學習機理的理解產生了非常巨大的挑戰。
其實我們當時做的時候並沒有把它當作一個安全性問題，更多是出於對新現象的好奇：人工智能的機理和人類智能的機理，究竟有什麼本質的區別？後來隨着發展，它逐漸變成了 AI 安全裏面一個非常重要的問題。
DeepTech： 在這個過程中， 你 經歷了人工智能的好幾輪演進，研究的關注點發生了哪些變化？
董胤蓬： 我們的研究一直以人工智能安全爲主線，它會隨着 AI 的發展呈現出非常明顯的變化。整體上可以分成幾個階段。
第一階段是 2017 年到 2020 年左右，我們做的是基礎的理論和算法研究：怎麼更高效地生成對抗樣本，怎麼從防禦的角度設計算法提升模型的魯棒性和安全性，以及怎麼做評測。
第二階段是 2020 年到 2022 年。到那個時候，我們對深度學習魯棒性問題的認知已經比較深入了，算法發展也相對收斂，我們知道什麼路線是對的，什麼是錯的。這段時間我們更多關注的是實際應用場景中的安全問題，做了很多物理世界的 AI 安全研究，面向真實的人臉識別、自動駕駛應用，去做攻擊、評測，以及修復安全漏洞。
第三階段是 2022 年到 2023 年及以後，大模型浪潮開始了，我們很自然地轉向大模型安全。其中，2023 年到 2024 年，大家更多關注大語言模型和多模態模型的內容安全，也就是輸出的內容是不是符合我們的預期，是否符合社會正確的價值觀，有沒有生成危害性內容等。
從去年到今年，我們的研究進入第四階段，更多地開始研究從語言模型到智能體（Agent）系統的安全。在實際環境中，Agent 已經可以執行任務，比如能夠訪問工具，能夠訪問我們的環境等。此時，一旦出現錯誤、出現不安全的情況，造成的風險可能是不可逆轉的。
同時我們也在關注前沿風險：能力更強的模型在更前沿的任務上會不會展現出危害，包括欺騙、失控等。
進攻：找出多模態大模型的“阿喀琉斯之踵”
DeepTech： 你 曾帶領團隊首次攻破了 GPT-4o、Gemini 等商用多模態大模型，當時是怎麼找到突破口的？
董胤蓬： 這件事大概是 2023 年 9 月做的。當時 ChatGPT 等大模型開始火了，最早是純語言模型。到 2023 年下半年，大家開始將中心轉移至多模態模型，GPT 和 Gemini 也相繼推出了多模態功能：輸入圖像，模型能夠理解圖像的內容。
我們當時做這項研究的動機是，大家都在講大模型有湧現能力，即模型的規模到達一定程度，某種能力就自然湧現出來了。所以我們想看看，這些規模非常大的模型，在魯棒性方面和之前那些“小模型”有沒有本質區別。
實際操作上，我們那時剛做出來一個新方法，名爲“模型共同弱點攻擊”（Common Weakness Attack），就把這個技術直接用在了這些大模型上。大概用了幾天時間，我們就發現，這個方法也能非常有效地攻破商用大模型。
圖 | 將“模型共同弱點攻擊”用於多模態模型（來源：GitHub）
這個結果在我們的預期之內，原因在於，從機器學習的本質看，大模型的核心原理還是統計學習：建模數據的概率分佈。所以大模型和之前的深度學習小模型在原理上沒有特別明顯的區別，我們也不認爲，大模型的魯棒性一定能有很好的提升。
但這一發現確實出乎很多其他人的意料。當時一些歐美的研究機構，比如美國加州伯克利的研究人員專門發來郵件，諮詢我們是怎麼做的，他們並未做到達到類似的效果。後續，我們的這些攻擊方法也被 OpenAI 用於評測 o1 推理模型的魯棒性。
DeepTech： 圖像和文本這兩種模態，安全問題在本質上是一致的嗎？
董胤蓬： 不同模態魯棒性不足的原因在本質上是很像的。例如，無論是圖片還是文本，輸入都來自高維空間，模型需要通過比較基礎的算子運算，將高維輸入映射成最終的預測：對於圖像分類，它要預測一個標籤；對於文本，則是每一個時刻預測一個 Token。在這一過程中，就會出現某些噪聲，導致預測結果嚴重偏離。
它們不一樣的地方在於輸入的表徵。圖像在某種程度上可以認爲是連續表徵，我們可以針對它做連續的優化，用一些比較成熟的優化器來生成對抗噪聲。但文本的難點在於，輸入的 Token 是一個離散的形式，我們不太可能對 Token 做很小的連續變化，讓它映射成另一個 Token，這就需要一些不同的技術，如離散搜索、啓發式方法等。
另外，怎麼評估變化是不是“微小的”也不一樣。圖像的評估可以很容易，很小的像素改變就夠了；但我們對文本做了某種替換之後，它是不是一個很小的變化，可能還需要額外的指標去判斷。
防禦：能力擴大與安全邊界的權衡
DeepTech： 你 後來提出了 STAIR 方法，讓大模型從直接拒絕升級爲推理後再判斷，這種方式在實際部署中效果如何？
董胤蓬： 做 STAIR 的時候，我們想解決的核心問題是，現在大模型安全對齊面臨着一個名爲“對齊稅”（Alignment Tax）的重大挑戰。這個概念的意思是，模型的對齊做得越多，安全性可能確實會變強，但性能則會出現某種程度的下降。
2024 年底，OpenAI o1 模型的慢思考推理模式給我們帶來了啓發：有很多安全問題是非常難以識別的，即便對於人類而言，都需要做一些深入思考，才能發現問題裏有陷阱、不應該回答。
基於這個想法，我們提出了 STAIR，將慢思考的過程融入大模型的安全對齊。結果發現，這種方式能非常有效地緩解對齊稅的問題。
只是在效率方面，它確實比直接判斷安全與否要慢一些。但如果大家後面都用推理模型，都用時間來換取模型性能的話，這種方式就能很好地匹配。
圖 | STAIR 方法（來源： arXiv ）
DeepTech： 你們算是最早把推理應用到安全領域的嗎？
董胤蓬： 同期還有一些團隊也有類似的想法，可能都是受到 o1 的啓發，我們算是最早一批用推理實現模型安全的工作。就發表而言，確實是最早的。
DeepTech： 前段時間我們看到，Anthropic 的 Fable 5 上線後不久即因越獄技術而被停用，而且很多用戶反映，它爲了安全犧牲太多性能，甚至會在涉及敏感領域時“偷偷”降低模型能力。 你 怎麼看這種策略？
董胤蓬： 我覺得 Anthropic 的策略是一個折中的策略。Anthropic 很早之前就在宣傳 Fable 5，但一直沒有發佈，我相信可能是有一部分安全性的考量：當前沿模型能力變得特別強，公司自然會擔心有非法分子利用它做壞事。
但最終 Fable 5 發佈後，我們發現，它們也沒有找到一個非常好的解決方案，能在維持前沿模型能力的同時防止濫用、保證安全。於是，Fable 5 選取了一個折中的策略，加一個檢測器，在發現和敏感領域相關的問題時自動回退。
這個方案雖然在某種程度上能保證安全，但侷限還是非常明顯的：它會在某些情況下把很多正常的請求識別爲不安全的請求。比如關於 AI 算法、技術、生物領域等方面的正常詢問，也會觸發能力回退。
此外，也有一些方法能繞過這個檢測器，讓模型最終輸出不安全的內容，因此我們很難保證整個系統一定是可靠的。
DeepTech： 那在 你 看來，安全與能力的權衡算不算大模型安全領域目前最大的難題？
董胤蓬： 從科學性上來說，我們最終想實現的目標就是激發模型的能力：要發展 AI，還要做到某種程度上的 AGI，甚至 ASI。但在提升能力的同時，安全風險也會被不斷放大。
對於商業模型，核心難點在於，我們很難劃清哪些是安全的邊界、哪些是能力的邊界。因此，怎麼實現這兩者的平衡，的確是我們現在需要關注的問題。
DeepTech： 最近，OpenAI 又連續披露了兩起模型安全事件，新模型從沙箱中逃逸，甚至入侵開源平臺 Hugging Face，想請 你 從專業角度分析一下，這種情況是如何發生的？
董胤蓬： 這本質上可以理解爲一種“獎勵黑客”（Reward Hacking）：模型爲了完成網絡安全評測任務、獲得更高的獎勵，把沙箱隔離和訪問控制當成了阻礙任務完成的障礙，並選擇了未經授權的方式繞過這些限制。
我們團隊近期正好做了一項關於前沿 AI 失控風險的研究，發現模型失控的路徑可以被理解爲“失控動機-模型能力-規避監管”。這次事件恰好證明，這條路徑在現實中是成立的。
落地：從單一風險研究，到爲 Agent 全週期保駕護航
DeepTech： 從產業界的角度看，AI 安全面臨的現實問題是什麼？
董胤蓬： 從 AI 安全的產業化來講，大家現在最關心的問題是 Agent 的安全問題。尤其是今年開始，越來越多的 Agent 開始進入實際工作流。
Agent 和之前的區別在於，它從之前單輪的對話變成了長時間處理任務，自主規劃、和環境交互。我們希望 Agent 能 7×24 小時不眠不休地工作。但如果它中間某一步的推理出現錯誤、幻覺，或者受到攻擊，中間一步的行爲偏差就會隨着執行進程不斷累積，最終造成非常嚴重的錯誤。比如 Agent 會執行未授權的指令，或最終偏離我們的意圖，沒有實現目標。
對此，我們團隊正在做一些產業化的探索，爲 Agent 在全生命週期內提供安全監測與防護。我們可以藉助監測系統，記錄 Agent 每時每刻在幹什麼，從系統層面觀測 Agent 的行爲軌跡，記錄它的系統調用，從中及時發現不安全的操作。
另外，從實際落地角度，大家對安全系統的效率也有要求。我們不會希望做安全檢查的模型，運行效率比 Agent 本身還要慢。所以我們做的是非常輕量化的識別，同時能實現更高的檢測準確率，運行效率方面，在一些基礎的內容安全任務上，我們的系統表現比 Llama Guard 等常用模型還要好。
DeepTech： 從學術研究到產業轉化，中間最大的挑戰是什麼？
董胤蓬： 挑戰主要有兩點。
第一，一篇論文關注的只是一個安全問題，從一個定義出發，做好風險建模，然後在比較乾淨的設定下做研究。但在實際的 AI 應用中，情況會變得非常複雜，風險的來源可能是很多元的。如何涵蓋、識別不同類型的風險，保證 AI 平穩運行，這是一個非常大的挑戰。
第二，做學術研究時，我們更關注單一的指標，比如安全識別的準確率，或者對模型性能的影響。但在實際應用中，我們需要同時考慮模型的性能、安全性、系統效率，還有它和正在運行的 AI 之間如何協同，對此就要做一些更加複雜的設計。
DeepTech： 你們團隊在產業化方面有哪些優勢？
董胤蓬： 我覺得有幾點。第一，我們對 AI 安全問題的理解是更加深刻的。我們經常遇到的情況是，企業說自己遇到了什麼問題，但並不知道問題產生的原因是什麼，不知道怎麼緩解風險。我們之前有更多關於學術的積累，對這些問題的認知更深入，這是我們做產業化非常重要的技術基礎。
第二，在學校的研究之外，我們此前已經和產業界進行過很多合作與交流，對實際問題也有比較深的理解和認知。企業運行 AI 時涉及的風險種類、怎麼去做更可行的解決方案，我們對此有很多經驗。
我們其實不只站在防禦角度，更多還要從“紅隊”攻擊的角度來發現風險。對風險的理解和認知更深入、更全面，對模型的評測更加準確之後，很自然就能帶來防禦覆蓋度的提升。
未來：預 判風險、具身安全與國際合作
DeepTech： 有一種觀點認爲，AI 安全研究可能永遠落後於 AI 能力研究， 你 同意嗎？
董胤蓬： 這是事實。現在 AI 安全的研究一定是滯後於 AI 能力的研究。因爲某種程度上看，之前大家的做法都是先有 AI，再去發現它有什麼漏洞、有什麼風險，然後再去解決問題，所以一定有滯後性。
爲了緩解這件事，領域內已經有很多人在提“Safe AI”的概念，即從設計階段就讓 AI 自帶安全屬性，而不是事後再去做安全。其中比較知名的是約書亞·本吉奧（Yoshua Bengio），他是 2018 年圖靈獎得主，被稱爲“深度學習三巨頭”之一。約書亞在 2025 年 6 月創辦了一家非營利研究機構 LawZero，拿到了 3,000 萬美元的資金，核心理念是構建一種叫”Scientist AI“的非代理式（non-agentic）AI 系統，這就是個新的技術路線。
圖 | 約書亞·本吉奧（Yoshua Bengio）（來源：LawZero）
當然，這類工作實際上還沒有真正跑通，大家還在做前期探索，整體算一個比較理想化的願景。
另外一個問題是，現在前沿模型的能力集中在非常少數的公司，比如 OpenAI、Anthropic 等。很多安全領域的學者無法進入這些最前沿的模型內部，也就難以分析它的風險。這可能會導致 AI 安全研究和 AI 能力研究的差距變得更大，這也是一個非常大的挑戰。
DeepTech： 基於這些問題，我們現在有沒有可能做到預判風險？
董胤蓬： 我們可以用一個簡單的公式來理解風險問題：AI 安全造成的實際風險約等於它的風險嚴重程度乘以損失，再乘以風險暴露的時間窗口。
之前可能單個風險沒有那麼高，它造成的危害沒有那麼大，暴露的時間窗口長一些還能接受。但現在，隨着模型能力越來越強，應用越來越普及，單個風險造成的後果越來越嚴重。如果我們不把發現和修補風險的時間窗口變得更窄、更短，風險造成的損失就會越大。
對未來一年、兩年內可能出現的新型風險進行預判，正在變得越來越重要。能預判，就能提前彌補。
現在，我們的目標是通過一些建模，從模型現在的能力維度、行爲維度出發，分析它產生某種風險的概率是多少。更重要的是，它產生風險的路徑是什麼。希望以此提前發現模型失控的可能性、發生的路徑，再探索應對的策略。
DeepTech： 具身智能和物理 AI 的發展，會給安全問題帶來哪些變化？
董胤蓬： “物理 AI”是一個新詞，但我們在 2020 年到 2022 年，已經做了很多物理世界的安全性風險研究，其中包括自動駕駛，這也可以認爲是一類相對固定的機器人。當時做這件事核心的挑戰是，怎麼在開放、動態、複雜的環境下，保證自動駕駛系統的正常運行。
相比自動駕駛，具身機器人的場景複雜得多，動作空間大得多，風險也更加多樣，這帶來了巨大的研究空間，我們現在也關注具身安全的一些問題。
首先，物理 AI 領域的一些問題和自動駕駛是類似的，比如魯棒性和泛化性的問題。具身智能基礎模型的泛化性還存在一定限制，在非常複雜或完全開放的環境下，表現不是很好。
但同時，具身智能也帶來了很多新問題。
比如機器人本體的安全性。我們經常看到一些機器人打人、撞人的新聞，因此，機器人和人交互時，怎麼保證不傷害行人和小孩？這是個關鍵問題。還有對環境的安全性：機器人不能破壞一些受保護的環境。
此外， 機器人還有個自動駕駛沒有的問題：語義安全。 因爲機器人什麼事都能做，你要讓它拿着刀滿街跑，機器人就應該識別出這是不安全的，進而拒絕這樣的行爲。對比之下，只做感知、決策和控制的自動駕駛汽車可能就沒有這種風險。
DeepTech： 你 和團隊未來會把側重放在哪些方向上？
董胤蓬： 我們整個團隊現在主要關注幾件事。
第一是前沿風險。AI 的欺騙、失控等都屬於前沿風險。如何預測這些風險會不會發生，如何構建評測框架、構建風險建模的方法，進而做到事先防護。這是一個非常重要的方向，對未來 AI 的發展也很重要。
這件事不是我們自己做就夠了。前沿風險一旦發生，涉及的不僅是一個人、一個機構、一個國家，而是對全人類都很重要，所以這一領域一定需要國際合作。我們目前依託清華人工智能學院，正在做一個 AI 安全樞紐（AI Safety Hub），參考美國、英國那邊的一些機構，建立國際交流、訪學、合作的組織。希望通過某種機制，聚集起世界各地的研究人員，針對這些前沿問題，一起去合作、交流。
第二是 Agent 安全的產業化。因爲它已經在實際應用中出現了，很多人都關心這件事。我們團隊的短期目標肯定是儘快做出能落地的產品，進行一些商業化的探索，在應用過程中不斷完善產品的能力，真正解決人們用 Agent 時的實際需求。相對前沿風險研究，這是一個更成熟切實的方向。
第三是具身安全。不過，因爲具身智能距離大規模落地還有一定時間，目前還在早期探索階段。我們的目標是真正理解具身安全的技術路線和對應的風險，以及這一框架如何嵌入一些具身智能公司的工作流中。在後續的很長一段時間裏，我們希望有能力解決這些問題。
運營/排版：何晨龍
注： 封面/首圖由 AI 輔助生成