翁荔最新博客:我們可能高估了模型,卻嚴重低估了那層“腳手架”

DeepTech深科技2026年7月7日


幾天前, OpenAI 安全研究副 總裁、Thinking Machines Lab 聯合創始人 翁荔( Lilian Weng) 發佈了關於“ Scaling Laws, Carefully” 技術博客

近日,她又更新了一篇名爲 Harness Engineering for Self-Improvement ”的最新博客[1]。這次 ,她 將焦點聚焦於一個 AI 領域火熱討論的議題——已成爲當前 AI Agent 系統的重要工程層的 Harness Engineering

如果說 Scaling Laws 決定了一代模型的天花板有多高,那 Harness 就是決定這個模型在現實任務中 可以 走多穩、多遠的那層操作系統。


翁荔這篇新博文 可以看到的是 她試圖在 回答一個關鍵問題: 在真正能夠修改自身權重的 硬遞歸 仍十分遙遠時 真正能夠持續實現遞歸自我提升 RSI Recursive Self-Improvement 的循環, 是否可能 先從模型外面的這層 腳手架 開始?


圖丨相關博客文章(來源: https://lilianweng.github.io/posts/2026-07-04-harness/)

Harness 概念,可以理解成包裹在大模型外的一套系統。它不只是簡單的提示詞模板,而 決定着 模型如何思考 和規劃 、調用哪些工具 和行動 、如何管理上下文和執行工作流的運行時環境。

翁荔在文章裏提到, 當下 Claude Code Codex 這類成功的編程智能體產品, 它們的 核心優勢很大程度上 來自 精心設計的 Harness。

一個成熟的 Harness 類似於 操作系統,它能封裝複雜的邏輯, 同時保持接口簡單: 讓模型 無需將 整個工作流和所有日誌都 進有限的上下文窗口 ,而是 基於 文件系統這類持久化存儲來管理狀態和 產物 。這種設計模式,讓智能體 能夠 處理更長週期的任務, 一定程度上可避免 在長上下文的混亂中迷失。

圖丨 一個簡化版的 Codex 智能體循環:智能體調用工具,工具的返回結果會影響模型下一步的生成內容 來源 https://openai.com/index/unrolling-the-codex-agent-loop/

沿着 這個思路,翁荔系統 梳理 近期一系列相關的研究, 總結 出一條 Harness 從手工設計到自我優化的演進路線。 在她 看來, 早期 Agentic Context Engineering 框架 嘗試 更像是將 上下文當作一個不斷演化的 “操作手冊”,通過生成、反思和 篩選 的循環,讓模型 可以 從成功或失敗的軌跡中提煉出結構化的要點, 進而 更有效地管理記憶。


(來源: https://github.com/yasasbanukaofficial/claude-code

更進一步 Meta Context Engineering 上下文管理本身也變成了一個可優化的對象,讓一個元智能體去搜索和改進管理上下文的 “技能”, 進而達到 雙層優化 目標


而像 Meta-Harness 這樣的工作,則直接 Harness 的代碼 作爲一種 搜索空間,讓編碼智能體 進行 編寫、測試和迭代新的 Harness 代碼,甚至能生成多個候選方案 並找出其中的帕累托最優解。

這種讓智能體 進行 自身系統代碼改進的思路,在進化搜索領域也有 體現。比如 Darwinian Gödel Machine 提出了一種讓編碼智能體能夠修改自身 Harness 代碼庫的框架 ,通過一個基於性能排名的選擇機制,不斷產生新的版本。


實驗表明, SWE-bench Verified 這類編程基準上, Darwinian Gödel Machine 發現的智能體可以達到 20% 50% 的通過率,與手工設計的智能體相當甚至更優。


不過,翁荔也強調,這並不意味着未來只優化 Harness。 更長期來看,Harness 與模型權重的聯合優化,仍可能成爲遞歸自我提升的重要方向。


圖丨 智能體上下文工程的框架示意圖 來源 : https://arxiv.org/abs/2510.04618

翁荔認爲,這種 “元方法論”的轉向是當前最值得關注的趨勢:我們不再只是讓模型給出更好的答案,而是在製造一套能持續改進“如何獲得更好答案”的機制。


在這個迴路裏,Harness 自身成爲優化對象,逐步減少依賴人工編寫的啓發式規則,轉向更多可自動搜索的通用機制 工程師的角色也從編寫具體規則,轉變爲設計更通用的進化框架。

不過,翁荔並沒有把這條路描繪成一條坦途。她在文章的後半部分, 客觀 地列出了這項研究面臨的 一系列 現實瓶頸。 其中, 最大的挑戰之一來自評估。目前的自我改進循環在那些有明確、快速、客觀評估指標的任務上效果顯著,比如寫代碼、解數學題。

圖丨 元上下文工程的框架示意圖 來源: https://arxiv.org/abs/2601.21557

如果 面對模糊 判斷 例如 “這項研究是否有品味”“這個結果是否真的重要”,系統就很容易失效,甚至會爲了 實現 通過測試 目標 學會作弊,也就是所謂的 “獎勵黑客”

安全 則是 另一個隱患。如果允許模型自由修改系統代碼,抽象邊界和權限控制就會被打破,可能引發災難性後果。因此翁荔強調, 人類的角色不是被排除在循環之外,而是需要向上移動,在環路外扮演架構師和方向指引者的角色,負責設計可編輯的邊界和進行關鍵節點的 審查

在文章的結尾,翁荔並沒有 呈現邁向 RSI 的 虛幻的願景 ,而是列出了一份務實的挑戰清單:如何設計好的評估器、如何管理 上下文和 長期任務的記憶、如何解決進化中的多樣性坍縮、如何應對獎勵黑客,以及如何平衡短期任務成功與代碼庫長期健康之間的關係。

一個容易被忽視的問題:目前的優化大多基於沙盒內的短期獎勵,但現實中的軟件工程需要兼顧可維護性、向後兼容性和未來開發負擔。 這些 “長期成功”的指標,正是當前系統最不擅長處理的 問題

如果說上篇關於 Scaling Laws 的文章是在提醒大家,那個用於規劃數十億算力投資的公式沒有想象中可靠,那 麼, 這篇關於 Harness 的文章則更像是在 告訴公衆 通向遞歸自我提升的第一步,很可能並不是修改模型本身,而是先優化模型之外那個不起眼的 Harness。 而這條路本身,也充滿了需要小心繞開的

或許, 真正的 RSI 不 突然某天模型開始修改自己,而是 悄悄開始於 一次次 Harness 優化中。


參考資料:

1.https://lilianweng.github.io/posts/2026-07-04-harness/


排版:劉雅坤


注:封面/首圖由AI輔助生成

翁荔最新博客:我們可能高估了模型,卻嚴重低估了那層“腳手架” - 今日精華