幾天前, 前 OpenAI 安全研究副 總裁、Thinking Machines Lab 聯合創始人 翁荔( Lilian Weng) 發佈了關於“ Scaling Laws, Carefully” 的 技術博客 。
近日,她又更新了一篇名爲 “ Harness Engineering for Self-Improvement ”的最新博客[1]。這次 ,她 將焦點聚焦於一個 AI 領域火熱討論的議題——已成爲當前 AI Agent 系統的重要工程層的 Harness Engineering 。
如果說 Scaling Laws 決定了一代模型的天花板有多高,那 Harness 就是決定這個模型在現實任務中 可以 走多穩、多遠的那層操作系統。
從 翁荔這篇新博文 可以看到的是 , 她試圖在 回答一個關鍵問題: 在真正能夠修改自身權重的 “ 硬遞歸 ” 仍十分遙遠時 , 真正能夠持續實現遞歸自我提升 ( RSI , Recursive Self-Improvement ) 的循環, 是否可能 先從模型外面的這層 “ 腳手架 ” 開始?
圖丨相關博客文章(來源: https://lilianweng.github.io/posts/2026-07-04-harness/)
Harness 的 概念,可以理解成包裹在大模型外的一套系統。它不只是簡單的提示詞模板,而 是 決定着 模型如何思考 和規劃 、調用哪些工具 和行動 、如何管理上下文和執行工作流的運行時環境。
翁荔在文章裏提到, 當下 像 Claude Code 和 Codex 這類成功的編程智能體產品, 它們的 核心優勢很大程度上 來自 精心設計的 Harness。
一個成熟的 Harness 類似於 操作系統,它能封裝複雜的邏輯, 同時保持接口簡單: 讓模型 無需將 整個工作流和所有日誌都 “ 塞 ” 進有限的上下文窗口 中 ,而是 基於 文件系統這類持久化存儲來管理狀態和 產物 。這種設計模式,讓智能體 能夠 處理更長週期的任務, 在 一定程度上可避免 在長上下文的混亂中迷失。
圖丨 一個簡化版的 Codex 智能體循環:智能體調用工具,工具的返回結果會影響模型下一步的生成內容 ( 來源 : https://openai.com/index/unrolling-the-codex-agent-loop/ )
沿着 這個思路,翁荔系統 梳理 近期一系列相關的研究, 總結 出一條 Harness 從手工設計到自我優化的演進路線。 在她 看來, 早期 Agentic Context Engineering 等 框架 的 嘗試 , 更像是將 上下文當作一個不斷演化的 “操作手冊”,通過生成、反思和 篩選 的循環,讓模型 可以 從成功或失敗的軌跡中提煉出結構化的要點, 進而 更有效地管理記憶。
(來源: https://github.com/yasasbanukaofficial/claude-code )
更進一步 地 , Meta Context Engineering 將 上下文管理本身也變成了一個可優化的對象,讓一個元智能體去搜索和改進管理上下文的 “技能”, 進而達到 雙層優化 的 目標 。
而像 Meta-Harness 這樣的工作,則直接 將 Harness 的代碼 作爲一種 搜索空間,讓編碼智能體 進行 編寫、測試和迭代新的 Harness 代碼,甚至能生成多個候選方案 , 並找出其中的帕累托最優解。
這種讓智能體 進行 自身系統代碼改進的思路,在進化搜索領域也有 所 體現。比如 , Darwinian Gödel Machine 提出了一種讓編碼智能體能夠修改自身 Harness 代碼庫的框架 ,通過一個基於性能排名的選擇機制,不斷產生新的版本。
實驗表明,
在
SWE-bench Verified
這類編程基準上,
Darwinian Gödel Machine
發現的智能體可以達到
20%
到
50%
的通過率,與手工設計的智能體相當甚至更優。
不過,翁荔也強調,這並不意味着未來只優化 Harness。 更長期來看,Harness 與模型權重的聯合優化,仍可能成爲遞歸自我提升的重要方向。
圖丨 智能體上下文工程的框架示意圖 ( 來源 : https://arxiv.org/abs/2510.04618 )
翁荔認爲,這種 “元方法論”的轉向是當前最值得關注的趨勢:我們不再只是讓模型給出更好的答案,而是在製造一套能持續改進“如何獲得更好答案”的機制。
在這個迴路裏,Harness 自身成爲優化對象,逐步減少依賴人工編寫的啓發式規則,轉向更多可自動搜索的通用機制 ; 工程師的角色也從編寫具體規則,轉變爲設計更通用的進化框架。
不過,翁荔並沒有把這條路描繪成一條坦途。她在文章的後半部分, 客觀 地列出了這項研究面臨的 一系列 現實瓶頸。 其中, 最大的挑戰之一來自評估。目前的自我改進循環在那些有明確、快速、客觀評估指標的任務上效果顯著,比如寫代碼、解數學題。
圖丨 元上下文工程的框架示意圖 ( 來源: https://arxiv.org/abs/2601.21557 )
但 如果 面對模糊 的 判斷 , 例如 “這項研究是否有品味”“這個結果是否真的重要”,系統就很容易失效,甚至會爲了 實現 通過測試 的 目標 學會作弊,也就是所謂的 “獎勵黑客” 。
安全 則是 另一個隱患。如果允許模型自由修改系統代碼,抽象邊界和權限控制就會被打破,可能引發災難性後果。因此翁荔強調, 人類的角色不是被排除在循環之外,而是需要向上移動,在環路外扮演架構師和方向指引者的角色,負責設計可編輯的邊界和進行關鍵節點的 審查 。
在文章的結尾,翁荔並沒有 呈現邁向 RSI 的 虛幻的願景 ,而是列出了一份務實的挑戰清單:如何設計好的評估器、如何管理 上下文和 長期任務的記憶、如何解決進化中的多樣性坍縮、如何應對獎勵黑客,以及如何平衡短期任務成功與代碼庫長期健康之間的關係。
她 指 出 了 一個容易被忽視的問題:目前的優化大多基於沙盒內的短期獎勵,但現實中的軟件工程需要兼顧可維護性、向後兼容性和未來開發負擔。 這些 “長期成功”的指標,正是當前系統最不擅長處理的 問題 。
如果說上篇關於 Scaling Laws 的文章是在提醒大家,那個用於規劃數十億算力投資的公式沒有想象中可靠,那 麼, 這篇關於 Harness 的文章則更像是在 告訴公衆 , 通向遞歸自我提升的第一步,很可能並不是修改模型本身,而是先優化模型之外那個不起眼的 Harness。 而這條路本身,也充滿了需要小心繞開的 “ 坑 ” 。
或許, 真正的 RSI 不 是 突然某天模型開始修改自己,而是 悄悄開始於 一次次 Harness 優化中。
參考資料:
1.https://lilianweng.github.io/posts/2026-07-04-harness/
排版:劉雅坤
注:封面/首圖由AI輔助生成