今天， 世界模型幾乎成爲 AI 領域最受關注的話題之一 ，但對於“什麼纔是真正的世界模型 ” 卻依然存在巨大分歧。有人認爲它只是視頻生成的延伸，也有人認爲只有能夠理解物理規律、支持機器人行動的系統纔是真正的世界模型。
清華大學智能產業研究院（AIR）助理教授趙昊提出了另一種答案—— 原生 4D 世界模型 。在他看來，僅僅生成一段看起來連貫的視頻，還不足以說明模型理解了世界。真正面向自動駕駛和機器人的世界模型，需要進一步描述幾何、時間、光學屬性以及物體間的力學關係。
從室內佈局、三維場景理解與幾何約束，到 NeRF、自動駕駛仿真、4D 生成，再到推進至 3D 生成、機器人策略學習和 4D 世界模型，過去十幾年，趙昊的研究路線幾乎完整經歷了空間智能的發展過程。
（來源：受訪者）
在這次對話中，我們試圖追問的並不是“世界模型是否重要”，而是一個更具體的問題： 爲什麼必須是 4D？這條強調顯式幾何與物理表徵的路線，究竟是下一代基礎模型，還是在大規模視頻模型成熟前的一種階段性方案？
以下是我們的對話：
從場景理解到 4D 世界模型：一條清晰的技術演進路線
DeepTech： 在 AI 從看見世界邁向理解與干預世界的過程中，三維場景生成、神經渲染與生成式仿真這三個概念頻繁出現，它們之間是一種怎樣的關係？
趙昊： 三維場景理解到三維場景生成，是一個挺自然的延伸。如果把這個時間拉回到我讀博期間，當時，計算機視覺領域認爲最重要的技術就是三維場景理解，它最大的落地場景是自動駕駛，後面自然延伸到了三維場景生成。實際上，神經渲染是三維場景生成的一個重要的技術，而生成式仿真又是一個更大的概念，你可以理解爲它是三維場景生成和神經渲染的應用。
DeepTech： 從語言模型到 4D 世界模型，多模態大模型是如何一步步演進的？
趙昊： 從整個領域的發展脈絡看，多模態大模型已經歷了數代演進，AI 在不同階段遇到了不同的瓶頸難題。
圖丨多模態原生4D世界模型基模的演進（來源：受訪者）
如果按照我們團隊對多模態模型的劃分， 第一代是以大語言模型 Token 爲代表 ，如 OpenAI 的 ChatGPT 和 Meta 的 Llama 3，主要解決語言理解、推理與對話，但其瓶頸在於互聯網語料已基本用盡，難以繼續通過原有範式提升。
現在智能體（Agent）從範式上看並沒有什麼顯著的變化，只是在應用和架構上更先進了。以 Anthropic 爲例，它現在的一個提升方式是在各種環境中，讓智能體做強化學習，比如編程（coding）的環境，這裏的編程環境也是一個世界模型。
第二代融合了圖像 Token 和文本 Token ，典型代表是 GPT Image2.0 和 Nano Banana，實現了圖文理解、生圖與編輯。第一代和第二代多模態大模型的共同問題是，無法解決物理世界的真實問題。
當前，行業正朝着更復雜的代際邁進。 第三代引入了視頻 Token ，如 Seedance 和 Sora，它們開始處理時間動態與動作連續性，但並沒有完全成熟。 第四代發展爲加入 3D Token ，它所關注的是空間結構和物理屬性，比如 Trellis.2。
第五代可稱爲 4D World Token ，進一步整合空間、時間、物理與交互，這也是我們團隊近期重點的發展方向。AI 是第四次工業革命的核心，它的演進路線很清晰：從理解語言和圖像，到最終理解、生成並推演物理世界，並驅動智能體在世界中行動。
DeepTech： 過去一年，Dexora、Trellis.2、機器人生成式機械設計等工作都是 Best Paper 級別。很多人會覺得跨度很大，這些成果在整個技術路線中分別承擔什麼角色？
趙昊： Dexora 是 首個原生支持雙臂雙手高自由度操作的開源 VLA 系統 （ICRA 2026 Best Paper Final List）[1]，通過混合遙操流程和判別器加權訓練，在靈巧性基準測試中顯著優於現有基線模型。通過1萬條真機數據，驗證了大量的仿真數據可以帶來高自由度靈巧手操作。
（來源：https://dexoravla.github.io/）
第二個工作是原生物理光學屬性的高分辨率 3D 生成式人工智能（AIGC）基模 Trellis.2（CVPR 2026 最佳學生論文）[2]， 它的核心是從原生三維數據中學習結構化的隱式表徵，解決了原生 3D Token 的問題。
其中，O-Voxel 表徵中不僅有幾何的信息，還有所有的光學屬性的信息。原生的意思就是指所有的這些幾何和光學屬性，包括透明度、粗糙度、金屬感，還有基礎顏色全部都是通過原生的 3D Token 進行編碼的。
圖丨O-Voxel示意圖，以及3D資產與O-Voxel之間的即時雙向轉換（來源：https://microsoft.github.io/TRELLIS.2）
第三項工作是“Automated Synthesis of Facial Mechanisms for Conversational Animatronic Robots”（RSS 2026 Best Paper Final List）[3]。它是一個生成式的機械設計，其實就是任意給出一個二維的人臉肖像，不僅能夠生成它的三維模型，還把裏面的機械結構也生成出來。包括尤達大師、精靈、《泰坦尼克號》中的傑克、露絲，還有《白蛇傳》中的許仙、白素貞、小青等等。
總體來說， 這個系統能自動設計一個個性化、無碰撞的面部機制，並將其轉化爲可製造的機器人頭部，同時生成實時的說話和傾聽表情。 從一張圖片到一個實體的、可對話的機器人面孔，整個過程將專業機械設計時間從 22.8 小時縮短至 11.7 分鐘。
（來源：https://github.co m/ZZongzhe ng0918/automated-facial-mechanisms-synthesis）
DeepTech： 這些工作看起來分別屬於機器人、3D 生成和世界模型，但你一直強調，它們其實都屬於物理 AI。爲什麼今天世界模型會成爲連接這些方向的共同底座？
趙昊： 即便以語言模型爲核心的 Agent，在執行編程等任務時，也需要與一個能夠反饋狀態變化的外部環境交互；從廣義角度看，這類環境具有某些世界模型的功能。
隨着中期演化，當前的多模態大模型，無論是視頻生成、圖片編輯，還是三維、四維生成，仍然無法解決具身智能和自動駕駛所面臨的問題，也缺乏對物理人工智能（Physical AI）的感知能力。
因此，世界模型已成爲當下的核心主題，領域內也隨之湧現出許多新進展。例如，我們的 Dexora 就是利用大規模仿真數據和高精度遙操作數據，訓練了面向高自由度雙臂雙手操作的決策模型。
另一方面，Trellis.2 原生 3D Token，使得下一代及下下一代多模態大模型成爲可能。同時，三維 AIGC 也超越了單純的三維模型生成，進入了物理 AI 階段，例如可用於生成機械結構。
DeepTech： 此前，你們有一系列自動駕駛世界模型工作如 MARS、UniScene、DiST-4D、OmniNWM等。這些成果在論文中已經展示了完整系統能力，但論文結果與客戶真正可用的產品之間，通常存在很長距離。在你看來，它們還沒走向商業化的原因可能有哪些？
趙昊： 有一部分是產業週期的原因，之前還沒有到那個階段，以前自動駕駛的範式相對沒有收斂。所以，之前大家也很難讓做模型的人用一個統一的方法去 scale up 它。而現在，這些東西都已經把雛形搭好了，基本的原理也都有了。
那爲什麼還存在距離？因爲過去三年，從 2023 年 MARS 發表的時候，到現在 2026 年，這些技術還在不斷演進，但現在基本上已經收斂，到了一個可以用持續的數據、算力投入，加上工程團隊和客戶迭代，把自動駕駛的世界模型給做出來的階段。
圖丨OmniNWM（ECCV 2026）[4]長時序多視角多模態精準控制的可量產自動駕駛世界模型（來源：https://arlo0o.github.io/OmniNWM/）
現在自動駕駛的範式已經比較收斂，是可以 scale up 的時候了。之前沒有做延伸，是因爲技術沒有收斂。如果沒有一個確定的方案，方案沒有收斂，那麼用持續的數據、算力投入、工程團隊和客戶反饋，可能最後也沒有什麼實際效果。
DeepTech： 你早期研究室內佈局、三維場景理解與幾何約束，之後進入 NeRF、自動駕駛仿真、4D 生成和機器人世界模型。回過頭看，這是一條從一開始就明確的技術路線，還是在視頻生成、擴散模型和具身智能興起後，才逐漸收斂成今天的 4D 世界模型？
趙昊： 雖然現在大領域的共識是自動駕駛模型的市場付費意願還沒那麼強，但我記得之前有人說過，自動駕駛會是 AI 一個非常重要的 workload。
我們且不說具身智能還在投資期和成長期，真正有人實打實投入資金的方向，就是自動駕駛。自動駕駛要消耗很多算力、很多卡，還有視頻生成和編程，這是三個已經比較 solid 的 workload 了。目前，自動駕駛現在還“卡”在 L2.99，必須要有一個大規模量產的世界模型，纔可以真正把它推到 L4。
我覺得很有意思，你剛纔說的和我在談話開始時候說過的三維場景理解是一致的。從三維場景理解到三維場景生成基本上是學術界一個正常的轉向，所以，也可以說一開始就明確了技術路徑。
DeepTech： 領域內有沒有一些進展，是印證或啓發了從三維場景理解到四維世界模型可能會是發展趨勢的？
趙昊： 有篇論文“Rendering Synthetic Objects into Legacy Photographs”（SIGGRAPH Asia 2011，後發表於 ACM Transactions on Graphics ）[5]。它先研究房間佈局、場景理解、幾何約束，然後再做生成，把物體放進去，本質上就是先做三維場景理解，再做三維或四維的場景生成，這和我們討論的技術路線完全對得上。
（來源：https://experts.illinois.edu/en/publications/rendering-synthetic-objects-into-legacy-photographs）
這篇論文可以說是我們領域的一個經典，它恰好體現了先理解後生成的思路。你要問我是不是一開始就明確了技術點，那還真是，因爲在當時計算機圖形學領域頂會 SIGGRAPH，我追隨的那些該領域的資深專家走的就是這個技術路線。
後來視頻生成、擴散模型和具身智能崛起以後，推動了這一方向的發展，也讓人們意識到這件事已經具備了可行性。我第一次真正意識到這一點，是在讀博期間讀到這篇論文的時候，當時就堅定了從三維場景理解到四維世界模型的發展路徑。
DeepTech： 世界模型需要長期基礎研究，也需要數據、算力、產品和高強度交付。與純工業界出身的團隊相比，學院派如果想推動相關技術或項目商業化落地，真正的優勢是什麼？
趙昊： 這涉及到一個技術、商業項目或產業方向的本質問題。世界上有很多學院派創業，比如軟件定義網絡（SDN）就是典型，世界模型尤其如此，現在聲量最高的楊立昆（Yann LeCun）和李飛飛都是學院派代表。
學院派做商業化和工業團隊的商業模式各有不同。舉例來說，騰訊和字節是典型的產品驅動型公司，產品好、體驗好，微信、抖音、王者榮耀都是把人性體驗拿捏到極致的產品。阿里則是一個典型的平臺型公司，管理和生態最重要。產品公司的技術當然是核心要素，但產品驅動型公司更多是把成熟技術做到好的體驗。
所以如果硬要分類，世界上大概有產品型、平臺型和技術型三類公司，AI 顯然屬於技術型。像 GPT 或語言模型，必然是 OpenAI 這樣的全明星科學家團隊才能做出來。
當然，產品型公司以前也做過相關嘗試，比如蘋果的 Siri。在大模型出現之前，它已經通過大量的產品定義和預設問答，在沒有大模型的情況下把產品體驗做到了極致。所以從 Siri 到 GPT，本質上是從產品型業態向技術型業態的轉變。
什麼是真正的 4D 原生？
DeepTech： 世界模型是近期大家都在討論的話題，但說法並不一致，比如有生成視頻、生成三維場景、訓練機器人，還有輔助自動駕駛都號稱自己是世界模型，那到底什麼是世界模型？
趙昊： 世界模型最核心的就是刻畫世界的變化。 無論是生成視頻、三維場景，還是在其中訓練機器人、做自動駕駛，本質上都是在刻畫世界的變化。
至於 State 用什麼方式來表達，其實有很多種形式，它可以包括語言模型在編程環境中的狀態變化，AlphaGo 下圍棋時的棋盤向量，生成圖片可以理解爲用離散的二維圖像狀態來刻畫變化，視頻則是通過視頻 Token 的變化來體現，三維的、四維的都是世界模型，聯合嵌入預測架構（JEPA）本質上也是一維的世界模型。
所以，世界模型的定義很清楚：刻畫從 State t 到 State t+1 的變化，只是不同模型採用的狀態維度不同，有的是一維、二維，有的是三維、四維。它們最核心的區別在於，如果採用一維或二維的 Token，天然缺乏四維物理世界所需的表徵，包括物理屬性和光學屬性，因此很難真正刻畫世界的變化。
神經網絡的可解釋性本身就很差，如果用一維 Token 去表達世界變化，既難以解釋，也難以修正。二維視頻生成也經常遇到不符合物理規律的問題，但由於表徵本身就是二維的，出了問題也“束手無策”，網絡本身就是個黑盒。
所以，要真正解決物理 AI 的問題，包括自動駕駛、具身智能以及物理真實的遊戲和影視，還是需要四維表徵才能真正解決這些問題。 關鍵就在於，四維表徵更可解釋、更明確、更可依賴，這是其他維度無法替代的。
DeepTech： 爲什麼三維場景加上一個時間軸，還不能算團隊所定義的物理原生 4D 世界模型？第四維除了時間之外，還應該包含什麼？
趙昊： 從本質上來看，世界模型的物理屬性主要分爲熱學屬性、電磁學屬性、光學屬性和力學屬性，我們現在主要關注的是力學屬性和光學屬性。但電磁學也很重要，比如無人機的世界模型就需要關心電磁學和反無人機的問題；熱學屬性同樣關鍵，它關係到自動駕駛車輛和機器人的散熱。
純三維場景加一個時間軸，其實只是 3.5D 的世界模型，而不是真正的 4D。因爲每一幀之間沒有通過光學和力學的變化建立聯繫，每一幀都只是一個獨立的三維場景，你並不知道每個點的受力、速度和動量。
只有把力學屬性如楊氏模量、密度、動量、受力等都刻畫進去，才能讓時間軸上的每一幀真正關聯起來，形成完整的、4D 原生的世界模型表達物體狀態、身份和運動軌跡。
非 4D 原生的模型，比如 3D 模型或視頻模型，並沒有刻畫這些東西。必須要包含物理屬性，其中熱學和電磁學我們暫時還沒深入，光學和力學纔是當前的核心。沒有這些屬性，就只是一個 3.5D 的模型。
DeepTech： 你和團隊提出 4D World Token，爲什麼要把連續的物理世界 Token 化？
趙昊： 首先三維世界、三維模型本身都是連續的，Token 化的。比如 Trellis.2[2]也是有一個變分自編碼器（VAE），然後在一個網格上，把三維模型變成三維 Token，然後再去做生成。
其次，視頻模型其實也是 Token 化的，無論是 Seedance、Sora 還是萬象，它其實都是有一個 VAE，把它變成視頻 Token，圖片也同樣會把這個東西變成 Token 的。所以，語言模型變成 Token 化這件事，是現代多模態大模型的一個慣例。
我認爲，除非量子計算、神經擬態計算這些新的計算機架構能有突破，我們在很長一段時間內還是需要把連續的物理世界 Token 化，在 4D 中也是一樣。
DeepTech： 在強化學習的定義中，環境模型往往不僅要預測狀態變化，還可能需要預測獎勵或價值；而計算機視覺領域的世界模型通常更關注視頻、幾何或未來狀態。你認爲，面向智能體的世界模型是否必須提供獎勵信號？如果不同任務對應不同的獎勵，獎勵本身應該是由通用的獎勵模型還是由獨立的價值模型承擔？
趙昊： 我覺得這個問題非常專業。獎勵必須在 4D 表徵上纔好定義。首先獎勵非常重要，獎勵就是你僅僅預測物理狀態的變化是不夠的。有很多種世界模型都是從 State t 到 State t+1，但有的是一維表徵，有的是二維視頻生成模型。
實際上，它就是一個二維表徵的世界模型，這個狀態是一維、二維、三維、四維的區別，關鍵在於你要怎樣去定義，怎麼表達這個狀態，你就在這個狀態上怎麼去定義它的獎勵。
因此，世界模型必須要有好的獎勵纔可以。它也許需要獨立的價值模型來承擔，但這樣就涉及到你到底要表徵成什麼樣。一維只能通過神經網絡盲目映射，二維不能理解空間關係，三維無法理解“快快的”或者“輕輕的”這種獎勵。
所以，對涉及空間關係、動態過程和物理交互的任務而言，完整的 4D 表徵有助於把獎勵定義得更明確、更可解釋。
技術路線之爭：幾何、查詢範式與 Scaling Law
DeepTech： 從你們的研究看，無論是 UniScene、ORV 還是其他 4D 生成工作，都非常強調幾何、佔據和時空結構。但根據大模型路線，只要數據和算力足夠，模型可以從像素中自行湧現三維結構與物理規律。所以，幾何先驗究竟是團隊的長期壁壘，還是在模型和數據規模不足時必須使用的一根“柺杖”？
趙昊： 我從兩個角度來回答這個問題。二維的表徵它有可能自然地學出三維結構和物理規律，但前提是數據和算力足夠。然而，這些數據還是要靠四維的模型去生成的，我覺得這個邏輯是必然的。
在我看來，幾何先驗的作用不是一個“柺杖”。 我預言，四維世界模型未來將會是一個大模型，而二維的模型可能是從 4D 模型中提取出來的一個小模型。 所以，它們之間的關係是：我們的 4D 世界模型是“重”模型，而 JEPA 這樣的是“輕”模型。至於數據和模型規模不足的問題，未來這種純大模型路線，還是需要像我們這樣的 4D 世界模型來提供數據纔行。
對於長期壁壘，我的看法是：純的二維大模型，即便未來被驗證可行，也必然是在我們這種四維模型做成功之後，利用我們生成的 4D 數據來訓練的。因爲大模型需要海量數據，而我們正是提供這些數據的角色。
並且，它們的算力消耗遠低於我們。所以，一旦我們的路線走通，其他路線可以提取我們的成果，變成一個二維表徵的模型，但我們同樣能做它們做的事——我們可以降維，但它們無法升維，做不了我們做的事。
DeepTech： 你曾判斷，基於查詢的幾何基礎模型會成爲趨勢。如果模型最終能夠在隱空間直接查詢任意時空位置的信息，是否意味着顯式三維重建、網格、點雲乃至佔據表示都會逐漸退到後臺？你判斷的是查詢式幾何，但這條路線的終點，會不會恰恰是模型不再顯式構建幾何？
趙昊： 這裏需要澄清一個事實，查詢式（query-based）Transformer 實際上是一種架構，儘管它們之間存在千絲萬縷的聯繫，但經常有人把架構與表徵混淆。
首先，任何的深度學習，無論從最早的卷積神經網絡（CNN），到現在的 Transformer，都有輸入、網絡和輸出。表徵其實是定義了網絡的輸出，架構是網絡本身。
query-based Transformer 是架構，而四維的纔是表徵，即模型最終的輸出。就像清華趙行老師團隊的研究“Fast World Action Model”[6]，它可以不做視頻的解碼，只用隱空間來做，這相當於表徵。它首先必須要有四維的表徵，但 query-based Transformer 可以把它解碼出來，這就是架構和表徵之間的區別。
DeepTech： 視頻模型仍會生成違反常識的畫面，但 Genie 3 已經能夠實時生成可探索的交互環境，並在一定時間內保持視覺和環境一致性。如果視頻生成模型繼續擴大數據、參數和交互軌跡，它是否可能自然演化成真正的世界模型？
趙昊： 首先 Genie 3 範式很有意思，但它也在演變中。我們團隊已經做了很多有四維表徵的世界模型，比如自動駕駛領域的 Omni NWM[4]，它其實就是一個六視角的 Genie 3，同時還具備四維的語義和幾何表徵，可以理解爲四維版的 Genie 3。
另外我們還有一個工作，是視頻生成框架 LightX（ICLR 2026）[7]，它是一個鏡頭與光照“雙可控”的 4D 視頻生成模型，可爲固定機位視頻賦予動態運鏡和可調光照的全新維度。可以將它理解爲一個被重新打光的 Genie 3，也可以像 Genie 3 那樣在裏面自由走動。
（來源：https://github.com/tqtqliu/light-x）
我的核心觀點是：Genie 3 作爲生成式模型，繼續擴大數據確實可以演變成真正的世界模型，但前提是必須加上四維表徵。 而我們在該方向已經有了一些成果，比如 OmniNWM 和 LightX 都是四維版本的 Genie 3。所以它可以演變，但不僅僅是擴大數據，還需要引入四維表徵——這正是我們要做的方向。
DeepTech： MARS 已經嘗試將真實的道路重建爲實例可控的仿真場，傳統的仿真引擎爲什麼還需要世界模型？如果是依賴傳統仿真，它究竟是一種新一代模擬器，還是隻在傳統仿真引擎外部增加了一層生成式視覺呈現？
趙昊： 我覺得這個問題也比較關鍵。傳統仿真確實能夠提供顯式的幾何和物理規律，這點沒錯。但是，傳統仿真引擎提供的顯式幾何和物理規律還不夠好，它有大量的問題無法建模。
所謂的顯式幾何和物理規律，就是從 State t 到 State t+1 的變化。如果傳統仿真能夠徹底解決 State t+1 的問題，我們確實就不需要做世界模型了。但問題在於，它還不夠好，有很多微妙的東西是傳統仿真引擎無法刻畫的。
舉個例子，傳統仿真一直在糾結於湍流和疲勞這些問題。如果它真的能做到，世界模型早就實現了。正是因爲傳統仿真引擎無法很好地建模這些物理規律，所以才需要世界模型。第五代世界模型就是把一切變成 Token，讓神經網絡直接去學習物理規律，目標是解決傳統仿真引擎解決不了的問題。
DeepTech： 機器人和自動駕駛不需要每一片樹葉都符合真實規律，卻非常依賴碰撞、質量、摩擦、接觸、遮擋和物體恆存。那麼應該怎樣確定哪些誤差可以容忍，哪些誤差會讓世界模型失去訓練價值？
趙昊： 這本質上是對物理規律要刻畫得多細的問題。傳統的仿真引擎能夠仿真風洞實驗或機械臂抓取，但無法刻畫每一片樹葉的物理規律，因爲傳統仿真引擎本身是受限的。
所以，我們想要做的正是能夠把每一片樹葉都刻畫出來的世界模型。雖然很難，但這其實是一個“信仰”問題。就像在 GPT 誕生之前，可能有些研究自然語言處理（NLP）的學者可能會說，如果只做問答或實體識別，並不需要了解世界上所有的知識，只需要一些領域特定的表徵就夠了。
但技術發展到後來，真正勝出的恰恰是那個瞭解世界上所有知識的大模型，並且它降維打擊了所有子任務。所以，我們認爲 4D 世界模型是下一代基模，是下一個智譜、下一個 GPT，那就應該直接奔着最高的目標——去做一個能夠理解所有物理規律的世界模型，然後降維打擊所有機器人和自動駕駛的問題。
既然已經開始做世界模型，就應該把所有問題都解決掉，就像 GPT 把所有知識都囊括進去，再去降維打擊所有子任務一樣。這纔是一個做基模應有的“苦澀的教訓”（bitter lesson）和規模法則（Scaling Law）的思路。
數據與學習：世界模型如何獲得因果和行動能力
DeepTech： 語言模型可以從互聯網上獲得大量文本，但世界模型需要的不只是畫面，還需要動作、狀態變化、傳感器信息和結果。在你看來，起步階段最稀缺的是哪類數據？公開數據、真實機器人軌跡、自動駕駛數據、遊戲數據和仿真數據分別承擔什麼作用？
趙昊： 首先，公開數據、真實數據、自動駕駛數據，這些統一稱爲真實數據；遊戲數據、仿真數據則統稱爲仿真數據。仿真數據之所以重要，是因爲幾何和速度信息無法通過人工標註獲得，而仿真數據中的幾何、速度信息是絕對精準的。
當然，仿真數據存在仿真到現實（Sim-to-Real）的差距，而神經渲染的一個重要用途，就是通過在真實數據上進行自監督學習，來縮小甚至消除這一差距。
正因爲我們現在要做的是 4D Token，仿真數據中的四維標記在力學信息和幾何信息上是絕對精準的，相比之下，真實數據中重建出來的幾何和速度信息反而沒有那麼準確。由於仿真數據存在 Sim-to-Real 差距，我們的基本思路是： 需要在真實數據上做自監督，來減少這個差距。
在所有仿真數據中，最具挑戰性的是接觸力學仿真。比如，我們團隊做的 RTX-IPC 仿真，生成的數據就非常真實。面向靈巧手等高密度動態接觸場景，較 StiffGIPC 實現平均達到了端到端加速 1.7 倍，可提供更高效的底層計算能力。
（來源：受訪者）
DeepTech： 世界模型究竟能夠替代自動駕駛中的哪一部分真實數據採集和路測？它更適合用於訓練、長尾場景生成，還是安全評測？哪些數據和驗證無論如何仍然必須來自真實道路？
趙昊： 世界模型用於長尾場景生成、安全評測以及普通的感知訓練，這些都是自動駕駛在 L2 和 L2.99 級別的典型應用，而且已經落地了。之前自動駕駛世界模型之所以沒有量產，是因爲這些應用太細碎，而現在自動駕駛世界模型已經開始收斂成一個大模型的業態。
現在，自動駕駛已經進入了 4D 世界模型的新時代。對於L4級別，真正有用的世界模型，是像特斯拉在 2025 年 10 月公開的“神經世界模擬器”那樣，能夠進入量產系統訓練與閉環評測流程的模型，以及我們推出的可量產、六視角、具有四維表徵的 OmniNWM。它有可能會真正改變自動駕駛和自動駕駛世界模型的格局。要進入L4的自動駕駛世界模型時代，核心思路是： 先訓練一個自動駕駛的世界模型基模，然後車企在此基礎上做強化學習（RL），這樣才能真正達到 L4。
DeepTech： 當模型生成的視頻、3D 場景和軌跡不斷迴流到訓練集中，錯誤是否會被下一輪模型繼續學習和放大？你和團隊怎樣判斷一條合成軌跡有資格進入預訓練或後訓練數據？
趙昊： 這也是一個有意思的現象。仿真數據的優勢在於沒有錯誤，提供的幾何和物理信息絕對精準，因此其生成的模型誤差不會影響利用神經渲染在真實數據上做自監督來減小 Sim-to-Real 差距。
關於 Sim-to-Real 差距和誤差積累的問題，答案是一樣的：我們一部分數據沒有錯誤但有 Sim-to-Real 差距，另一部分真實數據沒有 Sim-to-Real 差距但可能有錯誤。通過將這兩種數據混合起來訓練，利用自監督方式提供訓練信號，持續提升我們的 4D 世界模型。
質疑、評測與無法迴避的難題
DeepTech： 目前團隊是否在推進技術的工業落地或合作？是否有一些有趣的案例可以與我們分享？
趙昊： 我們團隊目前較成熟的能力和工業合作，主要集中在自動駕駛、面向3D打印的三維內容生成等無接觸或弱接觸場景。一旦涉及到具身智能中複雜的接觸力學（contact-rich），仿真和交付難度都會顯著提高。至於自動駕駛領域，剛纔提到的那些 L2 到 L2.99 的場景，我們已經有工業合作的案例了。
DeepTech： 你聽到過對世界模型最有分量的質疑是什麼，比如視頻生成到底算不算是世界模型？
趙昊： 我覺得視頻生成肯定是世界模型中很重要的一個部分。無論是一維表徵，比如 JEPA，它也會生成一些視頻，雖然質量很差；二維就更不用說，本身就是生成視頻的；三維、四維的我們最後也還是會渲染出一個視頻來。所以，視頻生成肯定是世界模型一個重要的出口，無論哪種狀態表徵，最後多少都會涉及到視頻生成。
最有分量的質疑，我覺得就是模型誤差會不斷積累，這是一個事實。現在無論用哪種方式生成視頻都各有千秋，但現有模型即便能夠輸出更長視頻，也很難在超過 1 分鐘的尺度上持續保持可靠的身份、幾何、物理和交互一致性。
DeepTech： 那如果想要做超過 1 分鐘的視頻，需要在哪項技術能力方面進行突破？
趙昊： 說實話，還挺難的。
DeepTech： 因爲它不是一個單點的技術突破？
趙昊： 對，它可能需要更好的卡，這需要 GPU 的突破纔有可能真正實現。如果說領域內有一些討論或者質疑，我覺得很多問題是能解決的，但真正沒法解決的是，無論你用哪種方法，還是很難突破生成超過 1 分鐘的視頻。
當然 1 分鐘以內已經很有用了，你可以用好多個 1 分鐘。現在真正長程的流式世界模型，要時間很長，還是很難的。我覺得在這方面，我們的 4D 表徵是一個很有前景的解決路徑。
DeepTech： 目前，世界模型缺少統一評測。視頻質量不能說明動作預測正確，單個機器人任務的成功也不能證明擁有通用物理理解。如果理解物理世界沒有一個明確目標函數，我們怎樣知道模型學對了？
趙昊： 目前，我們確實暫時還沒有能力去做這麼大規模的評測。但我想表達一個觀點： 判斷模型是否真正理解物理世界，最終的評測標準應當與 4D 世界模型對齊。 這個想法雖然有些激進，但我認爲應該先把具備 4D 表徵的世界模型做出來，因爲它確實在理解物理世界。
之後，其他基於純二維或一維狀態的世界模型，都可以與這種顯式 4D 表徵進行對齊。從整個行業來看，也是應該優先推進 4D 世界模型的研究，因爲 4D 表徵本身就蘊含着對物理世界的深層理解，可以作爲各種路徑的通用對齊基準。
DeepTech： 問一個大膽的預測——在幾何先驗、4D World Token、query-based Transformer 架構、獎勵機制和跨行業基座模型這些判斷中，哪一項最可能在未來三年被證明是錯的？
趙昊： 這個還挺有意思的。我覺得原理上前四個都是對的，唯一一個可能是錯的，就是跨行業基模可能不對，在未來三年內大家也許會判斷它實在是太難做了。
DeepTech： 出現什麼實驗或市場信號，你會改變團隊的技術路線？如果核心假設不成立，團隊是否有 Plan B？
趙昊： 首先我必須澄清一下，這裏有一個可能會讓人誤解的地方，我們的技術路線並不是只有 4D Token。第五代多模態大模型實際上囊括了前四代的所有路線，可以說，語言、圖像、視頻、3D 和 4D 等多種表徵自然都是它的子集，這些路線只是我通往第五代多模態大模型的一個折中方案，所以它沒有 Plan B。
如果你要說出現什麼市場信號我們會有所調整，也許我們在第五代、五種 Token 混合訓練的時候，有一些子集已經帶來巨大商業價值，我可能會優先用那些路線去做，去解決屆時大家最關注的那些有意思的問題。
參考資料：
1.https://dexoravla.github.io/
2.https://microsoft.github.io/TRELLIS.2
3.https://github.com/ZZongzheng0918/automated-facial-mechanisms-synthesis
4.https://arlo0o.github.io/OmniNWM/
5.https://experts.illinois.edu/en/publications/rendering-synthetic-objects-into-legacy-photographs
6.https://huggingface.co/papers/2603.16666
7.https://github.com/tqtqliu/light-x
8.https://opendrivelab.com/RISE/
9.個人主頁：https://sites.google.com/view/fromandto
運營/排版：何晨龍
注：封面由 AI 輔助生成