推理芯片又火了，但這個市場不會出現另一個英偉達

DeepTech深科技2026年7月11日

最近，推理芯片市場又熱了起來。

過去兩週， OpenAI 發佈首款自研推理芯片 Jalapeño， Etched 帶着 8 億美元融資走出隱身模式 ，Anthropic 被曝與三星討論定製芯片， DeepSeek 和智譜也傳出自研消息。Meta 的新一代 MTIA 計劃於 9 月啓動製造，Positron 則在洽談約 7.5 億美元新融資。

SambaNova 的估值變化最能說明市場情緒。去年 12 月，Intel 曾接近以約 16 億美元收購這家公司，談判後來擱置。今年 7 月， SambaNova 完成 10 億美元融資的首次交割 ，投後估值達到 110 億美元。7 個月內，資本市場給它的價格翻了近 7 倍。

回望 前一兩年， Groq 、 Cerebras 、 Graphcore 、 SambaNova 等公司先後以推理效率、低延遲或新型芯片架構進入市場，許多都打着“挑戰英偉達”的旗號。後來， Graphcore 低價賣給軟銀， Groq 把推理技術授權給英偉達， Cerebras 雖然完成上市，收入和毛利率仍受到質疑。英偉達的市場地位 並 沒有明顯動搖。

既然上一批挑戰者沒有改變格局，資本爲什麼又一次湧入推理芯片？

單 從 名單上 來 看 ， 這一輪 還真是 有些不同。上一輪的主角大多是芯片創業公司；最近下場的還有 OpenAI 、Meta、Google、Amazon 和 Anthropic ，還有媒體報道 DeepSeek 與智譜也在籌備各自的 推理芯片 。 它們過去是芯片的買家，現在開始參與定義和設計芯片，而且手裏握着創業公司最缺的東西：模型、用戶和長期運行的推理負載。

那麼問題來了， 模型廠商湧入，是否足以讓這一輪走向不同的結果 呢？以及， 它 們爲什麼選擇從推理入手？推理市場是否真的能容納多種芯片？英偉達過去建立的優勢，又有多少能夠從訓練延伸到推理？

回答這些問題，需要先回到上一輪競爭的起點：爲什麼那麼多芯片公司挑戰英偉達，市場 上 卻始終沒有出現一個穩定的第二名。

訓練市場爲什麼只剩英偉達

英偉達在 AI 訓練市場的地位，通常被歸因於 GPU 性能和 CUDA。 但這個解釋其並不完整， 更 完整的來說 ， 是 訓練需要的各項能力最終 被英偉達 集中到了一套系統裏。

目前， 前沿模型訓練仍在快速變化。模型架構、並行方式、數據精度和通信方法都可能在一代產品中調整。研究人員需要足夠通用的芯片，也需要成熟的編譯器、算子庫和調試工具。集羣擴大到數千乃至數萬顆芯片後，網絡、通信和系統穩定性的重要性又會超過單顆芯片的峯值性能。

而 英偉達 所 提供的已經不只是一顆 GPU。CUDA、 NVLink 、網絡芯片、服務器和軟件工具共同構成了一套可以反覆使用的平臺。模型公司更換芯片，意味着大量軟件和工程工作需要重做。

過去十年，挑戰者在這件事上不斷失敗。Intel 2016 年收購 Nervana ，幾年後終止相關產品；2019 年又以約 20 億美元買下 Habana Labs，Gaudi 系列一直沒有形成足以動搖英偉達的規模。Wave Computing 申請破產。 Graphcore 巔峯估值達到 28 億美元，2024 年以據報道約 5 億美元的價格賣給軟銀。

圖丨英特爾 Gaudi 3 （來源：Intel）

這些公司未必輸在單顆芯片性能上。 更核心的原因在於， 訓練客戶需要一整套能夠跟上模型變化的系統，而軟件生態和集羣經驗會隨着客戶數量繼續積累。領先者 會 獲得更多用戶，也獲得更多反饋，再把反饋寫進下一代硬件和軟件。後來者需要同時追趕芯片、軟件、網絡和客戶習慣。

推理的情況 則不是這樣。在 模型投入使用後，負載會在一段時間內變得相對穩定。運營方知道自己要運行哪些模型，也能大致預測請求長度、併發量和延遲要求。芯片不必爲所有可能出現的算法保留同樣多的靈活性，可以把更多資源放到具體任務上。

更重要的是，推理場景之間差異很大。 實時語音要求低延遲，批量生成更關心吞吐量；長上下文需要更大的內存，簡單對話看重單位成本；搜索和金融業務追求快速響應，視頻生成可以等待更久，卻會持續佔用更多計算資源。

訓練只在乎誰最強，所以收斂到了一家。 但 推理在乎的東西太多 ， 延遲、容量、功耗、單位成本 ， 不 同場景排序完全不同 ， 沒有一顆芯片能同時在所有維度上 領先 。理解了這個區別 ，我們也就理解了如今市場的火熱： 推理市場結構性地存在多條路線，所以資本同時押注是合理的 ，甚至是不同 類型的公司都找到了自己非做不可的理由。

造模型的人開始造芯片

Google 是最早把模型和芯片放在一起設計的公司。TPU 已經迭代多年，最初主要服務 Google 內部業務，後來逐步通過雲服務向外部客戶開放。最新一代 TPU 又拆分爲訓練芯片 TPU 8t 和推理芯片 TPU 8i，分別針對不同負載。

Amazon 也在做類似的事。 它的 Trainium 同時覆蓋訓練和推理，Graviton 則用於通用雲計算。Amazon 今年披露，Graviton、 Trainium 和 Nitro 等自研芯片業務的年化收入已經超過 200 億美元，AWS 新增計算能力中有一半以上運行在 Graviton 上。

實際上，在研發出 Graviton 後， Amazon 並 沒有把 Intel 和 AMD 趕出 AWS，卻改變了兩家公司與 AWS 之間的關係。AWS 可以把適合的負載遷移到自研 CPU，也可以繼續採購外部產品。 自研芯片只要承擔一部分足夠穩定的業務，就能降低成本，並在採購談判中增加一個選擇。

Meta 正把同一思路用到 AI 上。公司已經在推薦、廣告和內容分發中部署數十萬顆 MTIA，未來兩年計劃推進 MTIA 300、400、450 和 500 四代產品，後兩代將主要處理生成式 AI 推理。通過複用芯片模塊、機架和軟件，Meta 希望把更新週期壓縮到 6 個月左右。

但 這不意味着 Meta 會停止購買 GPU。今年 2 月，Meta 宣佈與英偉達擴大合作，將部署數百萬顆 Blackwell 和 Rubin GPU；隨後又與 AMD 簽署最高 6 吉瓦的長期協議。與此同時，Meta 還租用 Google TPU，並討論從 2027 年開始直接採購。

Meta 的採購名單越來越長，自研芯片只是其中一項。它的意義在於，新增推理負載不必全部交給某個外部供應商。只要 MTIA 能接走一部分穩定業務，Meta 就可以少付一些採購成本，也可以更靈活地安排數據中心容量。

大模型公司的動機更直接 ， 對 於它們來 說，推理成本就是毛利率。 OpenAI 和 Broadcom 合作的推理 ASIC Jalapeño 六月底發佈，從立項到流片只用了九個月， OpenAI 負責提出模型、算子、內存和推理系統的需求，博通完成芯片實現和網絡設計，Celestica 參與板卡、機架及系統集成。這是一項聯合定製工程， OpenAI 掌握需求定義，半導體和系統公司負責把它變成可以部署的產品。 據 Broadcom CEO Hock Tan 稱，這顆芯片能 比傳統 GPU 省大約一半成本。

而 Anthropic 目前 仍處於更早階段。它已經大量使用 Google TPU、AWS Trainium 和英偉達 GPU，7 月初又被曝與三星討論一款採用 2 納米工藝的定製芯片。公司尚未決定是否正式推進。 但 即使項目成立， 預計 自研芯片也 只 會先作爲現有算力的補充。

幾家公司都沒有表現出徹底離開英偉達的打算。它們在做的是把硬件選擇從一種增加到幾種，再把最穩定、規模最大的推理負載逐步轉移出去。

這一趨勢也養大了博通。博通 2026 財年第二季度來自 AI 半導體的收入已經達到 108 億美元，同比增長 143%，主要來自定製加速器和 AI 網絡。陳福陽預計，2027 財年的 AI 半導體收入可能超過 1000 億美元。

博通很少以自有品牌與英偉達正面競爭。它幫助 Google、Meta、 OpenAI 等客戶實現芯片，再提供網絡和系統組件。大模型公司想自己定義芯片，博通則把這件事做成了一門可以複製的生意。

中國公司還要考慮能不能拿到芯片

DeepSeek 和智譜面臨的條件不同。

路透社 7 月 7 日報道， DeepSeek 的推理芯片項目已進行約一年。公司正在接觸芯片設計、代工和存儲企業，也在非公開渠道招聘芯片工程師。項目仍處於早期階段，連代工夥伴都沒有確定。

DeepSeek 此前已經嘗試把更多工作遷移到國產硬件。路透社去年報道稱， DeepSeek 在使用華爲昇騰芯片訓練新模型時遇到穩定性、芯片互連和軟件問題，後來採用英偉達芯片訓練、昇騰芯片推理的組合。今年發佈的 V4 又進一步適配了昇騰平臺。

推理芯片是這條路線的延伸。 DeepSeek 熟悉自己的模型結構，也積累了低精度計算、混合專家模型和推理優化經驗。如果一顆芯片只服務 DeepSeek 的模型，它可以圍繞這些特徵設計，不必照顧所有框架和客戶。

困難也 顯而易見 。先進製程、高帶寬內存、封裝和軟件工具都受到供應限制。芯片完成設計，並不等於能夠順利量產。美國模型公司做定製芯片，主要考慮成本、效率和供應商議價； DeepSeek 還要同時考慮哪些硬件能夠長期獲得。

智譜的項目比 DeepSeek 更早。The Information 的報道顯示， 智譜 向部分中國芯片設計企業作了初步詢問，評估爲 GLM 定製 ASIC 的可能性。智譜此前已經投入大量工程資源，讓 GLM 適配昇騰、寒武紀、摩爾線程等國產算力平臺。

廣泛適配解決“在哪裏能跑”，定製芯片解決“跑一次要多少錢”。 隨着 GLM 的調用量繼續增長，後一個問題 正在變得 越來越重要。智譜是否擁有足以攤平芯片設計成本的穩定負載，目前仍需要更多數據。

創業公司各自尋找一小塊市場

模型廠商和雲廠商會優先拿走最穩定、規模最大的內部負載。Google 可以讓 TPU 先運行 Gemini，Meta 可以把推薦、廣告和生成式 AI 任務遷移到 MTIA， OpenAI 也能根據 ChatGPT 、Codex 和 API 的使用方式設計 Jalapeño。它們不需要向外部客戶證明芯片適合所有模型，只要在自家業務中節省足夠多的成本，項目就有繼續投入的理由。

創業公司沒有這樣的內部需求 ， 所以 它們必須找到一批需求足夠明確、又沒有能力自研芯片的客戶，再證明自己的方案比通用 GPU 更合適。

這部分市場並不整齊。企業本地部署、低延遲服務、大內存模型、批量生成和主權算力項目，對芯片的要求差別很大。創業公司通常不會同時解決所有問題，而是選擇其中一種需求，把產品做得更專用。

Etched 押注的是模型架構。它的 Sohu 是一款專門運行 Transformer 的 ASIC，把這類模型常用的計算模式直接固化到硬件中。芯片不必爲其他算法保留太多通用能力，理論上可以獲得更高的利用率和吞吐量。代價也很明確：如果主流模型架構發生較大變化， Sohu 很難像 GPU 一樣通過軟件更新繼續適配。

Etched 宣稱，一臺裝有 8 顆 Sohu 芯片的服務器可以提供相當於 160 顆 H100 的推理吞吐量。 不過 這 個結果尚未經過獨立測試。公司公佈的超過 10 億美元合同也是遠期訂單，客戶名稱、付款條件和取消條款都沒有披露。 Sohu 計劃在今年夏天開始交付，屆時才能看到紙面性能能否轉化成穩定部署。資本已經給 Etched 約 50 億美元估值，產品驗證則剛剛開始。

圖丨Etched Sohu （來源：Etched）

SambaNova 尋找的是另一類客戶。摩根大通選擇它作爲推理基礎設施合作伙伴，主要需求是把模型部署在企業內部，讓敏感數據留在自己的系統中。大型銀行、政府和受監管行業通常不會把所有數據交給公有云，也未必願意完全依賴英偉達的標準服務器。 SambaNova 提供芯片、服務器和軟件組成的完整系統，希望用本地化部署換取長期客戶。

這條路線更接近傳統企業 IT 生意，銷售和交付週期也更長。客戶需要驗證安全、穩定性、軟件兼容和運維能力，芯片跑得快只是採購條件之一。 SambaNova 去年底一度接近以約 16 億美元賣給 Intel，今年 7 月卻以 110 億美元估值完成新一輪融資。估值在 7 個月內大幅上升，說明資本重新看好企業推理需求；摩根大通等客戶能否複製，纔會決定這種估值能否站住。

Positron 主要解決內存和功耗問題。大模型在解碼階段需要反覆讀取模型權重和 KV Cache，芯片擁有多少內存、能多快讀取數據，經常比峯值算力更重要。Positron 的第一代 Atlas 使用 FPGA，公司稱其內存利用率和每瓦性能優於 H100。下一代 Asimov 纔是自研 ASIC，目標是給單顆加速器連接更大的高速內存。

目前，Positron 的性能數據主要來自公司測試，也沒有提交公開的 MLPerf 結果。投資者押注的不是一款已經得到充分驗證的芯片，而是一個判斷：未來大模型推理的主要瓶頸會從計算能力逐漸轉向內存容量、帶寬和電力。

Groq 則長期專注低延遲。它使用大量片上靜態隨機存取存儲器（SRAM），減少處理器訪問外部內存的時間，讓 token 以較穩定的速度輸出。這種架構適合實時對話、語音和智能體通信，但片上內存容量有限，運行大型模型往往需要連接更多芯片。

2025 年 12 月，英偉達與 Groq 簽署非獨家技術許可協議，並招募其創始人和部分核心員工。 Groq 公司仍然獨立運營，沒有被英偉達整體收購。此後，英偉達把 Groq 的低延遲推理技術加入 Vera Rubin 平臺，用於新的 LPU 和 LPX 系統。

這筆交易一方面證明低延遲推理具有價值，另一方面也暴露了獨立芯片公司的處境。 Groq 建立了有辨識度的技術路線，卻仍然需要英偉達的資本、客戶渠道和系統平臺把它推向更大規模。

一級市場同時投資 Etched、 SambaNova 和 Positron，並不意味着投資人認爲它們會共同成爲綜合性芯片巨頭。更可能的判斷是，推理市場會長期保留多種需求，每家公司都有機會佔據其中一部分。Etched 服務願意押注 Transformer 的客戶， SambaNova 尋找企業本地部署，Positron 解決內存和功耗， Groq 面向低延遲任務。

市場足夠分散，爲創業公司提供了入口； 但 入口很多，不等於每個入口都能形成一門有利潤的生意。

Cerebras 是 目前 少數已經進入公開市場、能夠 作爲 參照 的非英偉達芯片公司之一。它並非只做推理，但高速推理已經成爲其重要賣點。公司 5 月通過 IPO 募集 55.5 億美元，首日上漲 68%；6 月公佈首份財報後，股價又回到發行價附近。

導火索是它 將第二季度的 毛利率指引從 47% 一口氣砍到了 36% 至 38%，全年經營虧損率預計 28% 到 32%。 公司沒有把毛利率下降完全歸因於價格競爭，因此不能簡單得出“爲了降價 （和英偉達） 搶客戶”的結論。 但 數據至少說明，芯片製造、系統部署和推理服務需要持續投入，需求增長不會自動變成高利潤。

如果 Google、Meta、Amazon 和頭部模型公司都逐漸擴大自研芯片部署， 這些 獨立廠商能夠爭取的客戶 將 主要 包括 三類：沒有能力設計芯片的企業和雲服務商，需要本地部署的政府與金融機構，以及自研芯片尚未到位、需要補充算力的模型公司。

這批客戶確實存在，規模也在擴大。問題在於，它們是否願意長期使用一套規模較小、軟件生態尚未成熟的硬件平臺。50 億或 110 億美元的估值，最終需要由連續採購、穩定利用率和可重複的毛利來支撐。融資和遠期合同只能讓公司走到量產，無法替它完成後面的驗證。

英偉達開始接受一個更分散的市場

去年 12 月，英偉達與 Groq 簽訂非獨家技術許可協議，並吸收了 Groq 的創始人及部分核心員工。 Groq 公司仍然獨立運營。英偉達在年報中爲這筆交易確認了 144 億美元商譽和 25 億美元技術類無形資產，合計約 169 億美元。

今年 3 月的 GTC 上，英偉達把 Groq 的低延遲推理技術帶進 Vera Rubin 平臺，發佈 Groq 3 LPU 和 LPX 機架。此前爲推理設計的 Rubin CPX 沒有出現在最新路線圖中，英偉達後來確認，現階段的重心已經轉向 Groq LPU。

（來源： PCMag ）

同月，英偉達向 Marvell 投資 20 億美元，將 Marvell 的定製芯片和網絡產品接入 NVLink Fusion。AWS 也計劃讓 Trainium4 支持 NVLink 。這意味着即使客戶使用自研 ASIC，仍然可以採用英偉達的互連、CPU、網卡和機架標準。

黃仁勳曾在 CES 2026 上說九成的 ASIC 項目會失敗，在媒體圓桌上說專用芯片“沒有競爭力”，到了 GTC 又說“推理的拐點已經到來，需求還在往上走”。再結合後來的舉措，可以發現英偉達實質上已經接受了推理市場的分化。其實英偉達也不需要 所有推理任務都運行在 GPU 上， 只要更多芯片接入它的網絡和系統，市場分化也能成爲另一種收入來源。

TrendForce 預計，2026 年雲廠商自研 ASIC 服務器的出貨量將增長 44.6%，GPU 服務器增長約 16.1%。這個預測更像是市場擴張後的分流。訓練、快速變化的模型和通用推理仍然需要 GPU；穩定的大規模負載會逐漸遷移到定製芯片；對延遲、內存和本地部署有特殊要求的客戶，則會嘗試創業公司的產品。

短期內，幾條路線都可能增長。更長時間看，現在的公司數量遠遠超過市場能夠養活的數量。

訓練時代，人們不斷尋找“下一個英偉達”，最後沒有找到。 而 推理市場不太會重複這個過程。英偉達仍可能是其中規模最大的公司，但最大的買家正在設計自己的芯片，剩下的需求又分散在不同場景裏。

因此， 推理芯片不會只剩一個贏家， 但可能 也留不下現在這麼多玩家。

參考資料：

1.https://openai.com/index/openai-broadcom-jalapeno-inference-chip/

2.https://techcrunch.com/2026/06/30/nvidia-competitor-etched-hits-5b-valuation-1b-in-sales-for-ai-chip/

3.https://techcrunch.com/2026/07/02/anthropic-is-discussing-a-new-custom-chip-with-samsung/

4.https://www.cnbc.com/2026/07/08/sambanova-ai-chip-funding-valuation.html

5.https://www.bloomberg.com/news/articles/2026-07-08/nvidia-rival-positron-holds-talks-to-raise-funds-at-5-billion-valuation

6.https://techcrunch.com/2026/07/09/metas-new-ai-chips-will-begin-production-in-september/

7.https://www.infoq.cn/article/sLYxUorQQs5K17DILrx8

8.https://www.cnbc.com/2025/12/24/nvidia-buying-ai-chip-startup-groq-for-about-20-billion-biggest-deal.html

9.https://www.cnbc.com/2025/10/23/anthropic-google-cloud-deal-tpu.html

10.https://www.bloomberg.com/news/articles/2026-06-23/cerebras-projects-2026-sales-that-leave-investors-wanting-more

11.https://www.tomshardware.com/pc-components/gpus/nvidia-removes-rubin-cpx-accelerators-from-its-roadmap-groq-3-lpus-take-center-stage-as-cpx-is-removed

12.https://www.deloitte.com/us/en/insights/industry/technology/technology-media-and-telecom-predictions/2026/compute-power-ai.html

注：封面/首圖由 AI 輔助生成