MiMo推出1000 Token/s超高速模型|體驗測評
注意:演示第 3-6 頁是 live phone 長按播放
MiMo 推出了 MiMo V2.5 Pro UltraSpeed 超高速的模型版本,能夠實現每秒輸出超過 1,000 Token 的速度。
同時,這應該也是全球第一個達到這個速度的萬億(1T)參數模型。
藏師傅提前試了一下,做了三個測試,確實爽。
第一個跑了一個比較複雜的 3D 採礦小遊戲測試。在沒有素材的情況下,我讓它全部用 Three.js 前端代碼來生成素材。整體要求比較完整,雖然第一次實踐時出了一些小問題,但在跟他溝通修改建議後,非常完美地實現了任務。
這次測試的各項指標如下:思考的 TPS:804 Token/s,峯值速度:810 Token/s,首次響應時間:4.71 秒。
第二個測試給了一個官網,其頭部包含一個相對複雜的 3D 動畫。
這次的輸出速度快了非常多:峯值達到了 1426 Token/s,首次響應只用了 0.83 秒,在 32 秒內輸出了 25624 個 Token,總計生成了 1000 行代碼。
第三個測試給了一個更復雜的官網。我要求這個官網的 Header 頭部包含以下 3D 效果:地球邊緣、軌道上的飛船、星際塵埃、航線圖、舷窗的 HUD 樣式。
這個效果非常好,整體的視覺樣式、狀態、SVG 動畫和駕駛卡片都非常精細,還有滾動的視差效果
這個輸出的 TPS 達到了 1136 tokens/s,首次響應是 4.5 秒
官方測試平臺下面有個數據展示,會顯示相關信息
在流式輸出的情況下,當你看着它只用 20 秒就產生一個非常複雜的 3D 遊戲時,那種場景還是比較震撼的
之前的這些(比如說 Groq 之類的)超高速推理方案,在模型能力或者是整體水平上都會有所下降,但是 MiMo 這個在測試的時候,我沒有看到這種跡象
最近很多公司都開始推出這種超高速的 API 服務,比如之前 OpenAI 和 Anthropic 都有 Fast 模式
在 Agent 場景下,模型輸出效率的提升會直接帶動每一步 Agent 操作的效率:
如果一個任務預估一分鐘完成,你就會盯着它直到結束,然後立刻投入測試。如果需要五分鐘才完成,你可能就會去幹別的事,然後再回來看,難免會浪費一些時間
這種效率提升在 Sub-Agent 和併發場景下更加明顯。因爲它可以更快地產出大量結果,想象一下,如果同時啓動一兩百個 Sub-Agent,在模型能力沒有衰減的前提下,速度提高 10 倍,體驗是非常爽的
畢竟這本質上是面向那種對效率有極高要求的 To B 客戶所推出的
希望後面大家捲起來,優化一下成本,讓普通用戶也能放開用這種 UltraSpeed 模型