「全球大模型競技場」更新:DeepSeek-V2.5上榜,領跑國內模型

DeepSeek2024年9月18日
月初,我們發佈並開源了 DeepSeek-V2.5 ,一個融合通用與代碼能力的全新模型。
近日,LMSYS 組織的全球大模型競技場(ChatBotArena)更新結果發佈,DeepSeek-V2.5 排名位列 國內大模型第一, 開源超越國內最強閉源模型(Yi-Large-Preview, Qwen-Plus-0828, GLM-4-0520),並在8個單項能力上均領跑國內模型。

Model綠柱爲國內模型,藍柱爲海外模型

八項能力領跑國產模型

在 Arena 的分項排名中,DeepSeek-V2.5 在諸多分項上創了國內模型的歷史最好成績
  • 難問題(Hard Prompt)世界第二(國內模型歷史最好成績)
  • 代碼(Code)世界第二(國內模型歷史最好成績)
  • 數學(Math)世界第三(國內模型歷史最好成績)
並且,DeepSeek-V2.5 模型能力均衡,在 ChatBotArena 的各個維度都獲得了不錯的排名,均位列該榜單中國內第一。

V2.5 相比 V2 能力全面提升

相比合並前的兩個模型(DeepSeek-V2-0628 和 DeepSeek-Coder-V2-0724), V2.5 在總排名和所有分項排名上均提升 ,下表展示了模型合併後在ChatBotArena 榜單各項能力的排名:

最懂中文的是中國模型?

業內一直有一句名言“國內模型更懂中文”,但從 ChatBotArena 最近一個月的中文分項來看,國外模型牢牢佔據了中文榜前三。在9月15日中文分項更新之後, DeepSeek-V2.5 位列世界第二,中國第一 ,Qwen-plus-0828 緊隨其後,重新讓中文榜單的前三中有了中國模型的名字。
DeepSeek-V2.5 模型已開源至 Huggingface: https://huggingface.co/deepseek-ai/DeepSeek-V2.5
——end——

「全球大模型競技場」更新:DeepSeek-V2.5上榜,領跑國內模型 - 今日精華