闊別九月，大家期待的 DeepSeek-VL2 終於來了！DeepSeek-MoE 架構配合動態切圖，視覺能力再升級。從視覺定位到梗圖解析，從 OCR 到故事生成，從 3B、16B 再到 27B，DeepSeek-VL2 正式開源。
模型亮點
-
數據：比一代 DeepSeek-VL 多一倍優質訓練數據，引入梗圖理解、視覺定位、視覺故事生成等新能力
-
架構：視覺部分使用切圖策略支持動態分辨率圖像，語言部分採用 MoE 架構低成本高性能
-
訓練：繼承 DeepSeek-VL 的三階段訓練流程，同時通過負載均衡適配圖像切片數量不定的困難，對圖像和文本數據使用不同流水並行策略，對 MoE 語言模型引入專家並行，實現高效訓練
模型和論文均已發佈：
模型下載：
https://huggingface.co/deepseek-ai
GitHub主頁：
https://github.com/deepseek-ai/DeepSeek-VL2
測評結果
DeepSeek-VL2 模型展現出了符合我們預期的強大能力，在各項評測指標上均取得了極具優勢的成績：
案例展示
動態分辨率支持
DeepSeek-VL2 僅使用一個 SigLIP-SO400M 作爲圖像編碼器，通過將圖像切分爲多張子圖和一張全局縮略圖來實現動態分辨率圖像支持。這一策略使得 DeepSeek-VL2 最多支持 1152x1152 的分辨率和 1:9 或 9:1 的極端長寬比，適配更多應用場景。
圖表理解
更多科研文檔數據的學習使得 DeepSeek-VL2 可以輕易理解各種科研圖表。
Plot2Code
DeepSeek-VL2 同時具備圖像理解和代碼生成的功能，可以作爲你逆向畫圖的好幫手。
Prompt: Draw a plot similar to the image in Python.
梗圖識別
更大規模的訓練數據賦予了 DeepSeek-VL2 解析各種 Meme 的能力，有時它甚至懂得比你還要多。
Visual Grounding
大模型的能力絕不僅限於封閉類別的物體識別。
Zero-shot grounding
：你可以用任意的自然語言進行描述，然後讓 DeepSeek-VL2 幫你在圖像裏找到符合描述的部分（注：模型本身只是輸出相應物體的邊界框，而不會直接在原圖上繪製邊界框，下同）。
例如，DeepSeek-VL2 可以在下圖裏找到 "DeepSeek Whale" (DeepSeek 吉祥物虎鯨):
In-context
grounding
：你也可以給 DeepSeek-VL2 一個示例，讓它有樣學樣：
Prompt: <|grounding|>In the first image, an object within the black ellipse is highlighted. Please locate the object of the same category in the second image. (在第一張圖中有一個物體被黑色橢圓包裹住。在第二張圖中找到同類別的物體。)
Grounded conversation
：視覺感知+語言推理，強強聯手成就模型的視覺語義對話能力。如果你拿着下圖問模型 “
If you feel hot, what will you do?（如果感覺熱，你會怎麼做？）
”，它會回答：“
To cool down, you can use <|ref|>the fan<|/ref|><|det|>[[166, 460, 338, 712]]<|/det|> which is sitting on the desk.（爲了降溫，你可以使用 [[166, 460, 338, 712]] 位置處的風扇，它放在桌子上）
”
Visual Storytelling
你也可以輸入多張圖像，讓模型把它們串聯起來，形成一個小小的童話故事。
視覺模型的未來
視覺是人類獲取外界信息的主要來源，佔據所有信息量的約 80%。然而在大模型時代，視覺方面的進展卻遠遠落後於語言模型。我們堅信，
提升模型視覺能力的意義不僅在於支持更多的輸入模態，更在於全方位提升模型的感知和認知能力。
歡迎加入 DeepSeek，和我們一起探索 AGI 的星辰大海。