五一前DeepSeek V4發佈，我感覺非常棒，Flash版性價比超高，尤其在價格打折後。
唯一遺憾就是不支持多模態。
說到多模態，豆包Seed模型在VLM視覺理解上一直都表現不錯。
前段時間參與了 Doubao-Seed-2.0-lite 0428 內測，與之前模型有點不同。
這個版本升級，增加了音頻理解，能同時支持圖片、視頻、音頻、文本四種輸入，成爲豆包大模型家族首款全模態理解模型。
除了全模態理解，據說 Agent、Coding、GUI 能力這次也都有明顯提升。
我拿 API 做了一些測試，把個人覺得比較實用的場景分享下。
場景一：前端動效復刻
做前端的朋友應該都有這個困擾，看到一個好看的網站動效，打字根本描述不清楚。
以前只能截圖，但截圖丟失了運動信息。
現在的做法很簡單， 直接錄屏，扔給模型 。
背景動效復刻
提示詞 ：寫一個網頁，實現視頻中的背景動效，中間文字用Hello World
看起來好像比原版還炫酷些 😋
體驗地址：https://32kw.com/view/14cb287
按鈕動效復刻
Raycast AI官網發現一個按鈕動效很好看，邊緣有光線在流轉。
https://www.raycast.com/
錄屏按鈕動效，輸入提示詞：寫一個網頁按鈕，完全復刻視頻中的按鈕邊緣動效，按鈕名字爲：“Send”
網頁地址：https://32kw.com/view/c9440e6
這個用法的核心邏輯是， 視頻比文字信息密度高得多 。
模型能理解運動軌跡、顏色漸變、時序關係，這些靠打字幾乎沒法準確傳遞。
而全模態模型沒這些困擾，甚至能理解你的需求，直接轉成可用的代碼。
場景二：視頻內容理解
視頻總結改寫
網上看到一個視頻介紹 Anthropic 的最頂級模型 Mythos ，有幾十萬贊。
讓Doubao Seed 2 Lite總結提煉，改寫成一條微博。
熱門視頻解讀
對於海外TikTok自媒體和廣告主來說，有一項重要工作就是分析熱門視頻，找到流行趨勢和梗。
以前只能查看熱門Hashtag，人肉看視頻，總結規律。
有了全模態模型後，配上API，感覺可以Vibe Coding 個工具來分析熱門視頻。
做了個簡單測試，比如下面是個AI生成的萌貓視頻，Tiktok上播放過百萬，讓 Seed 2.0 Lite 分析笑點和梗。
結合畫面和聲音，出色的分析出了背景文化和梗。
再比如下面視頻，也是莫名其妙幾百萬的播放，人可能要看好幾遍才能 Get 笑點。
而發給 Seed 2.0 Lite ，馬上就能分析爲什麼火的潛在原因。
視頻優化建議
前段時間Vibe Coding了一個開源博客，錄了段產品演示。
把視頻發給Seed 2.0 Lite，讓它給一些視頻優化建議
提示詞：從吸引人觀看和傳播學角度看，我的視頻介紹應該如何調整優化介紹順序，應該補充哪些介紹內容？
建議還挺靠譜，還提供了個還不錯的視頻Hook（鉤子）。
繼續追問，讓它再給5個Hook，結果如下：
場景三：對話和情緒識別
《武林外傳》是經典中的經典，拿一段佟掌櫃和白展堂吵架片段，讓 Seed 2.0 Lite 新版識別對話和情緒。
看佟掌櫃的陝西方言，能不能準確識別。
提示詞 ：提取視頻中的所有對話文本、並標記情緒，例如【生氣】，女聲標記爲“佟掌櫃”，男聲標記爲“白展堂”。
不僅能識別佟掌櫃的方言，還能給每句話標上準確的情緒標籤。
這個思路往產品方向延伸， 用戶訪談錄像可以直接跑一遍 ，提取用戶的隱藏情緒，比人工逐幀回看效率高太多。
場景四：歌詞識別挑戰
以前試過不少 ASR工具，比如Whisper 等，識別對話沒問題，但對於歌曲識別來說就不太好。
有背景音干擾，加上歌詞發音跟正常說話不同，所以識別質量就會顯著下滑。
我找來一首經典搖滾樂，來自國內Gala樂隊，發音非常有趣，北京腔英語 😂😂😂
我發給 Seed 2.0 Lite ，看它能不能搞定。
提示詞 ：提取歌曲中的所有歌詞並標註時間軸，做成中英雙語對照版。
果然，不少單詞識別錯（空耳顯著），簡單優化下提示詞，繼續測：
提取歌曲中的所有歌詞並標註時間軸，另外英文發音不準，你要預測糾錯，做成中英雙語對照版，一句一行，回車換行。
這次提取，質量顯著提升，排版也好看了，這麼看語義遵循能力還行。
結果真有點超出我的預期，Good Job！
全模態理解
先說這次最核心的變化。
以前 AI 做音頻相關任務，通用做法是級聯模式，語音先經過 ASR 轉成文字，文字再送給大模型理解。
這個鏈路有個根本缺陷， 轉錄這一步會丟掉大量信息 。
語氣、情緒、停頓、背景音、口音，這些在音頻裏都有，轉成文字之後就消失了。
這種折損，對客服、心理健康、用戶訪談場景裏，影響會很大。
而 Seed 2.0 Lite 0428 這次加入的音頻理解，走的是端到端路線， 能夠同時輸入並理解視頻、圖片、語音和文本四種模態，並進行跨模態聯合推理 ，直接處理那些必須「音畫結合」才能做出判斷的複雜需求。
官方評測
音頻理解這塊，在 MMSU、WildSpeech 等音頻理解基準上整體優於 Gemini 3.1 Pro。
WenetSpeech、Librispeech 的語音識別 WER 也顯著更低，Fleurs 語音翻譯指標 BLEURT 上同樣超過 Gemini 3.1 Pro。
-
• 音畫協同，支持聯合推理與時序檢索： 能夠聯合分析視頻中的畫面與聲音信息，精準辨析視頻中的視聽一致性，判斷“看到的”與“聽到的”是否一致；同時支持根據自然語言指令，在長視頻中精準定位特定事件發生的時間點。 -
• 視頻深度解構，支持長時追蹤與多步推理： 能夠跨越多個時間段提取關鍵線索，持續追蹤人物與事件發展；並基於視頻畫面進行多步邏輯分析，還原事件關係與行爲脈絡。 -
• 音頻全解析，理解不止於轉寫： 不僅支持19個語種精準的 ASR 語音轉寫與 14 種語言的中外互譯，還能深度捕捉語音中的情緒變化、環境背景聲和音樂細節，輸出更完整、更接近人類認知的語義信息； 在語音識別、翻譯等多項音頻理解基準上優於 Gemini-3.1-Pro。
除了多模態，還升級了什麼
Agent 和 Coding 能力
這次模型對多輪、多步、多約束的指令遵循度有明顯提升，增強了任務反思推理能力和多 Agent 協同調度能力，讓 Agent 在長程任務中能自我拆解、自我校驗，不偏題、不遺漏。
深度集成了 OpenClaw、Hermes Agent 等框架，強化深度搜索與 Skill 動態調用，可以邊執行、邊沉澱經驗並回寫技能庫， 越用越聰明 。
Coding 能力全面覆蓋前端頁面、3D 場景與遊戲開發，前面的動效復刻 Demo 就是一個直接體現。
GUI 能力
通過大規模 GUI 交互數據合入訓練，模型把「看懂界面」和「動手操作」打通成了一條閉環。
既能精準識別按鈕、菜單、表單、彈窗等界面元素及其狀態，也能穩定完成點擊、輸入、右鍵、滾動、拖拽等 Browser Use 與 Computer Use 操作。
從讀懂一張網頁，到跨應用、跨窗口連續執行一整套業務流程， Agent 真正具備「端到端把活幹完」的交付力 。
寫在後面
我一直覺得，技術真正成熟的標誌，不是它能做到什麼，而是 它讓你開始用一種全新的方式去思考問題 。
做動效復刻，你的第一反應從"怎麼用文字描述清楚"，變成了"直接錄屏扔進去"。
分析熱門視頻，從"人肉刷內容找規律"，變成了"API 批量跑，自動歸因"。
做用戶訪談，從"逐幀回看手動記錄"，變成了"錄像直接進模型，情緒自動提取"。
這纔是全模態真正的價值所在。
當輸入不再是瓶頸，腦子裏那些"這個需求沒法跟 AI 說清楚"的念頭，會一個一個開始鬆動。
以上只是我隨手試的幾個方向，你有什麼場景，歡迎評論區聊。