剛剛,蘋果的WWDC 2026結束了。
這是Tim Cook作爲CEO最後一次站在WWDC的舞臺上了,9月1號,他就會把位置交給硬件工程高級副總裁John Ternus,所以今年這場,多少帶了點告別的意思。
蘋果今年的端側模型分了兩檔。
所有支持Apple Intelligence的設備都有一個基礎版端側模型。但在能力強一點的的Apple設備上,比如iPhone 17 Pro、iPhone 17 Pro Max、iPhone Air、M4 及以上且至少 12GB 統一內存的 iPad、M3 及以上且至少 12GB 統一內存的 Mac,蘋果額外部署了一個更強的第二版。
這兩個端側模型分別是:
AFM 3 Core,一個3B的小模型。
AFM 3 Core Advanced,20B的MoE模型。
這個更強的模型多出 來的核心能力是 語音和更高精度的聽寫等功能 ,它 能聽懂語音也能生成語音。
所以像Siri更有表現力的新聲音、更精準的全系統聽寫這些功能,都只有跑得動第二版模型的設備才能用。
有了模型之後,對模型的調度還是需要一些設計的。
蘋果做了一個叫系統編排器(System Orchestrator)的東西,它是整個Apple Intelligence的調度中心,負責協調四大系統級能。
人上下文理解 。你設備上所有的內容,照片、郵件、備忘錄、消息,都通過Spotlight的語義索引被組織起來了。
廣泛世界知識 。比如你問世界盃賽程是什麼,系統編排器會讓Apple Intelligence聯網去搜索,然後通過Private Cloud Compute來生成回答。
App Actions 。這是讓Siri能動手做事的關鍵。系統編排器知道你手機上每個App能做什麼(通過App Intents框架),當你說發消息給某某的時候,它會調用Messages來執行。理論上,任何適配了App Intents的第三方App都能被Siri調用。
屏幕感知 。系統編排器能看到你當前屏幕上顯示的內容。比如你正在Safari裏看一篇文章,這時候問Siri一個問題,它能結合你正在看的內容來給出更相關的回答。
這四個能力組合在一起,就是蘋果所說的以你爲中心的AI,也是硬件跟AI結合的一個比較完整的方案。
We believe privacy in AI is non-negotiable.
我們認爲,AI中的隱私是不可談判的。
蘋果的態度是,很多AI廠商在嘴上說隱私,但默認情況下都在保留你的個人交互數據,把保護隱私的責任推給用戶。
蘋果的方案就是前面說的端側處理+Private Cloud Compute,數據不存儲、不可訪問,只用於執行請求,外部專家可以隨時審計。
1. 核心能力升級
Siri AI基於整套新的Apple Intelligence架構,集成了上面提到的很多的新能力。
蘋果的說法是,Siri現在是一個“有了質的飛躍”的助手。
然後基於這次的新Siri AI,他們做了一些演示。
演示一,問答+提醒+音樂。
問“舊金山的某位歌手演唱會什麼時候”→ Siri給出答案(7月26號)→ 追問怎麼買票 → Siri說要抽籤 → “抽籤開始的時候提醒我”→ 設好提醒 → “放一首她的新單曲”
演示二,屏幕感知+個人上下文+路線規劃
看到一張照片問“這是哪”→ Siri識別出聖克魯茲海岸的天然橋州立海灘 → “我朋友Jeff最近搬到附近了,他新家在哪”→ Siri從消息記錄裏找到Jeff發過的地址 → “給我導航到那個拱門,中間停一下Jeff家”→ Siri規劃路線
演示三,照片篩選+共享
“給我看上週在沙斯塔山的照片”→ Siri搜索照片 → “只把有Bryce、Madison和Quinn的照片加到家庭共享相冊”→ 完成
演示四,對話式體驗
查世界盃開幕週末賽程 → “我想爲巴西vs摩洛哥那場辦個觀賽派對,給我兩個國家的經典菜”→ Siri給出菜品(還帶圖片)→ “Maria最近提到的那個甜點是什麼”→ Siri搜索消息找到椰子餅乾→ “把這些整合成一個菜單”→ Siri生成創意菜單 → “發消息給Gold Chasers羣組問他們要不要來,附上菜單”→ 發送
演示五,Mac上的對話式Siri
Siri也集成進了Spotlight。
在Spotlight裏輸入問題就能啓動跟Siri的對話,窗口可以拖拽和調整大小。
演示了讓Siri 分析多個不同格式的文件 比較三個棚子的報價,然後結合兒子之前發的消息裏提到的電路問題來做推薦,最後讓Siri直接起草一封郵件給選中的供應商。
大概就是這樣。
我的感受是,怎麼說呢。
2026年了,Siri AI的演示核心還是問答、搜索個人信息、發消息、設提醒這些事。對話式體驗確實比以前強了不少,能連續聊、能帶上下文了,但說實話,這些demo跟現在的ChatGPT、Claude比,談不上什麼驚喜。
最關鍵的是,沒有看到真正的Agent能力。也沒有看到Siri自主規劃、自主執行多步任務、自主調用多個App完成一個複雜目標的場景。
蘋果說了App Actions,但演示裏最複雜的也就是搜索照片→篩選→加到共享相冊這種程度。
這塊確實是有一點失望。
2. 新語音體驗
在支持第二個強端側模型的設備上,Siri有了全新的語音。
更有表現力,語調變化更自然。
蘋果還讓你可以自定義Siri的語音風格,調表現力和語速,更親切更好玩一點。
3. 全系統聽寫升級
同樣需要第二檔端側模型,新的聽寫引擎在拼寫、標點和大小寫上都更精準了。
因爲它是內建在系統鍵盤裏的,所以不管你在哪個App裏,只要調出鍵盤就能用。發佈會上提到的場景是“在地鐵上用語音發消息”和“邊想邊說地用日記App記錄”,都是日常會用到的,這個我覺得還是比較剛需的,好評。
4. 視覺智能
iPhone上,Visual Intelligence(視覺智能)集成進了相機App,新增了一個Siri模式。
按快門鍵讓Siri看到你看到的東西,然後給你有用的回應,可以下拉查看詳細信息、問後續問題。
比如蘋果演示的,對着賬單拍,選擇你點的菜,用Apple Cash跟朋友分賬。
或者看着一個揹包問“這個能當我9月航班的隨身行李嗎”,Siri結合產品信息和個人航班信息回答。
5. 寫作工具 + Siri集成
寫作工具現在更深度地跟Siri結合了,你可以在任何能打字的地方用自然語言描述讓Siri從頭生成文本。
在郵件和信息裏,Siri還能根據你跟特定聯繫人的溝通風格來調整語氣。
另外,Apple Intelligence現在全系統自動校對了,你在任何App裏打字,它都會自動檢查拼寫和語法,不用你手動觸發,大多數第三方App也支持。
6. Siri獨立App + 跨平臺
蘋果給Siri做了一個 獨立的App ,這是第一次。
現在有了獨立App之後,你所有跟Siri的對話都會被保存在這裏,可以隨時回看。
最重要的是跨平臺同步,你在iPhone上跟Siri聊了一個話題,打開iPad上的Siri App可以看到這段對話,繼續往下聊,在Mac上也一樣。
對話歷史通過iCloud加密同步,蘋果看不到你的對話內容。
Siri AI還擴展到了watchOS(手腕上直接問)和visionOS(3D可視化的Siri,放在你空間裏的任何位置,看着它說話就行,不用說「hey Siri」)。
然後新版的Siri,目前只支持英語,後續會擴展其他的語言,歐盟和中國都目前不可用,可用時間未知。
讓AI滲透進所有人的生活中,確實還是得從老的APP改造入口,是最能進日常場景的。
1. Safari
三個新功能。
智能標籤頁整理 ,Safari用Apple Intelligence分析你打開的每個頁面,自動按主題分組。你瀏覽的時候,相關新標籤頁會自動歸到對應主題下,可以一鍵關掉整個主題或者存爲標籤頁組。
Notify Me ,你可以用自然語言告訴Safari你在等什麼變化(比如某個商品補貨、某個報名開放),然後關掉那個標籤頁,Safari會自動監控,變化發生時推送通知。
這個功能太實用了,不知道執行效果怎麼樣,但思路是對的。
Describe an Extension ,用自然語言描述你想要什麼,Safari幫你生成一個自定義擴展來調整網頁內容,比如在工具欄加一個按鈕來保存和評分你試過的食譜。
還有一條,Safari所有智能功能都不追蹤你的瀏覽數據,不跟任何人分享,包括蘋果自己,然後稍微內涵了一下友商。。。
“不像某些瀏覽器”。
2. 密碼App
密碼App現在已經能提醒你弱密碼和泄露密碼了。
新功能是,它現在能自動幫你更新密碼,背後是Apple Intelligence和Safari配合,自動導航到對應網站、登錄、改密碼。
一個“agentic”的動作,難得見到蘋果用這個詞。。。
3. 短信
Messages現在能理解對話上下文,提供一鍵建議。
比如有人提到某個事,Messages會建議你創建提醒或備忘錄,有人問你要照片,Messages幫你根據關鍵詞、地點和人名搜索最合適的照片。
4. 郵件
郵件也有了更智能的上下文建議,讓你快速用喜歡的App(包括第三方App)採取行動。
5. 日曆
可以用自然語言添加事件了。
你打字的時候,日曆會自動識別聯繫人、地點,填上標題。
編輯也更智能,比如把“每週”改成“每兩週”,日曆自動調頻率。
6. 電話
蘋果把這個電話的功能叫 Call Context 。
這個是我的剛需。
打電話給商家的時候,電話App可以主動從你其他App裏找相關信息。比如你打電話給航空公司改機票,它能自動從郵件裏找到你的確認碼。
而且全部端側運行,看的是你打給誰。
但是咱就是說,新AI上國內的時候,咱能不能把那些噁心的營銷電話也都用AI處理一下。。。
7. Home
家庭App可以支持用Apple Intelligence理解攝像頭通知,把相關的通知合併成一個持續更新的活動通知。
還能分析錄像片段,生成描述,支持用自然語言搜索錄像內容(比如搜快遞),支持4K分辨率回放。
8. 快捷指令
這個更新也挺好的,類似飛書的AI生成工作流。
快捷指令現在支持用自然語言描述你想要的自動化,Apple Intelligence幫你組裝所有步驟。
演示裏的例子是,“當我離開公司時,發消息告訴佩德羅我在路上,附上到家的預計時間”→ 快捷指令自動創建了一個自動化,檢測離開公司地址 → 用地圖計算到家時間 → 用信息App發送。
還能追加描述來調整,比如自動播放最愛的播客。
Image Playground這次大幅升級了一下。
核心變化,支持寫實風格了,之前只能生成那種卡通/插畫風格,現在用Private Cloud Compute上的跟Gemini搞的新生成模型,可以做高質量的各種風格圖片。
畢竟你都用Gemini了,生圖再不迭代一下,那就真說不過去了。
你可以用照片庫裏的人來生成圖片,用自然語言描述修改,用觸摸手勢圈選對象來移動/縮放/修改。
還能選擇不同的畫幅,生成聯繫人海報和鎖屏壁紙。
同時,給開發者也開放了Image Playground API。
2. Photos AI編輯三件套
Cleanup升級 , 去除干擾物的效果更好了,複雜場景下的填充更真實。
Extend , 擴展圖片邊界,給主體更多空間,或者調整畫幅時不用裁掉重要內容。
Spatial Reframing(空間重構) , 這個是今年Photos裏最酷的新功能。你可以在拍完之後重新調整照片的構圖,就像你在拍照那個瞬間移動了相機一樣。
它用的是端側的空間模型做實時預覽,然後用Private Cloud Compute上的生成模型來填充透視變化產生的新區域。只生成空白區域的內容,原始照片的部分保持不變。
演示效果確實不錯,而且這個功能基於Apple Vision Pro積累的空間理解技術,對老照片和其他相機拍的照片也能用。
然後呢Xcode的代碼助手現在 可以選擇不同的AI模型 了,包括Google的Gemini。。。
我朋友當時就吐槽了。
你還可以把它跟Figma和GitHub這樣的外部工具連起來,讓代碼助手能夠參考設計稿和代碼倉庫。
測試方面,蘋果推出了全新的 Device Hub ,把所有模擬設備和真實設備統一到一個界面裏。
你可以在裏面模擬多點觸控操作,一鍵切換App的深色/淺色模式,還能動態調整App的窗口大小來測試不同屏幕尺寸下的表現。
2. Foundation Models Framework
開發者可以在App裏用Apple的端側模型,今年新增了圖像輸入(之前只有文本),支持自定義Skills擴展模型能力,還能用同一套Swift API調用服務器端的模型。
3. Core AI Framework
全新框架,可以在所有蘋果平臺上用Apple Silicon的全部算力來本地運行其他模型。這個對開發者來說可能是最實際的,意味着你可以把自己的模型或者第三方模型直接跑在設備上。
也加了一個 透明度滑塊 ,現在,你可以自己調Liquid Glass的透明度。
macOS上還做了幾個調整,工具欄更統一了,側邊欄延伸到窗口邊緣,側邊欄圖標恢復了彩色,所有窗口統一了更緊湊的圓角,App圖標也迭代了一版,在圖標內部加了多層Liquid Glass折射效果。
2. 性能提升
常規操作,比如iPhone和iPad上App啓動速度快了 30%,新拍的照片在圖庫裏出現的速度快了 70%,隔空投送傳文件速度快了 80%,iPad接外部硬盤瀏覽和傳輸文件速度快了 5倍。
3. 搜索基礎設施重建
蘋果重建了聚焦搜索、照片和郵件背後的搜索索引,讓它更穩定、更全面。
新內容幾乎實時入索引,郵件搜索還加了全新的排名系統,置頂結果更準了。
4. 其他小更新
照片,iCloud共享相冊終於支持Android和Windows用戶加入了,還支持全分辨率共享。
AirPods,支持自定義EQ了。
Apple Vision Pro,全景照片可以變成有深度的空間場景。
地圖,Flyover大幅升級,航拍影像+視覺智能模型,建築細節和樹木形態都清晰得多。
網絡切換,iPhone更智能地判斷什麼時候該從Wi-Fi切回蜂窩(終於不用手動去控制中心關Wi-Fi了)。
信息App,低帶寬環境下發大文件不會卡住對話了,會顯示發送進度。
無障礙,蘋果官網上列了不少Apple Intelligence在無障礙方面的集成。
VoiceOver現在能更豐富地描述周圍環境和屏幕內容,Magnifier可以放大後直接問Siri,Voice Control更靈活了,可以用自然語言跟App交互。
這塊發佈會上沒提,但確實是AI落地到實際場景裏的好例子。
這也是Cook最後主持的一屆WWDC了。
蘋果,這個偉大的企業,終於要交接到了下一棒人手中去。
" 向那些瘋狂的傢伙們致敬。
他們特立獨行。
他們桀驁不馴。
他們惹事生非。
才能真正改變世界。"
以上,既然看到這裏了,如果覺得不錯,隨手點個贊、在看、轉發三連吧,如果想第一時間收到推送,也可以給我個星標⭐~謝謝你看我的文章,我們,下次再見。
>/ 作者:卡茲克、chiyo
>/ 投稿或爆料,請聯繫郵箱: [email protected]