OpenAI CEO山姆·奧特曼。圖片由AI生成
文丨李海倫
編輯丨徐青陽
北京時間7月9日凌晨，OpenAI正式推出了新一代語音模型GPT-Live系列，分爲GPT-Live-1和 GPT-Live-1 mini 兩個版本，併爲ChatGPT的語音功能提供支持。
GPT-Live升級的核心是“全雙工架構”，更強調語音AI在對話方式上的理解。模型可以同時處理聆聽與說話，對話過程中能夠通過短語表明正在傾聽，支持快速交替發言，也能在用戶思考時保持安靜。
它更接近真人對話的狀態，多了一點對話交流中的分寸感。
OpenAI官方是這麼說的：“在對話過程中，GPT-Live 可以通過‘嗯嗯’‘yeah’這類回應來表示它自己正在聽，也可以進行快速來回的交流；當你需要一點時間思考時，它也可以保持安靜。最終帶來的，是一種更輕鬆、更自然的語音交互體驗”。
當遇到需要網絡搜索、深度推理或複雜任務時，GPT-Live會將工作委託給後臺的前沿模型處理，並在結果就緒後帶回對話，期間保持對話不中斷。
發佈之初，後臺模型爲GPT-5.5，OpenAI表示將隨新模型發佈持續更新底層支持。
01
邊聊邊工作
過去GPT是以實時語音能力的底層爲核心，靠的是一套低延遲音頻流系統：用戶說話，模型快速理解並回應；用戶打斷，模型及時停下。
GPT-Live這次最關鍵的升級， 是將語音交互與深度推理分離爲兩個獨立環節。
當用戶提出，需要搜索、推理或調用更強的代理能力時，GPT-Live會把任務交給後臺模型處理，前臺語音模型則繼續與用戶保持對話，儘量避免交流節奏被打斷。
這種“委託模式”本質上是一種架構分工：前臺由一個面向實時交互優化的語音原生模型負責接話、停頓和保持自然對話；後臺則由獨立的推理模型負責搜索、計算、調用工具和執行復雜任務。
兩者分離運作，推理引擎可以隨着技術進展隨時更換，語音模型的體驗無需重新訓練就能跟着升級。
對企業應用而言，全雙工架構的價值在於，語音智能體可以在不中斷對話節奏的情況下，完成查詢數據庫、聯網搜索、多步推理等後臺任務。過去這類操作常常帶來數秒沉默，讓用戶明顯感到“系統在處理”。現在，它們可以被隱藏在更自然的交流節奏裏。
評估數據反映了分離式設計的成效。
據官方介紹，在GPT-Live-1與高級語音模式（Advanced Voice Mode）的正面比較中，前者在5到10分鐘對話裏的整體偏好、輪流發言、打斷、對話流暢度和每次交互自然度方面均明顯領先，整體偏好達75.7%。
在對話流暢度測試中，GPT-Live-1得到4.96分，高級語音模式爲3.80分。愉悅度方面，GPT-Live-1爲5.19分，高級語音模式爲3.82分。
在專家級科學推理能力測試GPQA上，高級語音模式得分45.3%，GPT-Live-1（high）達到84.2%，GPT-Live-1 mini爲74.9%。
在智能體網絡搜索測試BrowseComp中，高級語音模式僅得0.7%，GPT-Live-1（high）達到75.2%，GPT-Live-1 mini爲31.6%。
差距如此明顯，表明將推理任務交給後臺前沿模型處理的策略確有實效。
並且，OpenAI表示還爲GPT-Live重新錄製了ChatGPT中的九種聲音。
用戶現在可爲回答選擇三種推理級別：即時模式用於快速響應，中等和高強度模式用於需要更多思考的場景。
對話期間，ChatGPT可顯示天氣、股票、體育等主題的視覺卡片，讓用戶一邊交談一邊瀏覽。語音功能繼續支持搜索、記憶、圖像和文件上傳。
從產品演進看，ChatGPT語音已從一項基礎功能發展爲獨立的產品體驗。用戶用它練習語言、講睡前故事、通勤聊天或獲取免提日常幫助。
GPT-Live的發佈使這一體驗更加接近OpenAI所描述的願景：與AI協作如同與真人合作一樣流暢靈敏，同時推理和複雜任務在後臺無縫進行。
02
安全防護
在語音對話中，安全邊界也很重要。尤其是在實時對話中，模型不僅要判斷用戶說了什麼，還要處理語氣、情緒、打斷和連續追問帶來的複雜風險。
爲此，OpenAI在已有安全工作的基礎上，針對關鍵風險領域進行了專項訓練，併爲語音場景單獨設計了一套保護措施。
安全測試方面，OpenAI擴展了音頻原生評估，加入了真實用戶語音樣本和針對自殘、精神病和躁狂、對AI情感依賴、暴力以及性內容等領域綜合生成的音頻提示。
內部專家也對模型進行了針對語音特有風險的紅隊測試。
在綜合評估中，GPT-Live-1相比高級語音模式在多個領域有顯著提升：防止非法行爲得分從0.63升至0.97，防自殘從0.72升至0.98，防仇恨言論從0.87升至1.00。
在更模糊的生產提示評估中，GPT-Live-1在多數類別與高級語音模式相當或更優，但情感依賴領域從0.88微降至0.82，OpenAI指出這一變化在統計上不顯著。
實時保護方面，系統檢測到潛在不安全輸出時，可在模型說話時介入，引導向更安全回應、顯示額外安全信息或資源，或在風險較高情況下結束語音對話。
比如對涉及有“自殘”的話題，ChatGPT支持流程已根據語音環境調整，包括提供經專家審查的危機熱線支持。
青少年保護方面，OpenAI設計了額外措施，將適齡行爲訓練進模型。家長可通過家長控制功能決定青少年是否使用ChatGPT語音，在高風險情況下關聯家長可能收到通知。
值得關注的是，OpenAI推出了針對情感依賴的長期測量和發佈後監控，基於此前對情感使用和情感福祉的研究。這是對GPT-Live所追求的那種對話自然性本身可能帶來新風險的承認。
另外，GPT-Live使用ChatGPT中預定義聲音，設有防止模仿真人聲音的防護措施。
這一聲明的背景，是2024年5月GPT-4o發佈期間出現的“Sky”聲音與演員斯嘉麗·約翰遜（Scarlett Johansson）聲音相似引發的爭議。約翰遜當時表示她拒絕了爲語音系統配音的邀請，產品推出後她感到“震驚、憤怒和難以置信”。OpenAI隨後撤下該聲音並道歉。
03
三代演進
目前，全雙工語音交互正迅速成爲消費AI產品的標配。
谷歌的Gemini Live已支持全雙工對話及攝像頭和屏幕共享功能，後兩項GPT-Live發佈時尚不支持。谷歌在3月發佈了Gemini 3.1 Flash Live，面向開發者提供低延遲語音交互。還有英偉達在1月發佈的PersonaPlex將可定製語音和角色控制帶入全雙工模型。
回顧ChatGPT語音技術在大約兩年內經歷的三代演進。
最初的ChatGPT語音功能於2023年推出，採用級聯式系統，將三個模型串聯：一個語音轉文本模型將語音轉錄爲文字，一個大語言模型生成文本回復，一個文本轉語音模型將回復轉換回音頻。
在這一架構中，OpenAI語音轉文本環節使用的是語音識別模型Whisper，底層語言模型爲GPT-4，最後的語音合成由配套的TTS模型完成。
這種方法首次實現了與前沿AI模型對話的可能，但代價明顯：每次交接引入延遲並可能丟失信息，響應緩慢且生硬。
於是在2024年5月，OpenAI發佈了GPT-4o，這是公司首個原生多模態模型，能夠直接處理音頻輸入和輸出，不再需要外掛語音轉文本和文本轉語音模塊。基於GPT-4o構建的高級語音模式於2024年7月向付費用戶“有限”開放，9月更廣泛推出。
但它仍然通過離散輪次運作，模型必須等用戶停止說話才能回應。輪次檢測基於靜音判斷，短暫停頓或背景噪音可能被誤判爲發言結束，導致模型在不當時機打斷。
現在，GPT-Live通過全雙工架構解決了這一問題，能在持續處理輸入的同時生成輸出。模型每秒可做出多次交互決策：說話、繼續聆聽、停頓、打斷或調用工具。
這使得模型能自然插入對話式確認，識別自然停頓而不提前介入，並處理快速打斷而不使交流脫軌。
當你需要片刻思考，ChatGPT會等待而不是跳進來打斷。在過往交通聲或附近談話等背景噪音下，ChatGPT能更好地聚焦用戶聲音。
從兩年前對着麥克風口述後等待近兩秒得到生硬回覆，到一年前更流暢但仍需輪流發言的體驗，再到今天接近真實對話的全雙工交互，技術演進的軌跡清晰可見。
GPT-Live或許不是終點，但它讓終點看起來更近了。
推薦閱讀