這演示讓我覺得具身智能的 GPT 時刻快到了
上週我去線下參加了一個具身智能模型的本地演示,看完以後相當震驚。
這是我第一次看到真實的、沒有遙控和預編程,能跟周圍環境、人物實時交互,而且是運行在本地、真正跑在機器人上的具身智能模型。
這家公司叫“一念Unisonmind”,是一個清華團隊,CEO是清華計算機博士耿威。他們在沒有拿太多融資的情況下,做出了非常了不起的成果。
我一直以爲具身智能或者機器人行業的 GPT-3.5 時刻還需要很久纔會到來,但現在看來,它可能很快就會到來。
他們在現場演示了三個機器人。這個模型是通用的,可以在任何機器人上運行:
1. 人形機器人
2. 四足狗形機器人,四足輪式機器狗
3. 甚至是你在市場上隨便買的電動輪椅,也可以適配。
更令我震驚的是它的識別和交互速度,非常迅速且準確。
比如當時演示了一個拍乒乓球的場景:隨便找一個人去拍球,讓機器人數數。
我們都知道多模態模型做這類任務非常困難,因爲注意力機制(Attention)的問題,它很難捕捉到所有的視頻幀,如果拍球速度極快,很可能就會漏掉。
但它一個都沒數錯,而且這是在線下隨機找人測試的,拍球數量和節奏無法作假。
更有意思的是,線下的機器人、機器狗和機器輪椅之間還能相互溝通交流。因爲他們暫時還沒跟機器人廠商深度合作,只是把本地顯卡綁在機器人後面,導致機器人走起來有點“難受”。
機器人甚至會嘗試叫那個機器輪椅過來接它。還有一個特別搞笑的細節:機器人休眠的時候是蹲着的,它竟然問周圍的人自己是不是在“拉shi”,需不需要給它一張紙。
它現在基本上可以完成一些正常的任務。比如有一個場景是機器狗跑到隔壁咖啡店找到老闆,點了一杯咖啡,然後領着老闆把咖啡送回來。我覺得這個場景非常有意義。
當有人拿着假的廣告牌演示對應的商店讓它去找時,它甚至知道那是假的,還會吐槽說:“你又拿那個假的牌子騙我,又在糊弄我。”這種“人味兒”是非常可貴的,非常厲害。
他們也分享了實現具身智能 AGI 的“3+1”個必要條件:
1. 一個腦子實現多模態的流式(Streaming)理解和生成
2. 需要端側部署
看完這個演示以後,我對具身智能“大腦”部分的發展變得樂觀了許多。如果後面他們有機會再舉行線下演示的時候,我覺得離得近的可以去試試,很有意思。