《科創(chuàng)板日報》1月20日訊（編輯 宋子喬） 1月20日，豆包實時語音大模型正式推出。

據(jù)介紹，豆包實時語音大模型是一款語音理解和生成一體化的模型，實現(xiàn)了端到端語音對話，主要面向中文語境和場景（可進行英語對話，暫不支持多語種；中文范圍內(nèi)，模型也僅支持小部分方言和地方口音的理解和表達，仍有較大進步空間）。

依托于語音和語義聯(lián)合建模，該模型呈現(xiàn)出接近真人的語音表達水準(zhǔn)，在語音表現(xiàn)力、控制力、情緒承接方面表現(xiàn)驚艷，并具備低時延、對話中可隨時打斷等特性。

打敗GPT-4o？

OpenAI的最新大模型GPT-4o的高級語音功能于2025年1月開始全量推出。

值得注意的是，豆包實時語音大模型直接對標(biāo)GPT-4o。豆包大模型團隊介紹稱，在外部真實眾測中，模型整體滿意度較GPT-4o有明顯優(yōu)勢，主要體現(xiàn)在：

豆包大模型的語音語氣自然度和情緒飽滿度遠高于后者，尤其情商層面，模型在情感理解、情感承接以及情感表達等方面也取得顯著進展，能較為準(zhǔn)確地捕捉、回應(yīng)人類情感信息；

豆包模型貼合中國用戶實際需求，發(fā)布即上線，有能力直接服務(wù)億萬用戶，而非停留于演示Demo層面。

整體滿意度（以5分為滿分）方面，豆包實時語音大模型評分為4.36，GPT-4o為3.18。其中，50%的測試者對豆包實時語音大模型表現(xiàn)打出滿分。

如何實現(xiàn)？

低延時流暢交互、擬人化的語氣和情緒反饋，是分辨人與機器的兩大重要特征。豆包大模型團隊如何讓語音大模型不再“一聽就是AI”？

其團隊研發(fā)出了一套端到端框架，深度融合語音與文本模態(tài)。該框架面向語音生成和理解進行統(tǒng)一建模，最終實現(xiàn)多模態(tài)輸入和輸出效果。

在預(yù)訓(xùn)練（Pretrain）階段，團隊對各模態(tài)交織數(shù)據(jù)進行深入訓(xùn)練，精準(zhǔn)捕捉并高效壓縮海量語音信息，通過Scaling，最大程度實現(xiàn)語音與文本能力深度融合和能力涌現(xiàn)。

在后訓(xùn)練階段，團隊使用了高質(zhì)量數(shù)據(jù)與RL算法，進一步提供模型高情商對話能力與安全性，并在“智商”與“情商”之間尋求平衡。

更真實的情感陪伴——實時語音AI的價值

實時語音AI的價值體現(xiàn)在哪里？影響最直接是AI情感陪伴。

《科創(chuàng)板日報》實測發(fā)現(xiàn)，豆包的語音大模型不僅能感受到你的情感，還自帶情緒和情感，可以隨時打斷對話，互動更加擬人。

真人級語音對話，能提供更為親和的交互體驗和情感價值，AI不再呈現(xiàn)冰冷的“人機感”，其考驗的是AI的“人性化”程度，是人類邁向AGI（通用人工智能）的關(guān)鍵里程碑。

可以說，豆包在實時語音交互上的進步展現(xiàn)的是國產(chǎn)AI軟件的進步，有望為AI端側(cè)硬件開辟更廣闊的空間，如AI語音助手硬件以及AI玩具等。

目前AI產(chǎn)品呈現(xiàn)多模態(tài)趨勢，最為常見的是語音+文字的多模態(tài)交互，伴隨Transformer架構(gòu)對信息處理能力的提升，浙商證券預(yù)計，2025年開始會涌現(xiàn)更多綜合性多模態(tài)交互，將深度結(jié)合數(shù)據(jù)集、文本、音頻、視頻等實現(xiàn)更高維度的人機交互層級，這對硬件側(cè)主控芯片提出了更多更高的需求。該機構(gòu)表示，產(chǎn)業(yè)鏈重點標(biāo)的包括恒玄科技、中科藍訊、樂鑫科技、星宸科技、瑞芯微、炬芯科技、全志科技等。

而AI玩具可以視作具備面部識別、語音識別、自然語言處理等技術(shù)，能夠與用戶對話的機器人。隨著豆包語音大模型為代表的語言模型不斷演進，AI玩具的功能將不僅限于對話，而且能夠滿足個性化、情感需求。廣發(fā)證券表示，AI玩具賽道兼具教育與陪伴屬性，是具有真實需求的AI硬件落地方向，該機構(gòu)關(guān)注實豐文化、湯姆貓、奧飛娛樂、上海電影等。