①其性能可達到與Gemini 2.5 Pro相當?shù)乃剑?②具備更強的通用多模態(tài)理解和推理能力； ③已在火山引擎上開放API供用戶體驗。
《科創(chuàng)板日報》5月13日訊（編輯 宋子喬） 今日，字節(jié)跳動Seed團隊發(fā)布視覺-語言多模態(tài)大模型Seed1.5-VL，向更優(yōu)智能體邁步。
據(jù)介紹，Seed1.5-VL在超過3Ttokens的多模態(tài)數(shù)據(jù)上進行預訓練，具備更強的通用多模態(tài)理解和推理能力，且推理成本顯著降低。
目前在多模態(tài)大模型領(lǐng)域，谷歌最新推出的大模型Gemini 2.5 Pro表現(xiàn)出色，已支持圖像、視頻、音頻與代碼的統(tǒng)一理解，且在多個基準測試（如MME、Math Bench）中領(lǐng)先于GPT-4.0。
字節(jié)團隊表示，盡管Seed1.5-VL的激活參數(shù)僅有20B，但其性能可達到與Gemini 2.5 Pro相當?shù)乃?/strong>，在60個公開評測基準中的38個上取得SOTA（最新最優(yōu)性能，state-of-the-art performance）表現(xiàn)，包括19項視頻基準測試中的14項，以及7項GUI代理任務(wù)中的3項：
1、視覺能力突出
Seed 1.5-VL在視覺推理、圖像問答、圖表理解與問答、視覺定位/計數(shù)、視頻理解、GUI智能體等任務(wù)中均表現(xiàn)突出。其中，在以Agent（智能體）為中心的任務(wù)（如GUI控制和游戲）中，Seed 1.5-VL在7個GUI智能體任務(wù)中的3個取得了SOTA成績。
2、交互性更強
精簡的架構(gòu)設(shè)計顯著降低了推理成本和計算需求，使模型更適合交互式應用。比如該模型增強了GUI（圖形用戶界面）定位性能，可在PC端、手機端等不同環(huán)境中完成復雜交互任務(wù)，包括收集處理信息、在開放游戲中推理和行動等。
字節(jié)團隊表示，Seed 1.5-VL進一步提升了視覺理解和推理能力，并向VLM（視覺語言模型）的通用性能力更近一步。但仍存在一定的局限性。
首先，在細粒度視覺感知方面，模型在處理目標計數(shù)、圖像差異識別以及復雜空間關(guān)系解釋時仍面臨挑戰(zhàn)，主要在目標排列不規(guī)則、顏色相似或部分遮擋等極端情況下；其次，在高層次推理任務(wù)中，如解決華容道謎題、導航迷宮或遵循復雜指令時，有時模型會引入無根據(jù)的假設(shè)或產(chǎn)生不完整的響應，表現(xiàn)仍有提升空間。此外，在視頻推理方面，模型尚難以準確識別動作的先后順序或從物體的前后狀態(tài)推斷順序。
目前，Seed 1.5-VL已在火山引擎上開放API供用戶體驗。
多模態(tài)指的是能夠處理和理解來自多種不同來源和形式的信息的系統(tǒng)，如文本、圖像、音頻、視頻等。多模態(tài)技術(shù)使機器學習模型能夠更全面地理解和表達復雜的真實世界場景，國內(nèi)大模型廠商紛紛競逐多模態(tài)。
5月6日，谷歌DeepMind團隊發(fā)布多模態(tài)大語言模型Gemini 2.5 Pro，在多個指標上登頂AI排行榜LMArena。
北京時間4月17日，OpenAI發(fā)布o系列多模態(tài)推理大模型o3與o4-mini。該系列模型在大規(guī)模強化學習與圖像思維鏈整合技術(shù)的加持下，多模態(tài)推理能力顯著增強，工具應用能力大幅提升。
應用方面，近期多款大廠的AI應用實現(xiàn)多模態(tài)功能更新，如文小言升級語音大模型、圖片問答能力；騰訊元寶上線10張圖片同時處理的功能；豆包文生圖功能實現(xiàn)升級，新版深度思考開啟測試。
平安證券稱，近期包括OpenAI、豆包在內(nèi)發(fā)布的新模型，解題思路在此前思維鏈CoT基礎(chǔ)上，更多體現(xiàn)對模型原生Agent能力（即工具使用）以及多模態(tài)推理能力的重視。全球大模型領(lǐng)域的競爭依然白熱化，堅定看好AI主題的投資機會，當前Agent在企業(yè)端落地進度較為靠前，AI應用建議關(guān)注OA/ERP/編程/辦公等領(lǐng)域；算力方面，Agent將帶來更多的推理端應用需求，從而拉動推理端算力乃至整體算力需求向上。
開源證券日前發(fā)布研報稱，國產(chǎn)模型近期在多模態(tài)、推理能力上持續(xù)突破，多款達到全球頂尖水平，加之頭部模型開源，大模型廠商持續(xù)發(fā)力Agent，將繼續(xù)推動AI應用深入落地，拉動推理算力需求，建議繼續(xù)布局AI。
圖片
