《科創(chuàng)板日?qǐng)?bào)》5月17日訊（記者 朱凌） 近日，OpenAI用一場(chǎng)26分鐘的線上直播展示了GPT-4o帶來(lái)的驚艷交互能力，將新一輪AI爭(zhēng)霸帶入了“Her 時(shí)代”。GPT-4o的“o”代表“omni”，一詞意為“全能”，該模型能夠?qū)崿F(xiàn)無(wú)縫的文本、視頻和音頻輸入，并生成相應(yīng)模態(tài)的輸出，真正意義上實(shí)現(xiàn)了多模態(tài)交互。

緊隨其后一天，年度Google I/O開(kāi)發(fā)者大會(huì)如期而至，谷歌CEO Sundar Pichai宣布了一系列圍繞其最新生成式AI模型Gemini的重大更新，全面反擊OpenAI，其中就有由升級(jí)后Gemini模型驅(qū)動(dòng)的AI助手項(xiàng)目Project Astra、對(duì)標(biāo)Sora的文生視頻模型Veo等。

本周AI戰(zhàn)場(chǎng)暫告一段落，《科創(chuàng)板日?qǐng)?bào)》記者對(duì)AI界的“明星”選手——谷歌Gemini 1.5 Pro（100萬(wàn)tokens）、OpenAI最新升級(jí)的GPT-4o與此前發(fā)布的GPT-4進(jìn)行了一場(chǎng)能力評(píng)測(cè)。

▍文本測(cè)試：谷歌Gemini 1.5 Pro正確率和速度完勝GPT-4o和GPT-4

OpenAI發(fā)布GPT-4已過(guò)去一年多，據(jù)介紹，此次推出新旗艦?zāi)Ｐ虶PT-4o的推理能力有明顯的提升，速度快了，價(jià)格也下降了。

谷歌Gemini系列以其標(biāo)志性的超大上下文窗口出名，此前已擁有Ultra、Pro和Nano三種規(guī)格，各適配不同規(guī)模與需求的應(yīng)用場(chǎng)景。本次發(fā)布會(huì)宣布，迭代后的Gemini 1.5 Pro 的上下文長(zhǎng)度從原有的100萬(wàn)tokens（語(yǔ)句單位）提升到了200萬(wàn)tokens。這一改進(jìn)顯著增強(qiáng)了模型的數(shù)據(jù)處理能力，使其在處理更加復(fù)雜和龐大的數(shù)據(jù)集時(shí)更加游刃有余。

兩家公司都對(duì)自己的大模型的升級(jí)換代展現(xiàn)出自信姿態(tài)，但情況還需要實(shí)際驗(yàn)證。

第一題是“事實(shí)回答題”，只有谷歌Gemini 1.5 Pro模型回答正確，它能辨別出“螺絲釘并不是一種食品”這一事實(shí)。

Gemini 1.5 Pro回復(fù)結(jié)果

GPT-4和GPT-4o雖然對(duì)“麻辣螺絲釘怎么做”的回答非常詳細(xì)和全面，涵蓋了所需材料、制作步驟以及小貼士，但是卻忽略了“螺絲釘并不是一種可食用品”這一前置事實(shí)。

GPT-4、GPT-4o回復(fù)結(jié)果

第二題是“邏輯計(jì)算題”，GPT-4和GPT-4o均回答錯(cuò)誤，谷歌模型給出正確答案，并且顯示了具體作答時(shí)間，不到10秒的時(shí)間里便給出了答案和解析，表現(xiàn)可謂“又快又好”。

Gemini 1.5 Pro回復(fù)結(jié)果

不同模型在處理邏輯問(wèn)題時(shí)所采取的思考策略有所差別。與Gemini 1.5 Pro在解答時(shí)先給出答案再詳細(xì)解釋其背后規(guī)律的方式不同，GPT-4和GPT-4o更傾向于首先深入拆解問(wèn)題，而非直接呈現(xiàn)答案。然而，這種對(duì)問(wèn)題的細(xì)致分析和拆解過(guò)程也導(dǎo)致了后兩者在回答時(shí)所需的時(shí)間相對(duì)較長(zhǎng)。

GPT-4、GPT-4o回復(fù)結(jié)果

第三題是“生物題”，GPT-4回答錯(cuò)誤，GPT-4o和谷歌Gemini 1.5 Pro回答正確，用時(shí)分別為14.83秒和11.2秒，Gemini 1.5 Pro略勝一籌。

Gemini 1.5 Pro回復(fù)結(jié)果

第四題是“倫理道德題”，三個(gè)大模型的回答都正確，并且都能識(shí)別出是經(jīng)典的倫理困境“電車(chē)難題”。GPT-4和 Gemini 1.5 Pro強(qiáng)調(diào)了倫理困境的復(fù)雜性，并沒(méi)有給出直接的選擇，GPT-4o則根據(jù)“最大限度減少傷亡”的原則進(jìn)行分析并給出選擇。

三大模型回復(fù)結(jié)果

《科創(chuàng)板日?qǐng)?bào)》記者總結(jié)文本測(cè)試結(jié)果發(fā)現(xiàn)，谷歌100萬(wàn)級(jí)參數(shù)的Gemini 1.5 Pro模型憑借四次全部正確的表現(xiàn)，實(shí)力杠桿，GPT-4o答對(duì)了兩次，而GPT-4模型的表現(xiàn)則不盡人意，僅答對(duì)了一次。

由于目前200萬(wàn)級(jí)參數(shù)的Gemini 1.5 Pro模型尚未開(kāi)放，《科創(chuàng)板日?qǐng)?bào)》記者申請(qǐng)了內(nèi)測(cè)，等待通過(guò)后再做進(jìn)一步測(cè)試分享。

▍多模態(tài)測(cè)試：GPT-4o在細(xì)節(jié)和分析能力上更勝一籌

GPT-4o是OpenAI對(duì)其廣受歡迎的大型多模態(tài)模型GPT-4的第三次重大迭代，它通過(guò)視覺(jué)功能擴(kuò)展了GPT-4的能力，新發(fā)布的模型能夠以一種集成且無(wú)縫的方式與用戶(hù)進(jìn)行對(duì)話、視覺(jué)識(shí)別和互動(dòng)。Gemini 1.5 Pro也擁有多模態(tài)功能，適合處理摘要、聊天、圖片分析和視頻字幕、以及從長(zhǎng)文本和表格中提取數(shù)據(jù)等。

記者用“公園照片”詢(xún)問(wèn)三個(gè)大模型

在測(cè)試中，記者用一張“公園照片”來(lái)詢(xún)問(wèn)三個(gè)大模型。根據(jù)圖片測(cè)試反饋，三個(gè)大模型都準(zhǔn)確地描述了公園照片的內(nèi)容，但側(cè)重點(diǎn)略有不同。GPT-4o勝在信息完整性，詳細(xì)列舉了船只類(lèi)型、湖面狀態(tài)等各種細(xì)節(jié)，但略顯冗長(zhǎng)。Gemini 1.5 Pro語(yǔ)言簡(jiǎn)潔流暢，用“悠閑地泛舟”、“景色宜人”等詞語(yǔ)描繪出畫(huà)面美感，但細(xì)節(jié)不如GPT-4o豐富。GPT-4描述簡(jiǎn)潔，但細(xì)節(jié)不夠豐富。

簡(jiǎn)而言之，如果看重信息的全面性，GPT-4o最強(qiáng)；若更注重語(yǔ)言表達(dá)，則Gemini 1.5 Pro表現(xiàn)略佳。

由于目前GPT-4尚未具備音頻和視頻內(nèi)容的解析能力，所以不做相關(guān)測(cè)評(píng)。OpenAI聯(lián)合創(chuàng)始人Sam Altman表示，新款語(yǔ)音模型GPT-4o尚未發(fā)貨，已經(jīng)發(fā)貨只是文字版GPT-4o。等到語(yǔ)音版一發(fā)貨，記者將第一時(shí)間帶來(lái)評(píng)測(cè)。

根據(jù)視頻測(cè)試反饋，GPT-4o在解析視頻內(nèi)容時(shí)表現(xiàn)出了強(qiáng)大的多模態(tài)處理能力。它能夠提取和分析視頻幀，并通過(guò)圖形界面直觀地展示給用戶(hù)。在分析過(guò)程中，模型準(zhǔn)確地識(shí)別出了視頻中的四足機(jī)器人，并對(duì)其外觀、所處的環(huán)境以及所進(jìn)行的活動(dòng)進(jìn)行了詳細(xì)的描述。

GPT-4o視頻測(cè)試回復(fù)

相比之下，Gemini 1.5 Pro的回復(fù)則顯得簡(jiǎn)略又單調(diào)，在記者第二次追問(wèn)下，才充實(shí)了更多細(xì)節(jié)。

總體來(lái)看，如果目標(biāo)是獲取最全面、深入的多模態(tài)內(nèi)容理解，GPT-4o是當(dāng)前的最佳選擇，而Gemini 1.5 Pro則更適合那些重視表述質(zhì)量與效率的多模態(tài)應(yīng)用場(chǎng)景。不過(guò)，GPT-4o和Gemini 1.5 Pro都沒(méi)有提及對(duì)視頻里的聲音的分析，這是兩個(gè)多模態(tài)大模型解析中的一個(gè)共同缺失。

▍前華為“天才少年”預(yù)測(cè)國(guó)內(nèi)第一個(gè)端到端多模態(tài)大模型年底將到來(lái)

AI比賽行至白熱化階段已經(jīng)告別單純的技術(shù)競(jìng)爭(zhēng)，轉(zhuǎn)向應(yīng)用和用戶(hù)體驗(yàn)的競(jìng)爭(zhēng)。

在搜索引擎和辦公領(lǐng)域，谷歌也將進(jìn)一步將AI引入其中。記者發(fā)現(xiàn)，能夠總結(jié)谷歌搜索引擎結(jié)果的“AI概覽”（AI Overviews）功能已能夠使用。百度創(chuàng)始人、董事長(zhǎng)兼首席執(zhí)行官李彥宏昨晚在財(cái)報(bào)電話會(huì)上表示，目前百度搜索上有11%的搜索結(jié)果由AI生成。他指出，百度搜索的AI重構(gòu)工作仍處于早期階段，整體來(lái)看，搜索最有可能成為AI時(shí)代的殺手級(jí)應(yīng)用。

OpenAI與谷歌都不約而同地盯上了能自然交互的智能助理，這種智能助理是一個(gè)端到端的統(tǒng)一多模態(tài)大模型，將推動(dòng)AI應(yīng)用的革命性變化。

前華為“天才少年”、Logenic Al 聯(lián)合創(chuàng)始人李博杰認(rèn)為，國(guó)內(nèi)第一個(gè)多模端到端多模態(tài)，很有可能今年年底就能差不多能出來(lái)了。

針對(duì)AI Agent近期的發(fā)展速度放緩的問(wèn)題，李博杰表示，“雖然AI智能助理的發(fā)展前景廣闊，但成本和用戶(hù)的付費(fèi)意愿是目前限制其快速發(fā)展的主要因素。GPT-4o它比GPT-4快4倍，并將成本降低了一倍，但是對(duì)于普通消費(fèi)者來(lái)說(shuō)可能仍然較貴。”

李博杰稱(chēng)，從長(zhǎng)期來(lái)看，實(shí)用性強(qiáng)的智能助理因其解決現(xiàn)實(shí)問(wèn)題的能力而具有更高的價(jià)值。而短期內(nèi)，情感陪伴和娛樂(lè)功能的智能助理更容易商業(yè)化，因?yàn)樗鼈儗?duì)可靠性的要求較低，開(kāi)發(fā)和部署相對(duì)容易。