①OpenAI聯(lián)合創(chuàng)始人Ilya Sutskever指出，數(shù)據(jù)資源耗盡，下一代AI模型將是真正的AI Agent，且具備推理能力。 ②OpenAI近期發(fā)布的o1模型，最突出的一項性能便是“會推理思考”。 ③推理計算的需求甚至可以達(dá)到訓(xùn)練計算的4.5倍，ASIC定制化芯片有望崛起。
《科創(chuàng)板日報》12月16日訊 ChatGPT面世兩年多以來，AI的主戰(zhàn)場正在轉(zhuǎn)向，從訓(xùn)練端轉(zhuǎn)向一個規(guī)模更大、競爭更為激烈的領(lǐng)域：推理。推理被視作AI大模型的“下半場”，在上半場中，競爭聚焦于快速預(yù)訓(xùn)練響應(yīng)，而如今，AI推理時代正在漸漸逼近，更多目光開始投向了慢速深度推理。
“AI預(yù)訓(xùn)練時代無疑將終結(jié)?！?/strong>在溫哥華NeurIPS大會上，OpenAI聯(lián)合創(chuàng)始人兼前首席科學(xué)家伊利亞?蘇茨克維爾（Ilya Sutskever）直言。
今年5月離開OpenAI之后，Ilya Sutskever創(chuàng)立了自己的AI實驗室Safe Superintelligence，之后他鮮少公開露面，直至這一次亮相。
Ilya Sutskever在這場演講中將數(shù)據(jù)比作化石燃料，而燃料終將耗盡。“算力在增長，但數(shù)據(jù)卻沒有增長，因為我們只有一個互聯(lián)網(wǎng)……我們已經(jīng)達(dá)到了數(shù)據(jù)峰值，不會再有更多數(shù)據(jù)了，我們必須處理好現(xiàn)有的數(shù)據(jù)。”
現(xiàn)有數(shù)據(jù)仍可推動AI進(jìn)一步發(fā)展，業(yè)內(nèi)也正在竭力挖掘新數(shù)據(jù)進(jìn)行訓(xùn)練，這種情況最終將迫使行業(yè)改變目前的AI模型訓(xùn)練方式。
其預(yù)計，下一代AI模型將是真正的AI Agent，且具備推理能力——目前的AI主要根據(jù)大模型之前學(xué)習(xí)過的內(nèi)容進(jìn)行匹配，而未來的AI則能以更接近思考的方式來一步步解決問題?！八鼈兡芨鶕?jù)有限的數(shù)據(jù)理解事物，也不會感覺困惑?！彼a(bǔ)充，AI推理得越多，就越難以預(yù)測。
一定程度來說，Ilya Sutskever的說法與OpenAI不久前的表態(tài)與最新動向不謀而合——用推理彌補(bǔ)數(shù)據(jù)瓶頸。
在11月末的一場路邊談話中，OpenAI高級研究副總裁Mark Chen否認(rèn)了“Scaling Law撞墻”。他表示，“我們準(zhǔn)確地掌握了需要解決的技術(shù)挑戰(zhàn)”，OpenAI已經(jīng)有o系列和GPT系列兩個模型，來讓模型繼續(xù)保持Scaling。
其中，OpenAI近日發(fā)布的o1模型就是推理模型。其最突出的地方便在于“會推理”：在給出回答之前，o1會思考，通過產(chǎn)生一個很長的內(nèi)部思維鏈（CoT），逐步推理，模仿人類思考復(fù)雜問題的過程。
這個過程也與Ilya Sutskever所說的“以更接近思考的方式來一步步解決問題”更加貼合。
或許對于一般用戶而言，o1模型的這種轉(zhuǎn)變不易察覺，但The Atlantic指出，研究人員已認(rèn)識到，與GPT等舊模型相比，o1模型不僅僅是一次簡單的升級，而是標(biāo)志著一個“完全不同的游戲規(guī)則”和“真正的進(jìn)步”。
▌AI推理時代來了？
預(yù)訓(xùn)練時代或許行將落幕，而在AI算力“蹺蹺板”的另一頭，推理正在崛起。
近幾日多家券商研報都指出，隨著端側(cè)AI放量，豆包、ChatGPT等AI應(yīng)用快速發(fā)展，算力需求會加速從預(yù)訓(xùn)練向推理側(cè)傾斜，推理有望接力訓(xùn)練，成為下一階段算力需求的主要驅(qū)動力。
進(jìn)一步來說，隨著大規(guī)模AI模型普及，推理需求不斷擴(kuò)大并趨于多樣化，定制化芯片的需求也有望擴(kuò)大。
巴克萊的另一份報告預(yù)計，AI推理計算需求將快速提升，預(yù)計其將占通用人工智能總計算需求的70%以上，推理計算的需求甚至可以超過訓(xùn)練計算需求，達(dá)到后者的4.5倍。英偉達(dá)GPU目前在推理市場中市占率約80%，但隨著大型科技公司定制化ASIC芯片不斷涌現(xiàn)，這一比例有望在2028年下降至50%左右。
博通上周發(fā)布的財報也已證明了ASIC的需求之旺盛：2024財年公司的人工智能收入增長220%，達(dá)到122億美元；其預(yù)計AI產(chǎn)品收入將在2025財年第一財季同比增長65%。博通還透露，目前正在與三個非常大型的客戶開發(fā)AI芯片，預(yù)計明年公司AI芯片的市場規(guī)模為150億-200億美元。
隨著谷歌、AWS等科技巨頭紛紛加大對定制化AI芯片的研發(fā)投入，以強(qiáng)化在人工智能領(lǐng)域的技術(shù)優(yōu)勢和供應(yīng)鏈控制力，國金證券今日研報指出，這一趨勢不僅助力企業(yè)應(yīng)對日益復(fù)雜的 AI 需求，還推動了整個自研芯片賽道的高景氣度和持續(xù)創(chuàng)新。未來，自研芯片將在 AI 推理和訓(xùn)練領(lǐng)域扮演關(guān)鍵角色，成為降本增效和提升算力的重要手段。
