前瞻研究全球人工智能AI行業(yè)系列報(bào)告4：GPT-4發(fā)布 持續(xù)逼近通用人工智能AGI

 

　　近日openAI 采用閉源模式發(fā)布多模態(tài)大語言模型GPT-4 ，該模型采用和GPT-3.5/ChatGPT 相同的技術(shù)路線，但帶來了更好的創(chuàng)造性、協(xié)作性、推理能力、安全性等，同時(shí)訓(xùn)練過程中采用定制超級(jí)計(jì)算機(jī)進(jìn)行算力承載，并完善了大語言模型scaling law 基礎(chǔ)理論，實(shí)現(xiàn)訓(xùn)練資源可控。我們判斷，GPT-4 良好的效果，有望推動(dòng)全球AI 領(lǐng)域技術(shù)棧持續(xù)向LLM（大語言模型）模型收斂，并通過暴力美學(xué)+工程技巧的結(jié)合不斷加速AI 產(chǎn)業(yè)發(fā)展，帶來更多應(yīng)用場景落地的同時(shí)，亦幫助人類不斷逼近通用人工智能AGI。我們持續(xù)看好openAI 及全球AI領(lǐng)域的產(chǎn)業(yè)投資機(jī)會(huì)，并建議持續(xù)聚焦芯片、算力設(shè)施、模型架構(gòu)&工程實(shí)踐、應(yīng)用場景等核心環(huán)節(jié)。在美股市場，建議持續(xù)重點(diǎn)關(guān)注英偉達(dá)、臺(tái)積電、微軟、AMD、Arista、博通、Marvell、百度等。

 

       報(bào)告緣起：OpenAI 正式發(fā)布GPT-4。北京時(shí)間2023 年3 月14 日晚，OpenAI發(fā)布了正式版本的GPT-4，取代了此前ChatGPT 使用的GPT-3.5 版本，并開始為付費(fèi)的Plus 用戶提供服務(wù)。OpenAI 在官網(wǎng)表示，GPT-4 雖然在大多數(shù)現(xiàn)實(shí)場景中的能力不如人類，但在一些專業(yè)問題和學(xué)術(shù)基準(zhǔn)上表現(xiàn)已經(jīng)和人類持平。本篇報(bào)告將基于對GPT-4 底層技術(shù)邏輯、實(shí)現(xiàn)功能分析的基礎(chǔ)上，探討GPT-4對全球AI 產(chǎn)業(yè)帶來的可能技術(shù)路徑影響，以及產(chǎn)業(yè)層面的變化和機(jī)遇。

 

       GPT-4：完全閉源模式發(fā)布，耗時(shí)6 個(gè)月迭代調(diào)整完成的多模態(tài)大語言模型。本次OpenAI 推出GPT-4 的形式與以往模型的發(fā)布都有所不同，OpenAI 既沒有公開發(fā)布GPT-4 的相關(guān)論文，也沒有提供詳細(xì)的框架說明，僅僅提供了一份98 頁的技術(shù)文檔（主要描述模型能力以及相關(guān)評(píng)測的得分，幾乎沒有任何技術(shù)細(xì)節(jié)）。

 

      通過這一方式，OpenAI 阻斷了所有借鑒者參考的直接途徑（模型大小、數(shù)據(jù)集構(gòu)建、訓(xùn)練方法等），將閉源的路線堅(jiān)持到底，這也符合我們之前對行業(yè)未來發(fā)展的判斷：領(lǐng)先的頭部公司（OpenAI、Google）將堅(jiān)持閉源路線，避免其他公司復(fù)現(xiàn)其模型；落后一到兩個(gè)身位的公司（Meta、Amazon、NVIDIA 等）可能會(huì)選擇開源路線，寄希望通過社區(qū)的力量加速迭代。根據(jù)OpenAI 發(fā)布的這份技術(shù)報(bào)告，GPT-4 的訓(xùn)練以及迭代的耗時(shí)長達(dá)6 個(gè)月以上，是之前發(fā)布的ChatGPT 的兩倍以上，在技術(shù)路徑上沿用了自回歸的Transformer 模型加上人類反饋強(qiáng)化學(xué)習(xí)。模型能力方面最大的提升在于引入了多模態(tài)的處理能力，除了此前ChatGPT 就支持的文字外，GPT-4 還可以接受圖片輸入，不過暫時(shí)還沒有開放給用戶使用。此外，模型在面對復(fù)雜任務(wù)的可靠性與輸出的安全性上均有顯著的提升。

 

       模型訓(xùn)練關(guān)鍵點(diǎn)：采用定制化超級(jí)計(jì)算機(jī)，完善了大語言模型scaling law 基礎(chǔ)理論。盡管OpenAI 沒有公布模型的及具體訓(xùn)練細(xì)節(jié)，但從其在技術(shù)文檔中的表述出發(fā)，我們找到了兩點(diǎn)可能會(huì)影響整體產(chǎn)業(yè)的關(guān)鍵點(diǎn)：1）OpenAI 在去年開始就與微軟合作重新構(gòu)建一臺(tái)用于大語言模型訓(xùn)練的超級(jí)計(jì)算機(jī)，而本次GPT-4 的訓(xùn)練以及迭代環(huán)節(jié)應(yīng)該是完全通過這臺(tái)計(jì)算機(jī)所完成的。根據(jù)Bloomberg 的相關(guān)報(bào)道，OpenAI 與微軟所搭建的這臺(tái)計(jì)算機(jī)總共耗資數(shù)億美元，使用了近萬張英偉達(dá)A100顯卡，這也與我們之前報(bào)告中對訓(xùn)練大語言模型所需要的顯卡體量計(jì)算相一致。

 

      從OpenAI 在技術(shù)文檔中描述的結(jié)果看（訓(xùn)練+迭代總共耗時(shí)6 個(gè)月），GPT-4 的訓(xùn)練過程遠(yuǎn)短于此前的預(yù)期（從之前的論文出發(fā)，如此體量的模型迭代部分的對齊就要耗費(fèi)數(shù)月時(shí)間），這也表明了構(gòu)建專用超級(jí)計(jì)算機(jī)的必要性。我們認(rèn)為，在未來數(shù)月時(shí)間我們將會(huì)看到更多AI 大廠效仿OpenAI 的做法，將定制化的超級(jí)計(jì)算機(jī)提上日程。2）Scaling Law 是OpenAI 團(tuán)隊(duì)在2020 年發(fā)表的論文，主要對模型能力與模型大小、訓(xùn)練時(shí)長間的關(guān)系做了推算，也成為了大語言模型研究的重要理論。而在本次OpenAI 的技術(shù)報(bào)告中，我們看到對scaling law 有了進(jìn)一步的完善。OpenAI 表示在開發(fā)GPT-4 的過程中進(jìn)一步完善了Scaling Law，對此前無法解釋的涌現(xiàn)能力（當(dāng)模型體積大小突破到某一階段時(shí)會(huì)突然出現(xiàn)某種新能力）可以更好地預(yù)測。Scaling Law的完善意味著在模型訓(xùn)練資源的投入將會(huì)更加可控，AI 廠商將不再需要為了涌現(xiàn)能力一味擴(kuò)大參數(shù)，這將進(jìn)一步降低AI 訓(xùn)練階段的成本。

 

       應(yīng)用場景：多模態(tài)能力加速多領(lǐng)域創(chuàng)新。GPT-4 相較于ChatGPT 最直觀的改變在于加入了支持圖片輸入的多模態(tài)的能力。盡管OpenAI 表示目前多模態(tài)能力的重點(diǎn)還在于圖片轉(zhuǎn)文字，對于音頻、視頻、圖片編輯等還不支持，但這也給了市場足夠的想象空間。1) 搜索領(lǐng)域：結(jié)合圖片輸入的多模態(tài)將更好地為目前傳統(tǒng)搜索引擎+大語言模型輔助的模式進(jìn)行服務(wù)。2）智能客服：圖片與文字結(jié)合輸入的模式更加貼合目前ToC 智能客服所遇到的一些痛點(diǎn)。3）中小模型公司微調(diào)模型應(yīng)用到具體細(xì)分領(lǐng)域：GPT-4 被描述為一個(gè)通用的大語言模型，從OpenAI 的文檔看他們未曾計(jì)劃對具體細(xì)分領(lǐng)域進(jìn)行微調(diào)以求更好效果，預(yù)計(jì)這個(gè)在未來會(huì)交到中小人工智能廠商手中：在GPT-4 的基礎(chǔ)上針對細(xì)分行業(yè)進(jìn)行微調(diào)來獲得更好效果。

 

       風(fēng)險(xiǎn)因素：AI 核心技術(shù)發(fā)展不及預(yù)期風(fēng)險(xiǎn)；科技領(lǐng)域政策監(jiān)管持續(xù)收緊風(fēng)險(xiǎn)；全球宏觀經(jīng)濟(jì)復(fù)蘇不及預(yù)期風(fēng)險(xiǎn)；宏觀經(jīng)濟(jì)波動(dòng)導(dǎo)致歐美企業(yè)IT 支出不及預(yù)期風(fēng)險(xiǎn)；全球云計(jì)算市場發(fā)展不及預(yù)期風(fēng)險(xiǎn)；企業(yè)數(shù)據(jù)泄露、信息安全風(fēng)險(xiǎn)；行業(yè)競爭持續(xù)加劇風(fēng)險(xiǎn)等。

 

       投資策略：GPT-4 采用與 GPT-3.5/ChatGPT 相同的技術(shù)路線，但帶來了更好的創(chuàng)造性、協(xié)作性、推理能力，以及多模態(tài)能力等。GPT-4 良好的效果，有望推動(dòng)AI 領(lǐng)域技術(shù)棧持續(xù)向LLM 模型收斂，并通過暴力美學(xué)+工程技巧的結(jié)合不斷加速AI 產(chǎn)業(yè)發(fā)展，幫助人類不斷逼近通用人工智能AGI。我們持續(xù)看好openAI 及AI領(lǐng)域的產(chǎn)業(yè)投資機(jī)會(huì)，并建議持續(xù)聚焦芯片、算力設(shè)施、模型架構(gòu)&工程實(shí)踐、應(yīng)用場景等核心環(huán)節(jié)。在美股市場，我們建議持續(xù)重點(diǎn)關(guān)注英偉達(dá)、臺(tái)積電、微軟、AMD、Arista、博通、Marvell、百度等。