GPT-3 掀起AI 大模型浪潮,大模型下參數量即是準確度。大模型成為AI 開發新范式。根據MIT Technology Review 和IEEE Computer,2020 年,Open AI推出其新的預訓練模型GPT-3,GPT-3 相比其上一代模型在數據量上實現了量級的飛躍。模型的參數量由15 億個提升至1750 億個,訓練使用的數據量由40GB提升至45TB。在算法幾乎沒有變化的情況下,GPT-3 僅依靠參數量的提升就實現了表現上的飛躍:GPT-3 可以在高精確度地自動生成文章、與人交流、甚至完成代碼編寫,至今仍是最好的AI 語言模型之一。在GPT-3 大獲成功的推動下,AI 開發商們開啟了大模型的競賽。目前,Google 的Switch-Transformer 和GLaM分別有1 萬億和1.2 萬億個參數。在我國,北京智源人工智能院推出的悟道2.0則有1.75 萬億的參數規模。對于AI 模型而言,參數量決定了模型所接受的訓練量。模型擁有越多的參數,就能從訓練數據中摘取更多的相關信息,也因此能夠做出更準確的預測。 

 

    大模型對算法與硬件提出更高要求,進一步提升技術門檻。相比于傳統AI 模型,大模型對相關算法和硬件設施有著更高的要求。想要處理千億量級以上的參數,大模型需要上百個獨立的GPU 來訓練模型的神經網絡,同時需要算法來將所有的訓練數據在各GPU 之間進行合理分配,確保這些數據以合適的順序、在合適的時間被使用。在開發AI 大模型時,各AI 廠商都在對相應的算法和硬件設施進行升級,確保超大體量的參數能被模型所吸納。根據量子位百家號,Google 則開發出了LIMoE 稀疏化大模型,在實現零樣本學習的同時極大程度降低了訓練成本。為確保大模型的順利開發,各廠商也在不斷提升相關硬件設施。我們認為,在未來AI 大模型的開發中,支持開發的算法、硬件設施等方面的綜合實力將成為重要的技術門檻,將決定AI 大模型規模的上限和實際的模型效果,并成為AI 廠商模型開發成功與否的關鍵因素。 

 

    大模型作為基石概念股,賦力AI 模型的優化及多場景運用。在大模型的早期階段,受模型類型限制,模型的使用場景有限。如今,越來越多的AI 廠商開始轉向多模態大模型(large-scale multimodal model),這些模型能夠同時處理圖像、文本、視頻、音頻等數據類型,并支持無監督式學習。在大模型的支持下,AI 多模態模型能夠在更多、更復雜的場景提供支持。根據百度文心官網和IDC 官微,百度的文心·跨模態大模型將場景圖知識融入到視覺-語言模型的預訓練過程;阿里達摩院的M6 大模型既在阿里內部核心業務場景落地,在外部醫療、能源、金融行業積累了多個實踐案例。對于各行業而言,大模型的應用價值也開始逐漸清晰:大模型不要求企業具備海量的數據基礎、相比傳統AI 模型龍頭股上應用的效果更優、并能降低AI 開發門檻。我們認為,隨著以大模型為基礎的多模態模型的持續優化,未來AI 模型將能在更多場景、更復雜的功能中體現自己的優勢,大模型的運用范圍將會持續提升,并將正向反饋進一步推動大模型的相關研發。我們認為,GPT-3 的成功證明了參數體量對AI 模型的重要性,自此開啟了大模型時代。想要確保AI 模型規模的不斷提升,各廠商龍頭股上必須持續優化算法模塊及相關硬件設備;而在大模型的支持下,AI 模型將不斷優化并最終實現在更廣泛、更復雜的場景的落地。 

 

    風險提示:行業相關政策推進不及預期,前沿技術龍頭股發展不及預期或應用效果不佳的風險。

 

數據推薦

最新投資評級目標漲幅排名上調投資評級 下調投資評級機構龍頭股上關注度行業關注度股票綜合評級首次評級股票