2023年3月30日，金融信息提供商彭博社發布了專為金融領域打造的大語言模型（Large Language Model，LLM）Bloomberg GPT。該模型依托彭博社的大量金融數據源，構建了一個3630億個標簽的數據集，支持金融行業內的各類任務，在執行金融任務上的表現遠超過現有模型，在通用場景上的表現與現有模型也能一較高下。

華泰證券分析師謝春生（執業：S0570519080006）認為，掌握金融數據的國內廠商也有望復制Bloomberg GPT的路徑，實現大語言模型在金融場景的有效賦能。

(相關資料圖)

核心突破在于金融語料

盡管Bloomberg GPT的模型參數介于GPT-2與GPT-3之間。但BloombergGPT的金融垂直能力遠超GPT系列。

分析師指出：

根據論文《Bloomberg GPT: A Large Language Model for Finance》的模型介紹顯示，Bloomberg GPT同樣基于典型的Transformer架構，Bloomberg GPT的模型參數介于GPT-2與GPT-3之間，GPT-2模型參數為1.5億，GPT-3模型參數為1,750億，Bloomberg GPT的模型參數為500億。

官方論文《Bloomberg GPT: A Large Language Model for Finance》中的測試結果顯示，Bloomberg GPT在執行金融任務上的表現超過現有的通用LLM模型，在通用場景上的表現與現有通用LLM模型能力基本持平。

盡管Bloomberg GPT的模型參數相較于GPT-3較小，但分析師表示，依托彭博社的大量金融數據源，Bloomberg GPT在預訓練中獲得了大量高質量金融數據，并對預訓練數據進行了一系列的清洗、標注，Bloomberg GPT在通用能力與GPT-3基本持平的情況下，實現了金融垂直能力的大幅增強。

開拓開源模型+垂直數據的LLM新思路

Bloomberg GPT在開發方式上有何獨特之處？分析師認為，在模型構建上，Bloomberg GPT顯示出了卓越的創新，為國內金融數據公司開發大模型提供了有意義的路徑參考。

具體而言，主要體現在五個方面：

1）垂直領域語言模型：過去的大語言模型多為基于通用文本訓練的通用模型，垂直領域模型多為僅基于垂直領域數據訓練垂直模型，Bloomberg GPT開創了通用+垂直的混合訓練方法，讓模型兼具通用性與專業性；

2）訓練數據：過去的大語言模型的預訓練數據很大程度上依賴于網頁抓取數據，如C4、ThePile、Wikipedia等，Bloomberg自建了高質量的大規模金融數據集；

3）模型評估：Bloomberg在對模型進行了公共、金融NLP基準測試之外，還對模型進行了一系列基于Bloomberg內部任務的性能測試；

4）Token化（Tokenizer）：將訓練文本Token化是模型訓練的關鍵步驟，Bloomberg使用Unigram模型取代greedymerge-basedsub-word模型，實現更智能的token化轉換；

5）模型構建方法：以GPT-3、GPT-4為代表的大語言模型均由大型的專業人工智能團隊開發，并且模型訓練需要大量算力；受益于開源模型BLOOM的項目實踐與Bloomberg在垂直領域高質量數據的深厚積累，Bloomberg GPT成功證明了一個中等規模的團隊可以在垂直領域的特定數據上生產同樣具有競爭力的大語言模型。

金融GPT未來可期

分析師認為，Bloomberg GPT未來有望應用于以下三大場景：

1）Bloomberg查詢語言的生成：Bloomberg GPT可以將用戶自然語言查詢轉換為有效的Bloomberg查詢語言，使與金融數據的交互更加自然；

2）新聞標題的建議：Bloomberg GPT可以為Bloomberg的新聞應用程序提供支持，協助新聞工作者完成新聞短標題的撰寫；

3）金融問答：得益于金融垂直領域知識的輸入，Bloomberg GPT可以更加準確地回答金融相關的問題，例如在識別公司CEO的問答上，Bloomberg GPT的回答相較通用模型更為準確。

分析師指出，作為并非聚焦人工智金融垂直領域廠商，Bloomberg為金融GPT發展提供了具有參考價值的有益示范。

掌握豐富的金融垂直知識與現有AI產品布局，基于高質量的金融數據與開源的大語言模型，同樣有機會打造專屬金融場景的大語言模型，實現大語言模型在金融場景的有效落地，讓大語言模型成為底層的AI操作系統。

本文主要觀點來自華泰證券分析師謝春生（執業：S0570519080006）撰寫的報告《從BloombergGPT看金融GPT機遇》，有刪節

風險提示及免責條款 市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。

關鍵詞：