文|科技新知 王思原
編輯|伊頁
自然語言處理（NLP）技術的發(fā)展和運用，使得計算機性能增長速度一舉躍過摩爾定律瓶頸，將AI拱入屬于它的高光時代。而象征技術融合的ChatGPT一夜爆紅，仿佛給整個商業(yè)社會帶來了一次“技術革命”。
微軟、谷歌、百度、華為、阿里...全球范圍內(nèi)的科技巨頭，爭先恐后真金白銀地押注，掀起了一場以資本和技術為基礎的生態(tài)競速。
無疑，GPT模型在這場革命中扮演了一個舉足輕重的角色。從GPT-3到GPT-3.5，再到現(xiàn)在的GPT-4，我們已經(jīng)見證了這個模型能力的驚人飛躍。
然而，這是否意味著我們已經(jīng)看到了GPT的終局？接下來，本文將從垂直、個人、離線三個維度，對GPT的發(fā)展趨勢、未來前景進行一些基于客觀現(xiàn)實的大膽猜想。
垂直GPT百花齊放
3月的最后一天，彭博新聞社發(fā)布了專門為金融領域打造的大型語言模型(LLM)——BloombergGPT，引發(fā)金融圈“地震”。
基于LLM的生成式人工智能，已經(jīng)在許多領域展示了令人興奮的新應用場景。但是，金融領域的復雜性和獨特的術語，意味著其需要特定的語言模型。作為全球最大的財經(jīng)資訊公司，彭博社在這方面恰好擁有巨大優(yōu)勢。
在過去40年里，彭博收集了海量的金融市場數(shù)據(jù)，擁有廣泛的金融數(shù)據(jù)檔案，涵蓋一系列的主題。使用該公司數(shù)據(jù)終端的客戶遍布全球，包括交易員、投行、美聯(lián)儲、美國其他官方機構以及全球各大央行等。
這些特有數(shù)據(jù)，使得BloombergGPT比ChatGPT擁有更專業(yè)的訓練語料。據(jù)彭博社發(fā)布的報告中可以看出，研究人員利用彭博社現(xiàn)有的數(shù)據(jù)，對資源進行創(chuàng)建、收集和整理，構建了一個3630億個標簽的數(shù)據(jù)集，并基于通用和金融業(yè)務的場景進行混合模型訓練，以支持金融行業(yè)內(nèi)各種各樣的自然語言處理(NLP)任務。
除了金融領域，醫(yī)療、教育也均有更為垂直的GPT產(chǎn)品涌現(xiàn)。例如，IBM Watson Education推出了一款名為“Teacher Advisor with Watson”的教育GPT，可以為教師提供個性化的教學建議和支持；Kheiron Medical推出的“MIA”醫(yī)療GPT，可以為醫(yī)生提供乳腺癌篩查和診斷支持。
相對于“廣而泛”的ChatGPT，垂直GPT的發(fā)展優(yōu)勢十分明顯。
首先就是成本上，垂直GPT針對特定領域或行業(yè)進行優(yōu)化，只需利用該領域內(nèi)的專業(yè)數(shù)據(jù)進行訓練，避免了ChatGPT那樣數(shù)據(jù)采集的高成本和高難度。
另外對比通用的GPT產(chǎn)品，垂直GPT的訓練成本和應用成本更低。由于垂直GPT針對特定領域進行優(yōu)化，訓練數(shù)據(jù)更加專業(yè)化和精細化，可以通過更少的數(shù)據(jù)和更短的訓練時間，獲得更好的效果。
而垂直GPT在特定領域的應用效果更好，能夠更準確地理解和處理領域內(nèi)的語言數(shù)據(jù)，從而減少了后續(xù)的人工修正和調整成本。
更低的訓練成本、更短的訓練時間、更精細的訓練內(nèi)容，能夠為企業(yè)提供更高效、準確、具有定制性的自然語言處理服務，優(yōu)化企業(yè)的業(yè)務流程和數(shù)據(jù)分析能力，從而為企業(yè)帶來更多的商業(yè)價值和競爭優(yōu)勢，這也使得垂直GPT在商業(yè)化上更加出色，資本市場和相關企業(yè)也更加看好這一方向。
值得一提的是，更垂直的GPT也意味著企業(yè)需要有更專業(yè)、更精準、更安全的數(shù)據(jù)語料，未來企業(yè)的競爭點也將圍繞專業(yè)數(shù)據(jù)、清洗和標注數(shù)據(jù)的能力、用戶隱私安全三點展開。
不可否認，隨著各行各業(yè)對自然語言處理技術的需求不斷增長，GPT模型被應用到更多的垂直領域中已被提上日程，未來將會看到更多專業(yè)的垂直GPT產(chǎn)品出現(xiàn)。
個人GPT并不遙遠
因為與通用GPT的模型存在一定不同，垂直GPT的獨特性、定制性在未來也可能促進個人GPT的出現(xiàn)。
個人GPT是指為個人用戶提供個性化的自然語言處理服務的GPT模型。個人GPT可以學習用戶的語言習慣、興趣愛好、生活方式等信息，從而為用戶提供更加個性化、貼近用戶需求的自然語言處理服務。
這看起來非常不可思議，但并非無法實現(xiàn)。
從底層實現(xiàn)邏輯技術來看，GPT的核心是基于Transformer架構，結合預訓練模式、多層結構、無監(jiān)督學習和Fine-tuning微調等特點，通過對輸入語料的學習得到進化。也就是說，如果能夠在個人PC上實現(xiàn)這些步驟，那么就有構建GPT的可能。
目前市面上已經(jīng)出現(xiàn)了大量開源大模型、公開語料包，基于這些模型可以快速進行語料訓練，而其中的難點無非在于處理數(shù)據(jù)的能力、以及對訓練好的模型進行評估和優(yōu)化。簡單來講，如果PC上安裝了足夠優(yōu)秀的GPU、CPU等核心處理器，完全能夠實現(xiàn)個人GPT的訓練。
當然，訓練個人GPT模型所需的硬件配置取決于許多因素，例如模型的規(guī)模、數(shù)據(jù)集的大小、訓練算法和優(yōu)化器的選擇等。
以下是ChatGPT給到的一些通用建議和參考：
CPU：訓練大型的GPT模型需要強大的CPU計算能力，建議使用多核心的CPU處理器，例如Intel Xeon、AMD EPYC等型號的服務器級別CPU。
GPU：GPU是訓練大型GPT模型必不可少的重要組件，建議使用高性能、內(nèi)存大的GPU，例如NVIDIA Tesla V100、A100等型號，以提高模型訓練速度和效率。
內(nèi)存：訓練大型GPT模型需要極高的內(nèi)存消耗，建議使用大容量的內(nèi)存，例如64GB以上的服務器內(nèi)存。
存儲：訓練大型GPT模型需要大量的存儲空間，建議使用高速、大容量的SSD或NVMe硬盤，以提高數(shù)據(jù)讀寫速度和效率。
網(wǎng)絡：訓練大型GPT模型需要大量的數(shù)據(jù)傳輸和通信，建議使用高速、穩(wěn)定的網(wǎng)絡連接，例如千兆以上的以太網(wǎng)或InfiniBand網(wǎng)絡。
需要注意的是，訓練個人GPT模型需要極高的計算資源和時間成本，建議使用云計算服務或租用高性能計算資源進行訓練，以提高效率和降低成本。同時，還需要選擇合適的訓練算法、優(yōu)化器和超參數(shù)等，以提高訓練效果和準確性。
值得一提的是，前不久王健林獨子王思聰再次對家中的“百萬服務器”進行新一輪網(wǎng)絡改造，有業(yè)內(nèi)人士推測主要目的就是提高服務器算力，以訓練個人GPT。
不過如果想要建立高質量的GPT模型，需要大量的高質量訓練數(shù)據(jù)語料，但是除了公開語料包外，個人用戶很難獲得大規(guī)模的高質量訓練數(shù)據(jù)，因此需要花費大量的時間和精力采集和處理數(shù)據(jù)，這也是個人在搭建GPT時的難點。
還需要注意的是，在個人PC上創(chuàng)建獨立的GPT需要大量的計算資源和時間，并且需要具備一定的機器學習和自然語言處理技術知識。除此之外，還需要關注大模型的可擴展性，以及數(shù)據(jù)隱私和安全問題，確保訓練數(shù)據(jù)和模型的高效性和保密性。
當然，對于普通用戶來說，構建訓練環(huán)境、調用開源大模型、尋找訓練語料等等幾乎每一步都是一個門檻。但在「科技新知」嘗試后發(fā)現(xiàn)，除了不能幫助直接購買所需的硬件外，ChatGPT可以協(xié)助解決搭建過程中幾乎80%的問題。
近期，OpenAI暫停ChatGPT Plus付費服務的消息傳得火熱，加上前幾天部分地區(qū)普通賬號大面積封號，雖然問題暫時得到解決或緩解，但ChatGPT計算資源供不應求的問題還是浮現(xiàn)出水面。
業(yè)內(nèi)人士統(tǒng)一認為這是因為算力不足導致GPT-4的響應速度變慢，錯誤答案增加，微軟作為ChatGPT的金主，曾大力投入資源提升其算力并承諾繼續(xù)提升，但現(xiàn)在似乎還不太夠。
這也更加突出個人GPT的必要性。另外從底層邏輯來看，個人GPT除了個性化定制、隱私安全性更高、使用更高效外，還有一個更值得關注的優(yōu)勢，就是離線使用。而在「科技新知」看來，離線GPT也是未來發(fā)展的一個主要方向。
離線GPT不無可能
GPT模型的訓練和推理，需要大量的計算資源和存儲空間，這使得云端環(huán)境成為了主流選擇。但是，在一些特定場景下，如邊緣計算、無網(wǎng)絡環(huán)境等，離線GPT模型的需求也并不少。
更為實際的，比如采礦等特殊環(huán)境行業(yè)，離線GPT可以結合監(jiān)控系統(tǒng)和數(shù)據(jù)分析技術，分析礦山環(huán)境、工人健康狀況等信息，從而實現(xiàn)安全管理和風險預警，減少礦難和事故的發(fā)生，保障礦工的生命和財產(chǎn)安全。
通用GPT顯然無法實現(xiàn)在有限的存儲空間內(nèi)，給到無限可能的答案。因此，「科技新知」認為“離線+專業(yè)”是GPT未來極可能實現(xiàn)的發(fā)展方向。
微軟剛剛發(fā)布了一款代號“賈維斯”的人工智能虛擬助手，它是一個集成了大型語言模型（LLM）和專家模型的框架，用于處理任何模式或領域中的復雜任務。
簡單來講，賈維斯類似AI與AI之間的協(xié)作系統(tǒng)，可以通過大型語言模型組織模型之間的合作，來處理任何模式或領域的任務。通過大型語言模型的規(guī)劃，可以有效地指定任務過程并解決更復雜的問題。
不妨設想一下，將礦業(yè)行業(yè)的GPT模型與賈維斯結合，再通過機器狗作為運行載體，由賈維斯作為中臺，向機器狗傳遞GPT模型所提供的信息，可以實現(xiàn)一定程度上的自主作業(yè)。
具體而言，機器狗可以通過搭載各種傳感器、控制器和執(zhí)行器等設備，收集、處理和執(zhí)行礦業(yè)作業(yè)所需要的各種數(shù)據(jù)和指令。
賈維斯作為中臺，可以實時監(jiān)控機器狗的運行狀態(tài)、礦產(chǎn)資源的勘探和開采情況等信息，通過離線GPT模型分析和預測礦產(chǎn)資源的位置、規(guī)模和開采效率等指標，向機器狗傳遞智能化的勘探和開采指令，實現(xiàn)對機器狗的自主控制和作業(yè)。
客觀來講，這樣的模式也可以復刻到高空機器人、醫(yī)療機器人等特殊領域中。
不過在這個過程中，也需要解決客觀存在的技術難題。而其中最為關鍵的就是訓練中的語料數(shù)據(jù)存儲。
除了訓練好的垂直GPT需要占用大量內(nèi)存外，賈維斯系統(tǒng)也需要處理大量的語音和文本數(shù)據(jù)，包括語音識別、自然語言處理、知識圖譜等任務，以實現(xiàn)語音輸入、文本輸出、任務執(zhí)行等功能。如果全部在本地進行訓練，則需要大量的計算資源和存儲空間，以保證賈維斯系統(tǒng)的準確性和效率。
值得一提的是，賈維斯系統(tǒng)非常強大，但官方給出的電腦最低配置要求是：
NVIDIA GeForce RTX 3090 顯卡一張
16GB 內(nèi)存 最低配置
42GB以上內(nèi)存 理想配置
也就是說，如果能夠解決訓練語料的存儲問題，或者訓練方法有簡化突破后，離線GPT甚至離線“賈維斯”也不無可能。
最后，AI的快速發(fā)展已經(jīng)讓各行各業(yè)感受到了“工具在進步”，甚至一部分人已經(jīng)喊出“The future has arrived”，但這仍只是個開始，更多的技術創(chuàng)新和應用場景將會不斷涌現(xiàn)，好戲還會逐漸上演。
（本文系作者與ChatGPT聯(lián)合撰寫）