100202/14
·ChatGPT背后的大規(guī)模預訓練模型GPT-3.5能力強大，領先國內大模型一個代差。國內大模型百花齊放，如果要追趕并生產出類ChatGPT產品，首先要有能跟國際比肩的高性能基座模型，并在基座模型上優(yōu)化。與此同時要有長期投入的環(huán)境，解決高端GPU算力“卡脖子”問題。·ChatGPT還存在不可避免的缺陷：常識缺失。究其原因，OpenAI在訓練ChatGPT時，每一次進步都是算法+數(shù)據(jù)巧妙設計的結果，但這些訓練過程都沒有考慮常識知識的加入。
ChatGPT的火爆，已經引起了國內AI界的熱烈討論。“全能網友”ChatGPT火出圈，國際科技巨頭布局AI聊天機器人，國內大小企業(yè)能否迎頭趕上？差距在哪？成立于2019年的人工智能企業(yè)北京智譜華章科技有限公司（下稱“智譜AI”）CEO張鵬2月7日對澎湃科技（www.thepaper.cn）表示，ChatGPT背后的大規(guī)模預訓練模型GPT-3.5能力強大，領先國內大模型一個代差。國內大模型百花齊放，如果要追趕并生產出類ChatGPT產品，首先要有能跟國際比肩的高性能基座模型，例如類GPT-3模型。在基座模型上優(yōu)化，包括加入代碼的訓練增強邏輯性，做監(jiān)督性的訓練、強化學習的訓練和用戶反饋的數(shù)據(jù)監(jiān)督訓練，或許能得到與ChatGPT背后的模型相媲美的大模型。西安中科創(chuàng)星科技孵化器有限公司（下稱“中科創(chuàng)星”）創(chuàng)始合伙人米磊認為，國內差距主要在于資金長期投入和投入環(huán)境上，“OpenAI（ChatGPT的創(chuàng)建者）從2015年開始研發(fā)至今，背后是堅持不懈的長期巨額資金投入，不管是熱還是冷，都堅持不斷創(chuàng)新。最后十年磨一劍，坐冷板凳把ChatGPT做出來了?！迸c此同時，當前國內面臨的高端GPU算力“卡脖子”問題仍然待解。通用人工智能是指具有一般人類智慧，可以執(zhí)行人類能夠執(zhí)行的任何智力任務的機器智能。ChatGPT的出現(xiàn)能否說明人類已經接近通用人工智能？張鵬認為，它離真正的通用人工智能甚至認知智能仍有距離。通過大規(guī)模預訓練模型技術，ChatGPT實現(xiàn)了部分認知推理能力和內容生成能力。但它仍然欠缺認知中嚴謹?shù)闹R和邏輯，欠缺生成結果的可解釋性。究其原因，OpenAI在訓練ChatGPT的時候歷經從最基礎的1750萬基座模型GPT-3到加入代碼的Code-Davinci-002再到加入了指令微調的InstructGPT，最后到最近加入強化學習的Text-Davinci-003和ChatGPT，每一次進步都是算法+數(shù)據(jù)巧妙設計的結果，但這些訓練過程都沒有考慮常識知識的加入。因此對于認知大模型，張鵬表示，或許可以通過加入記憶模塊和自我反思機制，實現(xiàn)進一步突破。ChatGPT曾在誘導下寫出毀滅全人類的計劃書，因此需要考慮監(jiān)管問題。目前ChatGPT還存在不可避免的缺陷，暫時不太可能完全替代某一個職業(yè)，但隨著用戶量的急劇增加，給ChatGPT的反饋信息越來越多，模型迭代訓練后，張鵬表示，未來或可替代簡單重復、技術含量不大的工作?！翱傮w上，目前技術已經跑在前頭了，安全、法律、道德等層面對它的約束和應對還是要跟上。”以下是澎湃科技與智譜AI首席執(zhí)行官張鵬、中科創(chuàng)星創(chuàng)始合伙人米磊的對話實錄。【國內大模型百花齊放，底層技術與國外有代差】澎湃科技：最近ChatGPT很火，國際科技巨頭都在布局這塊。張鵬（智譜AI首席執(zhí)行官）：ChatGPT最近挺熱的，但其實這個事兒不是很新鮮，往前推已經有幾年時間了，最早可以追溯到2018年左右開始做大規(guī)模預訓練模型，2020年OpenAI發(fā)布了GPT-3語言模型，引起對生成式AI的關注。去年生成式AI的另一個頂峰是圖像生成模型的推出，引起了AIGC（人工智能生成內容）領域的火熱。但背后的根本是大規(guī)模語言模型技術，這個技術從國外起步，現(xiàn)在把這個模型推到了千億甚至萬億級別的規(guī)模之后會產生從量變到質變的變化。GPT-3之后，國內外的研究機構、廠商開始追捧這個技術，布局研發(fā)工作。米磊（中科創(chuàng)星創(chuàng)始合伙人）：ChatGPT確實是人工智能發(fā)展史上一個很大的突破，比較驚艷，標志著人工智能發(fā)展從量變走向質變。它是人工智能在繼互聯(lián)網浪潮中異軍突起之后一次大的性能提升，不僅可以直接干活提高生產效率，還能有很大的想象空間，超出了大家的預期，所以一下子就火了。從硬科技的視角來看，人工智能的底層技術可以分為算法、數(shù)據(jù)和算力，科技巨頭在這方面有明顯優(yōu)勢，無論是資源平臺，還是資金、人才，都占有先機。ChatGPT就是數(shù)據(jù)和算力結合的一個代表性創(chuàng)新案例。澎湃科技：國內目前的發(fā)展或追趕情況是怎樣的？張鵬：ChatGPT火出圈確實有不太一樣的地方，它不是純研究，而是一個封裝得非常好的產品，而且選擇了聊天這樣一個泛用場景，所以引起非常廣泛的關注。其實國內還有其他一些廠家也在做這個事，目前還是百花齊放的狀態(tài)。比如百度文心，華為有盤古模型，字節(jié)跳動和達摩院也有自己的模型。這些模型大部分是語言模型，但也有一些多模態(tài)的模型，比如達摩院的M6模型是多模態(tài)的模型，它不光可以生成文本，也可以生成圖像。但可能都限于某些比較小眾的應用，所以沒有形成非常大規(guī)模的市場影響力。其次，深究下來，我們在底層技術上跟國外還有一定的代差，ChatGPT背后的GPT-3.5模型確實非常強，領先國內大模型一個代差，在這點上還值得我們去追趕。米磊：大模型是非常難的一個方向，對技術要求很高，投入也很大，所以國內做這方面的初創(chuàng)企業(yè)并不多。技術上，跟國外比，國內還是有一定差距，ChatGPT基本上可以商用了，但國內也沒有那么弱。國內在數(shù)據(jù)量、預訓練模型、算法方面緊跟國際，做得還是很強的，中國也還是很有機會的。澎湃科技：具體差距是什么？張鵬：ChatGPT的能力源自于背后的基座模型，也就是大規(guī)模預訓練模型。ChatGPT的基座模型是GPT-3，在GPT-3和ChatGPT之間還有一系列模型，也就是在GPT-3的基礎上做了很多改進和優(yōu)化，形成了GPT-3.5這樣的系列模型。這一系列模型的能力是ChatGPT能取得當前這樣的效果的基礎。GPT-3.5和GPT-3之間就是一個代差，國內大量的工作大概是在GPT-3的水平甚至比GPT-3還差一些的水平，所以這就是我說的技術上的代差，國內外的差距就在于模型的基礎性能上。去年，斯坦福大學基礎模型研究中心的負責人Percy Liang等開展了一項研究，對全球范圍內將近30個大模型橫向評測，列了7項評測指標，其中6項是關于模型本身的評測性能，代表了模型本身能力的強弱，包括準確性、魯棒性、公允性、偏見度、校準誤差、惡意性。這個榜單里的模型絕大部分都是國外的，包括和ChatGPT相關的InstructGPT模型。當然這里面也有我們與清華多個實驗室共同訓練的大規(guī)模中英文預訓練語言模型GLM-130B，這是國內唯一一個入選、能跟這些頂尖模型一較高下的基座模型。米磊：在資金投入和投入環(huán)境上也存在差異。OpenAI從2015年開始研發(fā)至今，背后是堅持不懈的長期巨額資金投入，不管是熱還是冷，都堅持不斷創(chuàng)新，最后十年磨一劍，坐冷板凳把ChatGPT做出來了。中國長期投入的這種環(huán)境跟美國還是有差距的。說到底還是要按客觀規(guī)律辦事，所以我們呼吁大家關注和支持硬科技，希望大家能多一些耐心，做長期資本來支持科技創(chuàng)新。澎湃科技：國內企業(yè)如果要追趕，生產出類ChatGPT產品，要從哪些方面入手？張鵬：我們一直在做關于千億模型和萬億模型的研究，也在思考我們與ChatGPT的距離。首先，我們認為要有能夠跟國際比肩的性能非常好的基座模型，也就是類似GPT-3和GLM-130B這樣的模型。有了基座模型之后，還要在基座模型上做優(yōu)化，包括加入代碼的訓練，增強它的邏輯性，做監(jiān)督性的訓練，做強化學習的訓練和用戶反饋的數(shù)據(jù)監(jiān)督訓練。還要做很多這樣的工作，才能得到跟ChatGPT背后的模型相媲美的模型。然后在大模型的基礎上再去開發(fā)出產品，這是工程性的問題。米磊：還是回到算法、數(shù)據(jù)和算力上。國內要在軟硬件上同時下功夫，一方面把算法做得更好一點，尤其是優(yōu)化算法，包括認知算法、反思算法。另一方面提升數(shù)據(jù)量，解決算力問題，因為現(xiàn)在還面臨高端GPU算力卡脖子問題。【通向認知智能的重要一步，需受安全、道德等約束】澎湃科技：現(xiàn)在人們會和ChatGPT交流自己的職業(yè)會不會被它替代。張鵬：目前ChatGPT還有一些不可避免的缺陷，暫時還不太可能完全替代某一個職業(yè)或某一份工作。但隨著用戶量的急劇增加，給ChatGPT的反饋信息越來越多，模型迭代訓練后，是真的有可能替代一些簡單重復、沒有太大技術含量的工作。米磊：人工智能會逐步把人類低端、重復性的工作代替，但創(chuàng)新是代替不了的。澎湃科技：ChatGPT的出現(xiàn)能否說明我們已經接近了通用人工智能？張鵬：說通用人工智能還早，頂多算是通向通用人工智能中的認知智能很重要的一步，通過大規(guī)模預訓練模型技術，實現(xiàn)了部分認知推理能力和內容生成能力。當然它仍然會“一本正經地胡說八道”，犯一些常規(guī)性和知識性的錯誤，這就是它的一個缺陷，它仍然欠缺認知當中嚴謹?shù)闹R和邏輯這個部分，它生成的結果的可解釋性還比較欠缺。米磊：透過ChatGPT，我們已經能看到初級智能時代的曙光了，未來它將會帶來一場生產力的革命。過去60年是信息時代，未來60年是智能時代，到時候大概率是要替代掉現(xiàn)在的搜索引擎模式。澎湃科技：你們去年聯(lián)合清華的幾個實驗室訓練出了GLM-130B模型，后續(xù)有哪些發(fā)展規(guī)劃？張鵬：自2022年8月發(fā)布以來，GLM-130B收到了41個國家266個研究機構的使用需求，包括Google、Microsoft、Stanford、MIT、UC Berkely、CMU、Harvard、華為、百度、阿里巴巴、騰訊、頭條、智源、北京大學、浙江大學、香港大學等。當前OpenAI的GPT對中國禁用，英偉達的A100等高端芯片對中國禁售，我們在做大模型的過程中挑戰(zhàn)巨大，但同時也有這份責任心，要做大模型的中國創(chuàng)新，要做能媲美GPT系列的認知大模型。接下來從GPT-3到GPT-3.5到ChatGPT這條路徑中的必要工作我們會持續(xù)去做，基于GLM-130B模型提供基礎服務能力，比如文本生成、代碼輔助編寫等。澎湃科技：在大模型中加入記憶模塊和自我反思機制嗎？張鵬：這是我們的一個構想，團隊正在這方面持續(xù)探索。首先要解決犯知識性錯誤的問題，因為現(xiàn)在ChatGPT是純用生成的方式來回答問題，沒有結合常識知識和背景性質的數(shù)據(jù)，所以它回答問題的時候雖然語句上是通順的，但知識性的細節(jié)會出錯。這是模型本身的缺陷，在訓練時可能沒有加入更多的知識，或者生成這個結果后沒有用事實性的邏輯推理方式去檢查。記憶模塊就是為了解決知識內容犯錯的問題，把這些知識記住就不需要胡說八道，直接從記憶里檢索出來就好了。澎湃科技：總的來說，ChatGPT會帶來哪些技術和社會挑戰(zhàn)？張鵬：技術挑戰(zhàn)就是它離真正的通用人工智能甚至認知智能這個目標還有一些距離，包括加入基于self-instruct的自我反思機制，需要從技術上持續(xù)突破。對于社會問題，根據(jù)我們的觀察，首先要考慮安全風險，它曾經在誘導下寫出毀滅全人類的計劃書，因此需要考慮如何避免或受到監(jiān)管。其次，每個技術的誕生都會存在濫用的問題，現(xiàn)在國外有些學校、科研機構、期刊雜志禁止使用ChatGPT寫論文。此外，可能會引起工作崗位、職業(yè)的變更，甚至會引起一些不穩(wěn)定因素。總體上，目前技術已經跑在前頭了，安全、法律、道德等層面對它的約束和應對還是要跟上。澎湃科技：大小企業(yè)都在做大模型或類ChatGPT產品，怎樣的企業(yè)會勝出？張鵬：做這件事需要幾方面要素，首先要有深厚的技術積累，持續(xù)深入研究，并有成果產出。第二需要有大量資源，包括數(shù)據(jù)、算力。這一點上，國內和國際的大企業(yè)有天生的優(yōu)勢。第三需要生態(tài)建設，一項新的技術在投入使用過程中不能靠一兩個公司或者少量的人就能把整個事情做起來，它需要一個生態(tài)。比如大家愿意在產品中嵌入并應用這些技術，技術本身會接收到更多反饋，然后不斷迭代，這需要一個良好的應用生態(tài)環(huán)境去促進不斷升級和迭代。從這幾個要素可以判斷哪些企業(yè)或機構能夠在這件事上走得更遠。
ChatGPT的火爆，已經引起了國內AI界的熱烈討論。“全能網友”ChatGPT火出圈，國際科技巨頭布局AI聊天機器人，國內大小企業(yè)能否迎頭趕上？差距在哪？成立于2019年的人工智能企業(yè)北京智譜華章科技有限公司（下稱“智譜AI”）CEO張鵬2月7日對澎湃科技（www.thepaper.cn）表示，ChatGPT背后的大規(guī)模預訓練模型GPT-3.5能力強大，領先國內大模型一個代差。國內大模型百花齊放，如果要追趕并生產出類ChatGPT產品，首先要有能跟國際比肩的高性能基座模型，例如類GPT-3模型。在基座模型上優(yōu)化，包括加入代碼的訓練增強邏輯性，做監(jiān)督性的訓練、強化學習的訓練和用戶反饋的數(shù)據(jù)監(jiān)督訓練，或許能得到與ChatGPT背后的模型相媲美的大模型。西安中科創(chuàng)星科技孵化器有限公司（下稱“中科創(chuàng)星”）創(chuàng)始合伙人米磊認為，國內差距主要在于資金長期投入和投入環(huán)境上，“OpenAI（ChatGPT的創(chuàng)建者）從2015年開始研發(fā)至今，背后是堅持不懈的長期巨額資金投入，不管是熱還是冷，都堅持不斷創(chuàng)新。最后十年磨一劍，坐冷板凳把ChatGPT做出來了?！迸c此同時，當前國內面臨的高端GPU算力“卡脖子”問題仍然待解。通用人工智能是指具有一般人類智慧，可以執(zhí)行人類能夠執(zhí)行的任何智力任務的機器智能。ChatGPT的出現(xiàn)能否說明人類已經接近通用人工智能？張鵬認為，它離真正的通用人工智能甚至認知智能仍有距離。通過大規(guī)模預訓練模型技術，ChatGPT實現(xiàn)了部分認知推理能力和內容生成能力。但它仍然欠缺認知中嚴謹?shù)闹R和邏輯，欠缺生成結果的可解釋性。究其原因，OpenAI在訓練ChatGPT的時候歷經從最基礎的1750萬基座模型GPT-3到加入代碼的Code-Davinci-002再到加入了指令微調的InstructGPT，最后到最近加入強化學習的Text-Davinci-003和ChatGPT，每一次進步都是算法+數(shù)據(jù)巧妙設計的結果，但這些訓練過程都沒有考慮常識知識的加入。因此對于認知大模型，張鵬表示，或許可以通過加入記憶模塊和自我反思機制，實現(xiàn)進一步突破。ChatGPT曾在誘導下寫出毀滅全人類的計劃書，因此需要考慮監(jiān)管問題。目前ChatGPT還存在不可避免的缺陷，暫時不太可能完全替代某一個職業(yè)，但隨著用戶量的急劇增加，給ChatGPT的反饋信息越來越多，模型迭代訓練后，張鵬表示，未來或可替代簡單重復、技術含量不大的工作?！翱傮w上，目前技術已經跑在前頭了，安全、法律、道德等層面對它的約束和應對還是要跟上。”以下是澎湃科技與智譜AI首席執(zhí)行官張鵬、中科創(chuàng)星創(chuàng)始合伙人米磊的對話實錄。【國內大模型百花齊放，底層技術與國外有代差】澎湃科技：最近ChatGPT很火，國際科技巨頭都在布局這塊。張鵬（智譜AI首席執(zhí)行官）：ChatGPT最近挺熱的，但其實這個事兒不是很新鮮，往前推已經有幾年時間了，最早可以追溯到2018年左右開始做大規(guī)模預訓練模型，2020年OpenAI發(fā)布了GPT-3語言模型，引起對生成式AI的關注。去年生成式AI的另一個頂峰是圖像生成模型的推出，引起了AIGC（人工智能生成內容）領域的火熱。但背后的根本是大規(guī)模語言模型技術，這個技術從國外起步，現(xiàn)在把這個模型推到了千億甚至萬億級別的規(guī)模之后會產生從量變到質變的變化。GPT-3之后，國內外的研究機構、廠商開始追捧這個技術，布局研發(fā)工作。米磊（中科創(chuàng)星創(chuàng)始合伙人）：ChatGPT確實是人工智能發(fā)展史上一個很大的突破，比較驚艷，標志著人工智能發(fā)展從量變走向質變。它是人工智能在繼互聯(lián)網浪潮中異軍突起之后一次大的性能提升，不僅可以直接干活提高生產效率，還能有很大的想象空間，超出了大家的預期，所以一下子就火了。從硬科技的視角來看，人工智能的底層技術可以分為算法、數(shù)據(jù)和算力，科技巨頭在這方面有明顯優(yōu)勢，無論是資源平臺，還是資金、人才，都占有先機。ChatGPT就是數(shù)據(jù)和算力結合的一個代表性創(chuàng)新案例。澎湃科技：國內目前的發(fā)展或追趕情況是怎樣的？張鵬：ChatGPT火出圈確實有不太一樣的地方，它不是純研究，而是一個封裝得非常好的產品，而且選擇了聊天這樣一個泛用場景，所以引起非常廣泛的關注。其實國內還有其他一些廠家也在做這個事，目前還是百花齊放的狀態(tài)。比如百度文心，華為有盤古模型，字節(jié)跳動和達摩院也有自己的模型。這些模型大部分是語言模型，但也有一些多模態(tài)的模型，比如達摩院的M6模型是多模態(tài)的模型，它不光可以生成文本，也可以生成圖像。但可能都限于某些比較小眾的應用，所以沒有形成非常大規(guī)模的市場影響力。其次，深究下來，我們在底層技術上跟國外還有一定的代差，ChatGPT背后的GPT-3.5模型確實非常強，領先國內大模型一個代差，在這點上還值得我們去追趕。米磊：大模型是非常難的一個方向，對技術要求很高，投入也很大，所以國內做這方面的初創(chuàng)企業(yè)并不多。技術上，跟國外比，國內還是有一定差距，ChatGPT基本上可以商用了，但國內也沒有那么弱。國內在數(shù)據(jù)量、預訓練模型、算法方面緊跟國際，做得還是很強的，中國也還是很有機會的。澎湃科技：具體差距是什么？張鵬：ChatGPT的能力源自于背后的基座模型，也就是大規(guī)模預訓練模型。ChatGPT的基座模型是GPT-3，在GPT-3和ChatGPT之間還有一系列模型，也就是在GPT-3的基礎上做了很多改進和優(yōu)化，形成了GPT-3.5這樣的系列模型。這一系列模型的能力是ChatGPT能取得當前這樣的效果的基礎。GPT-3.5和GPT-3之間就是一個代差，國內大量的工作大概是在GPT-3的水平甚至比GPT-3還差一些的水平，所以這就是我說的技術上的代差，國內外的差距就在于模型的基礎性能上。去年，斯坦福大學基礎模型研究中心的負責人Percy Liang等開展了一項研究，對全球范圍內將近30個大模型橫向評測，列了7項評測指標，其中6項是關于模型本身的評測性能，代表了模型本身能力的強弱，包括準確性、魯棒性、公允性、偏見度、校準誤差、惡意性。這個榜單里的模型絕大部分都是國外的，包括和ChatGPT相關的InstructGPT模型。當然這里面也有我們與清華多個實驗室共同訓練的大規(guī)模中英文預訓練語言模型GLM-130B，這是國內唯一一個入選、能跟這些頂尖模型一較高下的基座模型。米磊：在資金投入和投入環(huán)境上也存在差異。OpenAI從2015年開始研發(fā)至今，背后是堅持不懈的長期巨額資金投入，不管是熱還是冷，都堅持不斷創(chuàng)新，最后十年磨一劍，坐冷板凳把ChatGPT做出來了。中國長期投入的這種環(huán)境跟美國還是有差距的。說到底還是要按客觀規(guī)律辦事，所以我們呼吁大家關注和支持硬科技，希望大家能多一些耐心，做長期資本來支持科技創(chuàng)新。澎湃科技：國內企業(yè)如果要追趕，生產出類ChatGPT產品，要從哪些方面入手？張鵬：我們一直在做關于千億模型和萬億模型的研究，也在思考我們與ChatGPT的距離。首先，我們認為要有能夠跟國際比肩的性能非常好的基座模型，也就是類似GPT-3和GLM-130B這樣的模型。有了基座模型之后，還要在基座模型上做優(yōu)化，包括加入代碼的訓練，增強它的邏輯性，做監(jiān)督性的訓練，做強化學習的訓練和用戶反饋的數(shù)據(jù)監(jiān)督訓練。還要做很多這樣的工作，才能得到跟ChatGPT背后的模型相媲美的模型。然后在大模型的基礎上再去開發(fā)出產品，這是工程性的問題。米磊：還是回到算法、數(shù)據(jù)和算力上。國內要在軟硬件上同時下功夫，一方面把算法做得更好一點，尤其是優(yōu)化算法，包括認知算法、反思算法。另一方面提升數(shù)據(jù)量，解決算力問題，因為現(xiàn)在還面臨高端GPU算力卡脖子問題。【通向認知智能的重要一步，需受安全、道德等約束】澎湃科技：現(xiàn)在人們會和ChatGPT交流自己的職業(yè)會不會被它替代。張鵬：目前ChatGPT還有一些不可避免的缺陷，暫時還不太可能完全替代某一個職業(yè)或某一份工作。但隨著用戶量的急劇增加，給ChatGPT的反饋信息越來越多，模型迭代訓練后，是真的有可能替代一些簡單重復、沒有太大技術含量的工作。米磊：人工智能會逐步把人類低端、重復性的工作代替，但創(chuàng)新是代替不了的。澎湃科技：ChatGPT的出現(xiàn)能否說明我們已經接近了通用人工智能？張鵬：說通用人工智能還早，頂多算是通向通用人工智能中的認知智能很重要的一步，通過大規(guī)模預訓練模型技術，實現(xiàn)了部分認知推理能力和內容生成能力。當然它仍然會“一本正經地胡說八道”，犯一些常規(guī)性和知識性的錯誤，這就是它的一個缺陷，它仍然欠缺認知當中嚴謹?shù)闹R和邏輯這個部分，它生成的結果的可解釋性還比較欠缺。米磊：透過ChatGPT，我們已經能看到初級智能時代的曙光了，未來它將會帶來一場生產力的革命。過去60年是信息時代，未來60年是智能時代，到時候大概率是要替代掉現(xiàn)在的搜索引擎模式。澎湃科技：你們去年聯(lián)合清華的幾個實驗室訓練出了GLM-130B模型，后續(xù)有哪些發(fā)展規(guī)劃？張鵬：自2022年8月發(fā)布以來，GLM-130B收到了41個國家266個研究機構的使用需求，包括Google、Microsoft、Stanford、MIT、UC Berkely、CMU、Harvard、華為、百度、阿里巴巴、騰訊、頭條、智源、北京大學、浙江大學、香港大學等。當前OpenAI的GPT對中國禁用，英偉達的A100等高端芯片對中國禁售，我們在做大模型的過程中挑戰(zhàn)巨大，但同時也有這份責任心，要做大模型的中國創(chuàng)新，要做能媲美GPT系列的認知大模型。接下來從GPT-3到GPT-3.5到ChatGPT這條路徑中的必要工作我們會持續(xù)去做，基于GLM-130B模型提供基礎服務能力，比如文本生成、代碼輔助編寫等。澎湃科技：在大模型中加入記憶模塊和自我反思機制嗎？張鵬：這是我們的一個構想，團隊正在這方面持續(xù)探索。首先要解決犯知識性錯誤的問題，因為現(xiàn)在ChatGPT是純用生成的方式來回答問題，沒有結合常識知識和背景性質的數(shù)據(jù)，所以它回答問題的時候雖然語句上是通順的，但知識性的細節(jié)會出錯。這是模型本身的缺陷，在訓練時可能沒有加入更多的知識，或者生成這個結果后沒有用事實性的邏輯推理方式去檢查。記憶模塊就是為了解決知識內容犯錯的問題，把這些知識記住就不需要胡說八道，直接從記憶里檢索出來就好了。澎湃科技：總的來說，ChatGPT會帶來哪些技術和社會挑戰(zhàn)？張鵬：技術挑戰(zhàn)就是它離真正的通用人工智能甚至認知智能這個目標還有一些距離，包括加入基于self-instruct的自我反思機制，需要從技術上持續(xù)突破。對于社會問題，根據(jù)我們的觀察，首先要考慮安全風險，它曾經在誘導下寫出毀滅全人類的計劃書，因此需要考慮如何避免或受到監(jiān)管。其次，每個技術的誕生都會存在濫用的問題，現(xiàn)在國外有些學校、科研機構、期刊雜志禁止使用ChatGPT寫論文。此外，可能會引起工作崗位、職業(yè)的變更，甚至會引起一些不穩(wěn)定因素。總體上，目前技術已經跑在前頭了，安全、法律、道德等層面對它的約束和應對還是要跟上。澎湃科技：大小企業(yè)都在做大模型或類ChatGPT產品，怎樣的企業(yè)會勝出？張鵬：做這件事需要幾方面要素，首先要有深厚的技術積累，持續(xù)深入研究，并有成果產出。第二需要有大量資源，包括數(shù)據(jù)、算力。這一點上，國內和國際的大企業(yè)有天生的優(yōu)勢。第三需要生態(tài)建設，一項新的技術在投入使用過程中不能靠一兩個公司或者少量的人就能把整個事情做起來，它需要一個生態(tài)。比如大家愿意在產品中嵌入并應用這些技術，技術本身會接收到更多反饋，然后不斷迭代，這需要一個良好的應用生態(tài)環(huán)境去促進不斷升級和迭代。從這幾個要素可以判斷哪些企業(yè)或機構能夠在這件事上走得更遠。
