時隔 3 個月后,OpenAI 推出了多模態(tài)預訓練大模型 GPT-4(Generative Pre-Training 4)。該模型能夠接受圖像和文本的輸入,然后再基于這些信息輸出正確的文本回復。這是 ChatGPT(GPT-3.5)的升級版,目前通過應用程序接口(API)和 ChatGPT Plus 為用戶提供服務。暫不支持免費使用,月費用為 20 美元。
(來源:OpenAI 官網(wǎng))根據(jù)官方的公告, GPT-4 在多個方面得到了提升,包括回答準確性、擁有圖像識別功能、高級推理技能、文字輸入限制提升到 25000 個單詞,單詞處理能力是 ChatGPT 的 8 倍,并可以用所有流行的編程語言寫代碼。
官方的通稿中還指出, GPT-4 比以前的版本更流暢,也更適合用于處理更多任務。同時, GPT-4 也比 ChatGPT 更具有安全性。
OpenAI 聲稱, GPT-4 是公司迄今為止最先進的人工智能系統(tǒng),也是該公司在擴展深度學習系統(tǒng)上的最新突破。并表示該模型比以往任何時候都更具有創(chuàng)造性和協(xié)作性,因為它可以更準確地解決復雜問題。
值得一提的是,今日,微軟發(fā)布了 GPT-4 平臺支持的新 AI 功能 - Copilot,并將 AI 驅(qū)動工具 Copilot 全面整合到 Microsoft 365 服務中,包括 Word、PPT、Excel、Outlook、Teams、Microsoft Viva、Power Platform。接入之后,每個人都可以用 Copilot 自動生成文檔、電子郵件、演示文稿。
Insilico Medicine 創(chuàng)始人兼聯(lián)合首席執(zhí)行官 Alex Zhavoronkov 指出,OpenAI 使 GPT 模型實際有用,還能進行自然語言對話,這也是真正的突破。GPT-4 是一個比 ChatGPT 更大的模型,而且是多模態(tài)的,GPT-4 將是生成式人工智能應用場景探索的一大步。
“從此前的隨機生成到如今的邏輯輸出,ChatGPT 和 GPT-4 無疑是生成式 AI 技術(shù),甚至是整個 AI 技術(shù)領(lǐng)域的一個重要發(fā)展里程碑。他們令人著迷的主要原因是超出了人類對它的預期,形成了類人的理解、整合、回答的能力,并且都是在模型內(nèi)部實現(xiàn)的。ChatGPT 和 GPT-4 等都屬于通用的模型,可以整合到 AI 制藥平臺,并應用和服務于生物制藥中。” 億藥科技創(chuàng)始人謝正偉博士告訴生輝。
新版本顯著提升多個功能
2018 年 6 月,OpenAI 發(fā)表論文介紹了自己的語言模型 GPT(Generative Pre-Training),這是該公司提出的一系列非常強大的預訓練語言模型。此類模型的基礎(chǔ)是 Transformer 架構(gòu),先在大規(guī)模語料上進行無監(jiān)督預訓練,然后再在較小的有監(jiān)督數(shù)據(jù)集上為根據(jù)具體任務進行精細調(diào)節(jié)。
(來源:paperswithcode)至今,OpenAI 已經(jīng)相繼推出了 GPT-1、GPT-2、GPT-3、GPT-3.5 和 GPT-4 版本,這一系列模型已在非常復雜的自然語言處理任務中取得了十分驚艷的效果,包括文本生成、自然對話互動、提供創(chuàng)意、數(shù)學計算、編寫和調(diào)試代碼、糾正語法以及翻譯等。
根據(jù)官方資料,近期發(fā)布的 GPT-4 是迄今為止規(guī)模最大、功能最強大的多模態(tài)預訓練模型。根據(jù)官方的公告,GPT-4 提高了精確度、推理、單詞處理、數(shù)據(jù)處理形式、安全性。
整體來看,GPT-4 的參數(shù)量更多,這意味著它將比上一版更接近人類的認知表現(xiàn)。對于不被允許的內(nèi)容請求,GPT-4 的響應可能性降低了 82%。在 OpenAI 的內(nèi)部對抗性真實性評估中,GPT-4 得分比 ChatGPT 高 40%。
OpenAI 稱,GPT-4 比 ChatGPT 精確度更高,并且在各項測試中表現(xiàn)良好,測試數(shù)據(jù)顯示,GPT-4 在多種專業(yè)考試和學術(shù)水平上與人類考試接近。GPT-4 在模擬律師考試中的成績超過 90% 的考生, 而 ChatGPT 在律師資格考試中僅超過 10% 的考生;在 SAT(Scholastic Aptitude Test,俗稱 “美國高考”)的閱讀考試中 GPT-4 超過 93% 的考生,在 SAT 數(shù)學考試中 GPT-4 超過 89% 的考生。
相比較之下, ChatGPT 的輸入類型是純文本,輸出是語言文本和代碼。而 GPT-4 的多模態(tài),意味著用戶可以輸入不同類型的信息,包括視頻、聲音、圖像和文本。相應地,具備多模態(tài)能力的 GPT-4 也可以根據(jù)用戶提供的信息輸出視頻、音頻、圖片和文本。
就推理功能來看,GPT-4 能夠針對 3 個人的不同情況做出一個會議的時間安排,回答存在上下文關(guān)聯(lián)性的復雜問題;就詞匯量來說,由于最多可以處理 25000 個單詞,因此在理解和生成長篇內(nèi)容上,GPT-4 的能力更強。
GPT-4 更適用于專業(yè)領(lǐng)域
前美團技術(shù)學院院長劉江博士曾在《ChatGPT 技術(shù)發(fā)展及未來展望》分享中表示,ChatGPT 尤其是近期發(fā)布的 GPT-4,可能是我們迄今為止見到的最具革命性的通用技術(shù)創(chuàng)新,這些模型背后真正強大的就是底層通用的人工智能模型 GPT,即通用智能大模型(Artificial General Intelligence,AGI)。
謝正偉指出,ChatGPT 和 GPT-4 是通用的模型,理論上講可以應用于各種場景中。其中 GPT-4 更適用于專業(yè)領(lǐng)域,比如編程、文案、數(shù)據(jù)統(tǒng)計等,只不過在不同的領(lǐng)域會有多種不同的場景和模態(tài),包括生物制藥領(lǐng)域。“GPT-4 在某一個具體專業(yè)領(lǐng)域中會有極其廣泛的價值,并能夠真正帶來生產(chǎn)力?!?/p>
百奧幾何創(chuàng)始人、加拿大魁北克算法研究所的終身副教授唐建也指出,GPT-4 等多模態(tài)語言模型有潛力用于生物制藥領(lǐng)域,不過當前對生物制藥領(lǐng)域產(chǎn)生的影響很有限。
(來源:TechNode)Alex Zhavoronkov 表示,GPT-4 無疑是一款極具革新的 AI 工具,但它依然缺乏準確性。尤其在生物醫(yī)藥領(lǐng)域,我們并不需要略懂皮毛的百科全書,而是真正可信的藥物研發(fā)工具和合作伙伴。這些模型如果要應用于制藥行業(yè),首先需要在專門的生物和化學數(shù)據(jù)上進行訓練,然后由專業(yè)的科學家對訓練結(jié)果提供反饋,而不僅僅是由 OpenAI 通過對公眾開放收集反饋這樣易于達成。另外在制藥行業(yè)中證明模型是否有價值,最低的標準是在讓藥物進入臨床試驗階段。
謝正偉的觀點也比較類似,他認為,GPT-4 等模型屬于通用型的多模態(tài)語言、圖像、聲音模型,可以實現(xiàn)圖像識別和語言識別等功能,但是不包含專業(yè)制藥模塊,現(xiàn)階段很多藥物研發(fā)方面的功能還是空白。但是,通過持續(xù)訓練和優(yōu)化,未來完全有可能實現(xiàn)更多功能,極大助力新藥研發(fā)。專業(yè)的制藥多模態(tài)模型應該包括一整套藥物研發(fā)體系,包括靶點預測、小分子設(shè)計和優(yōu)化、合成路線預測、ADMET 預測等功能,還包括基于基因列表序列給出藥物分子設(shè)計、蛋白質(zhì) / 抗體結(jié)構(gòu)預測和設(shè)計等。
“一方面,GPT 本身是一個簡單但是規(guī)模龐大的架構(gòu),這個架構(gòu)的排序訓練方式理論上可以融合所有藥物研發(fā)的模態(tài)數(shù)據(jù),支持我們發(fā)展通用的藥物研發(fā)模型;另一方面,它可以成為一個整合核心,通過 API 的方式調(diào)用各個子模塊,子模塊返回的結(jié)果還可以通過核心 GPT 進行整合報告,實現(xiàn)更加專業(yè)的預測?!?/p>
謝正偉告訴生輝,接下來的關(guān)鍵是將 AI 制藥的專業(yè)模型與通用型多模態(tài)大型語言模型通過上述兩種方式進行融合,開發(fā)出一個生物制藥領(lǐng)域的多模態(tài)深度學習模型,從而具備設(shè)計、輸出、優(yōu)化分子的能力,這些工作我們已經(jīng)開始進行了。
“下一步,我們可能會看到一波基于 GPT-4 的應用興起,但真正要做到為生物醫(yī)藥領(lǐng)域提供幫助,還需要二次訓練和調(diào)整。” Alex Zhavoronkov 說。
已開始探索將 GPT 模型應用于醫(yī)療健康領(lǐng)域
唐建告訴生輝,生成式 AI 模型在生物制藥中已經(jīng)開始走向成熟,但并不是因為 ChatGPT 和 GPT-4 這些模型,而是以幾何深度學習和擴散模型為基礎(chǔ)的生成式 AI 模型。目前相關(guān)模型在蛋白質(zhì)和抗體設(shè)計方向已經(jīng)有比較好的結(jié)果。
雖然還不夠完善,但是業(yè)內(nèi)已開始探索 ChatGPT 和 GPT-4 等生成式 AI 工具在醫(yī)藥健康領(lǐng)域中的價值。
公開資料顯示,OpenAI 方面正在與一家旨在幫助盲人和視力障礙人士的技術(shù)公司 Be My Eyes 合作,將 GPT-4 提供的從動態(tài)圖像輸入到文本輸出功能集成到虛擬志愿者功能中,用戶可以通過 GPT-4 應用程序?qū)D像發(fā)送給 AI 虛擬志愿者,該志愿者將針對各種任務提供即時識別、解釋和對話幫助。
這家公司推出了一款稱之為 Be My Eyes 的免費移動應用程序,旨在幫助盲人和視障人士識別物體并應對日常情況。包括一個由視力正常志愿者組成的在線社區(qū),他們會隨機接收不同照片或視頻,并通過實時聊天提供幫助。
近期,Nature Medicine 上的一篇文章也探討了 ChatGPT、GPT-4 等大型語言模型在醫(yī)療健康領(lǐng)域的應用潛力。文章中提到,通過分析特定的臨床需求,ChatGPT、GPT-4 等大型語言模型可能提高醫(yī)療健康的服務水平和患者的生活質(zhì)量。文中還提到,這些模型有望應用于治療失語癥等言語障礙、改善語言能力退化的神經(jīng)退行性疾病患者的病情進展。比如說,這些大型語言模型也可以整合到語音腦機接口設(shè)計和開發(fā)中。
(來源:Nature Medicine)日前,Insilico Medicine 也宣布,其研發(fā)團隊已在 AI 靶點發(fā)現(xiàn)平臺 PandaOmics 上整合了先進的 AI 問答功能 ChatPandaGPT,支持在使用平臺的時候,展開與生物醫(yī)藥有關(guān)的自然語言問答,幫助研究人員更便捷發(fā)現(xiàn)潛在靶點和生物標志物。
根據(jù)該公司官網(wǎng)的信息,ChatPandaGPT 是專門為提供與分子生物學、治療性靶點發(fā)現(xiàn)和藥物開發(fā)相關(guān)的信息和問答而設(shè)計的?;谧匀徽Z言處理和機器學習算法,ChatPandaGPT 可以自動對用戶的問題進行理解和解釋,并提供一種更個性化獲得關(guān)于分子生物學、治療性靶點發(fā)現(xiàn)和藥物開發(fā)相關(guān)信息的方式。
(來源:Insilico Medicine 官方微信公眾號)生輝還了解到,百圖生科研發(fā)了一款生命科學領(lǐng)域的超大規(guī)模多模態(tài)預訓練大模型 “xTrimo”,重點關(guān)注蛋白質(zhì)。目前,xTrimo 已經(jīng)在蛋白結(jié)構(gòu)預測、抗體序列生成、細胞表征等多個生命科學任務上實現(xiàn) state-of-the-art(SOTA),并在細胞功能預測、denovo 藥物設(shè)計上取得重要進展。
參考資料:1.https://openai.com/research/gpt-42.https://mp.weixin.qq.com/s/Hduj5xyQ0W7G-JbY5TQbxw3.https://www.nature.com/articles/s41591-023-02289-5


100103/20








