上個月剛宣布離職谷歌的Transformer論文作者“Llion Jones”，最新動向塵埃落定。

據(jù)金融時報消息，Llion Jones將和前谷歌大腦*研究人員David Ha，共同在東京創(chuàng)辦人工智能研究公司Sakana AI。據(jù)透露公司將聚焦做生成式大模型，創(chuàng)建一種基于“自然啟發(fā)的新型智能基礎模型”。

消息一出，圈內(nèi)著名話嘮、英偉達科學家Jim Fan也*時間發(fā)來賀電。

Llion Jones作為前谷歌科學家，他與其他七名作者一起發(fā)表的論文《Attention is All You Need》如今已經(jīng)成為大部分大模型的“奠基研究”，引用次數(shù)更是高達8w+。目前OpenAI的GPT模型、谷歌的Bard模型均以Transformer架構(gòu)進行設計。

另一位創(chuàng)始人David Ha，則擁有“谷歌日本人工智能研究部前負責人”和“Stability AI前研究主管”雙重身份。

Llion Jones（左）David Ha（右）

大模型領域火熱有目共睹，除去像Google、Microsoft、meta、OpenAI等不差錢的巨頭玩家，還有包括Cohere、Personter.AI、Anthropic等在內(nèi)的眾多初創(chuàng)公司。

在外界看來，Sakana AI的大模型選擇以Transformer為架構(gòu)也是順理成章的事，但這次兩人打算摒棄Transformer，玩點不一樣的。

在采訪中，Jones和Ha指出，當前AI大模型的建構(gòu)就像工程學，神經(jīng)網(wǎng)絡就像一座橋，它們被設計成脆弱且不可改變的結(jié)構(gòu)。

比如，像GPT這類大模型雖能力極強，但也很容易被黑客操縱生成有害或危險的內(nèi)容，就像手機越獄一樣。而以目前的技術，想要避免這種情況的發(fā)生，就需要開發(fā)者手動更新模型參數(shù)。

簡單來說，因為模型框架被設計的非常嚴格，創(chuàng)新也變得很困難。

相比之下，自然系統(tǒng)中的集體智能則更敏感響應環(huán)境變化。因此，兩人希望能利用演化計算的原理來構(gòu)建人工智能模型，使其像自然系統(tǒng)一樣可適應變化、節(jié)省成本并提高安全性。

具體來說，就是通過制造多個較小的人工智能模型，每個模型都有自己獨特的優(yōu)勢和較小的數(shù)據(jù)集，讓他們像魚群一樣協(xié)同起來，共同解決一個問題。

這個理念也反應在公司名字上，Sakana來源于日語中魚的一個單詞“さ yl”（sa-ka-na），意在“將一群魚聚集在一起，用簡單的規(guī)則組成一個連貫的實體”的想法，類似于自然界中的進化論、集體智慧等概念 。

在公司官網(wǎng)logo設計上，可以看到一群魚在游走，其中競爭對手就像一只只黑色的魚，依循同一方向，而Sakana是那只紅色的魚，朝向另一個截然不同的方向，也代表著兩人創(chuàng)立公司的初衷就是想玩點新的。

根據(jù)官網(wǎng)介紹，這種新型AI模型主要以兩種形式落地。一方面像大模型用于生成文本、圖像、代碼等多個模態(tài)的內(nèi)容。另一方面也能給ChatGPT這樣產(chǎn)品提供支持、協(xié)同更多大模型產(chǎn)品工作，實現(xiàn)能力上的“無縫銜接”。

事實上，這一次的另辟蹊徑也并非突然奇想。創(chuàng)始人之一David Ha在過去一段時間已發(fā)布多篇關于“深度學習出現(xiàn)集體智慧創(chuàng)意研究”的論文和博客。

比如，他在2021年發(fā)表的論文《The Sensory Neuron as a Transformer: Permutation-Invariant Neural Networks for Reinforcement Learning》中提出一種AttentionNeuron的網(wǎng)絡層，可以將每個輸入通道連接到一個獨立的神經(jīng)網(wǎng)絡模塊，每個模塊只處理各自的局部輸入，然后通過注意力機制交流信息。

論文中，研究人員將一個完整的圖像進行打亂切塊，然后輸入到多個局部神經(jīng)網(wǎng)絡模塊中，每個模塊只看到一小塊圖像，然后通過注意力機制整合所有模塊的輸出。

實驗表明，在自動駕駛CarRacing環(huán)境中，即使輸入的圖像塊已被隨機打亂順序，AttentionNeuron在沒學習過環(huán)境內(nèi)容的情況下，也可以實現(xiàn)一定程度上的自動駕駛，表現(xiàn)出更好的魯棒性和泛化能力。

最近，David Ha還與DeepMind科學家Yujin Tang合著了一篇論文《Collective Intelligence for Deep Learning: A Survey of Recent Developments》，系統(tǒng)探討了機器學習中越來越受歡迎的基于復雜系統(tǒng)的想法，例如群體智能、自組織、緊急行為等。

除此以外，對于為何沒有把公司設立在火熱的硅谷，兩人也有自己的想法。

Jones表示，谷歌和其他公司現(xiàn)在都把大量精力放在技術商業(yè)化層面，這意味著進行前沿研究的空間會越來越小。創(chuàng)立Sakana的主要目標是想專注做研究，選擇東京一方面可以避免受到“硅谷炒作AI”的影響，另一方面也有當?shù)卣呋蓊櫟脑颉?/p>

總結(jié)一句話就是：不搞炒作，專心做LLM研究。

截至目前，兩人并未透露過多關于融資的消息，僅表示會考慮這方面。

不過，Transformer論文的八位作者出走之后，不少人都選擇了創(chuàng)業(yè)，成為這波生成式AI浪潮中的重要創(chuàng)業(yè)力量，估值也水漲船高。

此前，Transformer八位作者之一“Noam Shazeer”創(chuàng)立的Character.AI，在今年三月完成1.5億美元A輪融資，僅用16個月時間就成為一家獨角獸公司。

另外一名作者Aidan Gomez，他在2019年創(chuàng)辦的Cohere，分別于2021年9月和2022年2月先后獲得總計2億多美元融資，投資者不乏圖靈獎獲得者Geoffrey Hinton、知名人工智能研究員李飛飛、UC伯克利大牛Pieter Abbeel等大牛。

今年6月，Cohere更是拿到了由英偉達等參投的2.5 億美元融資，當前估值已達20億美元。

參考這些Transformer協(xié)作者創(chuàng)業(yè)伊始就獲得百萬美元融資的案例，媒體和外界猜測Sakana AI的融資應該很快會有進展。

巧合在于，一位網(wǎng)友按耐不住留言表示，馬斯克剛發(fā)帖說今天到日本了。

雖然他并未透露此行目的，還是引得不少網(wǎng)友猜測，難道馬斯克又要出手了？？

參考鏈接：

[1]https://www.theinformation.com/?rc=riq8lb

[2]https://www.reuters.com/technology/ai-chatbot-characterai-with-no-revenue-raises-150-mln-led-by-andreessen-horowitz-2023-03-23/

[3]https://arxiv.org/abs/2109.02869

[4]https://www.ft.com/content/1f0cee71-2a44-4080-8c79-b037243ac6f5