從學(xué)術(shù)界到企業(yè)界,思想者先行
去年,時代雜志公布了AI領(lǐng)域*影響力的100人。四大板塊中,入選年齡*的是76歲的杰夫·辛頓。
人工智能簡史在被神經(jīng)網(wǎng)絡(luò)重塑之前,辛頓在符號主義大行其道的80年代,一頭扎進(jìn)神經(jīng)網(wǎng)絡(luò)默默耕耘。
符號主義基于規(guī)則,模仿的是人心,生成的是一個白盒系統(tǒng),可解釋,可觸達(dá),確定性更高,但神經(jīng)網(wǎng)絡(luò)主張模仿人腦,生成的是一個黑盒系統(tǒng)。
可當(dāng)時有一大難點(diǎn),就是多層神經(jīng)網(wǎng)絡(luò)中存在的隱藏層和計算量問題,在一開始就勸退了一大批精英,所以別說發(fā)展,在那個年代,神經(jīng)網(wǎng)絡(luò)流派的生存都是問題。
但是,如果在辛頓的履歷里,找一件對AI貢獻(xiàn)*的事,并不是他讓神經(jīng)網(wǎng)絡(luò)成功度過生存危機(jī)的誤差反向傳播算法,也不是他后來以受限玻爾茲曼機(jī)為基礎(chǔ),進(jìn)一步演化出來的深度信念網(wǎng)絡(luò),而是他用了四十年的時間,堅持不懈,開創(chuàng)了一個新的分支:機(jī)器學(xué)習(xí)。也為后來所有的研究者,守著這扇通往新世界的大門。

2006年深度學(xué)習(xí)正式提出,辛頓已然著作等身,但關(guān)于AI究竟要走哪條路線的偏見,依然根深蒂固,多倫多大學(xué)計算機(jī)學(xué)系,當(dāng)時就流傳著對新生的一句忠告:不要去辛頓的實(shí)驗(yàn)室,那兒沒前途。
當(dāng)然,這句話沒有勸退真正眼光毒辣的學(xué)生,比如伊利亞。
早在2003年,大家還對神經(jīng)網(wǎng)絡(luò)流派嗤之以鼻的時候,本科二年級的伊利亞,就帶著驚人的直覺和更深入的研究,敲開了辛頓辦公室的大門,也代表著他對這一路線,早就深信不疑。
2004年,辛頓在輾轉(zhuǎn)多個大學(xué)工作后,終于在加拿大高等研究院拿到了50萬美元的經(jīng)費(fèi),這可能是當(dāng)時*還在支持神經(jīng)網(wǎng)絡(luò)研究的機(jī)構(gòu)。
50萬美元,對于科研來說確實(shí)有些微薄,但是卻足夠讓辛頓結(jié)束漂泊的訪學(xué)生涯,并安頓下來,召開了一場研討會。
當(dāng)時辛頓的半個學(xué)生楊立昆,和另一位徒孫約書亞·本吉奧,也加入了他的隊伍。所以早在20年前的2003年,“深度學(xué)習(xí)三巨頭”(楊立昆、約書亞、辛頓),就已經(jīng)坐上了同一張牌桌。

但是,只有算法上的創(chuàng)新還遠(yuǎn)遠(yuǎn)不夠,橫在三巨頭眼前難以逾越的還有兩座高山:算力和數(shù)據(jù)。
2012年,64歲的辛頓去谷歌做暑期實(shí)習(xí)生,這次入職,是應(yīng)吳恩達(dá)邀請,接手谷歌貓項目。
如果只是識別一只普通的貓,傳統(tǒng)的計算機(jī)視覺自然不在話下,可是貓有可能長得千奇百怪。
雖然當(dāng)時谷歌在動用了16000個CPU后,識別準(zhǔn)確率已經(jīng)高達(dá)74.8%,辛頓卻仍然認(rèn)為:他們的神經(jīng)網(wǎng)絡(luò)用錯了。
幾個月后,辛頓和自己的兩個學(xué)生:Ilya Sutskever、Alex Krizhevsky,帶著新算法AlexNet,以及兩塊英偉達(dá)GTX580顯卡,參加了計算機(jī)視覺領(lǐng)域最受關(guān)注的世界賽事,ImageNet,并以84%的識別準(zhǔn)確率,拿下冠軍。也是這一年后,曾經(jīng)只拿來玩游戲的GPU,憑借*的并行計算能力,來了個180度大翻身。
神來一筆的兩塊GPU,算力這座大山被鑿開了口子。那么數(shù)據(jù)問題又該如何解決?

實(shí)際上,這場圖像識別比賽(ImageNet)本身就是一塊高質(zhì)量的數(shù)據(jù)試金石,比賽的主辦者,就是后來被稱為AI教母的李飛飛。早在2000年,她就意識到,卡住神經(jīng)網(wǎng)絡(luò)脖子的,可能不在于算法的精度,而在于缺少大規(guī)模、高精度的數(shù)據(jù)。
于是,ImageNet數(shù)據(jù)集的構(gòu)想產(chǎn)生了。
最開始她用WordNet中的名詞作為索引,來篩選和分類圖片,但只依靠本科生,這項任務(wù)大概90年后才能完成。
就在所有人都陷入僵局的時候,馬遜土耳其機(jī)器人這個網(wǎng)站步入研究者的視野,也沒用什么新鮮方法,亞馬遜找來十萬名“人類智能”,一招人海戰(zhàn)術(shù),在短短兩年時間內(nèi),就標(biāo)注了超過300萬張圖像。

2010年,*屆圖片識別大賽舉辦。2012年,數(shù)據(jù)庫里的圖片,就已經(jīng)擴(kuò)充到了1500萬張。
也是這一年,數(shù)據(jù)集的概念出現(xiàn),逐漸成為未來所有人工智能的核心養(yǎng)料。
所以當(dāng)李飛飛看到了辛頓的AlexNet獲獎,立刻就意識到,歷史即將改寫。她在頒獎當(dāng)天,買了最后一班飛機(jī)票,親自趕到現(xiàn)場給辛頓團(tuán)隊頒獎。
多年以來壓在深度學(xué)習(xí)身上的三座大山:算法、算力和數(shù)據(jù),在這一年被集中解決,第三次人工智能浪潮也從沉淀中蘇醒,時刻準(zhǔn)備爆發(fā)。

拿下大賽冠軍幾個月后,辛頓三人的“空殼公司”DNNresearch,也在四位買家(谷歌、DeepMind、微軟、百度)的角逐中,被谷歌以4400萬美元的價格收入囊中。
這次競拍也讓深度學(xué)習(xí)技術(shù),逐漸走入資本視野,從學(xué)術(shù)界主導(dǎo),正式進(jìn)入企業(yè)主導(dǎo)的時代。
值得一提的是,參與競拍辛頓的四家公司中,還有一家小公司,DeepMind。當(dāng)時的DeepMind自己都在四處籌錢,創(chuàng)始人哈薩比斯竟還想和大廠掰掰手腕,買下DNNresearch,可見他非同一般的眼光和野心。
但AI的吞金能力遠(yuǎn)超大家想象,所有AI初創(chuàng)公司都面臨巨大的融資壓力,楊立昆當(dāng)年關(guān)于這一點(diǎn),沒有說錯。果然兩年后,DeepMind也被谷歌用6億美元拿下。后來的故事,大家也有所耳聞了。
2015年,谷歌DeepMind團(tuán)隊推出了Alpha Go,第37手,漂亮的“神之一手”,也一舉成名。
但是,距離人工智能真正爆發(fā),還缺少一個關(guān)鍵契機(jī)。
2017年,一篇終結(jié)了CNN(卷積神經(jīng)網(wǎng)絡(luò))和RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))的論文問世,(《Attention is all your need》https://arxiv.org/pdf/1706.03762),八位作者都來自谷歌。
回過頭來看,注意力機(jī)制,作為后來主導(dǎo)大語言模型的根基,被谷歌這家,全世界*的注意力商人發(fā)布,好像也在情理之中。
第二年,谷歌就發(fā)布了BERT模型。大模型的狂潮,也正式拉開了帷幕。
所以不難看出,2012年的那一次實(shí)習(xí)、一場比賽、一局競拍,讓深度學(xué)習(xí)走出學(xué)術(shù)界,正式進(jìn)入商業(yè)市場里摸爬滾打。由于深度學(xué)習(xí)長期無人問津,領(lǐng)域里的*學(xué)者也屈指可數(shù),
學(xué)術(shù)界就干脆以超級學(xué)者為核心,形成了幾大AI高校研究陣地。

這些稀缺的大佬同時化身*獵頭,帶著自己的學(xué)生,從實(shí)驗(yàn)室,走進(jìn)了AI領(lǐng)域的前沿公司。只不過,這一次他們不再是玩家,而是換了個身份,繼續(xù)這場游戲。
AI創(chuàng)業(yè)者,誰笑到最后?
新的牌局上,谷歌可以說開局就有*同花順的底氣,畢竟接連拿下辛頓團(tuán)隊、DeepMind,
之后又連續(xù)發(fā)布Alpha Go、Transformer、BERT。手握最強(qiáng)AI資源的谷歌,是當(dāng)時AI領(lǐng)域*的頭號玩家,很長一段時間,風(fēng)頭無兩。

但為什么后來坐上了王位的,會是當(dāng)時連一間像樣辦公室都沒有的Open AI呢?
谷歌輸在了哪兒?
谷歌作為一家號稱只招收精英的科技巨頭,成立了20多年,去年裁員后仍有18萬員工(Alphabet)。
不缺資金、不缺人,也不缺資源,但與之對應(yīng)的,是精力分散、過分謹(jǐn)慎,以及團(tuán)隊磨合的問題,船大難掉頭。
相比于Open AI產(chǎn)品的一目了然(Open AI官網(wǎng)),谷歌的產(chǎn)品開發(fā)可以用眼花繚亂來形容。這個網(wǎng)站上:https://killedbygoogle.com/ 記錄了被谷歌砍掉的295個項目(包含AI與非AI)。

谷歌一直在各種不同的技術(shù)路線上廣撒網(wǎng),卻并沒有帶來與之對應(yīng)的收獲。
技術(shù)開發(fā)什么最重要?選對路線,并持續(xù)加碼。這幾輪翻牌,在GPT模型上(BERT線)持續(xù)加碼的玩家,只有一個,就是Open AI。

谷歌后知后覺,在GPT-3出現(xiàn)后才下定決心All in,但此時它的身份已經(jīng)從領(lǐng)頭羊,變成了追趕者。不僅如此,由于手上的籌碼太多,谷歌還面臨另一個難題,就是優(yōu)等生陷阱。
由于Bard機(jī)器人發(fā)布后頻頻翻車,而市場對大公司的小失誤又極其敏感,直接導(dǎo)致股價跌了8%,損失高達(dá)1000億美元,也留下了非常嚴(yán)重的后遺癥,就是內(nèi)部越來越傾向保守,論文一篇篇地發(fā),但產(chǎn)品落地不聲不響。
好在去年3月,谷歌終于把Google Brain和Google DeepMind合并,哈薩比斯統(tǒng)一領(lǐng)導(dǎo),全力開發(fā)Gemini系列,但是內(nèi)部磨合問題,必然會消耗一定的時間和精力。
哈薩比斯當(dāng)初賣身谷歌,是因?yàn)橹挥?0%的時間搞研發(fā),其它時間都在找錢,現(xiàn)在倒是不缺錢了,但管理問題同樣令人頭大。
原先DeepMind實(shí)驗(yàn)室的核心成員陸續(xù)離開,創(chuàng)立或者加入新的公司,當(dāng)初的Transformer八子也是一樣選擇。

盡管谷歌已經(jīng)開始亡羊補(bǔ)牢地召回人才,但是相較于山姆·奧特曼的氣勢如虹,錢,已經(jīng)不是吸引*人才的主要因素。
微軟成*贏家?Open AI能贏到最后嗎?
*的大腦,才是致勝的關(guān)鍵。而從一開始就踐行這一點(diǎn)的,就是開頭那場晚宴上遲到的年輕人,布羅克曼。
他那場他還不是主角的晚宴結(jié)束后,*時間就給當(dāng)時AI行業(yè)的*人物們一一打了電話,
可惜的是,辛頓已經(jīng)去了谷歌,楊立昆也被Facebook收入麾下,只剩下致力于學(xué)術(shù)界的約書亞·本吉奧。
本吉奧也是神助攻,直接給他提供了一份年輕研究者名單,雖然當(dāng)時AI界的聚光燈都在大佬們身上,但布羅克曼依然租了輛大巴車,把名單上的研究人員,帶到一個與世隔絕的葡萄酒莊,度過了一整個周末。
三周之后,因?yàn)椴剂_克曼在人才招攬上超高的執(zhí)行力,再加上馬斯克+山姆·奧特曼的人格魅力,可以說OpenAI從一開始就擁有雙重Buff,而且那時候的他們,言辭里充滿對技術(shù)的浪漫主義情懷,一種奧本海默式的理想氣質(zhì)蔓延在整個酒莊。
最終,10個人里有9個,都同意了加入Open AI,當(dāng)然也包括拒絕了谷歌兩到三倍薪酬誘惑的伊利亞。就這樣,在一眾巨頭的搶人大戰(zhàn)中,OpenAI成功拿下了大批現(xiàn)如今的*學(xué)術(shù)大牛。

AI公司起步,人不在多,必然得精。
有了這些人在前,Open AI的人才軍火庫也形成了自己獨(dú)特的篩選標(biāo)準(zhǔn),一不重學(xué)歷,二不重資歷。相比遍地博士的大型研究機(jī)構(gòu),ChatGPT研發(fā)團(tuán)隊里的本、碩、博人數(shù)雨露均沾,當(dāng)然其中絕大部分,也都是*名校的學(xué)位。
但他們?nèi)匀徽J(rèn)為只要能解決問題,甚至高中畢業(yè)的也能上。

雖然如今OpenAI的創(chuàng)始團(tuán)隊已經(jīng)七零八落,布羅克曼本人也宣布了長期休假,但Open AI在人才上的先發(fā)優(yōu)勢依然不容小覷。
看到這里可能有人會有疑問,Facebook怎么缺席了?
去年5月,華盛頓白宮,美國副總統(tǒng)哈里斯拉著這幾家AI巨頭開了個閉門會(谷歌、微軟、OpenAI和Anthropic),卻沒出現(xiàn)Facebook的身影。
要知道當(dāng)年DeepMind賣身,F(xiàn)acebook也是出價者之一,這家公司不僅成功將GAN改造成了工具,推出了PyTorch,也拿下了大將楊立昆。
但問題就是,在GPT風(fēng)起云涌的時候,F(xiàn)acebook還有一堆自己的麻煩沒處理好,VR和元宇宙業(yè)務(wù)出師不利,社交媒體業(yè)務(wù)陷入監(jiān)管危機(jī)。直到去年,才推出了LLaMA。
但相比遲到,F(xiàn)acebook有一點(diǎn)倒是值得肯定,不僅在商業(yè)路徑受阻時,還持續(xù)向AI團(tuán)隊提供足夠的資金支持,也始終沒忘當(dāng)年對楊立昆的承諾,堅持開源路線。
因?yàn)镕acebook堅信,AI牌局里,開源是隱藏的王牌。只要自己一直在牌桌上,就還有機(jī)會。

而當(dāng)初那場決定了AI未來走向的關(guān)鍵競拍中,還有一個熟悉的身影,百度。而且中國實(shí)際上是當(dāng)時最早拋出橄欖枝的一方。
但那個時候,中國公司還陷在技術(shù)研發(fā)和投資回報哪個更重要的問題中,無法自拔。最直接的體現(xiàn)就是主打計算機(jī)視覺的AI四小龍(商湯、云從、依圖、曠視),一直在估值和股價的質(zhì)疑里浮浮沉沉。直到,GPT出現(xiàn)后,事情才有了轉(zhuǎn)機(jī)。

清華系逐漸進(jìn)入大眾視野,如今的中國AI大模型五虎(智譜AI、百川智能、月之暗面、零一萬物和MiniMax),三家出身清華,這一批AI創(chuàng)業(yè)者身上標(biāo)簽也更明顯,那就是像極了OpenAI:
年輕、根正苗紅的技術(shù)背景,以及更成熟的AI落地思路。
代表人物,就是月之暗面的創(chuàng)始人楊植麟,師從智譜AI首席科學(xué)家唐杰,博士生導(dǎo)師分別是谷歌和蘋果的AI負(fù)責(zé)人。

AI草臺班子里的角兒
從辛頓到楊植麟,從硅谷到清華,從學(xué)術(shù)界到企業(yè)界,在主題為AI的這場牌局中,我們也能一窺其中的玩家風(fēng)格。
就像楊立昆最早質(zhì)疑的一樣,年輕,沒經(jīng)驗(yàn),但他沒料到的是,正是這樣的玩家,才有更強(qiáng)的學(xué)術(shù)延伸性,偉大確實(shí)很難被計劃。也是因此,才會出現(xiàn)創(chuàng)業(yè)公司和大廠同臺競技的畫面。
同樣也是阿里這類巨頭,多方押注創(chuàng)業(yè)公司的原因(上述五虎,阿里全部都投了)。
模型公司綁定巨頭的玩法,已經(jīng)在美國走通,(微軟+OpenAI、亞馬遜+Anthropic、特斯拉+xAI),可一旦出現(xiàn)突破性進(jìn)展,最直接的可能,就是脫離大廠,重新洗牌,提前預(yù)定新一代大廠。
所以AI這場牌局,從辛頓30年坐冷板凳開始,就已經(jīng)注定了會是一場長期游戲,只有*想象力的玩家,才有勝出的可能。

比如Open AI成立之初,就只有兩個目標(biāo):一是訓(xùn)練一臺機(jī)器,在《魔獸爭霸》里打敗*玩家;二是打造一只五指機(jī)械手,用來還原魔方,這只機(jī)械手還出現(xiàn)在了布羅克曼的婚禮上。
未來,或許很難再有第二個Open AI,但草臺班子的戲臺上,總有耀眼的角兒能殺出重圍,也正是新奇和有趣,才造就了出色和有戲,這或許才是新技術(shù)行業(yè),應(yīng)有的題中之義。


228908/20








