這兩天hugging face的榜單出現(xiàn)了一個(gè)異數(shù)。一個(gè)名為Falcon 40B的模型，突然成為了hugging face“開源”大模型排行榜的*名。

這一成績直接將一眾大咖加持的開源的模型踩在腳下，包括但不限于扎克伯格同學(xué)旗下的LLaMA、新晉明星獨(dú)角獸Stability AI等公司。其中，LLaMA的模型規(guī)模甚至更大，達(dá)到了65B——比Falcon-40B大出了50%。

按照國際通用慣例，網(wǎng)友們少不了又要拉踩一把扎克伯格。

Hugging Face過去一直被認(rèn)為是大模型領(lǐng)域GitHub，在人類大模型的開源事業(yè)的道路上不遺余力，被一些觀察者認(rèn)為是OpenAI*潛在挑戰(zhàn)能力的平臺(tái)。因此Hugging Face的榜單，被從業(yè)者給予了很高的參考價(jià)值。

按照Hugging Face方面表示，其整個(gè)榜單使用Eleuther AI Harness的評(píng)估框架，被分成四個(gè)標(biāo)準(zhǔn)：

25個(gè)小樣本的推理邏輯測(cè)試（ARC：AI2 Reasoning Challenge）、10個(gè)樣本的嘗試推理測(cè)試（HellaSwag）、5個(gè)樣本的多任務(wù)準(zhǔn)確性測(cè)試（MMLU）以及誠實(shí)測(cè)試（TruthfulQA）

而在全部四項(xiàng)打分中，如圖一所示，除了誠實(shí)測(cè)試表現(xiàn)相對(duì)一般外，其他三項(xiàng)都大幅*對(duì)手。而在新推出的instruct版本中，誠實(shí)性能力也跟上來了。

Falcon備受外界關(guān)注，原因主要有幾點(diǎn)。

一方面，如果僅以這個(gè)榜單數(shù)據(jù)來看，F(xiàn)alcon相比于友商的提升幅度很大。LLaMA-65B之后的排序的分差往往在0.3分以內(nèi)，但Falcon-instruct直接提升了3.4分。

另一方面，F(xiàn)alcon與馬斯克的火箭重名，但其實(shí)是目前為數(shù)不多的非西方國家實(shí)驗(yàn)室開發(fā)的開源大模型產(chǎn)品。Falcon背后的研發(fā)方來自阿聯(lián)酋的阿布扎比技術(shù)創(chuàng)新研究所（TII），這也是中東*世界*的大模型產(chǎn)品。

TII的背后則是阿布扎比先進(jìn)技術(shù)研究委員會(huì)(ATRC)，因此是阿聯(lián)酋政府官方扶持技術(shù)創(chuàng)新項(xiàng)目。

而根據(jù)阿聯(lián)酋通訊社的報(bào)道，F(xiàn)alcon-45B使用了1萬億個(gè)token進(jìn)行訓(xùn)練，可以用更少的訓(xùn)練計(jì)算能力實(shí)現(xiàn)更優(yōu)的效果，其僅相當(dāng)于OpenAI GPT-3訓(xùn)練計(jì)算的75%，DeepMind Chinchilla人工智能的40%，谷歌PaLM-62B訓(xùn)練計(jì)算的80%。

阿聯(lián)酋通訊社進(jìn)一步表示，作為開源的大模型工具，F(xiàn)alcon-45B的出現(xiàn)：

“強(qiáng)化了阿聯(lián)酋作為全球AI*的角色”。

目前來說，F(xiàn)alcon-40B雖然是開源大模型的*名，但是和“不Open”的OpenAI相比，還有相當(dāng)大的差距。而在越來越公司對(duì)開源保持謹(jǐn)慎態(tài)度的情況下，F(xiàn)alcon獲得“開源大模型*”其實(shí)也算是“撿了個(gè)漏”。

不過很快有從業(yè)者發(fā)推特質(zhì)疑Hugging Face的評(píng)價(jià)體系。

有Inflection AI員工發(fā)推認(rèn)為Hugging Face得出的數(shù)據(jù)與論文的評(píng)分有一定的差異。在這條質(zhì)疑下面，前特斯拉AI負(fù)責(zé)人、OpenAI元老級(jí)人物（founding member）Andrej Karpathy跟進(jìn)評(píng)論：

“這就是我目前避免評(píng)論falcon的原因”。

Andrej Karpathy曾經(jīng)是李飛飛的高徒、全球*的AI科學(xué)家，對(duì)OpenAI的發(fā)展起到了很大的作用，也一手推動(dòng)了特斯拉自動(dòng)駕駛項(xiàng)目的發(fā)展，可以說是特斯拉autopilot之父。

當(dāng)他對(duì)hugging face的標(biāo)準(zhǔn)提出質(zhì)疑時(shí)，這并不能被認(rèn)為是一個(gè)輕飄飄的指控。

果然hugging face聯(lián)合創(chuàng)始人Thomas Wolf聞風(fēng)而至，對(duì)同行進(jìn)行了友善的科普，表示他們的使用的評(píng)價(jià)工具的準(zhǔn)確性是可靠的。

這其中詭異的點(diǎn)在于，hugging face的榜單不是一天發(fā)出的，Eleuther AI Harness也是一個(gè)主流的評(píng)價(jià)體系。但當(dāng)Falcon沖榜后，卻出現(xiàn)了兩位對(duì)評(píng)價(jià)體系“不理解”、“不確定”的“外賓”。

看來硅谷還不是很適應(yīng)來自中東的神秘科技力量，對(duì)這種“新鮮事物”條件反射地用審視的眼光去打量。

不過，F(xiàn)alcon-40B*的爭議或許不是來自于能力，而是來自于其對(duì)“開源”事業(yè)的“誠心”。

因?yàn)镕alcon對(duì)商業(yè)化開源留了一個(gè)“后手”，雖然使用者原則上免費(fèi)，但如果收入超過100萬美金，依然需要繳納10%的授權(quán)費(fèi)用。

但由于falcon的許可證其實(shí)部分基于 Apache License Version 2.0。后者來自 Apache 基金會(huì)，對(duì)商業(yè)開源是友好的。那如果falcon拿著免費(fèi)開源的許可協(xié)議，未來依然會(huì)收取一定的商業(yè)化費(fèi)用，這似乎依然算不上真的“開源”。

大模型確實(shí)很燒錢，即便貴如中東土豪，也不希望徹底的開源。

而根據(jù)TII方面的消息，阿聯(lián)酋方面預(yù)計(jì)將很快發(fā)布新的Falcon-108B的千億級(jí)大模型。

無論是開源和閉源、西方和東方、科技投資和石油資本，屆時(shí)圍繞大模型的科技競爭可能會(huì)變得更有意思。