在AI方面，谷歌和OpenAI的積累，最終真的會輸給一群隱藏在民間的“草頭俠”嗎？

最近，每一個正在進(jìn)行AI對決的大廠，一份被谷歌泄露的內(nèi)部文件，打開了尷尬的一面。

泄露的內(nèi)部文件聲稱：“我們沒有‘環(huán)城河’，OpenAI 沒有。在我們還在爭吵的時候，第三方已經(jīng)悄悄地?fù)屪吡宋覀兊娘埻搿_源?！?/p>

根據(jù)這份文件，一些開源模型一直在復(fù)制谷歌和微軟的勞動收入，雙方的差距正以驚人的速度縮小。開源模型更快，可定制性更強(qiáng)，更私密，功能性不落后。

舉例來說，這些開源模型可以使用 100 美金外加 13B 參數(shù)，再加上幾個星期就可以發(fā)布了，而像谷歌這樣的大公司，要想訓(xùn)練大模型，就要面對幾千萬美元的成本和成本。 540B 參數(shù)，以及近幾個月的訓(xùn)練周期。

那么，事實(shí)真的會像這份文件中提到的那樣，谷歌和OpenAI在AI方面的積累，最終真的會輸給一群隱藏在民間的“草頭俠”嗎？

所謂“大廠壟斷大模式”的時代，真的要結(jié)束了嗎？

要回答這個問題，首先要了解開源模型的生態(tài)，看看這些如雨后春筍般涌現(xiàn)的開源模型是如何一步步蠶食谷歌的“正規(guī)軍”。

01 開源模型異軍突起

事實(shí)上，最早的開源模式，其誕生完全是一場“意外”。

在大多數(shù)基準(zhǔn)測試下，Meta發(fā)布了自己的大型語言模型LLaMA，參數(shù)從70億到650億不等，僅用130億參數(shù)就超過了GPT-3。

但是沒想到的是，LLaMA的模型文件在發(fā)布后不久就被泄露了。

此后，開源模型的浪潮就像決堤一樣，變得一發(fā)不可收拾。

ChatGPT開源替代品，像八仙過海一樣?！秆蝰劶易濉?，接著粉墨出現(xiàn)了。

這種開源模型與ChatGPT相比，最顯著的特點(diǎn)就是訓(xùn)練成本和時間都極其便宜。

就拿LlaMA衍化模型Alpaca來說，它的訓(xùn)練費(fèi)用只有52k數(shù)據(jù)和600美元。

但是，如果開源只靠低成本，對谷歌這樣的大廠商來說是不夠的。重要的是，在極低的培訓(xùn)成本下，這些開源模型可以多次達(dá)到與GPT-3.5相當(dāng)?shù)男阅堋?/p>

谷歌和OpenAI現(xiàn)在并不平靜。

對于GPT-3.5，斯坦福研究者（text-davinci-Alpacaca003 對比7B，發(fā)現(xiàn)這兩個模型的性能非常相似。與GPT-3.5相比，Alpaca獲勝頻率為90對89。

重點(diǎn)來了：這些開源模型，到底是怎么做到的？

斯坦福團(tuán)隊的回答有兩點(diǎn)：1、強(qiáng)大的預(yù)訓(xùn)練語言模型；2、高質(zhì)量的指令遵循數(shù)據(jù)。

我們把強(qiáng)大的預(yù)訓(xùn)練語言模型(如LlaMA或GPT-3)比作一位知識和經(jīng)驗(yàn)豐富的教師。

對于自然語言理解領(lǐng)域的任務(wù)，強(qiáng)大的預(yù)訓(xùn)練語言模型可以借助大規(guī)模的文本數(shù)據(jù)進(jìn)行練習(xí)，學(xué)習(xí)自然語言的方式和規(guī)律，幫助指令遵循其他任務(wù)的模型更好地理解和生成文本，提高模型的表達(dá)和理解能力。

這相當(dāng)于學(xué)生可以利用教師的知識和經(jīng)驗(yàn)來提高語言能力，使用預(yù)訓(xùn)練語言模型的知識和經(jīng)驗(yàn)來提高他們的表現(xiàn)。

開源模型的另一把“尖刀”，除了借助這位“老師”的知識，就是指令微調(diào)。

指令微調(diào)，或指令調(diào)優(yōu)，是指當(dāng)前大語言模型生成指令遵循數(shù)據(jù)后，進(jìn)行數(shù)據(jù)優(yōu)化的過程。

具體而言，指令微調(diào)是指在生成的指令信息中，對一些不合適或錯誤的指令進(jìn)行調(diào)整，使其更適合實(shí)際應(yīng)用領(lǐng)域。

指令優(yōu)化是指在生成的指令信息中加重或重復(fù)一些重要、復(fù)雜或容易出錯的指令，從而提高指令遵循模型對這些指令的理解和表達(dá)能力。

通過這種“微調(diào)”，人們可以生成更準(zhǔn)確、更有針對性的指令來遵循數(shù)據(jù)，從而提高開源模型在特定任務(wù)中的表現(xiàn)能力。

因此，即使只使用少量的數(shù)據(jù)，開源社區(qū)也可以訓(xùn)練出與ChatGPT相匹配的新型號。

但是，另一個問題是:面對自己辛辛苦苦打下的國家，谷歌和OpenAI為什么沒有以“四兩撥千斤”的方式一步步被開源社區(qū)蠶食？

即使是以毒攻毒，推出同樣快速迭代的小模型，也不失為一種破局之策啊。

02 進(jìn)退兩難

實(shí)際上，像谷歌這樣的龍頭企業(yè)，并非沒有意識到開源的優(yōu)勢。

谷歌在泄露的文檔中提到，幾乎每個人都可以根據(jù)自己的想法微調(diào)模型，然后一天內(nèi)的訓(xùn)練周期就會成為常態(tài)。以這樣的速度，微調(diào)的積累效應(yīng)將很快幫助小模型克服規(guī)模上的劣勢。

但問題是，谷歌和OpenAI作為AI領(lǐng)域的巨頭，既不能也不愿意完全放棄培訓(xùn)成本高的大參數(shù)模型。

在某種程度上，這是保證自己優(yōu)勢地位的重要途徑。

谷歌和OpenAI作為AI領(lǐng)域的巨頭，需要不斷提升自己的技術(shù)實(shí)力和創(chuàng)新能力。傳統(tǒng)的大參數(shù)訓(xùn)練模式是提供這種探索和創(chuàng)新的唯一途徑。

AI領(lǐng)域的研究者和科學(xué)家需要對模型和算法的基本原理有更深入的了解，探索AI技術(shù)的局限性和發(fā)展方向，這需要大量的理論研究、實(shí)驗(yàn)驗(yàn)證和數(shù)據(jù)探索，而不僅僅是微調(diào)和優(yōu)化。

例如，AI領(lǐng)域的科學(xué)家在練習(xí)大參數(shù)模型時，可以探索模型的泛化能力和魯棒性，并在不同的數(shù)據(jù)和場景中評估模型的性能和效果。正是在這個過程中，谷歌的BERT模型不斷得到加強(qiáng)。

與此同時，大參數(shù)模型的練習(xí)，也能幫助科學(xué)家探索模型的可解釋性和可視性，

例如，Transformer模型對于今天的GPT至關(guān)重要，雖然在功能上表現(xiàn)出色，但其內(nèi)部結(jié)構(gòu)和工作原理卻比較復(fù)雜，不利于理解和解釋。

通過大參數(shù)模型的練習(xí)，人們可以可視化Transformer模型的內(nèi)部結(jié)構(gòu)和特點(diǎn)，從而更好地了解模型是如何編碼和處理輸入的，進(jìn)一步提高模型的性能和應(yīng)用效果。

所以，開源和微調(diào)的方法，雖然可以促進(jìn)AI技術(shù)的不斷發(fā)展和優(yōu)化，但不足以取代對AI基本問題的深入研究和探索。

不過話說到這里，一個非常尖銳的分歧又出來了:一方面，谷歌和OpenAI不能放棄對大參數(shù)模型的研究，堅持對其技術(shù)保密。另一方面，免費(fèi)優(yōu)質(zhì)的開源替代品使得谷歌等大公司的“燒錢”戰(zhàn)略變得困難。

由于大模型消耗的巨大算率資源和信息，僅僅是在 2022 年，OpenAI 總費(fèi)用已經(jīng)達(dá)到 5.4 十億美元，與之形成鮮明對比的是，它所產(chǎn)生的收入只有 2800 萬美金。

同時，開源社區(qū)具有靈活性的優(yōu)勢，也讓谷歌等大廠感到難以與之匹敵。

谷歌認(rèn)為，在泄露的文件中，開源陣營的真正優(yōu)勢是“行為”。

與谷歌這樣的大工廠相比，開源社區(qū)的參與者可以在不受任何限制和壓力的情況下，隨意探索和研究技術(shù)，從而有更多的機(jī)會發(fā)現(xiàn)新的技術(shù)目標(biāo)和應(yīng)用領(lǐng)域。

谷歌在研究和開發(fā)新技術(shù)時，必須考慮商品的商業(yè)可行性和市場競爭力。這在一定程度上限制了人才的研究方向。

另外，由于保密協(xié)議的出現(xiàn)，谷歌人才也很難像開源社區(qū)那樣，與外界進(jìn)行全面的溝通和共享技術(shù)研究的成果。

如果說低價靈活的開源模式最終會成為不可阻擋的趨勢，那么當(dāng)谷歌等大公司面對這片廣闊的戰(zhàn)場時，他們?nèi)绾卧谛碌臅r代生存下來呢？

03 另辟蹊徑

如果谷歌這樣的龍頭企業(yè)最終在開源陣營的攻擊下選擇了“打不過就加入”的策略，那么如何在開源的情況下找到一條可行的商業(yè)路徑就成了當(dāng)務(wù)之急。

歸根結(jié)底，在目前的市場認(rèn)知下，開源幾乎等于“人人都可以免費(fèi)使用”。

之前，Stable 明星公司背后的Diffusion——Stability AI，由于開源后，找不到明確的收益方式，目前正面臨著嚴(yán)重的財務(wù)危機(jī)，以致于即將破產(chǎn)。

然而，對于如何在開源的情況下實(shí)現(xiàn)盈利，業(yè)界并非完全沒有例子可循。

例如，在此之前，谷歌開放了Android系統(tǒng)，這是一個經(jīng)典案例。

最初，由谷歌主導(dǎo)開發(fā)和推廣的安卓系統(tǒng)開源后，谷歌仍然通過各種渠道從安卓操作系統(tǒng)的設(shè)備制造商那里獲得了收益。

具體而言，這些方法可以分為以下幾種：

收取許可費(fèi)：當(dāng)設(shè)備制造商希望在其設(shè)備上預(yù)裝Google 谷歌應(yīng)用和服務(wù)，如Play商店，他們需要遵守谷歌的授權(quán)協(xié)議，并支付相應(yīng)的授權(quán)費(fèi)用。

推出定制設(shè)備：谷歌通過與設(shè)備制造商的合作，推出一些定制的Android設(shè)備，例如Google Googlel智能手機(jī)和Pixel Nexus平板電腦等。，并從中獲益。這類定制設(shè)備通常具有更好的價值和更好的性能，并且可以預(yù)裝谷歌的應(yīng)用和服務(wù)。

銷售應(yīng)用：當(dāng)設(shè)備用戶在Google 谷歌在購買應(yīng)用程序、游戲或媒體內(nèi)容時，會從Play商店中提取一定的傭金。

雖然這些方法的好處可能不像谷歌的主營業(yè)務(wù)——搜索和廣告那樣賺很多錢，但谷歌仍然從中獲得了各種“隱性好處”。

因?yàn)榘沧縭oid 隨著互聯(lián)網(wǎng)的開放，谷歌可以通過吸引更多的人使用Android上的應(yīng)用來收集用戶的行為數(shù)據(jù)，并加工這些信息，從而避免了某個企業(yè)壟斷移動平臺的入口，從而使廣告營銷更加精準(zhǔn)。

由此可見，開源方式并非與商業(yè)盈利模式完全矛盾，這對谷歌和開源社區(qū)的參與者來說是一件好事。

由于只有通過商業(yè)化的方式，不斷地為自己“造血”，谷歌、OpenAI等大廠商，才能繼續(xù)承擔(dān)培訓(xùn)大型參數(shù)模型所需的高成本。

只有隨著大參數(shù)模型的不斷開發(fā)，各大開源社區(qū)才能繼續(xù)基于高性能、高質(zhì)量的預(yù)訓(xùn)練語言模型，對類型更多、應(yīng)用領(lǐng)域更豐富的開源模型進(jìn)行微調(diào)。

基于這種關(guān)系，開源模型與封閉的大模型之間，實(shí)際上不僅僅是對立和競爭，更是一種互助共生的生態(tài)。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com