在新一輪AI全球競(jìng)賽爆發(fā)之際，一封呼吁暫停大型AI研究的公開信在科技圈掀起軒然大波。

這封公開信茅頭直指Open AI，呼吁暫停開發(fā)比GPT-4更強(qiáng)大的AI系統(tǒng)至少6個(gè)月。

圖靈獎(jiǎng)得主Yoshua Bengio、馬斯克、蘋果聯(lián)合創(chuàng)始人Steve Wozniak、Stability AI 創(chuàng)始人Emad Mostaque等上千名科技大佬和AI專家已經(jīng)簽署公開信，目前已經(jīng)有近13000人簽名。

令人意外的是，Open AI CEO Sam Altman的名字也曾赫然在列，但后來(lái)被證實(shí)為假簽名，Altman稱并沒(méi)有計(jì)劃呼吁暫停人工智能的開發(fā)。

近期，OpenAI 已經(jīng)公布了GPT-4模型，其起草訴訟書、通過(guò)標(biāo)準(zhǔn)化考試和根據(jù)手繪草圖建立工作網(wǎng)站的能力震驚四座。

然而，就當(dāng)所有人的注意力集中在簽名的AI大佬身上時(shí)，華爾街見聞注意到這封公開信背后的生命未來(lái)研究所（Future of Life Institute，F(xiàn)LI）可一點(diǎn)都不簡(jiǎn)單。

FLI是什么樣的組織？

先簡(jiǎn)單介紹一下FLI，是一家專注于變革性科技的非盈利組織。

顧名思義，F(xiàn)LI研究的對(duì)象是“生命的未來(lái)”，以“引導(dǎo)變革性技術(shù)造福生命，遠(yuǎn)離極端大規(guī)模風(fēng)險(xiǎn)”為使命。

我們認(rèn)為，開發(fā)和使用強(qiáng)大技術(shù)的方式將是決定未來(lái)生命前景的最重要因素，因此我們的使命是確保技術(shù)繼續(xù)改善等前景。

FLI工作包括資助各種研究項(xiàng)目，組織和贊助相關(guān)會(huì)議和講座，以及向公眾普及科技領(lǐng)域的最新發(fā)展和挑戰(zhàn)。

FLI成立于2014年，創(chuàng)始人為科技界人士和哲學(xué)家，比如Skype聯(lián)合創(chuàng)始人Jaan Tallinn，麻省理工學(xué)院（MIT）物理系教授Max Tegmark，牛津大學(xué)哲學(xué)教授Nick Bostrom。

FLI的擁躉除了學(xué)術(shù)界翹楚之外，還有全球首富馬斯克，甚至是美國(guó)知名演員摩根·弗里曼也榜上有名。

而提到FLI，就不得不提它的姊妹機(jī)構(gòu)牛津大學(xué)人類未來(lái)研究所（Future of Humanity Institute，F(xiàn)HI），后者自稱關(guān)注解決人類及其前景的宏觀問(wèn)題。

巧合的是，Bostrom同時(shí)也是FHI的創(chuàng)始人和主任。

僅有兩字之差的機(jī)構(gòu)名稱，同樣宏大的宗旨，關(guān)鍵的人物任職，均表明兩者有著特殊的聯(lián)系——長(zhǎng)期主義。

Bostrom是長(zhǎng)期主義的提出人，F(xiàn)HI研究助理、開放慈善項(xiàng)目官員Nick Beckstead、牛津大學(xué)哲學(xué)教授William MacAskill都對(duì)這一理論有所貢獻(xiàn)。

長(zhǎng)期主義影響力有多大？

除了FLI和FHI之外，長(zhǎng)期主義還是全球優(yōu)先事項(xiàng)研究所(Global Priorities Institute , GPI)和全球優(yōu)先事項(xiàng)研究前瞻基金會(huì)（Forethought Foundation for Global Priorities Research）的研究重點(diǎn)。

前者由牛津大學(xué)哲學(xué)教授Hilary Greaves領(lǐng)導(dǎo)，后者由牛津大學(xué)哲學(xué)教授William MacAskill管理，他也在FHI和GPI任職。

William MacAskill

長(zhǎng)期主義還是慈善巨頭有效利他主義(Effective Altruism，EA)運(yùn)動(dòng)的主要理論支撐之一，這一組織由FHI研究員、《懸崖：世界末日和人類的未來(lái)》作者Toby Ord聯(lián)合創(chuàng)立，MacAskill現(xiàn)擔(dān)任主席。

MacAskill創(chuàng)作的有關(guān)長(zhǎng)期主義的書籍《我們欠未來(lái)》在硅谷廣受贊譽(yù)，馬斯克曾稱其“與我的哲學(xué)非常吻合”。

馬斯克還是Bostrom的忠實(shí)擁護(hù)者，他經(jīng)常引用Bostrom的研究成果，還曾通過(guò)FLI向FHI捐贈(zèng)了150萬(wàn)美元。

除此以外，貝寶（PayPal）聯(lián)合創(chuàng)始人Peter Thiel曾向機(jī)器智能研究所（Machine Intelligence Research Institute）捐了一大筆錢，這一機(jī)構(gòu)對(duì)長(zhǎng)期主義深信不疑，宣稱要從超級(jí)智能機(jī)器手中拯救人類。

長(zhǎng)期主義不僅受到科技大佬的賞識(shí)，其影響力甚至滲透到了歐美政界。

總部位于華盛頓的安全和新興技術(shù)中心(Center for Security and Emerging Technologies，CSET)希望將長(zhǎng)期主義者安置進(jìn)美國(guó)政府高層，幫助塑造國(guó)家政策。

CSET由前FHI研究助理Jason Matheny建立，他曾是拜登政府的美國(guó)國(guó)家安全專家，現(xiàn)擔(dān)任美國(guó)知名智庫(kù)蘭德公司的CEO。

Ord曾為世衛(wèi)組織、世界銀行、世界經(jīng)濟(jì)論壇、美國(guó)國(guó)家情報(bào)委員會(huì)、英國(guó)首相辦公室、內(nèi)閣辦公室和政府科學(xué)辦公室提供過(guò)建議，他還曾為聯(lián)合國(guó)秘書長(zhǎng)的一份報(bào)告做出了貢獻(xiàn)，在這篇報(bào)告里特別提到了長(zhǎng)期主義。

關(guān)鍵在于，長(zhǎng)期主義可能是除了全球頂尖學(xué)府和硅谷以外，很少有人聽說(shuō)過(guò)的最具影響力的意識(shí)形態(tài)之一。

但更可怕的是，這種世界觀可能是當(dāng)今世界上最危險(xiǎn)的世俗信仰體系。

長(zhǎng)期主義是什么？

首先需要注意的是，Bostrom提出的長(zhǎng)期主義并不等同于關(guān)心長(zhǎng)期前景或后代福祉。

遠(yuǎn)不止這些。

長(zhǎng)期主義把個(gè)體的人比作人類整體。

這是什么意思？

長(zhǎng)期主義者認(rèn)為，人類有自己的“潛力”，一個(gè)超越每個(gè)人的潛力，如果不能實(shí)現(xiàn)這種潛力將是極其糟糕的。

長(zhǎng)期主義的核心教條是，從倫理上講，沒(méi)有什么比實(shí)現(xiàn)人類作為“源于地球的智慧生命”物種的潛力更重要的了。

在長(zhǎng)期主義者看來(lái)，這一點(diǎn)至關(guān)重要，甚至還創(chuàng)造了一個(gè)聽起來(lái)很嚇人的術(shù)語(yǔ)——“世界末日”。

這一術(shù)語(yǔ)是指人類潛能被破壞的任何可能性，以及任何實(shí)際上破壞了這種潛能的事件的“存在主義災(zāi)難”。

長(zhǎng)期主義為什么很危險(xiǎn)？

為什么這種意識(shí)形態(tài)非常危險(xiǎn)？

一言以蔽之，將實(shí)現(xiàn)人類潛力這一事業(yè)的重要性提升到高于一切的水平，可能會(huì)顯著增加現(xiàn)實(shí)中的人——眼下和不久的將來(lái)還活著的人——遭受極端傷害甚至死亡的可能性。

比如，長(zhǎng)期主義者認(rèn)為不需要關(guān)注全球氣候變化。

因?yàn)闅夂蜃兓粫?huì)損害人類在未來(lái)數(shù)萬(wàn)億年的長(zhǎng)期潛力，即使它會(huì)讓?shí)u嶼消失，讓數(shù)以億計(jì)的人流離失所，面臨嚴(yán)重的生存危機(jī)。

如果從宇宙的角度來(lái)看這種情況，那么即使是在未來(lái)2000年里使人口削減75%的氣候?yàn)?zāi)難，也只不過(guò)是滄海一粟。

Bostrom在談到兩次世界大戰(zhàn)、艾滋病和切爾諾貝利核事故時(shí)，稱“這樣的悲劇事件對(duì)人們來(lái)說(shuō)是受到實(shí)時(shí)影響的，但從大局來(lái)看，即使是最嚴(yán)重的災(zāi)難也僅僅是生命大海上的一片漣漪”，只是“人類的小失誤”。

這意味著，如果未來(lái)發(fā)生災(zāi)難，只要它不對(duì)人類整體構(gòu)成直接的生存風(fēng)險(xiǎn)，那么人類就不應(yīng)該太擔(dān)心，即使是對(duì)個(gè)人來(lái)說(shuō)可能是悲慘的。

Ord則認(rèn)為，人類的首要任務(wù)是，到達(dá)“人類存在安全區(qū)”，即“存在風(fēng)險(xiǎn)”較低的地方。

據(jù)他估計(jì)，氣候變化導(dǎo)致生存災(zāi)難的幾率只有千分之一，比本世紀(jì)超級(jí)智能機(jī)器毀滅人類的幾率低了整整兩個(gè)百分點(diǎn)。

Ord曾承認(rèn)，氣候?yàn)?zāi)難“有可能造成文明無(wú)法挽回的崩潰，甚至是人類完全滅絕”，同樣對(duì)現(xiàn)實(shí)中的人類（尤其是南半球的人類）造成絕對(duì)巨大的傷害，但與人類在宇宙中的長(zhǎng)期潛力相比，它的影響幾乎可以忽略不計(jì)。

如果人類將“發(fā)揮潛能”當(dāng)成第一要?jiǎng)?wù)，那么應(yīng)該用什么樣的手段去確保不偏離這一方向呢？

Bostrom本人認(rèn)為，人類應(yīng)該認(rèn)真考慮一個(gè)全球性的“入侵式監(jiān)聽系統(tǒng)”，實(shí)時(shí)監(jiān)聽地球上的每個(gè)人，增強(qiáng)預(yù)警能力。

他說(shuō)，國(guó)家應(yīng)該使用先發(fā)制人的暴力或戰(zhàn)爭(zhēng)來(lái)避免存在性災(zāi)難，并認(rèn)為拯救數(shù)十億現(xiàn)實(shí)中的人類的生命僅等同于微微降低存在風(fēng)險(xiǎn)。

舉例來(lái)說(shuō)，即使有百分之一的可能性拯救1054個(gè)未來(lái)人類的生命，那么將生存風(fēng)險(xiǎn)降低一個(gè)百分點(diǎn)的一億億分之一，其價(jià)值也相當(dāng)于拯救十億人類生命的1000億倍。

這種危險(xiǎn)的世界觀還存在其他根本性問(wèn)題。

比如，長(zhǎng)期注意與實(shí)現(xiàn)“生存安全”根本不相容，換句話說(shuō)，要真正降低未來(lái)人類滅絕風(fēng)險(xiǎn)的唯一途徑可能是完全放棄長(zhǎng)期主義意識(shí)形態(tài)。

來(lái)看看長(zhǎng)期主義者所說(shuō)的人類“長(zhǎng)期潛力”。

它主要由三部分組成：超人類主義、空間擴(kuò)張主義以及與哲學(xué)家所謂的“總體功利主義”密切相關(guān)的道德觀。

超人類主義，指人類應(yīng)該用先進(jìn)的技術(shù)來(lái)重新設(shè)計(jì)我們的身體和大腦，創(chuàng)造一個(gè)由徹底增強(qiáng)的“后人類”組成的“優(yōu)越”種族。

比如，我們可以對(duì)自己進(jìn)行基因改造以完全控制我們的情緒，或者通過(guò)神經(jīng)植入物訪問(wèn)互聯(lián)網(wǎng)，或者甚至可以將我們的思想上傳到計(jì)算機(jī)硬件以實(shí)現(xiàn)“數(shù)字永生”。

將超人類主義和長(zhǎng)期主義聯(lián)系起來(lái)，根據(jù)Bostrom 和Ord的說(shuō)法，成不了所謂的后人類會(huì)阻礙人類實(shí)現(xiàn)巨大而光榮的潛力，這將是“存在主義災(zāi)難”。

空間擴(kuò)張主義指的是我們必須盡可能多地殖民未來(lái)的光錐（時(shí)空中的面）: 即理論上我們可以進(jìn)入的時(shí)空區(qū)域。

根據(jù)長(zhǎng)期主義者的觀點(diǎn)，我們未來(lái)的光錐包含了大量可利用的資源，他們稱之為負(fù)熵的“宇宙稟賦”。

Ord寫道，單單銀河系的直徑就有15萬(wàn)光年，包含了超過(guò)1000億顆恒星，其中大部分都有自己的行星。要實(shí)現(xiàn)人類的長(zhǎng)期潛力，我們只需要最終到達(dá)附近的一顆恒星，建立一個(gè)足夠堅(jiān)實(shí)的立足點(diǎn)，創(chuàng)造一個(gè)新的繁榮社會(huì)。

但為什么要這么做？讓新的后人類文明灑滿宇宙有什么重要的？

這就不得不提第三個(gè)組成部分:總功利主義，這里簡(jiǎn)稱為“功利主義”。

一些長(zhǎng)期主義者堅(jiān)稱他們不是功利主義者，在一些人眼中，這只是一種煙霧彈行為。

比如，EA運(yùn)動(dòng)可能只是披著利他主義外衣的功利主義。

這項(xiàng)運(yùn)動(dòng)被稱為EA運(yùn)動(dòng)之前，Ord等早期成員曾認(rèn)真考慮過(guò)稱之為“有效功利主義社區(qū)”。

功利主義并不在意價(jià)值是如何在時(shí)間和空間中分配的，重要的是總凈額。

比如，假設(shè)現(xiàn)在有1萬(wàn)億人，每個(gè)人的生命價(jià)值為1，那么總價(jià)值為1萬(wàn)億，而如果現(xiàn)在有10億人，每個(gè)人的生命價(jià)值為999，那么總價(jià)值為9990億。在功利主義者眼中，第一個(gè)世界的價(jià)值更高。

這里的推測(cè)基于這樣一個(gè)觀點(diǎn)，即人只是價(jià)值的“容器”，本身并沒(méi)有價(jià)值，人類存在的意義僅限于“容納”了價(jià)值，更多的人意味著更多的價(jià)值。

簡(jiǎn)而言之，在功利主義者看來(lái)，人的存在是為了價(jià)值最大化，而不是為了造福人民。

這就是為什么長(zhǎng)期主義者癡迷于計(jì)算未來(lái)有多少人可以存在。

Bostrom曾估計(jì)未來(lái)世界人類數(shù)量將達(dá)到1054，這一數(shù)字在他2014年出版的《超級(jí)智能》一書中更高，為1058。

最后總結(jié)一下長(zhǎng)期主義者眼中的人類長(zhǎng)期潛力：通過(guò)數(shù)字化技術(shù)增強(qiáng)的人類遍布銀河系。

為了長(zhǎng)期主義者的目標(biāo)，人類不能把資源浪費(fèi)在解決全球貧困問(wèn)題和全球氣候變暖上，反而應(yīng)該把更多精力放在超級(jí)智能機(jī)器上，建立一個(gè)全球監(jiān)視系統(tǒng)，發(fā)動(dòng)“先發(fā)制人”的戰(zhàn)爭(zhēng)。

Beckstead甚至認(rèn)為，人類應(yīng)該優(yōu)先考慮富裕國(guó)家人民的生活，而非貧窮國(guó)家人民，因?yàn)榍罢邔?duì)未來(lái)的影響絕對(duì)更加重要。

為了實(shí)現(xiàn)價(jià)值最大化，人類必須開發(fā)越來(lái)越強(qiáng)大、越來(lái)越危險(xiǎn)的技術(shù); 如果做不到這一點(diǎn)，本身就將是一場(chǎng)生死存亡的災(zāi)難。不過(guò)，技術(shù)并不是導(dǎo)致全球性問(wèn)題日益惡化的根本原因，也不是停止創(chuàng)造更多技術(shù)的理由。

有人認(rèn)為，人類需要先進(jìn)的技術(shù)逃離可能在未來(lái)十億年內(nèi)被太陽(yáng)毀滅的地球，但在此之前，濫用技術(shù)更有可能導(dǎo)致人類滅絕。

本文來(lái)自微信公眾號(hào)“華爾街見聞”（ID:wallstreetcn），作者：卜淑情，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com