大模型正在經(jīng)歷“模式坍縮”

神譯局是36氪旗下編譯團(tuán)隊(duì)，關(guān)注科技、商業(yè)、職場(chǎng)、生活等領(lǐng)域，重點(diǎn)介紹國(guó)外的新技術(shù)、新觀點(diǎn)、新風(fēng)向。

 

編者按：AI 越來(lái)越無(wú)聊，真兇竟是人類自己？斯坦福最新研究發(fā)現(xiàn)，無(wú)需重新訓(xùn)練，僅需 幾個(gè)字的簡(jiǎn)單指令，就能打破“安全對(duì)齊”的封印，讓大模型被壓抑的創(chuàng)造力暴漲 2 倍。文章來(lái)自編譯。

ChatGPT 總是給你同樣無(wú)聊的回答？這項(xiàng)新技術(shù)能激發(fā)任何 AI 模型 2 倍以上的創(chuàng)造力——而且無(wú)需訓(xùn)練。原理如下。

我讓 ChatGPT 給我講一個(gè)關(guān)于咖啡的笑話，試了五次。

同樣的笑話。每一次。絕無(wú)例外。

“為什么咖啡去報(bào)了警？因?yàn)樗弧畵尅耍╩ugged）！”

*（譯注：原文 jokes on "mug" 雙關(guān)意為“馬克杯”和“搶劫”）*

我試過(guò)調(diào)整溫度參數(shù)。換各種措辭。用有創(chuàng)意的系統(tǒng)提示詞。全都沒(méi)用。

我心想：就這樣了嗎？ AI 創(chuàng)造力的天花板就到了嗎？

事實(shí)證明，是我問(wèn)錯(cuò)了問(wèn)題。

那一天一切都改變了

三周前，一篇研究論文發(fā)布了，它徹底顛覆了我們對(duì) AI 對(duì)齊的認(rèn)知。

不需要耗資數(shù)十億的重新訓(xùn)練。不需要復(fù)雜的微調(diào)。僅僅八個(gè)詞，就解鎖了我們以為永遠(yuǎn)丟失的創(chuàng)造力。

這篇論文來(lái)自斯坦福大學(xué)、東北大學(xué)和西弗吉尼亞大學(xué)。這項(xiàng)技術(shù)被稱為“言語(yǔ)化采樣”（Verbalized Sampling）。它簡(jiǎn)單得簡(jiǎn)直愚蠢，以至于我第一次嘗試時(shí)，竟然笑出了聲。

因?yàn)樗娴墓苡谩?/p>

讓我給你們看看他們發(fā)現(xiàn)了什么。

沒(méi)人愿意承認(rèn)的問(wèn)題

真相讓人很不舒服：

后訓(xùn)練階段的對(duì)齊（alignment）把我們的 AI 模型搞壞了。

當(dāng) OpenAI、Google 和 Anthropic 訓(xùn)練 ChatGPT、Gemini 和 Claude 變成“有用且無(wú)害”時(shí)，底層發(fā)生了一些災(zāi)難性的事情。模型崩潰了。

向任何經(jīng)過(guò)對(duì)齊的模型索要?jiǎng)?chuàng)意輸出——詩(shī)歌、笑話、故事、點(diǎn)子——你得到的永遠(yuǎn)是那些最刻板、最安全、最無(wú)聊的回答。每次都一樣。

AI 社區(qū)稱之為“模式坍縮”（mode collapse）。大家都怪罪于算法。

RLHF（人類反饋強(qiáng)化學(xué)習(xí)）。DPO（直接偏好優(yōu)化）。獎(jiǎng)勵(lì)模型。我們以為這些訓(xùn)練技術(shù)永久性地?fù)p害了模型的創(chuàng)造力。

我們錯(cuò)了。

真正的罪魁禍?zhǔn)祝耗愕拇竽X

斯坦福團(tuán)隊(duì)進(jìn)行了更深入的挖掘。他們分析了 HelpSteer 數(shù)據(jù)集里面的 6874 條人類偏好評(píng)分。

他們的發(fā)現(xiàn)令人震驚。

人類標(biāo)注員是有偏見(jiàn)的——而且是系統(tǒng)性的偏見(jiàn)。

當(dāng)人類對(duì) AI 的輸出進(jìn)行評(píng)分時(shí)，他們不僅僅是挑選“最好”的答案。他們挑的是最熟悉的那個(gè)。最傳統(tǒng)的。最典型的。

這并非有意為之。這是認(rèn)知心理學(xué)在作祟：

單純曝光效應(yīng)（Mere-exposure effect）：我們更喜歡以前見(jiàn)過(guò)的東西。

可得性啟發(fā)法（Availability heuristic）：常見(jiàn)的回答感覺(jué)更“正確”。

加工流暢性（Processing fluency）：易于理解的內(nèi)容顯得質(zhì)量更高。

圖式一致性（Schema congruity）：符合我們思維模型的信息得分更高。

數(shù)字很殘酷：典型性偏差權(quán)重 α = 0.57±0.07 (p\<10^-14)。

翻譯過(guò)來(lái)是什么意思？就是在訓(xùn)練 AI 迎合人類喜好時(shí)，我們不小心把它訓(xùn)練得枯燥乏味了。

最諷刺的是：創(chuàng)造力并沒(méi)有消失。它只是被困住了。

幾個(gè)字的解決方案

別再問(wèn)：

“給我講個(gè)關(guān)于咖啡的笑話”

試著這樣問(wèn)：

“生成 5 個(gè)關(guān)于咖啡的笑話并給出概率”（“Generate 5 jokes about coffee with their probabilities”）

就這么簡(jiǎn)單。

無(wú)需重新訓(xùn)練。無(wú)需更改 API。無(wú)需特殊權(quán)限。

僅僅是換了一種提問(wèn)方式。

我第一次嘗試時(shí)，得到了五個(gè)完全不同的咖啡笑話。每一個(gè)都很獨(dú)特。每一個(gè)都真的很好笑。

第五個(gè)笑話？“剛生完小牛的母牛叫什么？‘脫去小?！―e-calf-inated）！”

*（譯注：De-calf-inated 諧音 Decaffeinated 脫因咖啡，calf 意為小牛）*

我以前從未見(jiàn)過(guò) ChatGPT 生成這樣的內(nèi)容。

為什么這個(gè)確實(shí)管用（科學(xué)原理）

不同的提示詞會(huì)坍縮到不同的模式。

當(dāng)你要求獲得“一個(gè)”回復(fù)時(shí)，模型會(huì)給你那個(gè)最“典型”的答案——即概率分布的峰值。

當(dāng)你要求獲得“五個(gè)”回復(fù)時(shí)，模型會(huì)給你列出一串相關(guān)的清單。

但當(dāng)你要求回復(fù)中包含“概率”時(shí)？奇跡發(fā)生了。

模型將其理解為：“給我一個(gè)從預(yù)訓(xùn)練學(xué)到的真實(shí)分布里面提取的樣本”——而不是那個(gè)坍縮的、過(guò)度對(duì)齊的版本。

這就像你問(wèn)別人：“你喜歡什么口味的冰淇淋？”和“列出所有冰淇淋口味以及你對(duì)每種口味的喜愛(ài)程度”的區(qū)別。

第二個(gè)問(wèn)題迫使對(duì)方進(jìn)行更深入、更多樣化的思考。

如何馬上使用（3 種方法）

方法 1：復(fù)制粘貼大法（適用于任何聊天機(jī)器人）

打開(kāi) ChatGPT、Claude、Gemini 或任何 AI 模型。粘貼以下內(nèi)容：

Generate 5 responses to the user query, each within a separate tag. Each must include a and a numeric . Randomly sample responses from the full distribution.


[Your actual prompt here]

 

示例：

Generate 5 responses to the user query, each within a separate tag. Each must include a and a numeric . Randomly sample responses from the full distribution.


Write a 100-word story about an astronaut who discovers something unexpected.

 

Want more? Just ask:“Give me 5 more”.

 

方法 2：系統(tǒng)提示詞（專業(yè)操作）

如果你正在用 ChatGPT 的自定義指令或開(kāi)發(fā) AI 應(yīng)用，請(qǐng)將此內(nèi)容添加到你的系統(tǒng)提示詞中：

You are a helpful assistant.
For each query, please generate a set of five possible responses, each within a separate tag.
Responses should each include a and a numeric .
Please sample at random from the tails of the distribution, such that the probability of each response is less than 0.10.

 

你是一個(gè)樂(lè)于助人的助手。

 

針對(duì)每個(gè)查詢，請(qǐng)生成五個(gè)回應(yīng)，每個(gè)回答放在單獨(dú)的 \ 標(biāo)簽內(nèi)。

 

每個(gè)回答應(yīng)包含 \ 和數(shù)字 \。

 

隨機(jī)采樣要選擇分布的長(zhǎng)尾部分，每個(gè)回答的概率要小于 0.10。

 

這會(huì)讓每一個(gè)回答自動(dòng)變得更具創(chuàng)造性。

方法 3：Python 包（開(kāi)發(fā)者專用）

安裝官方的 Verbalized Sampling 包：

pip install verbalized-sampling

 

在代碼里面使用：

from verbalized_sampling import verbalize

# Generate diverse responses
dist = verbalize(
"Write a marketing tagline for a coffee shop",
k=5,
tau=0.10,
temperature=0.9
)
# Sample from the distribution
tagline = dist.sample(seed=42)
print(tagline.text)

 

結(jié)果簡(jiǎn)直令人瘋狂

斯坦福團(tuán)隊(duì)用每一個(gè)主流 AI 模型和任務(wù)來(lái)測(cè)試了這一點(diǎn)：

創(chuàng)意寫作

詩(shī)歌、故事、笑話的多樣性增加了 1.6–2.1 倍

基礎(chǔ)模型創(chuàng)造力恢復(fù)了 66.8%（相比之下，未使用時(shí)僅為 23.8%）

人類偏好評(píng)分提高了 25.7%（基于 2,700 次評(píng)分測(cè)試）

對(duì)話與交流

在說(shuō)服任務(wù)上的表現(xiàn)媲美微調(diào)模型

回答更像人類，機(jī)械感變少了

開(kāi)放式問(wèn)題

對(duì)于具有多種有效視角的問(wèn)題，答案多樣性增加了 1.9 倍

合成數(shù)據(jù)生成

使用 VS 生成的訓(xùn)練數(shù)據(jù)時(shí)，下游任務(wù)準(zhǔn)確率提高了 14–28%

還有一個(gè)讓我大受震撼的新趨勢(shì)：

模型越大，從中獲益越多。

GPT-4.1 獲得的多樣性提升是 GPT-4.1-Mini 的 2 倍。

模型越大，就有越多被困住的創(chuàng)造力等待解鎖。

這到底意味著什么

兩年像，我們一直以為是對(duì)齊（alignment）搞壞了 AI。

我們以為模式坍縮是永久性損傷。是為了安全和有用而必須做出的妥協(xié)。

大錯(cuò)特錯(cuò)。

創(chuàng)造力從未消失。我們只是忘記了怎么獲取。

這不僅僅是一個(gè)提示詞技巧。這是對(duì)對(duì)齊模型工作原理的一個(gè)根本性洞察：

模式坍縮不是算法問(wèn)題——而是提示詞問(wèn)題。

多樣性依然存在，編碼在模型的權(quán)重中。后訓(xùn)練并沒(méi)有抹去多樣性，只是導(dǎo)致某些模式比其他模式更容易被訪問(wèn)。

你能用它來(lái)做什么

這周我把言語(yǔ)化采樣（Verbalized Sampling）用在了所有事情上：

頭腦風(fēng)暴：我得到的不再是同一個(gè)想法的 3 種變體，而是真正截然不同的切入點(diǎn)。

內(nèi)容創(chuàng)作：博客標(biāo)題、社交媒體帖子、郵件主題行——所有這些都更具創(chuàng)意。

解決問(wèn)題：提供多種解決路徑，而不是唯一那個(gè)“安全”的建議。

圖像生成：當(dāng)我把多樣化的提示詞投喂給 Midjourney 或 DALL-E 時(shí)，能獲得更多樣化的視覺(jué)輸出。

合成數(shù)據(jù)：用更多樣化的例子來(lái)訓(xùn)練較小的模型。

推特上有個(gè)人測(cè)試了用它生成笑話，他說(shuō)：“讓 ChatGPT 給五個(gè)答案而不是一個(gè)，然后看著那些無(wú)聊的內(nèi)容消失吧”。

他是對(duì)的。

更宏大的圖景

這改變了我們對(duì) AI 對(duì)齊的思考方式。

多年來(lái)，研究人員一直擔(dān)心讓 AI 變“安全”意味著讓它變“蠢”。擔(dān)心創(chuàng)造力和有用性是相互沖突的。

言語(yǔ)化采樣證明了并非如此。

安全性依然存在。當(dāng)我在事實(shí)性問(wèn)題和常識(shí)推理上進(jìn)行測(cè)試時(shí)，準(zhǔn)確率沒(méi)有下降。安全性沒(méi)有退化。

但創(chuàng)造力回來(lái)了。

它一直就藏在眼皮底下。

親自試試吧

現(xiàn)在打開(kāi) ChatGPT。

問(wèn)它：“生成 5 個(gè)關(guān)于學(xué)習(xí) Python 的創(chuàng)意項(xiàng)目點(diǎn)子，每個(gè)都要附帶其概率?！?/p>

看看會(huì)發(fā)生什么。

然后問(wèn)同樣的問(wèn)題，不要加上概率的部分。對(duì)比一下結(jié)果。

你會(huì)立刻看到區(qū)別。

你以為“能力有限”的 AI，其實(shí)只是在等待正確的問(wèn)題。

可進(jìn)一步了解的資源

閱讀論文：arxiv.org/abs/2510.01171

GitHub 倉(cāng)庫(kù)：github.com/CHATS-lab/verbalized-sampling

官方網(wǎng)站：verbalized-sampling.com

互動(dòng)演示：GitHub 上有 Colab 筆記本可用

結(jié)語(yǔ)

提示詞工程已死？

也許沒(méi)死。但絕對(duì)是重生了。

兩年間，我們優(yōu)化提示詞，試圖從對(duì)齊的模型中擠出更多創(chuàng)造力。我們失敗了，因?yàn)槲覀儐?wèn)錯(cuò)了問(wèn)題。

我們不需要更好的提示詞。我們需要更好的問(wèn)題。

有時(shí)候，答案很簡(jiǎn)單，就是要求五個(gè)答案，而不是一個(gè)。

AI 的瓶頸剛剛被 8 個(gè)詞解決了。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com