99.9%權(quán)重清零，大模型內(nèi)部思維變透明。

智東西12月15日消息，OpenAI近日開源了全新模型Circuit-Sparsity，其參數(shù)量僅為0.4B，且99.9%的權(quán)重為零。

Circuit-Sparsity開源（來源：Hugging Face）

該技術(shù)旨在解決大模型的可解釋性問題，核心是回答“模型為何做出該決策？”以及“它如何得出結(jié)果？”這兩個關(guān)鍵問題。

在AI快速發(fā)展的當(dāng)下，大語言模型（LLM）雖展現(xiàn)出強(qiáng)大能力，但其內(nèi)部運(yùn)作機(jī)制卻如同神秘的“黑箱”。

人們既不清楚模型為何給出某個回答，也不了解它如何從海量數(shù)據(jù)中提取知識。這種不可解釋性，成為AI在醫(yī)療、金融、法律等高風(fēng)險領(lǐng)域落地的主要障礙。

針對此，OpenAI團(tuán)隊訓(xùn)練出一款權(quán)重稀疏的Transformer模型，強(qiáng)制其權(quán)重矩陣中99.9%的權(quán)重為零，僅保留0.1%的非零權(quán)重。

在這項研究中，模型內(nèi)部形成了緊湊且可讀的“電路”（Circuits），每個電路僅保留保障模型性能的關(guān)鍵節(jié)點(diǎn)，神經(jīng)元的激活也具有明確語義。

有外網(wǎng)網(wǎng)友表示，這一技術(shù)可能終結(jié)當(dāng)下的MoE（混合專家模型），并指出“我們一直將權(quán)重隔離到‘專家’中以粗略近似稀疏性，只是為了適配稠密矩陣核的要求?！?/p>

還有網(wǎng)友將該研究比作給模型“減肥到只剩骨架”，稱其有趣之處在于不試圖拆解稠密模型，而是直接構(gòu)建稀疏模型，從而打開了黑匣子。

不過也有網(wǎng)友持不同觀點(diǎn)，認(rèn)為看不出MoE模型會因此終結(jié)，并解釋該技術(shù)針對的是XAI（可解釋AI），其訓(xùn)練成本高達(dá)100-1000倍，回歸研究時代并不意味著讓事情更復(fù)雜。

目前該模型受計算效率瓶頸限制，運(yùn)算速度比密集模型慢100至1000倍，現(xiàn)階段直接應(yīng)用于千億參數(shù)級前沿大模型尚不現(xiàn)實(shí)。

開源地址：

Github：

https://github.com/openai/circuit_sparsity

Hugging Face：

https://huggingface.co/openai/circuit-sparsity

01.訓(xùn)練稀疏Transformer，OpenAI理清模型內(nèi)部計算

要理解這項研究的突破，需先明白傳統(tǒng)大模型難以解釋的原因。

標(biāo)準(zhǔn)密集模型（Dense Models）中存在“超級位置”（Superposition）現(xiàn)象，即模型為存儲海量信息，迫使單個神經(jīng)元或權(quán)重矩陣同時編碼多個不同概念。

這種特征糾纏導(dǎo)致嚴(yán)重后果，如決策不可追溯、邏輯混亂，模型輸出結(jié)果時，無法確定具體是哪個“概念”在起作用。

以往研究常從拆解密集糾結(jié)的網(wǎng)絡(luò)入手，而OpenAI團(tuán)隊采取反直覺策略，訓(xùn)練權(quán)重稀疏的Transformer模型，強(qiáng)制99.9%權(quán)重為零，僅保留0.1%非零權(quán)重。

這一限制使模型只能使用極少的神經(jīng)元連接，卻從根本上理清了內(nèi)部計算。

具體技術(shù)手段包括：

1、動態(tài)剪枝與稀疏約束：訓(xùn)練中動態(tài)執(zhí)行剪枝，每步優(yōu)化后僅保留絕對值最大的權(quán)重（Top-K稀疏化）。

2、激活稀疏化：在殘差流、注意力鍵/值矩陣等關(guān)鍵位置引入AbsTopK激活函數(shù)，強(qiáng)制僅保留前25%激活值。

3、架構(gòu)微調(diào)：用RMSNorm替代傳統(tǒng)LayerNorm以避免破壞稀疏性，同時引入“Bigram表”處理簡單模式匹配，釋放主干容量處理復(fù)雜邏輯推理。

02.模型內(nèi)部形成緊湊可讀的“電路”，規(guī)模縮減16倍

該技術(shù)最大成果是模型內(nèi)部形成緊湊可讀的“電路”（Circuits）。

傳統(tǒng)密集模型完成任務(wù)需成千上萬個節(jié)點(diǎn)協(xié)同，邏輯分散難捕捉；而稀疏模型中出現(xiàn)極簡計算路徑：

1、極簡邏輯單元：如處理“字符串閉合”任務(wù)時，模型僅用12個節(jié)點(diǎn)構(gòu)建完美電路，清晰展示檢測單/雙引號是否閉合的過程。

2、可讀特征：神經(jīng)元激活具有明確語義，部分神經(jīng)元專門檢測“單引號”，部分像“計數(shù)器”追蹤列表嵌套深度。

3、規(guī)模縮減16倍：對比實(shí)驗(yàn)顯示，相同任務(wù)損失下，稀疏模型電路規(guī)模比密集模型小16倍，解讀AI思維難度大幅降低。

團(tuán)隊通過“均值消融”實(shí)驗(yàn)驗(yàn)證電路真實(shí)性：移除非電路節(jié)點(diǎn)對任務(wù)幾乎無影響，移除關(guān)鍵電路節(jié)點(diǎn)則模型性能驟降，證實(shí)電路是任務(wù)執(zhí)行的“必經(jīng)之路”。

03.稀疏模型解讀力強(qiáng)但速度慢千倍，OpenAI提出“橋梁網(wǎng)絡(luò)”

為測量稀疏模型計算解耦程度，團(tuán)隊設(shè)計簡單算法任務(wù)，將每個模型剪裁為能執(zhí)行任務(wù)的最小電路并檢查簡潔度。

研究發(fā)現(xiàn)，用更大規(guī)模、更高稀疏度的模型訓(xùn)練，可依托更簡潔電路構(gòu)建性能更強(qiáng)的模型。

從可解釋性與性能對比圖可見，稀疏模型規(guī)模固定時，提升稀疏度（更多權(quán)重置零）雖會降低性能，但能顯著增強(qiáng)可解釋性。

盡管稀疏模型在可解釋性上優(yōu)勢明顯，但其應(yīng)用受計算效率瓶頸限制：稀疏矩陣運(yùn)算無法用Tensor Cores加速，速度比密集模型慢100至1000倍，現(xiàn)階段直接應(yīng)用于千億參數(shù)大模型不現(xiàn)實(shí)。

為此，團(tuán)隊提出“橋梁網(wǎng)絡(luò)”（Bridges）方案：

1、編碼-解碼映射：在稀疏模型與預(yù)訓(xùn)練密集模型間插入編碼器-解碼器對。

2、跨模型干預(yù)：編碼器將密集模型激活映射到稀疏空間，解碼器反向轉(zhuǎn)換。

該方案可在透明的稀疏模型上修改特征，再通過橋梁將擾動映射回黑箱密集模型，實(shí)現(xiàn)對現(xiàn)有大模型的可解釋性行為編輯。

04.結(jié)語：OpenAI提出稀疏化新路徑，推動大模型從黑箱走向可解釋

OpenAI的這項研究是AI可解釋性領(lǐng)域的重要突破，印證了理解AI并非遙不可及。

研究團(tuán)隊在論文博客中表示，這是邁向宏大目標(biāo)的早期探索，接下來計劃將技術(shù)擴(kuò)展到更大規(guī)模模型，進(jìn)一步解釋更多模型行為邏輯。

為解決稀疏模型訓(xùn)練效率低的問題，團(tuán)隊提出兩個后續(xù)方向：一是從現(xiàn)有密集模型提取稀疏電路，替代從頭訓(xùn)練稀疏模型；二是研發(fā)更高效的可解釋模型訓(xùn)練技術(shù)，推動落地。

“我們的目標(biāo)是逐步擴(kuò)大可可靠解釋的模型范圍，打造工具讓未來AI系統(tǒng)更易分析、調(diào)試與評估。”研究團(tuán)隊在博客中寫道。

本文來自微信公眾號“智東西”（ID：zhidxcom），作者：王涵，編輯：心緣，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com