Jay 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI

面對(duì)谷歌TPU帶來(lái)的競(jìng)爭(zhēng)壓力，英偉達(dá)迅速出手，以200億美元投資芯片新貴Groq，這一舉措既是其面向AI新時(shí)代的重要布局，也側(cè)面反映出對(duì)新興芯片技術(shù)的重視。

那么，Groq究竟能為英偉達(dá)帶來(lái)什么？知名科技投資人Gavin Baker的分析指出，答案指向英偉達(dá)的推理短板。

推理領(lǐng)域，Groq的LPU速度遠(yuǎn)超GPU、TPU及多數(shù)ASIC。

Gavin Baker

這一觀點(diǎn)獲網(wǎng)友認(rèn)可：

GPU架構(gòu)難以滿足推理對(duì)低延遲的需求，HBM顯存速度是瓶頸。

網(wǎng)友觀點(diǎn)

有網(wǎng)友質(zhì)疑LPU的SRAM在長(zhǎng)上下文處理上的局限，Gavin認(rèn)為可通過(guò)產(chǎn)品混搭解決。

Gavin Baker

具體來(lái)看：

Groq：英偉達(dá)200億購(gòu)入的推理“疫苗”

Gavin指出，GPU在推理場(chǎng)景的適配問(wèn)題源于prefill和decode兩個(gè)階段的不同需求。

prefill階段：模型“讀題”，一次性處理所有輸入token，適合GPU的并行計(jì)算能力，更需大上下文容量，延遲可通過(guò)“思考中”提示掩蓋。

decode階段：串行生成token，用戶直觀感受輸出過(guò)程，延遲影響體驗(yàn)。GPU依賴HBM顯存，生成每個(gè)token需反復(fù)讀取數(shù)據(jù)，導(dǎo)致算力閑置、效率低下。

Groq的LPU采用片上SRAM，無(wú)需外部讀取，速度比GPU快100倍，單用戶場(chǎng)景下每秒可生成300-500個(gè)token，且能滿負(fù)荷運(yùn)行，速度領(lǐng)先GPU、TPU及多數(shù)ASIC。

但LPU存在內(nèi)存短板，單芯片SRAM僅230MB，遠(yuǎn)低于英偉達(dá)H200的141GB HBM3e顯存。運(yùn)行Llama-3 70B模型需數(shù)百顆LPU，而GPU僅需2-4張，導(dǎo)致LPU整體硬件成本較高。

用戶是否愿為“速度”買(mǎi)單？

從Groq的業(yè)績(jī)看，“速度”需求真實(shí)且增長(zhǎng)迅速。對(duì)英偉達(dá)而言，這不僅是新業(yè)務(wù)機(jī)會(huì)，更是防御競(jìng)爭(zhēng)的關(guān)鍵——若錯(cuò)失推理風(fēng)口，可能重蹈當(dāng)年被顛覆的覆轍。

“鏟子”進(jìn)入新時(shí)代

谷歌TPU的成功證明GPU并非AI唯一選擇，其自研芯片降低了訓(xùn)練和推理成本。隨著AI競(jìng)爭(zhēng)轉(zhuǎn)向應(yīng)用層，推理速度成為體驗(yàn)關(guān)鍵。

英偉達(dá)投資Groq，既是承認(rèn)推理短板，也是擴(kuò)張布局。但推理芯片屬于高銷量、低利潤(rùn)領(lǐng)域，與GPU 70-80%的毛利率形成反差，英偉達(dá)在新賽道或難延續(xù)過(guò)往優(yōu)勢(shì)。

參考鏈接：[1]https://x.com/gavinsbaker/status/2004562536918598000[2]https://www.uncoveralpha.com/p/the-20-billion-admission-why-nvidia

本文來(lái)自微信公眾號(hào)“量子位”，作者：關(guān)注前沿科技，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com