英偉達(dá)怒花 200 億美元，買下了一家和自個(gè)路線完全相反的達(dá)史公司？
事情是這樣的，上周，上最加拿大28必中打法領(lǐng)投 Groq 的次收次 Disruptive CEO 放出了消息，老黃準(zhǔn)備吞掉自己的購(gòu)也潛在競(jìng)爭(zhēng)對(duì)手，同為芯片制造商的最招 Groq。
而這個(gè)英偉達(dá)史上最大收購(gòu)案，英偉立刻在科技圈掀起了不小的達(dá)史波瀾。
大伙兒有說(shuō)英偉達(dá)加強(qiáng)壟斷的，有分析 Groq 技術(shù)優(yōu)勢(shì)的次收次，不過討論最多的購(gòu)也，還是最招老黃真被前一陣子谷歌的 TPU 給刺激到了。。英偉。達(dá)史
雖然說(shuō)起 Groq，上最各位差友應(yīng)該都比較陌生。如果你覺得聽說(shuō)過，那大概率是加拿大28必中打法跟馬斯克家的 grok 搞混了。
但這家 2016 年創(chuàng)立的公司，來(lái)頭可不小。它今年的估值已經(jīng)達(dá)到了 70 億美元以上，創(chuàng)始人正是谷歌第一代 TPU 的設(shè)計(jì)師 Jonathan Ross。
Groq 的核心產(chǎn)品也很有意思，是一種叫 LPU（ Language Processing Unit，語(yǔ)言處理單元 ）的新型專用芯片，和 谷歌搞 AI 計(jì)算的專用芯片 TPU 放一塊兒，確實(shí)有點(diǎn)宛宛類卿那意思。
LPU 同樣拋棄了 GPU 的通用性，專門為加速 AI 計(jì)算而生。
從名字上也看得出來(lái)，它甚至還要更專精一點(diǎn)，純純是針對(duì)語(yǔ)言模型設(shè)計(jì)的。
然而，它又是個(gè)大大的異類。因?yàn)?LPU 沒有 HBM，也就是沒有大伙兒常說(shuō)的顯存。
一般來(lái)講，模型訓(xùn)練和推理，怎么也得來(lái)一個(gè)顯存。比如咱們要玩?zhèn)€啥模型，看見說(shuō)明書里寫著，最低配置 3090，潛臺(tái)詞就是顯存沒到 24G，模型跑不起來(lái)。
畢竟大模型每計(jì)算一步，都得從存儲(chǔ)容器里把參數(shù)取到計(jì)算核心，算完了再放回去。而顯存是模型參數(shù)最理想的集散中心，它離計(jì)算核心近，容量較大，參數(shù)來(lái)來(lái)回回搬運(yùn)非常快。
要是沒有顯存，參數(shù)存到硬盤里，咱就等吧，模型立刻開爬，算一個(gè)字兒都得憋半天。
即使是 TPU，后來(lái)為了兼?zhèn)淠Ｐ陀?xùn)練，也乖乖添加了顯存模塊。
但 Jonathan Ross 不忘初心，LPU 承接第一代 TPU 的概念，只搞模型推理，完全不加顯存。
可沒有顯存，模型的參數(shù)能存放在哪呢？
LPU 盯上了一個(gè)離計(jì)算核心更近的存儲(chǔ)單元 —— SRAM。問題是，受到晶體管的物理體積限制，它的存儲(chǔ)容量極小，每張卡只有幾十到幾百 MB，根本裝不下模型所有參數(shù)。
所以，Groq 直接暴力組裝千卡萬(wàn)卡集群，每張卡上只存模型的一小部分，也只算這一小部分，最后合體輸出。
通過這種方式，LPU 的數(shù)據(jù)存取速度能達(dá)到 GPU 的 20 倍以上，模型推理快到飛起。
靠著奇特但有效的技術(shù)路線，Groq 迅速圈了一波粉。在他們擺在首頁(yè)中央的一張統(tǒng)計(jì)圖上，模型推理業(yè)務(wù)已經(jīng)壓了亞馬遜一頭，僅次于微軟了。
其實(shí)早在一年前，就有不少人覺得 Groq LPU 要對(duì)英偉達(dá) GPU 來(lái)個(gè)大沖擊，把 LPU 和 GPU 拎出來(lái)反復(fù)摩擦做比較。
畢竟在當(dāng)時(shí)英偉達(dá) GPU 一家獨(dú)大的時(shí)候，Groq 能比行業(yè)龍頭推理速度再快 10 倍，簡(jiǎn)直像天神下凡。
當(dāng)然，有人看好，就有人看衰。
像是前阿里副總裁賈揚(yáng)清就做過一個(gè)粗略的測(cè)算，用 LPU 運(yùn)營(yíng)三年，它的采購(gòu)成本是英偉達(dá) H100 的 38 倍，運(yùn)營(yíng)成本則達(dá)到 10 倍，意思是 LPU 想替代 GPU，還差得遠(yuǎn)呢。
現(xiàn)在好嘛，不用比了。英偉達(dá)：我全都要。
但英偉達(dá)的 “ 收購(gòu) ”，可不是拋出 200 億美元，Groq 就歸我了。作為一個(gè)已經(jīng)不可能悶聲發(fā)大財(cái)?shù)木揞^，壟斷變成了懸在英偉達(dá)脖子上的一把大刀。
他們用了一種這幾年在硅谷屢見不鮮的剝殼式收購(gòu)，把 Groq 直接挖空了。
像是微軟合并 Inflection AI，亞馬遜高走 Adept 等等，都是把技術(shù)挖走了，核心人才挖沒了，留下個(gè)空殼公司，普通員工一點(diǎn)湯也喝不著。
因此，剝殼式收購(gòu)當(dāng)屬最招罵的一種，沒有之一。
所以明面上，英偉達(dá)并沒有承認(rèn)收購(gòu) Groq，而是和他們簽署了一份非獨(dú)家許可協(xié)議，授權(quán) NVIDIA 使用 Groq 的推理技術(shù)。
意思就是，這技術(shù)你也能用，我也能用，賣藝不賣身嗷。
實(shí)際呢，Groq 的核心技術(shù)給英偉達(dá)了，Groq 的首席執(zhí)行官 Jonathan Ross、總裁 Sunny Madra、以及幾位專注于超高效 AI 推理芯片的核心工程師，也都被英偉達(dá)以雇傭的形式搞到手了。
但說(shuō)到底，英偉達(dá)這次寧可背著罵名，冒著壟斷調(diào)查的風(fēng)險(xiǎn)，也要把 Groq 打包帶走，其實(shí)預(yù)示了 AI 行業(yè)的一個(gè)大趨勢(shì)：大煉模型的時(shí)代還在延續(xù)，但模型推理部署的長(zhǎng)尾效應(yīng)，讓模型推理的需求會(huì)逐漸超過模型訓(xùn)練。
彭博社今年四月發(fā)表的一篇報(bào)道就表示，目前，訓(xùn)練成本占大型云計(jì)算公司數(shù)據(jù)中心支出的 60% 之多，但分析師預(yù)計(jì)，到 2032 年，這一比例將降至 20% 左右。
以前大伙兒不計(jì)成本買 H100 是為了把模型訓(xùn)出來(lái)，但現(xiàn)在，像 Groq 這樣主打又快又省的推理芯片，可能才是大廠們以后爭(zhēng)搶的核心。
可以說(shuō)，英偉達(dá)通過這次曲線收購(gòu)，補(bǔ)齊了自己在非 HBM 架構(gòu)上的最后一塊短板。
這不僅是老黃對(duì)谷歌 TPU 路線的一次遲到致敬，也是在表明，無(wú)論是模型的訓(xùn)練，還是模型的推理，所有的算力稅，大胃袋的英偉達(dá)，還是一分都不想放過。
撰文：莫莫莫甜甜
編輯：江江 & 面線
美編：萱萱
圖片、資料來(lái)源：
Groq 官網(wǎng)、NVIDIA 官網(wǎng)
CNBC、DEV、Techspot、Bloomberg、X、Reddit、Github
