北京
我有個(gè)做推理加速的朋友，每次聊到顯存就攤手：“一個(gè)70B模型，半精度部署140GB起，單張卡根本塞不下?！?他翻來(lái)覆去試各種方案，最后丟給我一張圖——“看懂這個(gè)累加單元，你就知道為什么4-bit能解這個(gè)困局。” 那張圖畫(huà)的是一種叫 MAC 的硬件單元，今天我們就用這張圖當(dāng)鑰匙，把整數(shù)量化從底層邏輯到實(shí)戰(zhàn)收益拆一遍。 量化這件事說(shuō)穿了就一句話(huà)：用更少的比特?cái)?shù)表示原來(lái)高精度的值。比如權(quán)重從 FP16 壓到 INT8，每個(gè)參數(shù)從 2 字節(jié)變 1 字節(jié)，模型體積直接腰斬。如果你聽(tīng)過(guò)那個(gè)粗暴的口訣——參數(shù)量 N 億，F(xiàn)P16 顯存 ≈ 2×N GB——那量化到 8-bit 就是 2 倍壓縮，降到 4-bit 就是 4 倍壓縮。一個(gè) 70B 模型從 140GB 縮到 35GB，這才夠在一張消費(fèi)級(jí)卡上跑。這還不是全部甜頭：壓縮后數(shù)據(jù)搬運(yùn)量減少，內(nèi)存帶寬壓力跟著降，對(duì)于 LLM 解碼這種帶寬敏感型任務(wù)，速度提升比你想象的直接得多。 圖上那個(gè) MAC 單元結(jié)構(gòu)，其實(shí)就是神經(jīng)網(wǎng)絡(luò)加速器里矩陣乘法的基礎(chǔ)磚塊。你會(huì)看到一排處理單元 C?,? 和累加器 A?，輸入數(shù)據(jù)流過(guò)這些單元，做乘加運(yùn)算。這里藏著一個(gè)影響能效的關(guān)鍵細(xì)節(jié)：整數(shù)運(yùn)算比浮點(diǎn)省電得多。斯坦福的 Mark Horowitz 在 2014 年那篇《Computing’s Energy Problem》里給出過(guò)實(shí)測(cè)數(shù)據(jù)——在 45nm CMOS 工藝下，INT8 加法消耗的能量只有 FP32 加法的 1/30，INT8 乘法是 FP32 乘法的 1/18。簡(jiǎn)單換算就是：用整數(shù)算力跑同樣矩陣乘，芯片發(fā)熱更少，硅面積更小，時(shí)鐘還能拉更高。 你可能會(huì)問(wèn)，這跟實(shí)際業(yè)務(wù)有什么關(guān)系？得看瓶頸在哪兒。如果模型跑的是 CNN 推理或者 LLM 預(yù)填充這類(lèi)計(jì)算密集場(chǎng)景，低精度算力速度快、能效高，吞吐直接提上去；如果是 LLM 逐 token 解碼這種內(nèi)存帶寬瓶頸場(chǎng)景，量化后在總帶寬不變的前提下搬運(yùn)更少數(shù)據(jù)，延遲和吞吐都能改善。所以量化不是簡(jiǎn)單“壓縮”一下就完，它是根據(jù)負(fù)載特征在內(nèi)存和計(jì)算之間重新做一次平衡——這也是為什么過(guò)去幾年大家從“INT8 壓 7B 都崩精度”，一路進(jìn)化到“單卡跑 70B 4-bit 成日常”的原因。 最后收一收這張圖留給我的核心直覺(jué)：量化不是純粹的后訓(xùn)練技巧，它跟芯片里的 MAC 管線(xiàn)天生耦合。8 年前大家糾結(jié)精度損失，現(xiàn)在更多人在意怎么壓縮也能保住 Attention 的長(zhǎng)尾分布。但無(wú)論怎么演化，你只要回到這個(gè)累加單元的原理圖就總能想通——每一次比特腰斬，背后都是一次乘加成本和搬運(yùn)成本的重新談判。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶(hù)上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
