先看懂瓶頸：不是不會算，是資料跟不上
AI 推論常讓人以為問題只在算力，其實很多時候是資料送不夠快。你可以把 GPU 想成一群很會工作的工人，HBM、DRAM、CXL 與網路就是送材料的路線；材料慢到，工人再強也只能等。
這篇會用漫畫把推論系統拆成幾個角色：誰負責算、誰負責存、誰負責搬、誰負責把資料放近一點。先看懂角色分工，再看 ASIC、CXL、DRAM、NMC 這些名詞會比較有感。
讀的時候先抓住一句話：AI 系統的速度，不只看晶片峰值算力，也看資料能不能準時、穩定、用合理成本送到計算單元旁邊。
AI 推論和 AI 訓練看起來都在跑大模型，但硬體瓶頸其實很不一樣。訓練常常追求極致矩陣運算吞吐量，推論尤其是 LLM decode 階段，則會反覆讀模型權重、KV Cache 與上下文資料；這時候運算單元不一定不夠，真正麻煩的是資料能不能即時送到運算單元旁邊。
這篇漫畫小教室用 6 頁圖建立一個核心觀念：推論晶片架構的問題，不是單純「GPU 好不好」或「HBM 夠不夠快」，而是要把算力、頻寬、容量、延遲、功耗與總持有成本（TCO）一起放進系統設計。新的架構方向，可以簡化成一套公式：
專用 ASIC + CXL 擴充/池化 + 大容量 DRAM + 近記憶體運算（NMC）。
1. 推論的真正敵人是 Memory Wall
第一頁先把訓練與推論分開看。訓練時，大量矩陣乘法可以高度批次化，工作負載比較像「把算力塞滿」；推論時，尤其是互動式生成，每產生一個 token 都要讀取模型權重，還要持續查詢與更新 KV Cache。模型越大、上下文越長，記憶體容量與頻寬壓力越高。
這就是 Memory Wall：ALU、Tensor Core 或專用 MAC array 可以很快，但資料通道太窄、記憶體離運算太遠，晶片就會卡在等待資料。用橋梁比喻，就是貨車很多、貨物也很多，但橋太窄，運算單元只能排隊等資料過橋。
所以推論晶片的核心規格不只 TOPS，也要看 tokens/s、tokens/W、tokens/dollar、可支援的模型大小、KV Cache 容量、延遲分布，以及資料搬移造成的能耗。對 RD 來說，這會把架構討論從「更多算力」推向「更好的資料供應系統」。
2. GPU + HBM 很強，但推論不一定划算
HBM 的優點非常明確：頻寬高、距離短、功耗效率好，搭配 GPU 或 AI accelerator 很適合高吞吐訓練與高階推論。但第二頁提醒的是，推論不是只看「最快」，還要看「每個 token 的成本」。
HBM 的限制主要有三個。第一是成本高，因為 HBM stack、base die、interposer 或先進封裝都會推高單位成本。第二是供應鏈與封裝產能，AI accelerator 往往和 CoWoS、HBM 產能綁在一起，當需求爆發時，交期與價格都會影響部署速度。第三是單卡容量，HBM 雖然很快，但容量擴充不像標準 DDR 那麼便宜直接；大型模型與長 context 需要更大的 KV Cache，會讓記憶體容量變成推論服務的硬限制。
因此，訓練可以把 HBM 當成必要投資，因為目標是極致吞吐與模型收斂速度；推論則常常要在服務品質、成本、能源、機櫃密度與可用性之間取平衡。當模型部署到大量使用者請求時，一點點每 token 成本差異，都會被流量放大成很大的基礎建設支出。
3. 新公式：ASIC + CXL + DRAM + 近記憶體運算
第三頁是整篇的總覽。AI ASIC 負責把推論常用的算子、資料格式與排程做成高效率硬體；CXL 讓外部記憶體能以標準化互連接到主機或 accelerator；DRAM 提供比 HBM 更便宜、更容易擴充的大容量；NMC 則把部分資料處理搬到記憶體旁邊，減少來回搬運。
這裡的關鍵不是說 DRAM 可以取代 HBM，而是把記憶體分層。高頻熱資料仍然需要靠近運算單元；容量大、存取較冷或可容忍延遲的資料，則可以放到 CXL-attached memory 或外部 memory pool。架構設計的價值，在於判斷哪些資料應該留在最快的地方，哪些資料可以放到便宜但稍慢的位置。
對推論服務來說，這種設計很有吸引力：ASIC 對準固定推論流程，CXL 解決主機記憶體通道與容量上限，DRAM 降低每 GB 成本，NMC 降低資料搬移與能耗。四者合起來，不是追求單一晶片的漂亮峰值，而是追求整個 rack、整個 fleet 的 tokens/W 與 tokens/dollar。
4. CXL 讓記憶體從主機零件變成可擴充資源
第四頁用 Meta 的 CXL 記憶體擴充案例來說明：過去伺服器能裝多少記憶體，常被 CPU 記憶體通道、主機板插槽與 DIMM 規格限制。CXL 讓記憶體可以透過 PCIe/CXL link 接到主機，形成外接容量、分層記憶體或更大的 memory pool。
這個價值對 AI 推論很直接。LLM inference 的模型權重與 KV Cache 會快速吃掉記憶體；如果所有容量都用最貴的 HBM 或最新 DDR5 承擔，TCO 會很高。CXL 讓系統可以把比較冷、比較不延遲敏感的頁面放到外部記憶體，讓昂貴的近端記憶體留給真正熱的資料。
但是 CXL 不是魔法。它會引入額外延遲，也需要 OS、runtime、NUMA policy、page placement、telemetry 與 workload profiling 配合。好的 CXL 系統不是「接上就變快」，而是要知道哪些資料該放哪裡。這也是為什麼資料放對地方，比單純增加容量更重要。
5. NMC：把計算搬到資料旁邊
第五頁進入近記憶體運算。傳統架構是資料在 DRAM，運算在 accelerator，中間靠 memory controller、interconnect 與 cache hierarchy 搬來搬去。當資料量很大、重複讀取很多時，搬資料消耗的能量可能比真正的算術運算更可怕。
NMC 的概念是把一部分運算放在記憶體附近，例如資料重排、壓縮/解壓、embedding/KV cache 相關處理、簡單 reduction、prefetch 或特定資料路徑加速。這些工作不一定取代主 AI accelerator，但可以讓主運算單元少等資料、少做低價值搬移。
Qualcomm 的 HBC 路線也可放在這個大脈絡下理解：它不是單純喊更高 TOPS，而是把記憶體頻寬、容量與每 token 能耗放到推論設計中心。當資料不用長途跋涉，延遲、功耗與成本都有機會下降。
6. 沒有唯一答案，只有適合工作負載的組合
最後一頁的重點，是不同公司會選不同產品路線，但背後問題很像：如何突破記憶體牆，如何降低資料搬移，如何在推論服務中把 TCO 壓下來。
Meta 路線偏向用 CXL 擴充與回收 DDR4 容量，讓資料中心既有資產重新進入新伺服器架構。Qualcomm 路線偏向為推論打造高頻寬、低功耗的 HBC/AI250/AI300 平台。Marvell 路線則結合 custom ASIC、CXL switch、memory expansion controller 與 data infrastructure IP，讓雲端客戶可以依自己的模型、網路與機櫃設計客製化推論系統。
所以結論不是「HBM 不重要」或「GPU 過時」，而是推論工作負載讓記憶體架構變成一級戰場。訓練、即時推論、批次推論、長上下文、多租戶服務、edge inference，各自需要不同的容量、頻寬、延遲與成本組合。會贏的架構，通常不是單點規格最高，而是資料放得對、搬得少、算得剛好、成本壓得住。
References
- CXL Consortium, Introducing the Compute Express Link 2.0 Specification：CXL 2.0 支援 switching、memory pooling 與 memory capacity on demand，是理解 CXL 擴充與池化的基礎資料。
- Qualcomm Dragonfly AI250 product page：Qualcomm 官方說明 AI250、HBC Gen 1、每卡有效記憶體頻寬、每 rack 容量與推論 TCO 訴求。
- Qualcomm, Data Center Roadmap for the Agentic AI Era, June 24 2026：Qualcomm 官方新聞稿，說明 HBC、AI250/AI300 與 data center inference roadmap。
- Marvell, Next-generation CXL Switch for Memory Pooling, March 17 2026：Marvell 官方新聞稿，說明 Structera S CXL switch、rack-level memory pooling 與 AI Memory Wall。
- Marvell Custom ASICs：Marvell 官方 custom ASIC 資料，列出 3nm/5nm IP、PCIe Gen 6/CXL 3.0 SerDes、embedded memory、multi-chip packaging 等客製化 ASIC 能力。
- Vistara: Making CXL Real - Full Path from ASIC Design and OS Integration to Deployment in Production：Meta 相關作者的 Vistara 論文，介紹 CXL-based memory expansion 從 ASIC、OS 到 production deployment 的完整路徑。
- TPP: Transparent Page Placement for CXL-Enabled Tiered-Memory：Meta 相關研究，說明 CXL tiered memory 中 hot/cold page placement 的 OS 層策略。
- An Introduction to the Compute Express Link (CXL) Interconnect, ACM：CXL 架構與互連語意的學術綜述，可作為理解 CXL.cache、CXL.mem 與 CXL.io 的正式背景資料。
學習指南
HBM 與先進封裝
先備知識
- 加速器、記憶體頻寬與延遲
我學會了什麼
- 說明推論 Memory Wall
- 比較 HBM 與池化通用記憶體
- 理解 ASIC、CXL 與近記憶體運算角色