一句話,走完 Token、Attention 到 KV Cache
用「小美養貓」這句例子,拆開 token、位置資訊、Q/K/V、attention、residual connection 與 KV cache,說清楚自回歸 LLM 每產生一個新 token 時,哪些資料能沿用、哪些工作仍得重做。
AI TECHNOLOGY SEMICONDUCTOR TECHNOLOGY
從先進封裝、HBM、AI 推論架構到半導體系統技術,整理晶片與封裝的工程脈絡。
用「小美養貓」這句例子,拆開 token、位置資訊、Q/K/V、attention、residual connection 與 KV cache,說清楚自回歸 LLM 每產生一個新 token 時,哪些資料能沿用、哪些工作仍得重做。
AI TECHNOLOGY 這篇先用六張漫畫回答一個問題:LLM 為什麼能一句一句接出像樣的回答?我們會從「猜下一個字」開始,慢慢帶到 token、向量、K/V 筆記與 KV Cache,最後再看為什麼對話越長,AI 系統越容易被記憶體與資料搬移拖慢。
這篇把歐盟 CRA 當成產品上市前的資安檢查表:先看哪些產品會被管,再看 2026 通報、產品分級、Annex I 要求、符合性評估與 CE 證據怎麼串在一起。
這篇用工廠比喻說明單核 CPU 為什麼同樣 GHz 也會差很多:跑得快只是頻率,真正的差距在每一步能完成多少工作,也就是寬度、分支預測、亂序執行、MLP、快取與 ISA 的整體管理。
這篇先問一個直覺問題:AI 晶片很會算,為什麼還會等資料?六張漫畫會把 GPU、HBM、ASIC、CXL、DRAM 與近記憶體運算放回同一張供應鏈圖,說清楚推論系統真正卡在哪裡。
這篇先把 HBM Base Die 想成整疊記憶體底部的控制室:它不只連接 GPU,也負責測試、監控與修復。讀完會懂為什麼 3D 堆疊讓 repair 從「換顆 DRAM」變成整包 AI package 的良率問題。
這篇先把 HBM 想成一條超寬資料高速公路:GPU 越會算,越需要穩定餵資料。五張漫畫會帶你看懂 GDDR 的限制、HBM 的封裝方式、TSV 垂直通道,以及 HBM4 為什麼又寬又難做。
這篇把先進封裝講成「把晶片彼此搬近」:先看 AI 為什麼需要 CoWoS,再看 Si Interposer、CoPoS、ABF substrate 與 PCB 各自解決哪一段距離、頻寬與良率問題。