AI產業遭遇記憶體瓶頸 Google拆解舊伺服器回收DDR4救急

據國外科技與遊戲線上媒體報導，Google供應鏈基礎設施資深總監Nikhil Cherian近日於產業高峰會上透露，由於DRAM供應持續吃緊，其已開始拆解退役伺服器，回收其中仍可使用的DDR4記憶體模組，以因應AI運算規模快速擴張所帶來的記憶體短缺壓力。

Nikhil Cherian指出，人工智慧產業目前面臨的核心瓶頸已逐漸從「運算能力不足」轉變為「記憶體受限」。

於典型的AI伺服器中，高效能記憶體佔整體物料清單（BOM）成本的比例已高達約75%，記憶體已成為影響系統效能與成本結構的關鍵因素。

為突破記憶體瓶頸，Google正同步從軟體與硬體兩方面著手。於硬體層面，Google採取了相當直接的應對方式：有計畫地將退役伺服器重新調回資料中心，拆解並回收其中仍可使用的DDR4記憶體模組，建立一套內部循環再利用的供應鏈機制。

於部分應用情境中，Google甚至已不得不採取相對保守的方案，以DDR4記憶體模組取代新一代AI伺服器原先規劃搭載的DDR5記憶體。為此，Google還特別設計硬體轉接卡，讓DDR4等上一代記憶體方案能夠接入新一代AI伺服器系統，以紓解高階記憶體供應不足的問題。

於針對推論工作負載優化的TPUv8i晶片方面，Google則採用了專用的分層記憶體架構，整體伺服器系統透過高速DDR5記憶體負責資料預處理等工作，而每顆TPUv8i晶片另外搭載288GB HBM3e高頻寬記憶體，同時兼顧記憶體容量與頻寬需求。

軟體層面的優化亦同步進行，Google持續調整底層函式庫、模型架構以及KV Cache壓縮演算法，盡可能降低每單位運算能力所需的記憶體資源，從系統層面減少對實體記憶體的依賴，進一步提升整體資源利用效率。