一、從LLM到Agentic AI的硬體規格需求變化
隨著生成式AI從單純的「大型語言模型(Large Language Model, LLM)」對話應用，轉向具備自主規劃與執行能力的「代理式Agentic AI」，運算架構需求產生根本性轉變。
早期的LLM應用主要集中在靜態知識檢索與生成，算力需求多屬單次且線性的高吞吐量推論。然而，Agentic AI的核心在於「思考—行動—修正」的循環流程，強調多步驟推理、在極短時間內處理長文本(Long Context)，並頻繁地在不同任務間進行上下文切換(Context Switching)。這種轉變使得運算負載不再僅限於大規模矩陣運算，更強調低延遲決策反應與大量異質數據即時調度，對系統整體反應速度提出更高要求，運算效率瓶頸從單純浮點運算(FLOPS)，轉移到記憶體頻寬與系統級的通訊延遲。
針對此趨勢，技術規格的對應演進展現從單一晶片效能向「系統級優化」之轉型。NVIDIA 的Rubin架構即是為了解決Agentic AI面臨記憶體與傳輸瓶頸而生。NVIDIA在Rubin首度導入HBM4技術，大幅提升記憶體頻寬與容量，以應對長文本處理時劇增的數據吞吐需求；同時結合專門優化任務排程的Vera CPU與次世代NVLink互連技術，將晶片間的通訊延遲降至最低。未來的運算標竿已不單由電晶體數量決定，而是取決於運算、記憶體與高速傳輸三者間的深度整合，以支撐更複雜的自主決策運算。
二、Rubin架構的三大技術突破
NVIDIA Rubin架構的推出，顯示AI運算架構從算力優先轉向系統均衡的全面進化，其技術亮點集中在記憶體、處理器協作及高速傳輸三大方向。
（一）採用新一代HBM4突破記憶體牆限制
2026年上市的最新一代GPU – Rubin，最具指標性變化在於全面採用最新一代高頻寬記憶體HBM4。隨著AI模型參數量與上下文長度呈指數級成長，傳統記憶體頻寬已成為運算效率的主要瓶頸。
AI運算中，記憶體頻寬直接決定GPU實質利用率。Rubin世代所採用的HBM4，進化幅度遠超過去幾代的迭代。HBM4採用12層及16層堆疊技術，並將介面位元寬度(Interface Width)從1024-bit翻倍至2048-bit。
HBM系列自2015年第一代以來，單一堆疊記憶體介面寬度都維持在1024-bit，為了突破頻寬瓶頸，HBM4首度將寬度翻倍至2048-bit，使得資料傳輸速度在物理原理不變的情況下，即使是相同的時脈頻率，HBM4僅憑介面寬度增加，就能直接將資料傳輸率提升一倍。如同將高速公路的車道數翻倍，解決過去幾代需不斷拉高針腳速率所面臨的功耗與訊號完整性挑戰。
受惠於介面頻寬翻倍，HBM4總頻寬亦大幅提升。2025年4月JEDEC正式發表的HBM4 記憶體標準顯示，HBM4可支援8.0 Gbps的傳輸速度，搭配2048位元介面，總頻寬可達2 TB/s；每個堆疊中的獨立通道數也從16條倍增至32條。
從三大HBM供應商目前宣布的HBM4市場數據來看，顯示技術的推進幅度都大幅超越了JEDEC基準。以三星的產品為例，其HBM4資料傳輸速度高達11.7 Gbps，遠超過JEDEC制定的8 Gbps標準；美光和SK海力士的傳輸速度亦都超過10Gbps，頻寬高達2.8 TB/s。
堆疊技術的進步使得在同一實體空間內可以容納更多的記憶體單元，增加堆疊層數能顯著提高HBM4記憶體容量和頻寬。這種高密度堆疊技術對於需要大容量和高速存取的資料中心和超級電腦等應用領域來說是一大優勢，NVIDIA Rubin的單顆GPU記憶體容量也從Blackwell 世代的192GB躍升至288GB。
為了在有限的高度內擠入更多層晶片，業界亦開始導入「混合鍵合(Hybrid Bonding)」技術。傳統的TSV搭配微凸塊(Micro-bumps)堆疊，是在矽晶圓上蝕刻出垂直通道並填充導電銅進行TSV穿孔，並在晶片間使用Micro-bumps作為接合點，隨著堆疊層數來到16層以上，Micro-bumps所佔據的垂直高度會導致封裝過厚，且凸塊間的焊錫在高功率下容易產生熱點。為了維持在嚴格封裝高度限制內，混合鍵合技術將改採銅對銅的直接連接，不僅能降低DRAM 層間距以縮減整體模組高度，還能減少20%以上的熱阻，確保晶片在高效能運轉下不至於因過熱而降速，進而提高訊號傳輸速率。
資料來源：AMD (2024/06)
圖1 HBM堆疊結構圖
（二）異質整合Vera CPU 與系統級運算優化
2026年GTC大會，NVIDIA發表Rubin平台，其中Vera CPU正式取代Grace CPU，象徵運算架構由「通用處理器協作」轉向「異質深度整合」。在Agentic AI的應用場景下，系統需頻繁處理複雜的任務調度與長文本和上下文交換，因此CPU與GPU之間的數據流動效率將成為決定整體推論成本的關鍵。
Vera CPU採用Arm v9.2架構，具備88個高效能Olympus核心、支援同步多執行緒(Simultaneous Multithreading，SMT)可處理176個執行緒，並搭配高速LPDDR5X記憶體與NVLink-C2C技術，加上整合Groq的LPU推論加速技術，使整體推論吞吐量提升35倍，有效解決了高處理量與低延遲之間的矛盾。
Vera CPU的核心價值在於與Rubin GPU之間達成的「系統級」耦合。透過次世代 NVLink-C2C高速互連技術，Vera CPU與Rubin GPU之間的雙向頻寬推升至1.8 TB/s 以上。這種超高頻寬的互連，降低傳統處理器在CPU和GPU間數據搬移時產生的延遲，確保AI進行多步驟推理時，能即時調用記憶體中的龐大數據。
運算效能數據上，Vera CPU結合Rubin GPU後，在NVFP4精度的推論表現上展現了驚人躍升。根據NVIDIA釋出的實測數據，Rubin平台在處理超大規模參數模型時，其硬體推論效能高達50 PFLOPS，相較於Blackwell世代的10 PFLOPS提升5倍。更具產業意義的是，由於Vera CPU對任務排程與非結構化數據處理優化，Agentic AI在執行複雜任務時的Token產生成本降低至前代架構十分之一。
此外，異質架構進化也展現在電力與熱管理的精準控制上。Vera CPU導入動態電源管理技術，能根據AI任務的動態負載，即時調整處理器核心與張量核心之間的電力配置。這種技術在單機架功耗挑戰250kW的Rubin NVL144環境下尤為重要，不僅提升單位功耗效能，更有利於降低資料中心的營運成本。
Vera CPU的出現定義次世代運算的新標竿，競爭焦點從單純的「運算單元數量」轉向「緩存一致性(Cache Coherency)」與互連協定之優化。如何在高頻寬、低延遲框架下，重新優化電源管理IC與高速界面電路(SerDes)，是Rubin生態系中，供應鏈切入系統級轉型的重要商機。
（三）NVLink 6高速互連與224G PAM4光電傳輸佈局
當單顆晶片算力透過Rubin達到巔峰，如何讓數百顆GPU在極低延遲下協同運作，便成為傳輸技術的戰場。
AI資料中心叢集持續擴張趨勢下，單點算力提升若缺乏高速傳輸支撐，將導致嚴重運算閒置。NVIDIA Rubin架構導入次世代NVLink 6技術，正式將資料中心的通訊底層從電訊號驅動推向光電整合，徹底改變大型AI模型的訓練與推論效率。
NVLink 6核心突破在於頻寬倍數成長，相較於上一代Blackwell採用的NVLink 5提供單個GPU 1.8 TB/s的雙向頻寬，Rubin世代直接翻倍至3.6 TB/s。NVLink 6頻寬的躍進，是實現Rubin NVL144機櫃系統的關鍵，高頻寬與低通訊延遲讓144顆GPU在邏輯上能被視為一顆巨大的超強處理器，除了滿足混合專家大模型(MoE)、同步推論及大型AI訓練等任務需求外，還能滿足Agentic AI在執行跨節點複雜推理時的低延遲通訊需求。
為了實現3.6TB/s的超高頻寬，底層傳輸介面演進224G四階脈衝振幅調變(Pulse Amplitude Modulation 4-level，PAM4)規格，單通道傳輸速率高達224 Gbps，在如此高的傳輸速率下，訊號在傳統銅纜中損耗會劇烈增加，使得傳輸距離受到物理極限的嚴格限制。促使資料中心架構產生兩大技術轉型：
1. 是矽光子技術商用化。為了維持訊號完整性，Rubin世代加速共封裝光學(Co-packaged optics, CPO)導入，透過TSMC COUPE 3D封裝技術，將光學引擎與GPU或交換機晶片封裝在同一基板上，縮短電訊號路徑，並利用矽光晶片上的PAM4微環調變器(MRM)，不僅降低30%以上的通訊功耗，更大幅提升機櫃間佈線靈活性，兼顧小體積與低功耗，提升光引擎的整體頻寬密度，對於IC設計廠而言，代表著從傳統的SerDes設計擴展到光電協同模擬的新挑戰。
2. 線性驅動可插拔光模組(Linear-drive Pluggable Optics，LPO)與整合式重定時器(Retimer)商機爆發。在Rubin系統採用的224G PAM4傳輸環境下，由於訊號頻率極高且有效傳輸距離縮短，在電路板或銅纜傳輸時的訊號損耗呈指數級成長。為補償224G訊號的衰減，必須在訊號路徑上更頻繁地放置Retimer晶片，進行訊號解碼與重發，以確保數據能準確傳輸至機櫃後端，這直接帶動單一伺服器節點內高速界面IC使用數量。台灣IC設計業者憑藉在高速傳輸介面的技術累積，從PCIe Gen6/Gen7的實體層(PHY)到800G/1.6T交換機晶片，正迎來全面規格更迭的產值躍升。
LPO技術去除了光模組內部的數位訊號處理器，改由交換機側的強力SerDes直接驅動。這種架構能顯著降低50%以上的功耗與延遲，在單機架功耗挑戰250kW的Rubin系統中，低功耗的LPO成為優化能源效率的關鍵選項。
總體而言，Rubin架構下的資料中心傳輸轉為「互連導向」。透過NVLink 6與224G技術的整合，NVIDIA不僅鞏固硬體生態系的封閉競爭優勢，也驅動整個半導體供應鏈向更高效、更低延遲的光電傳輸轉型。
三、結論：從「單一晶片」走向「系統定義」的商機
Rubin架構的問世，顯示半導體競爭已跨越單一處理器效能競速，進入系統級整合時代，以下三大關鍵趨勢值得產業持續關注。
1. 晶片設計需導入系統級思維：當NVIDIA將CPU、GPU與HBM深度耦合後，周邊IC(如 PMIC、Retimer、傳輸界面IC)的進入門檻將隨之顯著提升。晶片設計商不再只是提供單一功能晶片，而是必須理解整體系統和機櫃的電力、熱管理與訊號傳輸鏈協定，才能切入Rubin生態系。
2. 光電整合技術走向產品化與市場化：隨著224G傳輸達到電訊號物理極限，確認了矽光子與CPO的重要性，台灣在半導體製程與先進封裝的優勢，將成為全球AI資料中心轉型光電整合的首選夥伴。
3. 封閉生態系標準的客製化機會：雖然NVIDIA建立強大封閉生態，但系統規格的標準化(如NVL144)也為台灣ODM與IC設計廠商提供明確開發目標。針對Agentic AI的特殊需求，提供更高能效比配套方案，將是掌握市場之關鍵。