NVIDIA vLLM吞吐量突破每秒1.2萬 Tokens，AMD推論差距擴大

NVIDIA在大型語言模型推論方面的軟體優化，正超越AMD的硬體進展，這一差距可能決定誰能抓住下一波AI支出浪潮。

半導體研究機構SemiAnalysis表示，NVIDIA的vLLM推論引擎在大型混合專家模型上，每顆GPU每秒可處理超過1.2萬個Tokens，而AMD的MI355X因軟體整合較弱及機架級互連限制而落後。該機構於7月13日在X平台上發布此評估，兩週前的一份報告曾指出NVIDIA的CUDA護城河正被超大規模雲端業者的客製化晶片「逐步侵蝕」。

NVIDIA的GB200 NVL72機架系統透過NVLink連結72顆GPU，可實現Kimi K2.5（一款參數規模達一千億的MoE架構）等模型的8至16路廣義專家並行。Dynamo分布式推論框架將vLLM與分離式服務（分離prefill與decode階段）以及跨節點的高效KV快取傳輸整合在一起。每顆GPU承載的精簡專家權重降低了HBM頻寬壓力，而所有對所有通訊皆在高速NVLink域內進行，無需經過較慢的InfiniBand網路。

根據SemiAnalysis的說法，AMD的MI355X無法達到同等規模的專家並行度或機架級互連。該公司的軟體堆疊仍依賴標準版vLLM及DISAGG版本，缺乏NVIDIA為超大規模MoE模型與寬並行配置所打造的深度優化。該機構將AMD的不足描述為僅限於「部分模型」，這一修飾詞凸顯了部分支援與全面覆蓋優化之間的差距。

這項發現挑戰了AMD硬體正縮小與NVIDIA差距的市場論述。儘管AMD股價今年至今已飆升160%至557.89美元，且Meta Platforms已簽下MI350晶片的大額採購訂單，但推論軟體差距依然巨大。在AI推論領域，企業客戶每日運行數十億次調用，微秒級的延遲差異會累積成顯著的成本優勢。為了涵蓋不同模型類型而維護兩套軟體堆疊，往往成為採購決策中的決定性因素。

NVIDIA的軟體生態系統建立在三個層面上：覆蓋約400萬名開發者的CUDA工具鏈（歷經20多年積累）、對所有主流機器學習框架的優先適配，以及深度優化的函式庫，包括cuDNN、TensorRT和NCCL。根據SemiAnalysis的評估，這些層面所構成的轉換成本，超過了任何單一硬體規格優勢。

更廣泛的競爭格局則更為複雜。包括Google、Amazon和Microsoft在內的超大規模雲端業者正大力投資客製化ASIC——Google的TPU和Amazon的Trainium——這些晶片在推論成本上削弱了NVIDIA的優勢。根據Milk Road AI的估算，Broadcom與Marvell Technology設計的客製化AI加速器，每GW基礎設施的成本在60億至110億美元之間，而NVIDIA GB300機架的成本約為190億美元。Morgan Stanley表示，四大超大規模雲端業者明年將在AI基礎設施上投入超過一兆美元，新增19.5 GW的增量運算容量。

然而，SemiAnalysis的最新評估顯示，NVIDIA在推論領域的軟體深度並未隨著硬體競爭而縮小。該機構先前的報告指出，Anthropic的Claude模型訓練運行在Google TPU上，而Claude Code推論則運行在Amazon Trainium上，顯示客製化晶片正逐步取得市佔率。但vLLM的效能數據表明，在最具挑戰性的MoE推論工作負載中，NVIDIA的軟硬體整合堆疊仍保持著AMD和ASIC設計者尚未能匹敵的領先優勢。

NVIDIA股價7月13日收於210.96美元，當日下跌1.99%，反映半導體板塊整體疲軟。AMD下跌2.64%至543.14美元。為兩家公司製造晶片的台積電公布季度營收成長36%，N3產能已售罄，顯示AI需求仍處於供給受限狀態。

本文僅供資訊參考，不構成投資建議。