12 月 2 日，亞馬遜云計算服務（AWS）在美國拉斯維加斯舉辦的年度云計算盛會“AWS re:Invent 2025”上發布了全新的自研 Trainium3 芯片，以及采用 Trainium3 芯片的 Trainium3 UltraServer 服務器。
根據首席執行官 Matt Garman 的介紹，新款 Trainium3 芯片的性能是前代產品的 4 倍，并采用臺積電 3 納米工藝制造。每個芯片都配備了 144 GB 的 HBM3E 內存，內存帶寬為 4.9 TB/s，提供 2.52 FP8 PFLOPs 的算力。
（來源：社交媒體 X）
Trainium3 UltraServer 單機最多集成 144 顆 Trainium3 芯片，總共配備 20.7 TB HBM3E、706 TB/s 內存帶寬，可提供最高 362 FP8 PFLOPS 的算力，時延降低 4 倍，可更快訓練超大模型，并大規模支撐推理服務。
其計算性能比 Trainium2 UltraServer 高出 4.4 倍，能源效率高出 4 倍，內存帶寬也高出近 4 倍。在使用 OpenAI 的開源大模型 GPT-OSS 進行測試時，Trainium3 UltraServer 的單芯片吞吐量可提升 3 倍，推理響應速度提升 4 倍。這意味著企業可以在更小的基礎設施規模下應對峰值需求，顯著優化用戶體驗，同時降低每次推理請求的成本。
AWS 以垂直整合方式打造 Trainium3 UltraServer，從芯片架構到軟件棧全鏈路協同。核心之一是新一代網絡基礎設施，用于消除傳統分布式 AI 計算的通信瓶頸：NeuronSwitch-v1 提供 2 倍 的 UltraServer 內部帶寬；增強型 Neuron Fabric 將芯片間通信延遲降低至 10 微秒以內。
這種強大的配置使得它非常適合處理下一代最前沿的 AI 工作負載，例如：訓練大規模AI模型，可以將復雜模型的訓練時間從數月縮短至數周；處理高并發的 AI 推理請求，以低延遲實時處理數百萬用戶的請求，例如智能對話、視頻生成等；運行特定復雜任務，如智能體系統、專家混合模型和大規模強化學習等。
包括 Anthropic、Karakuri、Metagenomi、NetoAI、Ricoh、Splash Music 等客戶，已經借助 Trainium 將訓練和推理成本降低最多 50%。其中，Decart 在實時生成式視頻方面實現了 4 倍推理速度提升，成本僅為 GPU 的一半；而 Amazon Bedrock 已經在生產環境中使用 Trainium3 提供服務。
