峰值訓練:Blackwell 提供更高水準的 MLPerf 訓練效能

使用文字、電腦程式碼、蛋白質鏈、摘要、影片甚至 3D 圖形的生成式人工智慧(AI)應用需要資料中心規模的加速運算,才能有效率地訓練驅動這些應用的大型語言模型(LLM)。

MLPerf Training 4.1 基準測試中,NVIDIA Blackwell 平台在所有測試中的工作負載方面都取得了令人印象深刻的結果,並且在大型語言模型基準測試中,每個GPU 的效能最高提升了2.2 倍,包括 Llama 2 70B 和 GPT-3 175B 預訓練。

此外,NVIDIA 在 NVIDIA Hopper 平台上提交的內容繼續保持所有基準測試的大規模記錄,其中包括在 GPT-3 175B 基準測試中提交的 11,616 個 Hopper GPU。

首次向 MLCommons 聯盟提交的Blackwell訓練結果,凸顯了該架構如何推升生成式 AI 訓練效能。MLCommons 聯盟為產業參與者創建標準化、公正且嚴格的同業審查測試。

例如,Blackwell 架構包括可更高效利用 Tensor Core 的新核心。核心是最佳化的、專門建構的數學運算,例如矩陣乘法,是許多深度學習演算法的核心。

Blackwell 擁有更高的每 GPU 運算輸送量,以及更大、更快的高頻寬記憶體,使其能夠在更少的 GPU 上運行 GPT-3 175B 基準測試,同時實現出色的每 GPU 效能。

利用更大且頻寬更高的 HBM3e 記憶體,僅需 64 個 Blackwell GPU 就能執行 GPT-3 大型語言模型的基準測試,且不影響每 GPU 的性能。使用 Hopper 執行相同的基準測試,則需要 256 個 GPU。

Blackwell 的訓練結果延續其先前在 MLPerf Inference 4.1 的提交成果,在該測試中,Blackwell 的大型語言模型推論效能比 Hopper 世代高出最多 4 倍。利用 Blackwell 架構的 FP4 精度以及 NVIDIA QUASAR 量化系統所提交的資料,在滿足基準準確性要求的同時,展示了強大的效能。

NVIDIA 平台經歷持續的軟體開發,提升了多種框架、模型和應用的訓練與推理效能及功能。

在這一輪 MLPerf 訓練提交中,Hopper 在 GPT-3 175B 的每 GPU 訓練效能上,提供自基準推出以來 1.3 倍的提升。NVIDIA 也提交了 GPT-3 175B 基準測試的大規模結果,使用 11,616 個 Hopper GPU與 NVIDIA NVLink 和 NVSwitch 高頻寬 GPU 到 GPU 通訊,以及 NVIDIA Quantum-2 InfiniBand 網路連接。

自去年以來,NVIDIA Hopper GPU 在 GPT-3 175B 基準測試的規模和效能上提升了三倍以上。此外,在 Llama 2 70B LoRA 微調基準測試中,NVIDIA 使用相同數量的 Hopper GPU 將效能提升了 26%,反映出軟體的持續強化。

NVIDIA 持續致力於最佳化其加速運算平台,從而不斷改進MLPerf 測試結果,提高容器化軟體的效能,為現有平台上的合作夥伴和客戶帶來更強大的運算能力,並提升其平台投資的報酬。

NVIDIA 的合作夥伴,包括華碩、Azure、思科、戴爾科技集團、富士通、技鋼科技、Lambda Labs、聯想集團、Oracle Cloud、雲達科技和美超微等系統製造商和雲端服務供應商,也在本輪 MLPerf 測試中提交了出色的成果。

作為 MLCommons 的創始成員,NVIDIA 認為業界標準基準測試和基準測試最佳實踐在 AI 運算中的角色至關重要。透過對AI和高效能運算平台進行同業審查、簡化的比較,企業能夠跟上最新的 AI 運算創新,並獲取有助於引導重要平台投資決策的關鍵數據。