為了在效能、效率、穩定性和擴展性之間達到絕佳平衡,技嘉推出多款支援加速器的伺服器產品,以因應人工智慧時代,需要GPU強大算力的各種應用場景。針對此款搭載 Intel® Gaudi® 3 AI 加速器的G系列伺服器新成員,其擁有8U機箱空間,提供優化的散熱能力藉此充分釋放運算效能。這也是技嘉首款採用8U機身設計的氣冷解方案伺服器,可無縫部署於標準氣冷基礎架構資料中心。
技嘉最佳化且經過驗證的 – GIGAPOD 人工智慧資料中心解決方案亦為以 Ethernet 網路為核心的可擴充解決方案;支援最新的 Intel® Gaudi® 3 AI 加速器伺服器產品,由於其採開放式軟體與業界標準 Ethernet 網路,在佈署時可大量減少驗證的前置作業時程。於 GIGAPOD 資料中心解決方案中,單一機櫃將配置四台搭載 Intel® Gaudi® 3 AI 加速器伺服器以及後門熱交換器(RDHx),提供最高密度的算力與最佳化的空間部署。
想了解有關 GIGAPOD 的更多信息,請參閱:GIGAPOD 整合式人工智慧資料中心解决方案
輕鬆啟用新模型或轉移現有代碼至Intel Gaudi軟體,專為提供生成式 AI 效能、效率而設計,提升開發者的使用便利性與生產力
使用已擁有的網路基礎架構,24 個 200 Gigabit 乙太網路(RoCE)連接埠整合至 Intel Gaudi 3 AI 加速器,即使是最大、最複雜的部署也能以具成本效益的方式進行擴展。
由兩個互連晶片與以 8 個矩陣乘法引擎 (MME) 和 64 Tensor處理器核心 (TPC)所組成,可於各式工作負載中提供最佳效能。
內建128GB HBM和96MB的L2快取,有效解決AI訓練和推理工作中常見記憶體瓶頸,加速大型語言模型(LLM)記憶體密集型應用。
Model | Intel® Gaudi® 3 Accelerator |
---|---|
BF16/FP8 MME TFOPs | 1835 |
BF16 Vector TFLOPs | 28.7 |
MME Units | 8 |
TPC Units | 64 |
HBM Capacity | 128 GB |
HBM Bandwidth | 3.7 TB/s |
On-die SRAM Capacity | 96 MB |
On-die SRAM Bandwidth | 12.8 TB/s |
Networking | 1200 GB/s bidirectional |
Host Interface | PCIe Gen5 x16 |
Media | 14 Decoders |
在高效能運算(HPC)應用中,需依賴數值分析、模擬和運算來解決複雜問題以獲取洞見。雖然傳統上對加速器的依賴較少,但通用圖形處理器(GPGPU)的強大平行運算能力在近年來大幅加速了高效能運算的發展,使得混合配置成為現代超級計算機的一大趨勢。
隨著AI的快速普及,從一般應用到快速演進的深度學習,通用圖形處理器(GPGPU)已成為改變產業遊戲規則的重要技術。GPGPU的平行處理能力使其能夠處理大量數據集和複雜演算法,這對訓練和部署AI模型至關重要。因此,人工智慧(AI)已成為使各產業領域於生產、營利、工作效率更快、更“智慧”的關鍵,並且以最有效的方式實現目標。
在數據密集型應用中,例如大數據和電腦模擬。工作負載高度依賴通用圖形處理器(GPGPU)平行運算處理、低延遲和高頻寬來挖掘數據和大規模數據處理。通用圖形處理器(GPGPU)同時處理大量數據的能力,不僅加速海量數據集工作負載,亦能提供準確且及時見解,尤其在金融、醫療和科學研究等領域更仰賴資料的處理與應用。