Component

    GIGABYTE 伺服器和 SupremeRAID™ 的結合，為平行檔案系統 BeeGFS 提供強大的資料處理能力

    by GIGABYTE
    這份白皮書詳細說明了技嘉儲存伺服器 S183-SH0 搭載 SupremeRAID™ 強化 BeeGFS 表現，打造出一個高密度、高效能的平行檔案系統，為高效能運算（HPC）及人工智慧（AI）應用提供強大的支援。
    摘要
    圖睿科技的 SupremeRAID™ 解決方案以 GPU 加速卡作為基礎，突破傳統 ASIC 硬體 RAID 和 CPU 軟體 RAID 的性能瓶頸，將 RAID 功能最大化。
    這篇文章探討 SupremeRAID™ 如何提升 BeeGFS 的表現，並展示其在高效能運算中的應用。測試使用 StorageBench 和 IOzone 為基準工具，評估系統的實際運行表現。StorageBench 用來測量底層儲存裝置的串流吞吐量，與網路性能無關；而 IOzone 則模擬實際工作負載，找出系統中的效能瓶頸。
    測試使用技嘉的伺服器進行，其中包含兩個儲存節點和四個終端節點。測試結果顯示了優異的儲存效能和 BeeGFS 效能表現；詳細內容將在接下來的文章中說明。這些結果證實，選擇 SupremeRAID™ 作為資料保護解決方案是極為有效地提升效能的方式。
    1. 兩組十二個 7 GB/s SSD，分配成四個 RAID 5 群組。2. 四組 100G 乙太網路連線，總頻寬達 400G。
    BeeGFS 以 StorageBench 的基準測試專門用於測量原始儲存效能，測試結果顯示 SupremeRAID™ 5 的讀取速度達 130.35 GB/s，寫入速度為 70 GB/s，表現令人印象深刻。此外，StorageBench RAID 5 的讀取效能接近理論效能極限，其讀寫效能明顯優於受網路瓶頸限制的 IOzone 測試基準，突顯了 SupremeRAID™ 卓越的儲存性能。

    而以 IOzone 基準測試時，模擬了包含網路傳輸的實際終端工作負載，其測試結果同樣令人印象深刻。在使用 256 條執行緒時，讀取和寫入速度分別達到 45.10 GB/s 和 42.97 GB/s。值得注意的是，這些數據已接近 400G 網路的理論極限（50 GB/s），顯示 SupremeRAID™ 幾乎能充分利用四組 100G 網路連線所構成的 400G 網路頻寬。
    測試環境與設備
    硬體：儲存節點（兩個）
    • 伺服器：GIGABYTE S183-SH0-AAV1 x 1
    • 處理器：Intel® Xeon® Platinum 8468H 48C 2.1GHz x 2
    • 記憶體：Micron MTC20F2085S1RC48BA1 DDR5 32GB 4800MHz x 16
    • 網路卡：ConnectX-5 Ex MCX556A-EDAT EDR x 1
    • SSD：SAMSUNG MZTL23T8HCLS-00A07 3.84TB x 16
    • RAID控制器：RAID Controller: SupremeRAID™ SR-1010 x 1
     
    硬體：終端節點（四個）
    • 伺服器：GIGABYTE H242-Z10 x 4 (four-node system)
    • 處理器：AMD EPYC 7663 56C x 2
    • 記憶體：Micron HMA82GR7CJR8N-XN DDR4 16GB 3200MHz x 16
    • 網路卡：ConnectX-5 Ex MCX556A-EDAT EDR x 1
     
    軟體：儲存節點
    • 作業系統：Red Hat Enterprise 8.8
    • 核心：4.18.0-477.13.1.el8_8.x86_64
    • BeeGFS: 7.3.3
    • SupremeRAID™ 驅動程式：1.5.0
    • OFED: 5.8-2.0.3.0

    軟體：終端節點
    • 作業系統：Red Hat Enterprise 8.8
    • 核心：4.18.0-477.13.1.el8_8.x86_64
    • BeeGFS: 7.3.3
    • SupremeRAID™ 驅動程式：1.5.0
    • OFED: 5.8-2.0.3.0
    • IOzone: 3-506.x86_64

    軟體：終端節點
    • 作業系統：Red Hat Enterprise 8.8
    • 核心：4.18.0-477.13.1.el8_8.x86_64
    • BeeGFS: 7.3.3
    • SupremeRAID™ 驅動程式：1.5.0
    • OFED: 5.8-2.0.3.0
    • IOzone: 3-506.x86_64
    叢集架構
    網路
    每個儲存節點都配備了雙埠 100G 網路卡，而每個終端節點則配備了單埠 100G 網路卡。所有兩個儲存節點和四個終端節點均透過100G交換器互相連接。

    儲存
    每個儲存節點都配有16顆NVMe硬碟，其中八顆位於CPU0，剩下的八顆在CPU1。一個位於CPU0的SupremeRAID™ SR-1010 RAID控制器管理所有16顆NVMe硬碟。建立了兩組Meta資料服務器（Metadata  Services），每個都由一組兩個硬碟組成的RAID1支援。此外，還建構了兩個RAID 5組，每組包含六個硬碟。每個RAID 5組生成三個虛擬硬碟，供三個不同的物件儲存服務（Object Storage Services）使用。整個叢集由四個MDS和十二個OSS所組成。
    測試檔案
    BeeGFS StorageBench
    在成功建構集群後，我們使用內建的 BeeGFS StorageBench 工具來測量 NVMe 硬碟和 RAID 控制器的性能。評估過程以寫入測試為開始，目的是建立測試檔案。這個過程使用了 1M 的區塊大小並且採用了 64 條執行緒。此外，為了避免 VFS 快取可能帶來的影響，並揭示儲存系統的真實性能，我們加入了— odirect 選項。
    完成寫作測試後，我們進入了解讀測試階段。
    IOzone
    為了評估叢集在真實工作負載下的性能，我們使用 IOzone 從四個終端節點生成不同 I/O 深度的 I/O。這包括進行讀取和寫入工作負載，每個線程的塊大小為 1M，檔案大小為 16GB。此外，我們還指定了 -I 選項，以允許直接 I/O。
    測試結果
    BeeGFS StorageBench 基準測試用來衡量原始儲存校能，在 RAID 5 保護環境下顯示出相當驚人的結果。該基準測試中觀察到的讀取速度和寫入速度分別達到 130.35 GB/s 和 70 GB/s，這些數據是在四個 RAID 5 群組中取得的，詳細情況可參見標題為「BeeGFS StorageBench 測試結果 vs. IOzone 測試結果」的圖表。StorageBench RAID 5 的讀取性能接近理論性能極限，並且讀寫性能顯著高於網路瓶頸的 IOzone 基準測試，顯示出 SupremeRAID™ 的優越儲存性能。

    相對而言，IOzone 基準測試則模擬實際終端的工作負載，並考慮了網路傳輸資料的耗損。雖然在這種情況下的性能低於 StorageBench 的結果，但仍然相當驚人。以 256 條執行緒進行測試時，讀取和寫入速度分別達到 45.10 GB/s 和 42.97 GB/s。重要的是，這些數據接近 400G 網路的理論極限（50 GB/s），這表明 SupremeRAID™ 幾乎充分利用 400G 網路（4 x 100G）網路頻寬。
    BeeGFS StorageBench 測試結果 vs. IOzone 測試結果
    IOzone 在不同執行緒數量下的讀寫性能
    總結
    總結來說，SupremeRAID™ 在原始儲存和真實工作負載場景中提供了優異效能。根據 BeeGFS StorageBench 的結果顯示，SupremeRAID™ 在 RAID5 保護下達到了相當高的儲存效能水平。此外，IOzone 的結果揭示 SupremeRAID™ 能夠高效處理現實世界的終端工作負載，同時最佳化高速網路基礎設施。

    採用 GIGABYTE S183-SH0 進行運算時，能提供一個極其密集且高效的平行檔案系統解決方案。在所有 32 個插槽都被完全佔用的情況下，每 U 可提供高達 398.32TB 的儲存空間，這使它成為高效能運算（HPC）和人工智慧（AI）應用的理想儲存解決方案。SupremeRAID™ 與 GIGABYTE S183-SH0 的結合，實現了卓越的性能和最大化的儲存效率，使其成為 HPC與AI 應用中的首選。
    結論
    圖睿科技的 SupremeRAID™ 利用 GPU 加速技術，提供了卓越的 RAID 性能，與傳統的 RAID 產品相比，SupremeRAID™ 避免了 基於 ASIC 的硬體 RAID 和依賴 CPU 的軟體 RAID 傳統的效能瓶頸。SupremeRAID™ 軟體版本 1.5 進一步提升了 SSD 的性能發揮，帶來顯著效能增益。
    在使用 SupremeRAID™ 與 GIGABYTE 伺服器進行的 StorageBench 和 IOzone 基準測試中，確認了該組合在高儲存和 BeeGFS 應用中的出色表現。StorageBench 的結果顯示，儲存性能相當於 16 顆 SSD 的總和，而 BeeGFS 的性能接近 400G 網路的理論極限。
    因此，GIGABYTE 伺服器搭配 SupremeRAID™ 提供的 BeeGFS 解決方案具備以下優勢：
    • 高達 130.35 GB/s 的儲存性能。
    • 高達 45.10 GB/s 的 BeeGFS 性能。
    部署細節
    在所有伺服器節點上安裝 RHEL 8.8。
    設置網絡
    1. 在所有伺服器上安裝 OFED 套件。
    2. 在伺服器上配置並啟動 InfiniBand 子網管理器。
    3. 驗證 InfiniBand (IB) 狀態。
    儲存節點
    安裝 SupremeRAID™ 驅動程式
    1. 下載預安裝程式和安裝程式。
    2. 執行預安裝程式來安裝必要的套件。
    3. 執行安裝程式來安裝 SupremeRAID™ 驅動程式。
    4. 應用授權金鑰以啟用 SupremeRAID™ 服務。
    安裝 BeeGFS 套件
    1. 在所有伺服器上添加 BeeGFS 倉庫。
    2. 安裝 BeeGFS 套件。
    設置 BeeGFS 的 RAID 陣列
    1. 驗證 SSD 的 NUMA 位置。確保八個硬碟來自 NUMA0，八個來自 NUMA1。
    2. 創建 16 個 NVMe 硬碟作為實體硬碟。
    3. 建立兩個RAID1組和兩個RAID5組。
    4. 為兩個MDS和六個OSS生成虛擬磁碟。
    5. 將虛擬磁碟格式化為適合 MDS（ext4）和 OSS（xfs）的檔案系統。
    設置BeeGFS管理服務
    在儲存節點設置多個 BeeGFS MDS 和 OSS

    1. 建立2個MDS資料夾和6個OSS資料夾。
    2. 將 beegfs-meta 配置文件複製到 MDS 文件夾。
    3. 修改每個 MDS 的 beegfs-meta TCP/UDP 端口，以防止端口衝突。
    4. 將 beegfs-storage 配置文件複製到 OSS 資料夾。
    5. 為每個OSS修改BeeGFS存儲的TCP/UDP端口，以防止端口衝突。
    6. 將介面檔案放在 /etc/beegfs 資料夾內。
    7. 設定 BeeGFS 掛載點。
    8. 初始化MDS和OSS。
    9. 啟動MDS和OSS服務。
    10. 打開防火牆的端口。
    11. 重新啟動防火牆服務。
    終端節點
    安裝BeeGFS套件
    1. 在所有伺服器上添加BeeGFS倉庫。
    2. 安裝 BeeGFS 終端套件。
    設置 BeeGFS 終端
    1. 在 beegfs-client-autobuild.conf 文件中配置終端伺服器的建置選項。
    2. 文件中配置終端伺服器的建置選項。
    3. 在終端伺服器上初始化終端服務。
    4. 重新啟動 BeeGFS 終端服務。
    BeeGFS 優化
    物件儲存服務
    Meta資料服務器
    終端
    檔案系統
    參考連結
    廠商介紹
    SupremeRAID™
    SupremeRAID™ 是新一代的 GPU 加速 RAID 解決方案，消除了傳統 RAID 的瓶頸，充分釋放 NVMe SSD 的性能和價值。作為全球速度最快的 PCIe Gen 3、4 和 5 伺服器 RAID 卡，SupremeRAID™ 旨在提供卓越的性能，同時提升擴展性、靈活性並降低總擁有成本 (TCO)。單張 SupremeRAID™ 卡的性能可達 28M IOPS 和 260 GB/s。
    • 靈活且具未來前瞻性 – 使用軟體即可新增功能，靈活性無與倫比。
    • 世界紀錄級性能 – 提供驅動高性能應用所需的速度。
    • 釋放 CPU 資源 – 將 RAID 運算工作卸載至 SupremeRAID™ GPU 卡。
    • 即插即用功能 – 無需重新布線，可安裝於任意開放的 PCIe 插槽。
    • 高度擴展應用 – 可輕鬆管理最多 32 個直連 NVMe SSD。
    • 友好的管理界面 – 不依賴記憶體緩存來提升性能。
    BeeGFS 和 StorageBench
    BeeGFS 並行文件系統由 ThinkParQ® 開發設計，提供高性能、容易使用和簡易管理，適用於以性能為導向的環境和工作負載。典型應用包括高性能運算、人工智慧、媒體娛樂、石油天然氣和生命科學等領域。BeeGFS 通常被認為比市場上的其他平行檔案系統更易於部署和管理，並且內建 StorageBench 儲存測試基準工具。
    IOzone
    IOzone 是一種複合式的測試基準工具，用於測試文件系統性能，操作包括讀取、重讀、寫入、重寫和隨機混合操作。測試通過命令行指定的選項進行，支援多種類型和組合的測試操作。
    想要掌握最新科技動向？馬上訂閱！
    訂閱電子報
    想要掌握最新科技動向？馬上訂閱！
    訂閱電子報