CPU vs. GPU：淺談伺服器的兩大運算力

談及運算效能，相信大家第一個想到的都是中央處理器，也就是CPU。如同我們在「深究伺服器處理器」的《科技指南》中所提到，CPU的主要功能是接收與詮釋指令，主導伺服器內其他元件的運作，達成用戶指定的目標；這個流程稱作「指令周期」，也就是處理器每天重複進行的工作。「指令周期」編碼越繁雜，伺服器所解決的問題也越困難，例如協助科學家分析來自外太空的都卜勒光譜，為人類尋找可居住的第二顆地球。因此，人們開始思考：難道不能「客製化」處理器設計，使其更擅於解決某些特殊的問題？

了解更多：
《詞彙學習：技嘉小百科，告訴你伺服器是什麼》
《科技指南：深究伺服器處理器，伺服器運算效能的核心關鍵》
《成功案例：美國洛厄爾天文台用技嘉伺服器，搜索太陽系外的外星生命》

首先，來談談CPU的架構與運作方式。CPU就是一塊電腦晶片，由數以億計的電晶體所組成，用來進行運算，也就是前面提及的指令周期。指令周期又可細分為提取、解碼、執行和寫回的四個步驟；依照其所被分配處理的步驟，電晶體組成程式計數器、暫存器和算術邏輯單元(ALU)等元件。由於CPU可能要處理各種不同的指令，因此任何一個元件都不能省略，必須具備很完備的「工具箱」，可以解決任何問題。

但是，如果使用者很清楚指定，處理器就是要專門處理某一項工作，例如渲染電腦影像，那怎麼辦？於是，人類發明了圖形處理器GPU。顧名思義，GPU主要應用在電腦圖像處理，構造與CPU相似，包含控制單元(control unit)、ALU、快取(cache)等元件。如同CPU一樣，GPU獲取用戶的指令之後，使用內部元件進行運算，再將結果呈現在螢幕上。

差別在於，GPU比CPU的核心數更多，而GPU的核心、控制單元與ALU的設計則較為單純，快取空間也比較小。CPU擅長進行單一指令的序列處理（也就是一次完成一項工作），而GPU受惠於大量的核心數，可採用平行運算模式，將一項工作分成許多不同的步驟，分配給核心同步進行，藉此加快運算速度。簡單來說，雖然CPU理論上能完成任何運算工作，但GPU擅於處理較為簡易的特殊工作，例如渲染您在畫面上所看見的數位影像。

詞彙學習：
《花你一分鐘，一次看懂關於核心》
《技嘉小百科，告訴你平行運算是什麼》

聰明的讀者可能已經猜到接下來的發展。人們發現，除了渲染圖像之外，GPU還能助力完成其他工作；所謂的通用圖形處理器GPGPU，就是幫CPU處理較為簡單卻瑣碎的各種運算。在伺服器業界，當人們談及「GPU運算」或「CPU vs. GPU」的議題，口中的「GPU」，其實就是「GPGPU」。

高階伺服器要同時採用先進的CPU與GPU，才能躍進高效能運算(HPC)的層級，但您可能感到納悶，為何不能擇一使用？接下來，我們深入解釋CPU與GPU之間的差別，協助您了解兩種處理器在伺服器中扮演的不同角色。《詞彙學習：花你一分鐘，一次看懂關於高效能運算HPC》

首先，我們必須說明，沒有CPU，伺服器將無法運作。CPU就像汽車的引擎，其他元件都是配合它運作。CPU的時脈速度較高、延遲較低，快取空間較大，控制單元與ALU的設計也較為複雜，因此，CPU是處理器當中的「通才」，擁有高度的靈活性，能處理邏輯設計非常繁雜的運算指令。

難倒「通才」的問題，就是當它被交付大量的瑣碎工作，雖然它能夠處理，卻會浪費太多寶貴時間；大材小用，就像米其林主廚被派去夜市炸雞排，耽擱了高檔餐廳的業務。相較下，GPU的控制單元與ALU設計簡單、快取空間較小，擁有大量核心數及比較高的資料吞吐量，適合快速處理簡單的運算，可說是「專才型」的處理器，專門處理渲染圖像等工作。

比較CPU與GPU之間的差異，我們主要可由以下四個項目來做分辨：

- 核心數：由於CPU的架構較為複雜，因此核心數相對比較少，就連採用精簡指令集架構(RISC)的ARM處理器，頂多也就是幾百顆核心。GPU架構較為單純、簡略，因此它能容納好幾百顆，甚至上千顆核心。

- 元件特色：CPU必須要能夠處理任何指令，因此所搭配的元件非常齊全，比方說，它的快取比較大，能儲存更多資訊，控制單元和ALU也較為複雜。然而，GPU只需要小容量的快取和簡易的控制單元與ALU，就足以應付所負責的簡單、重複性高的工作。

- 運算模式：CPU完成計算的方法，是單一指令的序列處理，也就是一次只能進行一項工作。因此，CPU設計大多講究高速率、低延遲，以最大的效率完成運算工作。相較之下，GPU講究平行運算功能，把複雜工作拆成許多小部分，讓眾多的核心同時著手處理，一樣能夠快速完成工作。

- 擅長工作：讓CPU處理簡易的指令周期，簡直是大材小用，它的架構應當用來處理邏輯設計較為複雜的工作。而GPU存在的目的就是處理簡易指令，以資料吞吐量取勝，因此能在一秒內繪製好幾十張電腦螢幕上看到的畫像。

除了渲染圖像之外，GPU在需要密集資料運算的領域也嶄露頭角，比如在大數據分析、機器學習、AI人工智慧發展等方面，GPU已成為推動電腦科學向前邁進的重要功臣。若以電腦視覺來做舉例，人工智慧之所以能辨識車牌號碼或是手寫字跡，因為AI模型「拜讀」過大量的圖像資訊，可能是幾百萬張、甚至是上億張圖片，經過反覆的猜測來調整演算法參數，直到AI的「猜」力變得萬無一失。雖然AI訓練也能利用CPU來處理，但效率畢竟不如搭配GPU協同運算來得高，GPU可以透過平行運算處理大量簡易的工作，非常適合人工智慧的訓練與推論工作。也因此，市面上最強大的AI超算平台幾乎都支援強大的GPU加速卡或模組，提升人工智慧開發效率。

了解更多：
《拜訪技嘉科技人工智慧專頁，一覽技嘉全系列AI伺服器產品》
《詞彙學習：花你一分鐘，一次看懂關於AI人工智慧》
《詞彙學習：技嘉小百科，告訴你電腦科學是什麼》

總結前面所說幾個重點：第一，沒有CPU，GPU也無法運行；第二，理論上，CPU能獨立完成所有工作，但所有事都靠CPU很吃力。因此，真正聰明的管理者，應該同時利用CPU與GPU，將不同工作分配給有不同專長的處理器。一台伺服器搭配合適的中央處理器及圖形處理器，才會有最佳的表現。

您或許聽說過這個專有名詞：「異質運算」。所謂的異質運算，就是支配不同屬性的運算單元，用來協助CPU完成運算，除了剛剛提到的GPU與DPU，還有視覺處理器VPU、特定應用積體電路ASIC、現場可程式化邏輯閘陣列FPGA。也就是說，如果您的伺服器還沒導入異質運算，那麼事實上，您的伺服器還有許多「成長」的空間。

詞彙學習：
《常聽別人說異質運算，你知道那是什麼嗎？》
《花你一分鐘，一次看懂關於現場可程式化邏輯閘陣列FPGA》

本章節中，我們將與讀者分享，如何挑選最合適的伺服器解決方案，讓您的中央處理器和圖形處理器都能大放異彩，解決您的運算問題。

技嘉科技提供各種GPU運算解決方案，其中G系列GPU協同運算伺服器可算是GPU運算的代表，產品特色包括具備高密度的GPU支援能力以及能提升整體運算效能的高速PCIe傳輸設計。以5U規格（1U代表一個機架單位，佔用機架約44公厘的垂直空間）的G591-HS0作為範例，這款伺服器支援高達32張小尺寸low-profile half-length GPU加速卡，藉由Intel® Xeon®可擴充處理器集結整台伺服器的運算力，發揮超級電腦等級的頂尖效能。

詞彙學習：
《技嘉小百科，告訴你PCIe是什麼》
《常聽別人說機架單位(U)，你知道那是什麼嗎？》

G系列GPU協同運算伺服器，並非技嘉唯一支援異質運算的伺服器產品。其他搭載GPU加速器的技嘉伺服器，包括H系列高密度伺服器、通用型R系列機架式伺服器、適用於邊緣運算的E系列邊緣運算伺服器，及可將企業級運算力直接部署在工作崗位的W系列工作站產品。依照客戶需求，這些產品可搭配不同的CPU與GPU，產生綜效並解決運算問題。《詞彙學習：花你一分鐘，一次看懂關於邊緣運算》

另外一種挑選伺服器的方法，就是藉由「倒推法」，從使用情境倒推回來判斷哪款伺服器產品最為適合。技嘉客戶的真實成功案例，能協助您理解不同領域的用戶，如何利用CPU與GPU的強大運算力，進行與數據分析、電腦模擬、機器學習及AI開發相關的工作。

歐洲核子研究組織(CERN)是全球規模最大的粒子物理實驗室，所經營的大型強子對撞機(LHC)專門透過粒子對撞實驗來偵測新的次原子粒子，為人類探索微觀物理的奧秘。然而，粒子對撞實驗產生每秒高達40 TB的原始數據串流，這麼大規模的海量資訊如果無法即時處理，必然會影響科學研究的進展。

CERN挑選技嘉G482-Z51，這款伺服器採用AMD EPYC™中央處理器，搭配高達八張PCIe Gen 4.0連接的圖形處理器，快速分析物理實驗產出的大量數據。經由技嘉優化的硬體整合設計，讓CPU與GPU、及GPU與GPU之間的高速訊號傳遞延遲降至最低，讓GPU系統傳遞資料時達到低延遲、高頻寬及高可靠度的絕佳表現。

了解更多：
《歐洲核子研究組織運用技嘉伺服器，探尋高能物理學奧秘》
《淺談大數據分析應用，掌握先機的關鍵鑰匙》

另外與數據分析相關的成功案例，是位於法國的地質科學研究公司，專為能源產業提供地球物理數據成像、地震數據解析等服務，提升石油與天然氣勘探的效率。為了提升圖像辨識、影像及數據解析的處理效能，並更精確、更即時地提供探勘資訊，該公司採用技嘉G291-280伺服器，這款伺服器在2U機殼內可裝置高達八張雙插槽的GPU加速卡，增進AMD EPYC™中央處理器的運算速度。技嘉亦提供嶄新的浸沒式液冷技術，將伺服器泡在不導電的冷卻液中散熱，不但能釋放晶片的極致運算力，同時也能減少耗電與碳排放量，協助客戶達到高效能運算與綠色運算的雙贏目標。

了解更多：
《技嘉GPU運算伺服器，提升油氣產業的探勘效率》
《詞彙學習：花你一分鐘，一次看懂關於浸沒式液冷》

東京早稻田大學有「全球災害防治中心」的美譽，研究團隊利用技嘉伺服器建構運算叢集，藉由電腦模擬來研究因為全球暖化而加劇的天然災害，產出高參考價值的觀測數據，協助政府當局規劃更有效的防災辦法。研究團隊將海量的氣象數據倒入伺服器系統中，產出極為細緻的電腦模型，甚至能模擬災區每一位居民的行蹤與狀況。

了解更多：
《暴風解碼，技嘉運算叢集協助早稻田大學研究氣候變遷》
《詞彙學習：技嘉小百科，告訴你運算叢集是什麼》

早稻田大學採用技嘉G221-Z30及W291-Z00工作站產品，G221-Z30搭配AMD EPYC™中央處理器、GPU加速卡及大量的記憶體容量與儲存空間，扮演叢集的控制節點。GPU運算不但提升電腦模擬的精確度，還能透過平行運算同時執行不同模擬，並將產出結果所需的時間大幅縮短75%。技嘉伺服器支援電腦視覺與機器學習的相關應用，研究團隊希望未來能透過神經網路技術的長短期記憶(LSTM)模型，預測海上波浪的情況。

詞彙學習：
《常聽別人說節點，你知道那是什麼嗎？》
《花你一分鐘，一次看懂關於電腦視覺》

若想了解CPU與GPU如何協助開發人工智慧，我們可以看看成功大學奪下HPC-AI電腦競賽冠軍的故事。技嘉為了培育下一代的AI與HPC人才，達成企業社會責任CSR和環境、社會與企業治理ESG的永續經營目標，2020年提供G482-Z50伺服器給成大團隊，為當年的亞太地區「高速運算暨人工智慧（HPC-AI）學生競賽」做準備。G482-Z50的擴充槽最多可容納十張PCIe Gen 3.0 GPU加速卡，也就是讓雙核心的中央處理器，每一顆核心連接五張加速卡，並透過PCIe連接技術降低傳輸延遲。成大團隊在伺服器內安裝輝達NVIDIA的GPU加速器，練習利用由Google開發的自然語言處理NLP及機器學習訓練技術「BERT」挑戰世界紀錄，比賽當天最終以正確率87.7%的MultiNLI語意資料庫判讀結果，超越其他國際學府的成績，包括美國聖地牙哥加利福尼亞大學（正確率87.2%）、史丹佛大學（正確率87.16%），勇奪超級電腦競賽的世界冠軍。


了解更多：
《CSR、ESG實踐案例：技嘉助攻成功大學，勇奪亞太HPC-AI電腦競賽冠軍》
《拜訪技嘉科技永續發展資訊網，一覽技嘉為地球和社會的付出！》
《詞彙學習：技嘉小百科，告訴你自然語言處理NLP是什麼》

看完本篇科技指南，希望大家對CPU與GPU的定義與差別有更深入的了解，也希望大家能明白為何要使用異質運算產生綜效，讓兩種處理器推動AI、HPC等尖端科技的進步。若對於伺服器及先進的CPU或GPU產品有任何疑問，技嘉將提供您最適宜的諮詢服務，歡迎您透過marketing@gigacomputing.com電子信箱聯絡技嘉科技業務窗口，我們將協助您挑選適合的伺服器解決方案。

同場加映：
《科技指南系列文章：私有雲的需要與必要，如何評估企業的雲端部署？》
《更多成功案例：技嘉藉由單相浸沒式液冷技術，助力日本電信龍頭KDDI開發新世代資料中心》