AI Inference | 人工智慧推論

機器學習或深度學習分兩階段，第一階段是人工智慧(AI)的訓練，第二階段則是推論。訓練與推論的反覆循環，造就現代世界各種先進的AI產品，例如能產出內容的生成式人工智慧，或是輔助人類駕駛的自駕系統。

推論階段，AI必須處理陌生的未標籤化資料，AI參考訓練階段所「拜讀」的數據，企圖理解新接收的輸入值(input)，產出正確的輸出值(output)。使用生成式AI來舉例，每當使用者詢問ChatGPT問題，或是請Stable Diffusion協助繪圖，AI就是在進行推論。同時，AI也會記錄人類使用者給予的回饋，使用於下一回的訓練，因此人工智慧變得愈來愈聰明、愈善解人意。

訓練AI的最終目的，當然就是要進行推論，與現實世界發生互動，協助人們提升生活的便利性與舒適。許多先進的AI應用，包括辨識人臉或是手寫字跡，或是產生內容、操作自駕車，都是AI在進行推論。常見的實用範例，包括電腦視覺、自然語言處理(NLP)、推薦系統等。

有效進行AI推論的秘訣，就是電腦的運算力夠強大、延遲夠低。理由在於，AI模型大多是由許多用戶同時使用，應用情境包括提升生產力（比如說，幫物流中心進行分貨）或是確保自駕車行車安全，由此可見高算力與低延遲是不可或缺的兩大支柱。

伺服器產品方面，技嘉科技推出G293-Z43伺服器，提供最高密度的推論加速器配置，2U 規格機殼內安裝十六張AMD Alveo™ V70加速卡，Alveo™ V70採用AMD的XDNA™自適應資料流架構，非常適合人工智慧推論使用。技嘉亦提供Qualcomm人工智慧推論方案，Qualcomm Cloud AI 100加速器在吞吐量與低延遲方面表現優異，支援資料中心、雲端運算、邊緣運算等多重環境應用，提供高效能表現、高密度加速運算、高擴充性等各項優勢。

針對不同垂直產業，技嘉提供多樣性解決方案，交通運輸業可使用技嘉自動駕駛控制主機(ADCU)，是透過AI加速的嵌入式運算平台，已部署於台灣彰濱工業區的自駕公車；商場及學校積極導入的AI人臉辨識，推薦使用技嘉智慧臉部辨識解決方案，這套方案採用「一對多」的辨識模型，在沒有比對資料的前提下，仍可達到99.9%的準確度。

了解更多：《GIGABYTE AI伺服器為人工智慧加速無限可能》