
隨著生成式 AI、即時推論與高效能運算(HPC)應用快速擴展,企業對 GPU 算力的需求持續攀升,然而在實務部署中,昂貴的 GPU 資源卻長期面臨利用率不彰、投資效益難以放大的挑戰。AI 基礎設施軟體領導廠商數位無限(INFINITIX)今宣布,透過旗下 AI-Stack CTAs(Core Type Aware Scheduler)技術,有效解決 GPU 核心錯配所造成的算力閒置問題,並攜手工業電腦與邊緣運算大廠研華科技(Advantech),共同推出兼具效能與穩定性的企業級與邊緣 AI 基礎設施解決方案。
數位無限 AI-Stack CTAs 釋放 GPU 雙倍效能
現行 GPU 架構同時包含 CUDA Cores 與 Tensor Cores,分別適用於傳統運算與 AI 矩陣運算。然而在多數企業環境中,不同型態的工作負載往往輪流使用同一張 GPU,導致部分核心長時間閒置,使整體 GPU 利用率與實際效能僅發揮約四成。AI-Stack CTAs(Core Type Aware Scheduler)為業界首創、可於軟體層精準辨識並調度 GPU 核心類型的智慧排程機制。透過 Kubernetes 原生整合與 runtime 攔截技術,CTAs 能將 CUDA 密集型與 Tensor 密集型工作負載配對於同一張 GPU 並行執行,在無需修改應用程式的前提下,將 GPU 利用率提升至 80% 以上,實質釋放近 2 倍算力效益。
AI-Stack 為數位無限打造的企業級 AI 基礎設施管理平台,除 CTAs 核心調度能力外,亦涵蓋 GPU 資源管理、多租戶治理,以及模型訓練與推論部署,協助企業以平台化方式管理算力資產,加速 AI 從實驗走向規模化應用。
攜手研華賦能產業:軟硬整合重塑 AI 算力價值
在 GPU 使用效率大幅提升後,系統的穩定性與可靠度成為企業部署 AI 的關鍵。研華提供通過嚴格工業級驗證的 GPU 伺服器平台,包含適用於邊緣場域的 SKY-602E3 塔型 GPU 伺服器,即使在 GPU 長時間高負載運作下,仍能維持穩定效能,確保關鍵任務 7×24 小時不中斷當 GPU 利用率長時間維持在 80% 以上,真正的挑戰才正式展開。為確保被釋放的算力能於實際產業場域中穩定運行,INFINITIX 與研華深化策略合作,將 AI-Stack CTAs 導入研華工業級邊緣與資料中心伺服器平台,其中以 SKY-602E3 為代表的塔型 GPU 伺服器,成為高負載 Edge AI 應用的理想載體。
SKY-602E3 具備多 GPU 擴充能力與強化散熱設計,並通過嚴苛工業級測試,即使 GPU 長時間滿載運作,仍可有效避免降頻與非預期停機,滿足電信、製造、醫療等「不容中斷」關鍵任務場域需求。透過 AI-Stack 與研華伺服器產品線的深度整合,企業得以依據資料中心或邊緣場域特性,彈性部署高效且可靠的 AI 基礎設施。
數位無限商務長陳立昕表示:「AI-Stack CTAs 的核心價值,在於讓 GPU 中的 CUDA 與 Tensor Core 各自發揮、同時運作,真正提升算力使用效率。結合研華工業級硬體在穩定性與耐用度上的優勢,可協助企業在效能與可靠度之間取得最佳平衡,降低 AI 導入門檻,加速智慧應用落地。」
數位無限x群聯電子 打造新世代 AI 基礎設施效能架構
數位無限AI PaaS產品AI-Stack提供NVIDIA GPU最佳算力效率