首頁 / 台灣精品獎 / 得獎精品 / 產品詳細資料

TRUSTA 推出的AI Scaler Toolkit，可透過軟硬體整合方式，動態調度 GPU、DRAM 與 SSD 資源，有效提升大型語言模型（LLM）在有限硬體環境下的運行效率。 核心技術： TRUSTA AI Scaler Toolkit 透過GPU、DRAM、SSD之間的資源協同調度（Resource Orchestration），將LLM部分工作負載進行最佳化分流，降低對 GPU HBM 容量的高度依賴。 系統可依模型需求與工作負載，自動調整：GPU 記憶體使用比例、DRAM 快取配置、SSD 資料交換（Swap / Offloading）進一步提升 AI 推論與訓練效率。 解決產業痛點：目前大型語言模型快速成長，但高容量HBM GPU： • 成本高昂 • 供貨吃緊 • 擴充困難 TRUSTA AI Scaler Toolkit可在不更換GPU(資源有限)、HBM(容量不足)的情況下，透過 DRAM 與 SSD 資源擴展 AI 運算能力，使客戶仍可執行大型語言模型訓練與推論。

www.adata.com

產品洽詢