《科技》高通搶攻資料中心AI推論商機 攜Cirrascale開放AI200客戶評估

【時報記者王逸芯台北報導】高通技術公司與雲端服務供應商Cirrascale Cloud Services宣布,專為新一代機架級AI推論打造的Qualcomm Dragonfly AI200解決方案,已透過Cirrascale開放特定客戶進行評估。隨著生成式AI從模型開發邁向大規模部署,推論效能、功耗及成本成為雲端服務供應商(CSP)與企業的重要考量,高通也積極拓展資料中心AI推論市場。
Qualcomm Dragonfly AI200結合大容量記憶體、機架級運算效能及針對推論最佳化的軟體架構,支援大型語言模型、多模態模型及其他AI工作負載部署。透過此次合作,Cirrascale可為特定客戶提供AI雲端環境,讓客戶使用自身模型與工作負載,評估及驗證Qualcomm Dragonfly AI200。雙方並提供平台驗證、工作負載特性分析、效能基準測試及概念驗證(PoC)等技術支援。
在產品規格方面,Qualcomm Dragonfly AI200每張加速卡支援768GB LPDDR記憶體,架構專為支援兆級參數規模的新一代基礎模型推論而設計。機架級解決方案整合直接液冷、PCIe向上擴充(Scale-up)、乙太網路向外擴展(Scale-out)及機密運算技術,並搭配Qualcomm AI Management Suite,同時支援主流AI框架生態系。
Cirrascale Cloud Services執行長Dave Driggers表示,AI的整體經濟效益愈來愈取決於推論階段的成本與效率,客戶需要兼具效率與擴展能力的基礎設施,以支援日益複雜的模型,同時避免電力及營運成本成為發展瓶頸。透過與高通合作,客戶可實際評估專為新一代AI推論��造的新架構。
除了通用型基礎設施,特定客戶也可透過Cirrascale雲端環境評估專為AI推論打造的平台。Cirrascale具備專用AI雲端基礎設施及託管服務營運經驗,並採固定費率商業模式,不收取資料傳入或傳出費用。
高通技術公司執行副總裁暨資料中心部門總經理Tony Pialis表示,AI推論正成為資料中心規模最大、最重要的運算工作負載之一,產業需要更有效率的解決方案。Qualcomm AI200將高通在高效能、低功耗AI運算方面的技術延伸至機架級基礎設施,架構針對推論效能、記憶體及成本需求設計。透過與Cirrascale合作,客戶可使用自身工作負載評估相關技術,了解其對資料中心整體成本效益的影響。
