《金融》Visa首創「AI智慧購物評測」首輪評測失敗率達43.4%

【時報記者張佳琪台北報導】Visa發布業界首創「AI智慧購物評測」,透過模擬真實消費情境,評估主流AI模型的實際表現,並開放消費者親自參與測試。首輪「AI智慧購物評測」顯示,AI購物平均測試通過率僅56.6%,意即失敗率達43.4%,且整體表現穩定度不足。Visa指出,未來將持續擴充代理式商務評測基準,協助代理式商務體驗升級。
Visa推出的「AI智慧購物評測」標準,AI必須透過與消費者的對話,準確辨識其實際需求;若沒有符合條件的商品,AI則不應下單。基準測試也特別要求AI必須蒐集足夠的資訊,避免在充分了解消費者需求前,僅憑推測做出決策。
首輪「AI智慧購物評測」標準涵蓋來自12個AI研發團隊的22款AI模型,並設定買電視、筆記型電腦及個人護理家電等15種購物情境。評測結果,AI購物平均測試通過率僅56.6%;其中表現最佳的模型通過率達82.2%,最低僅有28.9%,代表AI購物能力仍有提升空間。
透過與消費者對話,挖掘最多潛在購買需求的五款AI模型,平均通過率達68%;相較之下,掌握最少潛在購買需求的五款模型,通過率低於五成(44.4%)。顯示深入理解消費者需求是關鍵。
高成本模型表現較佳,但仍有失敗風險。平均單次測試成本最高的五款AI模型,通過率達65%;成本最低的五款模型通過率則為50%。
再者,深入理解消費者需求是關鍵。透過與消費者對話,挖掘最多潛在購買需求的五款AI模型,平均通過率達68%;相較之��,掌握最少潛在購買需求的五款模型,通過率低於五成(44.4%)。
高成本模型表現較佳,但仍有失敗風險。平均單次測試成本最高的五款AI模型,通過率達65%;成本最低的五款模型通過率則為50%。
每款AI模型在各類購物情境中均進行三次測試。然而,綜合所有模型與情境,三次測試皆通過的比例僅有33%,顯示AI模型表現穩定度仍有不足。此外,約有半數(53%)未通過的測試,AI最終仍決定進行購買,包括推薦不符合消費者要求的商品,或未能充分掌握消費者的所有購買條件,這部分對消費者來說,必須提高警覺。
Visa台灣總經理黃慧琴表示,深信AI將引領商務邁向新時代,而信任是將未來商務藍圖化為現實的關鍵,Visa推出的「AI智慧購物評測」標準,正是Visa持續推動產業標準提升的具體實踐。
Visa認為,若想建立消費者對代理式商務的信任,關鍵點是減少錯誤、提升穩定性,目前這兩個項目都有進步空間。未來Visa計畫持續擴充代理式商務評測基準,納入更多購物情境與產品類別,延伸測試範圍至結帳、支付及訂單成立等環節。Visa亦已將評測基準分享予業界領先的AI模型供應商,以蒐集相關回饋。
