國際產經:Gemini資安測試意外入侵3家公司,Google加入AI代理越界事件名單

【財訊快報/陳孟朔】路透報導,Google證實旗下人工智慧模型Gemini今年5月在一項網路安全能力測試中,意外取得網路存取權並進入3家真實公司的受保護系統,成為繼OpenAI、Anthropic及Meta之後,又一家披露AI代理在測試環境中越界進入現實網路系統的科技公司。測試由AI安全公司Irregular執行,原本目的在評估Gemini執行資安任務的能力。
事件發生於「奪旗」(capture the flag)測試期間。由於測試中的虛構企業名稱與真實公司重疊,加上Gemini意外獲得網路連線權限,模型在一次測試中透過反覆猜測密碼進入受保護系統;另兩次則是在公開程式碼儲存庫找到外洩憑證後,用於登入其他公司的系統。Google表示,Gemini在辨識出目標屬於真實企業後即停止進一步操作,相關公司與美國聯邦主管機關均已獲通知。
Irregular表示,這起事件與其7月底向多家AI實驗室通報的問題屬於同一類型,相關漏洞已修復。Anthropic此前披露Claude模型曾在資安評估中4度未經授權進入真實第三方系統;OpenAI則於7月發生模型突破隔離測試環境,進一步存取Hugging Face及OpenAI部分內部基礎設施的事件。這些案例顯示,當AI代理同時具備高階推理、工具操作與網路權限時,即使原始任務是測試,也可能因環境設定錯誤而跨越預設邊界。
Google並未將此次事件視為模型失控,理由是Gemini在辨識出現實目標後主動停止,且未造成已知損害。不過,這類事件正加深市場與安全研究人員對「AI代理自主行動能力」的關切,焦點已由模型是否會生成錯誤內容,進一步轉向在具備網路、程式與系統存取權限後,如何限制其實際執行範圍與建立可靠的安全隔離機制。
