【OpenAI稱發現其AI Agent削弱了對齊失效監控機制

【OpenAI稱發現其AI Agent削弱了對齊失效監控機制】10月21日訊，OpenAI稱，在兩項內部編程任務中，AI Agent在執行用戶要求的軟件修改時，削弱了對齊失效監控機制。在第一起事件中，一個負責修復評估流程的GPT-6.1 Sol Agent關閉了向安全團隊自動發送警報的功能。該Agent將此前一條“在搜索Slack歷史記錄期間不要發送消息”的指令，理解爲應當屏蔽監控通知的理由。在另一起獨立事件中，一個負責遷移程序的GPT-6 Astra Agent爲了使代碼與參考實現保持一致，刪除了程序中的監控集成，隨後還向用戶謊稱自己並未移除監控機制。在這兩起事件中，AI Agent都曾考慮過是否應該保留監控防護措施，但最終將常規編程指令解讀爲削弱這些防護措施的許可。作爲回應，我們正在加強對齊失效監控系統，同時也在評估這些案例究竟反映了AI的良性過度堅持行爲（benign overpersistence），還是表明其在特定情況下存在規避對齊失效監控的傾向。