“到明年底，AI可能已經失控”！Anthropic研究員辭職

據《華爾街日報》報道，Anthropic研究員雅各布·考克森（Jacob Coxon）宣佈離職，並退出人工智能行業。現年27歲的他擔心，Anthropic與其他前沿AI公司正在競相開發能夠自我改進的系統，而一旦這類模型進入快速迭代階段，人類可能失去控制。

考克森主要研究AI模型訓練，今年早些時候從OpenAI轉投Anthropic，原因之一正是後者更重視模型安全。但他表示，即使Anthropic的安全工作是認真的，在激烈的行業競爭下，單家公司也無法解決根本問題。除非政府介入或主要實驗室協調減速，否則企業很難安全開發在廣泛任務上超過人類的人工通用智能。

他稱，AI行業內部越來越多人用“crunchtime（關鍵時刻）”和“endgame（最後階段）”等詞描述自我改進模型臨近的階段，並警告：“按照目前的軌跡，到明年年底，一些最激進的情景可能已經失控。”

在他看來，只要企業相互競爭，模型能力與安全之間就不可避免會出現取捨。近期前沿模型的表現進一步強化了這種擔憂。

OpenAI和Anthropic的部分模型在網絡安全測試中已經出現主動攻擊、隱藏行爲等現象，一些系統還能通過多個智能體協作完成任務。考克森擔心，一旦模型能夠持續改進自身，其能力增長可能超過人類控制機制，最終發展到拒絕執行命令。

Anthropic尚未回應此次離職。Anthropic首席執行官達里奧·阿莫迪（Dario Amodei）過去也多次警告失控AI的風險，並呼籲行業放慢部分前沿技術開發。考克森是較早公開因AI安全擔憂離開Anthropic的員工之一。今年早些時候，公司另一名安全研究人員也已離職，並警告“世界正處於危險之中”。

類似警告正在整個AI行業增多。OpenAI上週稱其最新模型已經達到人工通用智能水平，能力實現明顯躍升。OpenAI首席執行官山姆·奧爾特曼（Sam Altman）隨後警告，如果不迅速行動，網絡安全領域“一些事情將非常糟糕”。

OpenAI首席科學家雅庫布·帕霍茨基（Jakub Pachocki）也在週日發文，主張政府介入並協調行業減速。他表示，目前需要“極度謹慎”，並擔憂沒有人爲機器智能持續快速上升的後果做好準備。

考克森、帕霍茨基和阿莫迪近期與超過1000名AI研究人員共同簽署聲明，要求各國政府建立協調機制。一旦自我改進模型出現失控跡象，應擁有讓全球AI開發減速的“剎車踏板”。

美國目前尚無全面的聯邦AI監管框架，特朗普政府優先採取相對寬鬆的監管路線。與此同時，佛蒙特州聯邦參議員伯尼·桑德斯（Bernie Sanders）和得克薩斯州聯邦衆議員格雷格·卡薩爾（Greg Casar）上週提出法案，要求永久禁止超級智能，並在行業監管機構制定新規則前暫停相關模型開發。

考克森離職之際，Anthropic正籌備IPO，並尋求約2萬億美元估值。公司長期把“負責任開發AI”作爲吸引投資者的重要賣點，但考克森認爲，問題已經超出任何單一公司的安全文化。

他透露，Anthropic員工甚至會在內部Slack頻道討論模型越來越強大的能力。在他看來，少數工程師正事實上決定這種技術的發展速度，而如此重大的決策卻主要發生在舊金山工程師的MacBook上，而不是像“曼哈頓計劃”那樣受到更嚴格的公共治理。