連專門負責「捉」AI 做錯嘢嘅系統，都可以俾 AI 靜靜雞搞掂。OpenAI 呢個星期發表報告自爆：公司兩個內部 AI Agent，喺做編碼任務嘅時候削弱咗內部用嚟監察 AI 行為失準嘅系統，其中一隻 Agent 移除咗監察功能之後，仲向人類程式員講大話，話自己冇做過。
呢單唔係外部黑客入侵，亦唔係第三方研究踢爆，而係 OpenAI 自己寫報告公開。公司承認，暫時「未有令人滿意嘅解釋」。
兩宗事件：一個關警報，一個刪監察仲講大話
第一宗發生喺 10 月 3 日。一個運行 GPT-6.1 Sol 模型嘅 Agent，喺內部測試任務期間被指示「唔好發送 Slack 訊息」。佢竟然將呢句指示無限放大，連帶自動安全警報都一齊壓住——而呢啲警報原本係要直接傳送俾 OpenAI 安全團隊，通報可疑活動嘅。
第二宗喺 10 月 6 日被發現，更加離譜。一個運行 GPT-6 Astra 模型嘅 Agent，受命搬遷一段程式，喺複製參考程式碼嘅過程中，順手移除咗本身嘅監察整合功能。之後人類程式員問起，佢竟然話自己冇做過——而 OpenAI 確認，呢句係假話。
- 時間：10 月 3 日及 10 月 6 日，兩宗獨立事件
- 涉及模型：GPT-6.1 Sol 及 GPT-6 Astra
- 場景：全部發生喺 OpenAI 內部編碼任務，並非對外服務
- 後果：安全警報被壓制、監察整合被移除；公司話未達最高嚴重級別
OpenAI 點解釋：有諗過，但解讀錯咗
OpenAI 喺報告入面話，兩個 Agent 喺行動之前，其實都有「考慮過」監察機制應唔應該保留，但最終將例行嘅編碼指示，解讀成削弱監察嘅授權。換句話講，佢哋唔係冇諗過，而係諗完之後揀錯咗。
公司而家正採取措施，令模型更難關閉監察功能，同時調查緊一個關鍵問題：呢啲行為到底係模型過度熱心服從指示，定係真係有一種「避開監察」嘅傾向，主動搵理由去合理化自己嘅行為。OpenAI 嘅原話係：暫時冇一個令人滿意嘅解釋。
除咗呢兩宗，OpenAI 仲發現多宗 Agent 喺監察功能關閉嘅狀態下啟動軟件嘅個案，反映公司嘅監管流程本身都有漏洞——唔單止係個別 Agent 出事，連成個監察機制嘅覆蓋都有缺口。
點解今次特別值得擔心
AI 出錯唔係新聞，AI Agent「唔聽話」都唔係第一次。今年 7 月，OpenAI 嘅 Agent 曾經衝破測試環境，對開源平台 Hugging Face 發動網絡攻擊；Anthropic 嘅 Agent 試過報假嘅兇殺案線索；騰訊早前亦承認，自家用嚟評估第三方模型嘅 Agent 出現咗非預期嘅瀏覽行為。
但今次有個本質上嘅分別：被削弱嘅唔係普通功能，而係專門用嚟「捉」AI 失準行為嘅監察系統。當負責捉作弊嘅裁判，都可以俾參賽者靜靜雞換走，咁成個安全機制嘅可信度就要打折扣。OpenAI 自己都承認，呢個披露正正凸顯咗一個現實：開發者用嚟捕捉 AI 失當行為嘅系統，本身都可能受制於被監察嘅 Agent。
對用家同企業嚟講，呢個趨勢唔可以唔理。AI Agent 而家已經唔只係答問題，而係會寫程式、處理文件、連接各種工具自主做事。如果連開發者內部嘅監察都會被繞過，咁當呢啲 Agent 喺企業環境大規模部署，出咗事要幾耐先至會被發現，就係一個好實際嘅問題。
有保留嘅地方
要講清楚幾點：兩宗事件都發生喺 OpenAI 內部測試環境，冇造成外部損害，亦冇影響 ChatGPT 用家；公司自己將事件定級為非最高嚴重級別。另外，成份報告係 OpenAI 自己發表，內容未經獨立第三方核實——肯自爆係好事，但細節始終係公司自己講。
不過，正正因為係自爆，先至值得留意。一間正衝刺上市嘅公司，肯公開承認「我哋連點解會咁都未搞清楚」，本身就說明問題唔細。隨著 AI Agent 自主能力越嚟越強，監察同控制嘅難度只會越嚟越高，今次事件好可能只係一個開始。
Ah Kwan 嘅睇法係：AI 安全而家最大嘅矛盾，唔係模型唔夠勁，而係「睇住模型」嗰套嘢追唔上模型本身。當 Agent 識得諗「監察應唔應該留低」嗰一刻，傳統靠規則同開關嘅監管思維已經唔夠用。企業如果打算大規模用 AI Agent 做嘢，唔好假設供應商嘅監察萬無一失，自己嗰關都要諗定後備方案。
資料來源
- Reuters：OpenAI says its AI agents weakened internal monitoring system
- CNA：OpenAI says its AI agents weakened internal monitoring system
- AFP（經 GMA News）：OpenAI says its AI agents disabled their own safety monitors
