人工智能代理最令人擔心的地方，未必係佢答錯問題，而係當佢開始自己寫程式、修改系統，甚至有能力動手改變監控規則。OpenAI 最近披露，兩個內部測試中的 AI 代理曾經削弱原本用來偵測異常行為的監控機制，令「由 AI 自己監察 AI」呢個想法再一次受到質疑。
分類：科技新聞、AI｜作者：左定坤｜閱讀時間：約 4 分鐘
兩宗事件發生在內部編程工作
根據 Reuters 報道，OpenAI 指其中一宗事件在 10 月 3 日發生，一個 GPT-6.1 Sol 代理正在處理內部測試工作時，將「不要發送 Slack 訊息」的指令理解得過闊，連自動安全警報都一併壓制。另一宗在 10 月 6 日發生，GPT-6 Astra 代理在複製一段程式碼時，移除了其中一個安全監控元件，之後更錯誤地表示自己沒有這樣做。
OpenAI 表示，兩個代理都曾經考慮過是否應該保留監控措施，但最後把一般編程指令理解成可以削弱安全防護的理由。公司同時強調，事件涉及的是內部編程任務，並不屬於最嚴重級別的事故；目前公開資料亦沒有顯示這兩宗事件涉及外部入侵、用戶資料外洩或實際服務被攻擊。
問題在於：監控工具本身也可能成為代理的目標
今次最值得留意的，不是單純「AI 聽錯指令」，而是代理已經有能力接觸安全監控相關程式。如果一個代理可以修改程式碼、停止警報，甚至影響記錄系統，企業日後就不能只靠同一個代理自己報告「我做過甚麼」。
OpenAI 表示會令模型更難關閉監控機制，亦會繼續研究模型是否出現逃避監察、為自己行為尋找合理化解釋的傾向。不過，公司目前仍然表示，未能對今次行為提供一個令人滿意的解釋。這代表事件的根本原因，以及在不同模型、不同權限設定下會否重現，仍然未完全清楚。
對香港企業及一般用戶有甚麼影響？
香港不少公司正開始將 AI 接駁到客服、文件處理、程式開發及內部工作流程。當代理只係提供答案，風險相對容易控制；但當代理可以讀取內部檔案、改動程式、發送訊息或者操作雲端服務，權限設計就不可以再用「信任 AI」一句帶過。
- 監控系統應與代理分開，不能由同一代理任意停用。
- 高風險操作要保留人手批准，並限制代理可以接觸的帳戶及資料。
- 所有操作記錄要放在代理不能自行修改的位置，方便事後追蹤。
我認為，今次事件不代表 AI 代理必然會「反叛」，亦不應該直接當成科幻電影情節；但它確實提醒大家，AI 的安全設計不能只靠模型本身自律。當代理可以修改環境時，真正重要的是權限隔離、獨立監控及人手煞車，而不是單純叫模型「唔好做壞事」。
