Google 同 OpenAI 在 10 月 30 日同日宣布，將會支持一個共用的 AI 訓練信號：網站以後只要在 robots.txt 加一個設定，就可以一次過向多間參與的 AI 公司表達內容用唔用得嚟訓練模型，唔使再逐間公司寫唔同規則。對成日要處理版權同內容授權的網站、媒體同創作者嚟講，呢個改變最實際的意義就係「少咗好多重複工夫」，但要留意，呢個信號目前仍然係草案階段，而且各家落實時間並不一致。
一個代號，覆蓋多間公司
新機制的核心係一個跨廠商的政策代號 __usage_ai-training。網站管理員只要在 robots.txt 用平時寫開的格式加一組設定，例如將呢個代號放喺 User-Agent 一欄，再配合 Disallow 或者 Allow，就可以按路徑表達「呢部分內容唔好拎去訓練」或者「呢部分可以用」。舉例嚟講，全站唔想被拎去訓練，但新聞稿目錄例外，就可以寫成全站 Disallow、再 Allow 新聞稿目錄，做法同現有 robots.txt 完全一樣，唔需要學新語法，亦唔會影響本身的爬取規則。
呢份規格由 Anthropic 的 Kevin Kelley 撰寫，10 月 30 日以 IETF 互聯網草案形式發表，屬於 IETF 旗下 AI Preferences 工作小組的相關工作。草案本身強調，訓練用途的偏好同爬蟲本身的流量管理係兩回事：寫咗呢個信號，唔等於直接封鎖爬蟲；想限制爬取，仍然要靠本身針對個別爬蟲的設定。
各家時間表並唔一致
OpenAI 表示會在未來幾個月內落實呢個信號，到時會再公布實施細節，而現有的爬蟲控制會繼續有效。Google 就表示，計劃在 2027 年連同其他 AI 公司一齊支持呢個新控制，之後會再交代進度。換言之，網站今日寫咗呢組設定，唔代表聽日所有公司就會即時跟足，短期內原有各家設定仍然要保留。
Google 亦交代咗一個實際處理方式：如果網站用咗呢個共用代號表示唔想被訓練，而又冇特別寫明 Google-Extended 的安排，Google 會當作網站已經拒絕 Google-Extended。Google-Extended 係 Google 自 2023 年起提供的 AI 訓練控制，今次並唔會被取代，網站仍然可以針對個別公司做更細緻的設定。
對香港網站同創作者有咩影響
香港有唔少網站、網媒、公司網頁同創作者都面對同一個問題：想俾搜尋引擎同 AI 搜尋搵到自己，但又唔想成站內容無聲無息變成訓練數據。以前要逐間寫 GPTBot、Google-Extended、ClaudeBot 等唔同規則，漏寫一間就等於冇講過；共用信號的出現，理論上可以將「唔好拎我啲內容去訓練」呢個立場一次講晒，管理成本明顯降低。
不過 Ah Kwan 認為，呢個工具的定位要講清楚：robots.txt 本來就係一種自願性質的表達方式，唔係技術上的存取控制，亦唔係法律保障。唔合作的抓取者本身就可以無視佢；已經被收集的舊數據，亦唔會因為今日加咗設定就自動刪除。所以網站如果真係有高度敏感內容，仍然要靠伺服器層面或者合約等其他手段，唔好單靠一個 robots.txt 設定就當搞掂。
仍待確認的地方
第一，呢份文件目前只係個人提交的互聯網草案，並未獲得 IETF 正式認可，草案本身亦會在 2027 年 5 月 3 日到期，除非之後修訂或者推進，否則唔會自動變成正式標準。第二，除咗 Google 同 OpenAI，仲有邊間公司會幾時、用咩方式落實，仍然要睇後續公布，現階段唔好假設所有 AI 公司都會用同一套解讀。第三，訓練同搜尋、引用係唔同用途，網站要分清楚自己想擋的是訓練，定係連搜尋曝光都唔要，兩者的設定要分開處理，唔好一刀切寫錯。
整體嚟睇，今次最值得留意的地方唔係技術本身有幾複雜，而係 Google 同 OpenAI 呢類大公司願意用同一個方法去讀網站的訓練偏好，仲有 Anthropic 撰寫埋相關草案。對內容創作者嚟講，呢個係一個遲嚟但實用的起點；但由「有共用信號」去到「所有公司都準時跟足」，中間仲有一段路要行，值得繼續跟進各家的落實進度。
資料來源
- OpenAI：Making it easier for websites to express AI training preferences
- Google Search Central Blog：Supporting a shared AI training control for websites
- IETF：Machine-Readable Training Preference Signal（draft-kelley-aipref-training-preference-signal-00）
- Search Engine Land：Google also gives publishers more control over how AI uses their content
- Unite.AI：OpenAI to Honor Shared Robots.txt Signal for AI Training Preferences
