Google, Microsoft, OpenAI và Anthropic cùng hỗ trợ một tín hiệu từ chối AI huấn luyện: website chỉ cần thêm một dòng robots.txt
Tuần trước, chúng tôi viết về việc Google bắt đầu trả tiền cho nội dung dùng trong AI search. Ngay sau đó là một tin có tác động rộng hơn: ngày 30/10/2026, Google, Microsoft, OpenAI và Anthropic cùng cho biết sẽ tôn trọng một tín hiệu chung trong robots.txt để website từ chối cho AI huấn luyện trên nội dung của mình.
Trước đây, muốn chặn từng hãng, bạn phải nhớ tên từng bot như GPTBot, ClaudeBot hay Google-Extended. Với tín hiệu mới, một nhóm khai báo duy nhất có thể nói "không dùng để huấn luyện" với nhiều hãng cùng lúc. Tuy vậy, đây vẫn là bản đề xuất và mỗi hãng áp dụng theo lịch riêng, nên bạn cần hiểu rõ nó làm được gì và không làm được gì.
Một dòng robots.txt cho cả bốn hãng
Tín hiệu mới là một nhóm user-agent đặc biệt tên __usage_ai-training, thường đi kèm Disallow: /. Nó xuất phát từ một bản Internet-Draft trong nhóm làm việc AI Preferences của IETF, do Kevin Kelley của Anthropic soạn.
Cú pháp: thêm
User-Agent: __usage_ai-trainingvàDisallow: /vào robots.txt để báo rằng bạn không muốn nội dung được dùng huấn luyện AI.Phải khai báo rõ: quy tắc chung
User-Agent: *không được tính là tín hiệu này. Website không có nhóm riêng thì được xem là chưa nêu mong muốn.Chưa phải tiêu chuẩn chính thức: đây là bản đề xuất cá nhân tại IETF, chưa được thông qua như một tiêu chuẩn.
Mang tính tự nguyện: giống mọi quy tắc robots.txt, hiệu lực phụ thuộc vào việc từng bot có tôn trọng hay không.
Mỗi hãng một lịch, và huấn luyện khác với trả lời
Điểm cần chú ý nhất là bốn hãng không áp dụng cùng lúc, và "huấn luyện" không giống với việc AI đọc trang của bạn để trả lời câu hỏi (grounding).
Anthropic: cho biết đã bắt đầu áp dụng.
OpenAI: sẽ áp dụng trong vài tháng tới, và các quy tắc cũ như chặn GPTBot vẫn tiếp tục có hiệu lực.
Google: dự kiến hỗ trợ từ đầu năm 2027. Các báo đang đưa tin khác nhau về việc tín hiệu này có ảnh hưởng tới AI Overviews và AI Mode hay không, nên bạn nên chờ tài liệu chính thức của Google.
Microsoft: bắt đầu từ 1/2/2027, khi bot thu thập lại từng trang. Microsoft tách riêng hai lựa chọn huấn luyện và grounding, và các thẻ NoArchive, NoCache sẽ không còn được dùng cho mục đích này sau 1/3/2027.
Meta: chưa cam kết sẽ tôn trọng tín hiệu này.
Tín hiệu mới cũng không xoá dữ liệu đã được dùng để huấn luyện trước đây, và không làm website biến mất khỏi kết quả tìm kiếm thông thường như Bing.
Góc nhìn từ Agenorix: quyết định trước, chỉnh robots.txt sau
Với phần lớn website, mục tiêu không phải là chặn AI hoàn toàn. Khi người dùng ngày càng hỏi AI thay vì bấm vào trang kết quả, được AI đọc và trích dẫn là một kênh tiếp cận quan trọng. Vì vậy, chúng tôi khuyên bạn quyết định rõ mục tiêu trước khi sửa một dòng nào trong robots.txt.
Tách ba nhu cầu: được tìm kiếm, được AI trích dẫn khi trả lời, và cho phép AI huấn luyện. Ba việc này giờ có thể khai báo riêng.
Kiểm tra robots.txt hiện tại: nhiều website đang vô tình chặn cả bot tìm kiếm khi muốn chặn bot AI, hoặc ngược lại.
Chỉ chặn huấn luyện khi có lý do: nội dung trả phí, dữ liệu độc quyền hay tài liệu nội bộ là những trường hợp nên cân nhắc.
Ghi lại thay đổi và theo dõi: sau mỗi lần sửa, theo dõi lượt truy cập từ tìm kiếm và từ các công cụ AI trong vài tuần.
Nên bắt đầu từ đâu?
Hãy mở địa chỉ tên-miền-của-bạn/robots.txt và trả lời ba câu hỏi: bạn đang chặn bot nào, vì sao chặn, và bạn có muốn nội dung được AI dùng để huấn luyện hay không. Nếu bạn cần rà soát robots.txt và chiến lược hiển thị trên AI search, đội ngũ Agenorix sẵn sàng hỗ trợ, buổi tư vấn đầu tiên miễn phí: liên hệ tư vấn.
Nguồn: Search Engine Journal (30/10/2026), PPC Land (30/10/2026), IETF AI Preferences Working Group, Yahoo Tech
Chia sẻ