Cloudflare tách bot AI thành Search, Agent, Training

Nhân "Content Independence Day" lần hai (1/7), Cloudflare thay tuỳ chọn "Block AI bots" một-nút bằng bộ điều khiển chi tiết hơn: phân loại bot AI theo 3 hành vi — Search (thu thập để lập chỉ mục/trả lời truy vấn), Agent (hành động thay người dùng theo thời gian thực, như ChatGPT-User hay agent điều khiển trình duyệt) và Training (lấy nội dung huấn luyện model). Tuỳ chọn mới áp dụng cho mọi khách hàng, gồm cả gói Free.

Ý chính

• Từ 15/9/2026, mặc định mới cho domain mới: chặn Training và Agent trên các trang hiển thị quảng cáo; Search vẫn được phép để giữ khả năng được tìm thấy.
• Crawler đa mục đích (Googlebot, Applebot, BingBot — vừa Search vừa Training) sẽ bị áp theo quy tắc nghiêm ngặt nhất: ai chặn Training thì các bot này cũng bị chặn, trừ khi chủ site opt-out trong Security settings.
• Ra mắt BotBase cho Enterprise Bot Management: cơ sở dữ liệu tra cứu toàn bộ bot/agent đã biết kèm phân loại hành vi và detection ID.
• Thử nghiệm tín hiệu use mở rộng Content Signals trong robots.txt (immediate/reference/full) mô tả bot được giữ và tái sử dụng nội dung tới mức nào; bot vi phạm sẽ mất trạng thái Verified.
• Đề xuất "transitive trust" dùng header Forwarded (RFC 7239) để nhận diện operator đứng sau agent chạy qua nền tảng trung gian.

Cùng ngày Cloudflare còn công bố Attribution Business Insights và báo cáo bot của năm.