79% trang tin tức chặn bot thu thập dữ liệu cho AI

Theo phân tích 100 trang tin tức hàng đầu tại Mỹ và Anh từ BuzzStream cho thấy các tòa soạn đang tích cực ngăn chặn bot AI thu thập nội dung của họ. Cụ thể, có tới 79% các trang tin tức chặn bot huấn luyện AI thông qua tệp robots.txt. Con số này giảm xuống 71% đối với bot truy xuất dữ liệu theo thời gian thực và 67% chặn PerplexityBot dùng để lập chỉ mục tìm kiếm. Chỉ 14% tòa soạn chặn toàn bộ bot AI, trong khi 18% không chặn bot nào.

Thống kê tỷ lệ các bot thu thập dữ liệu bị chặn bởi các trang tin tức

CCBot của Common Crawl bị chặn nhiều nhất với 75%, tiếp theo là Anthropic-ai (72%) và ClaudeBot (69%). GPTBot của OpenAI bị chặn ở mức 62%, trong khi Google-Extended dùng cho Gemini chỉ bị chặn 46%.

Tỉ lệ chặn các bot thu thập dữ liệu cho huấn luyện AI.

Các tòa soạn có phản ứng khác nhau với từng loại bot. Bot huấn luyện bị chặn nhiều nhất vì họ cho rằng các công ty AI lấy nội dung nhưng không trả tiền và không mang lại lưu lượng truy cập. Bot truy xuất ít bị chặn hơn vì chúng có thể tạo ra referral traffic.

BBC, New York Times, Daily Mail và CNN áp dụng chính sách chặn toàn diện. Yahoo, USA Today và CNBC chặn một phần, thường chặn bot huấn luyện nhưng nới lỏng với bot truy xuất. Fox News, The Independent và GB News không chặn bot nào.

Tỷ lệ chặn các bot thu thập dữ liệu cho truy xuất thông tin theo thời gian thực.

Dữ liệu cũng cho thấy sự khác biệt giữa Mỹ và Anh. Các tòa soạn Mỹ chặn bot huấn luyện ở mức 81% so với 77% ở Anh. Đặc biệt, họ chặn Google-Extended mạnh tay hơn nhiều (58% so với 29%).

Tuy nhiên, việc chặn qua robots.txt chỉ là chỉ thị chứ không phải biện pháp kỹ thuật bắt buộc. Một số bot vẫn có thể phớt lờ các chỉ thị này hoặc tìm cách lách luật, khiến hiệu quả thực tế của biện pháp này còn hạn chế.