Googlebot dẫn đầu lưu lượng thu thập dữ liệu AI

Cloudflare vừa công bố báo cáo tổng kết năm 2025 (The 2025 Cloudflare Radar Year in Review), cung cấp cái nhìn toàn diện về lưu lượng truy cập, an ninh mạng và hoạt động của các trình thu thập dữ liệu AI. Dữ liệu được tổng hợp từ mạng lưới của Cloudflare trải dài hơn 330 thành phố tại 125 quốc gia, xử lý trung bình hơn 81 triệu yêu cầu HTTP mỗi giây.

Nổi bật trong báo cáo là hoạt động của các trình thu thập dữ liệu phục vụ AI. Googlebot, với mục đích kép vừa lập chỉ mục tìm kiếm vừa huấn luyện mô hình AI, đã tiếp cận 11,6% số trang web duy nhất trong mẫu khảo sát tháng 10 và 11. Con số này gấp hơn 3 lần GPTBot của OpenAI (3,6%) và gần 200 lần PerplexityBot (0,06%). Vị trí tiếp theo lần lượt thuộc về Bingbot (2,6%), Meta-ExternalAgent và ClaudeBot (cùng 2,4%). Báo cáo nhấn mạnh một thách thức cho các nhà xuất bản web: việc chặn Googlebot để ngăn huấn luyện AI có thể đồng nghĩa với việc giảm khả năng hiển thị trên công cụ tìm kiếm Google Search.

Xét tổng thể năm 2025, các bot AI (không bao gồm Googlebot) chiếm trung bình 4,2% tổng số yêu cầu HTML, trong khi riêng Googlebot chiếm 4,5%. Tỷ lệ lưu lượng HTML do con người tạo ra đã tăng lên 47% vào đầu tháng 12, vượt lên trên lưu lượng từ các bot không phải AI (44%).

Báo cáo cũng chỉ ra sự chênh lệch lớn về tỷ lệ “thu thập dữ liệu/giới thiệu ngược” (crawl-to-refer ratio) giữa các nền tảng AI. Anthropic có tỷ lệ cao nhất, từ 25.000:1 đến 100.000:1, trong khi Perplexity duy trì tỷ lệ thấp nhất, thường dưới 400:1. Để so sánh, tỷ lệ này của Google Search chỉ dao động trong khoảng 3:1 đến 30:1.

Tỷ lệ “thu thập dữ liệu/giới thiệu ngược” càng thấp thì càng tốt cho các website.

Một xu hướng đáng chú ý khác là sự gia tăng hơn 15 lần của hoạt động “thu thập theo hành động người dùng”, khi bot truy cập trang web để trả lời câu hỏi từ người dùng chatbot. Trên phương diện an ninh mạng, lĩnh vực “tổ chức xã hội và cộng đồng” (bao gồm các tổ chức phi lợi nhuận, tôn giáo, thư viện) lần đầu tiên trở thành nhóm bị tấn công nhiều nhất, chiếm tới 23,2% lưu lượng tấn công.

Các phát hiện quan trọng khác trong báo cáo thường niên của Cloudflare bao gồm: lưu lượng internet toàn cầu tăng 19%, mã hóa hậu lượng tử hiện bảo vệ 52% lưu lượng truy cập của con người vào Cloudflare, và gần một nửa trong số 174 sự cố internet lớn trên toàn cầu là do chính phủ các nước chủ động ngắt kết nối.

Báo cáo của Cloudflare cho thấy sự thống trị của Google trong không gian thu thập dữ liệu AI mà còn cho thấy sự dịch chuyển rủi ro an ninh mạng và thách thức mới đối với các nhà xuất bản nội dung trong kỷ nguyên AI.