Google khuyên dùng mã 304 để tiết kiệm tài nguyên máy chủ

Tập đoàn công nghệ Google vừa bổ sung hai nội dung quan trọng vào tài liệu tối ưu hóa ngân sách thu thập dữ liệu (crawl budget) dành cho các trang web quy mô vừa và lớn. Hướng dẫn này hướng đến các website có trên 1 triệu trang hoặc các trang web quy mô trung bình với hơn 10.000 trang thường xuyên thay đổi nội dung.

Ở bổ sung đầu tiên, Google làm rõ cơ chế chia sẻ tài nguyên giữa các trình thu thập dữ liệu của họ. “Dù mỗi trình thu thập dữ liệu có nhu cầu thu thập khác nhau, giới hạn dung lượng thu thập dữ liệu lại được chia sẻ giữa tất cả các trình thu thập”, Google nhấn mạnh trong tài liệu. Điều này đồng nghĩa với việc nếu một trang web được cả Googlebot và Googlebot-Image truy cập, lưu lượng truy cập cao từ một bot có thể làm giảm dung lượng khả dụng dành cho các bot khác.

Use HTTP caching: Support 304 (Not Modified) HTTP status codes. If a page hasn’t changed since Google last crawled it, returning a 304 code tells Google to reuse the cached version, saving your server bandwidth and resources.

Bổ sung đáng chú ý thứ hai là khuyến nghị phản hồi mã trạng thái HTTP 304 (Not Modified) đối với các trang không có sự thay đổi nội dung kể từ lần truy cập trước. Theo chuẩn HTTP, mã 304 thông báo cho phía máy khách rằng tài nguyên được yêu cầu không cần phải truyền tải lại, giúp tiết kiệm băng thông và tài nguyên máy chủ.

Trong tài liệu cập nhật, Google cho biết: “Hãy sử dụng bộ nhớ tạm HTTP: Hỗ trợ mã trạng thái HTTP 304 (Not Modified). Nếu một trang không thay đổi kể từ lần cuối Google thu thập dữ liệu, việc phản hồi mã 304 sẽ báo cho Google tái sử dụng phiên bản đã lưu trong bộ nhớ tạm, giúp tiết kiệm băng thông và tài nguyên máy chủ của bạn.” Khi nhận được mã này, trình thu thập dữ liệu sẽ không tải lại toàn bộ nội dung trang mà chuyển hướng sang ưu tiên chỉ mục các trang khác.

Bên cạnh hai thay đổi trọng tâm trên, Google cũng thực hiện một số tinh chỉnh nhỏ giúp nội dung tài liệu trở nên chính xác hơn. Dù được thiết kế cho các hệ thống quy mô lớn, thông tin trong tài liệu này vẫn mang lại giá trị thiết thực giúp các quản trị viên hiểu rõ cơ chế vận hành của công cụ thu thập dữ liệu.