Trong quá trình quản lý website, việc gặp phải các lỗi từ Google Search Console không phải là điều hiếm gặp. Một trong những lỗi phổ biến mà nhiều quản trị viên web thường gặp là lỗi “Blocked due to access forbidden (403)”. Lỗi này có thể gây ảnh hưởng tiêu cực đến việc lập chỉ mục của Google và cản trở khả năng hiển thị của trang web trên kết quả tìm kiếm. Trong bài viết này, chúng ta sẽ cùng tìm hiểu nguyên nhân gây ra lỗi này và cách khắc phục nó một cách hiệu quả.
1. Hiểu về lỗi “Blocked due to access forbidden (403)”
Lỗi “Blocked due to access forbidden (403)” xuất hiện khi Googlebot – công cụ thu thập dữ liệu của Google – không thể truy cập vào trang web hoặc một số trang cụ thể của bạn. Lỗi 403 là mã trạng thái HTTP chỉ ra rằng máy chủ đã nhận được yêu cầu từ Googlebot nhưng từ chối thực hiện yêu cầu đó do thiếu quyền truy cập.
1.1 Nguyên nhân gây ra lỗi
Có một số nguyên nhân phổ biến dẫn đến lỗi “Blocked due to access forbidden (403)”, bao gồm:
Cấu hình sai trong tệp robots.txt: Tệp robots.txt của bạn có thể đã chặn Googlebot truy cập vào một số phần của trang web.
Thiết lập quyền truy cập sai trên máy chủ: Cấu hình sai về quyền truy cập trên máy chủ có thể ngăn cản Googlebot thu thập dữ liệu.
Tường lửa hoặc các công cụ bảo mật: Một số tường lửa hoặc công cụ bảo mật có thể ngăn chặn Googlebot do hiểu nhầm đây là yêu cầu không hợp lệ.
Chứng chỉ SSL không hợp lệ: Googlebot có thể không truy cập được nếu trang web của bạn sử dụng chứng chỉ SSL không hợp lệ hoặc không tin cậy.
2. Cách khắc phục lỗi “Blocked due to access forbidden (403)”
Để khắc phục lỗi này, bạn cần thực hiện một số bước kiểm tra và điều chỉnh sau:
2.1 Kiểm tra tệp robots.txt
Truy cập vào địa chỉ https://yourdomain.com/robots.txt (thay yourdomain.com bằng tên miền của bạn) để kiểm tra nội dung của tệp robots.txt.
Đảm bảo rằng không có dòng lệnh nào chặn Googlebot truy cập vào các phần quan trọng của trang web. Ví dụ, dòng lệnh Disallow: / sẽ chặn Googlebot truy cập vào toàn bộ trang web, gây ra lỗi 403.
Ví dụ về tệp robots.txt chuẩn:
User-agent: *
Disallow:
Sitemap: https://yourdomain.com/sitemap.xml2.2 Kiểm tra quyền truy cập trên máy chủ
Đăng nhập vào máy chủ web của bạn và kiểm tra quyền truy cập đối với các tệp và thư mục quan trọng.
Đảm bảo rằng các tệp và thư mục này có quyền truy cập phù hợp (thường là 755 cho thư mục và 644 cho tệp).
2.3 Kiểm tra cấu hình tường lửa và bảo mật
Nếu bạn đang sử dụng tường lửa hoặc các công cụ bảo mật như Cloudflare, hãy kiểm tra cấu hình để đảm bảo rằng chúng không chặn Googlebot.
Bạn có thể thêm Googlebot vào danh sách trắng để đảm bảo rằng các yêu cầu từ Googlebot không bị từ chối.
2.4 Kiểm tra và cập nhật chứng chỉ SSL
Đảm bảo rằng trang web của bạn đang sử dụng chứng chỉ SSL hợp lệ và được Google tin cậy.
Kiểm tra ngày hết hạn của chứng chỉ SSL và đảm bảo rằng nó được cài đặt đúng cách.
3. Xác minh lại sau khi khắc phục lỗi
Sau khi thực hiện các bước trên, hãy sử dụng Google Search Console để kiểm tra lại xem lỗi đã được khắc phục chưa. Bạn có thể yêu cầu Googlebot thu thập dữ liệu lại trang web bằng cách sử dụng tính năng “Request Indexing” trong Google Search Console.
4. Các biện pháp phòng ngừa
Để tránh gặp phải lỗi “Blocked due to access forbidden (403)” trong tương lai, bạn nên:
Thường xuyên kiểm tra và cập nhật tệp robots.txt để đảm bảo rằng nó không chặn Googlebot một cách không cần thiết.
Kiểm tra cấu hình máy chủ và quyền truy cập thường xuyên để đảm bảo rằng tất cả các tệp và thư mục quan trọng đều có quyền truy cập phù hợp.
Đảm bảo rằng chứng chỉ SSL của bạn luôn hợp lệ và được gia hạn kịp thời.
Kết luận
Lỗi “Blocked due to access forbidden (403)” có thể gây ra nhiều phiền toái cho quản trị viên web, đặc biệt là khi nó ảnh hưởng đến khả năng lập chỉ mục của Google. Bằng cách hiểu rõ nguyên nhân và áp dụng các biện pháp khắc phục như đã nêu trong bài viết, bạn có thể dễ dàng sửa chữa lỗi này và đảm bảo rằng trang web của bạn luôn sẵn sàng cho việc thu thập dữ liệu của Google.
Kết nối với web designer Lê Thành Nam
