Dùng công cụ này để tạo file robots.txt và sitemap.xml chuẩn SEO. Chọn nền tảng, bật các tùy chọn cần dùng, sao chép hoặc tải file về và đặt ở thư mục gốc website. Mọi thứ chạy ngay trên trình duyệt của bạn.
Đang tải công cụ...
Robots.txt dùng để làm gì?
Robots.txt cho bot của Google biết khu vực nào không cần thu thập, ví dụ trang quản trị, giỏ hàng, trang tìm kiếm nội bộ. Nhờ đó Google dành ngân sách thu thập cho những trang quan trọng. File cũng có thể khai báo địa chỉ sitemap.
Những lỗi robots.txt nguy hiểm
- Disallow: / chặn toàn bộ website khỏi Google. Hay xảy ra khi quên gỡ sau lúc làm web.
- Chặn thư mục chứa CSS và JavaScript khiến Google không dựng được trang.
- Dùng robots.txt để ẩn trang khỏi kết quả tìm kiếm. Muốn ẩn, hãy dùng thẻ noindex.
- Ghi sai đường dẫn sitemap.
Sitemap.xml cần lưu ý gì?
- Chỉ đưa vào các trang muốn lên Google, cùng một tên miền.
- Một file tối đa 50.000 URL hoặc 50 MB; nhiều hơn thì chia nhỏ.
- Chỉ thêm ngày cập nhật khi nó đúng là ngày sửa nội dung. Ngày sai khiến Google bỏ qua thông tin này.
- Sau khi tải lên, gửi sitemap trong Google Search Console.
- Nếu dùng WordPress với Rank Math hoặc Yoast, sitemap được tạo tự động, bạn chỉ cần khai báo đường dẫn trong robots.txt.
Câu hỏi thường gặp
Tôi nên đặt robots.txt ở đâu?
Ở thư mục gốc của website, địa chỉ dạng ten-mien.com/robots.txt. Với WordPress, nhiều plugin SEO có sẵn trình chỉnh sửa robots.txt.
Có nên chặn bot AI không?
Chặn bot huấn luyện AI không ảnh hưởng thứ hạng Google. Quyết định này phụ thuộc bạn có muốn nội dung của mình được dùng để huấn luyện mô hình AI hay không.
Có cần sitemap nếu website nhỏ?
Website nhỏ vẫn nên có để Google tìm thấy trang nhanh hơn, nhất là trang mới và ít link trỏ vào.
Muốn có một website chuẩn kỹ thuật ngay từ đầu? Xem dịch vụ thiết kế website trọn gói, SEO website tổng thể hoặc liên hệ trực tiếp với Nam để được tư vấn miễn phí.
