Sitemap.xml và robots.txt: hai file nhỏ quyết định SEO
Sitemap.xml và robots.txt là gì, làm gì, kiểm tra thế nào, lỗi chặn nhầm hay gặp và cách gửi sitemap lên Google Search Console để Google đọc đủ trang.
Trong mỗi website thường có hai file rất nhỏ mà ít chủ doanh nghiệp từng mở ra: sitemap.xml và robots.txt. Khách không nhìn thấy chúng, nhưng chúng ảnh hưởng đến việc Google tìm thấy và đọc các trang của bạn. Chỉ một dòng sai trong robots.txt cũng có thể khiến cả website biến mất khỏi kết quả tìm kiếm.
Bài này giải thích hai file bằng ngôn ngữ dễ hiểu: mỗi file làm gì, cách tự kiểm tra, những lỗi chặn nhầm hay gặp và cách gửi sitemap lên Google Search Console.
Sitemap.xml: bản đồ các trang bạn muốn Google biết
Sitemap là file liệt kê địa chỉ những trang quan trọng của website, đôi khi kèm ngày cập nhật gần nhất. Nó giống một bản mục lục gửi cho công cụ tìm kiếm. Google vẫn tìm trang qua các liên kết, nhưng sitemap giúp phát hiện nhanh hơn, nhất là với website mới, website lớn hoặc có trang ít liên kết đến.
Sitemap nên chứa gì
- Các trang muốn xuất hiện trên Google: trang chủ, dịch vụ, sản phẩm, danh mục, bài viết.
- Chỉ địa chỉ chính thức (đúng tên miền, đúng https, không kèm tham số thừa).
- Các trang trả về trạng thái bình thường.
Sitemap không nên chứa gì
- Trang bị chuyển hướng hoặc báo lỗi 404.
- Trang chặn lập chỉ mục, trang tìm kiếm nội bộ, trang giỏ hàng, trang đăng nhập.
- Các biến thể bộ lọc, trang trùng lặp.
Các nền tảng như WordPress hay hệ thống bán hàng thường tạo sitemap tự động, địa chỉ phổ biến là /sitemap.xml hoặc /sitemap_index.xml.
Robots.txt: biển chỉ dẫn cho công cụ thu thập
Robots.txt nằm ở gốc website (địa chỉ /robots.txt) và nói cho các công cụ thu thập biết khu vực nào được vào, khu vực nào không. Ví dụ đơn giản:
User-agent: *
Disallow: /quan-tri/
Allow: /
Sitemap: https://tenmiencuaban.vn/sitemap.xml
Ý nghĩa: mọi công cụ đều không vào thư mục /quan-tri/, được vào phần còn lại, và sitemap nằm ở địa chỉ cho sẵn. Lưu ý quan trọng: robots.txt ngăn việc thu thập, không đảm bảo trang không hiện trên Google nếu có nơi khác liên kết đến. Muốn loại trang khỏi kết quả tìm kiếm, dùng thẻ noindex.
So sánh nhanh hai file
| Tiêu chí | Sitemap.xml | Robots.txt |
|---|---|---|
| Vai trò | Gợi ý trang cần đọc | Chỉ dẫn khu vực được hoặc không được thu thập |
| Địa chỉ | /sitemap.xml (có thể khác) | /robots.txt (bắt buộc ở gốc) |
| Rủi ro khi sai | Google bỏ sót hoặc đọc trang không cần thiết | Có thể chặn cả website |
| Ai đọc | Công cụ tìm kiếm | Công cụ tìm kiếm và các bot khác |
Các lỗi chặn nhầm thường gặp
- Disallow: / khiến toàn bộ website bị chặn. Thường do để lại cấu hình của giai đoạn làm website thử nghiệm khi đưa lên chính thức.
- Chặn thư mục chứa CSS, JavaScript hay ảnh làm Google không hiển thị được trang đúng như khách thấy.
- Tích chọn “Không cho công cụ tìm kiếm lập chỉ mục” trong phần cài đặt của hệ thống quản trị rồi quên bỏ.
- Sitemap liệt kê toàn trang noindex hoặc trang lỗi, làm Google mất niềm tin vào file.
- Sitemap trỏ sang địa chỉ http cũ hoặc tên miền cũ sau khi đổi. Xem bài đổi tên miền không mất SEO.
Nếu website “không lên Google”, đây là một trong những chỗ đầu tiên cần kiểm tra; xem thêm bài website không lên Google.
Cách tự kiểm tra
- Gõ tenmiencuaban.vn/robots.txt vào trình duyệt và đọc. Nếu thấy dòng chặn cả thư mục gốc, cần sửa ngay.
- Gõ tenmiencuaban.vn/sitemap.xml xem file có mở được và liệt kê đúng các trang không.
- Trong Search Console, dùng công cụ kiểm tra địa chỉ để xem một trang cụ thể có bị chặn hay không.
- Kiểm tra trạng thái các trang trong báo cáo lập chỉ mục, đọc lý do các trang chưa được đưa vào.
Nếu bạn chưa quen, hãy đọc Google Search Console cơ bản trước.
Gửi sitemap lên Google Search Console
- Xác minh quyền sở hữu website trong Search Console.
- Vào mục Sơ đồ trang web (Sitemaps).
- Nhập đường dẫn sitemap, ví dụ sitemap.xml, rồi gửi.
- Sau vài ngày, kiểm tra trạng thái: “Thành công” và số trang được phát hiện.
Việc gửi sitemap không đảm bảo trang được lập chỉ mục ngay, nhưng giúp Google biết đến các trang nhanh hơn và cho bạn báo cáo lỗi rõ ràng.
Câu hỏi thường gặp
Website nhỏ có cần sitemap không?
Nên có. Việc tạo ra rất dễ, thường tự động, và giúp Google phát hiện trang mới nhanh hơn.
Có thể dùng robots.txt để giấu trang riêng tư không?
Không. Ai cũng đọc được robots.txt, nên đừng liệt kê đường dẫn nhạy cảm ở đó. Hãy bảo vệ trang bằng mật khẩu hoặc phân quyền.
Sau khi sửa robots.txt bao lâu có hiệu lực?
Google thường đọc lại file trong vòng một ngày hoặc vài ngày, nhưng thứ hạng cần thêm thời gian để phục hồi nếu trước đó bị chặn.
Tóm tắt
Sitemap gợi ý trang cần đọc, robots.txt chỉ dẫn khu vực được thu thập; cả hai cần chính xác, nhất quán và được kiểm tra định kỳ, nhất là sau khi đổi giao diện hay tên miền. Cần TBW rà soát phần SEO kỹ thuật cho website, gọi hoặc nhắn Zalo 0915 660 099 hoặc gửi yêu cầu tại trang liên hệ.

