Sitemap và robots.txt: cấu hình đúng để Google đọc website

Hai tệp nhỏ nằm ở gốc website là sitemap và robots.txt thường bị cấu hình sai, nhất là khi website vừa được chuyển hosting hoặc làm lại. Một dòng chặn nhầm có thể khiến Google không đọc được cả website. Bài này giải thích mỗi tệp làm gì, gửi sitemap thế nào và kiểm tra ra sao.

Sitemap làm gì

Sitemap là tệp liệt kê các trang, hình ảnh hoặc video trên website, giúp công cụ tìm kiếm khám phá nội dung hiệu quả hơn. Theo Google, website nhỏ (khoảng vài trăm trang) với các trang liên kết nội bộ tốt có thể không cần sitemap. Sitemap hữu ích hơn khi website lớn, mới có ít liên kết trỏ vào, hoặc có nhiều hình ảnh, video.

Một số điểm kỹ thuật theo tài liệu của Google:

• Google hỗ trợ sitemap dạng XML, RSS/Atom và văn bản thuần; XML linh hoạt nhất.
• Một tệp tối đa 50 MB chưa nén hoặc 50.000 URL; website lớn nên tách nhiều tệp và gộp bằng tệp sitemap index.
• Tệp phải mã hoá UTF-8 và dùng URL đầy đủ, tuyệt đối.
• Sitemap chỉ là gợi ý, không bảo đảm Google sẽ thu thập hay lập chỉ mục mọi URL trong đó.

Nhiều hệ quản trị nội dung như WordPress đã tạo sitemap tự động (qua plugin SEO hoặc tính năng có sẵn), nên bạn chỉ cần kiểm tra thay vì tự tạo.

Gửi sitemap cho Google

Có hai cách phổ biến:

1. Search Console: Vào báo cáo Sơ đồ trang web (Sitemaps), nhập đường dẫn tệp sitemap và gửi. Trang này cho biết trạng thái đọc tệp và số URL phát hiện.
2. Dòng `Sitemap:` trong robots.txt: Thêm một dòng dạng `Sitemap: https://tenmiencuaban.vn/sitemap.xml`.

Chỉ đưa vào sitemap những URL bạn muốn xuất hiện, trả về trạng thái bình thường. Bỏ các trang đã xoá, trang chuyển hướng và trang trùng lặp.

robots.txt chặn đúng chỗ

robots.txt cho trình thu thập biết được phép hoặc không được truy cập URL nào. Theo Google, mục đích chính là quản lý lưu lượng thu thập, tránh làm máy chủ quá tải, và tránh cho bot vào các trang không quan trọng hay trùng lặp.

Điều quan trọng là robots.txt không phải cách giấu trang khỏi Google. Một trang bị chặn vẫn có thể hiện trong kết quả nếu các website khác liên kết tới, thường không có mô tả. Muốn trang không xuất hiện, dùng chỉ thị `noindex` hoặc bảo vệ bằng mật khẩu, và lưu ý nếu đã chặn trang bằng robots.txt thì Google không đọc được `noindex` trên trang đó. Ngoài ra, không phải bot nào cũng tuân theo robots.txt.

Những thứ thường hợp lý để chặn: trang quản trị, kết quả tìm kiếm nội bộ, giỏ hàng và trang thanh toán. Ví dụ với website bán hàng đơn giản trong bài website bán hàng: giỏ hàng, thanh toán, vận chuyển, các trang giỏ hàng thường không cần xuất hiện trên Google.

Lỗi chặn nhầm thường gặp

• Chặn cả website: dòng `Disallow: /` còn sót lại từ giai đoạn làm website thử, rồi đưa lên website thật. Đây là lỗi hay xảy ra khi chuyển hosting, xem thêm chuyển hosting mà không mất thứ hạng.
• Chặn tệp giao diện: chặn thư mục chứa CSS hoặc JavaScript khiến Google khó hiểu trang. Google lưu ý rằng chặn tài nguyên có thể ảnh hưởng đến việc hiểu nội dung.
• Sitemap chứa trang bị chặn: tín hiệu mâu thuẫn, nên rà soát cho khớp.
• Sai tên miền: sitemap vẫn trỏ về tên miền cũ hoặc phiên bản http sau khi đổi sang https.

Danh sách kiểm tra nhanh

1. Mở `tenmien/robots.txt` và đọc từng dòng.
2. Mở `tenmien/sitemap.xml` (hoặc đường dẫn bạn dùng) xem có mở được và đúng tên miền.
3. Gửi sitemap trong Search Console và xem báo cáo lỗi.
4. Dùng công cụ Kiểm tra URL trong Search Console cho vài trang quan trọng.
5. Kiểm tra lại sau mỗi lần đổi giao diện, plugin hoặc hosting.

Tốc độ và trải nghiệm trang cũng là một phần để Google đánh giá, xem Page Experience và Core Web Vitals. Hồ sơ doanh nghiệp trên bản đồ cũng cần thông tin nhất quán với website, xem Google Doanh nghiệp của tôi: đăng ký, xác minh và cập nhật. Nếu cần hỗ trợ về SEO kỹ thuật, có thể liên hệ đội Marketing của HVSC qua trang dịch vụ SEO. Phần thiết kế website nằm tại dịch vụ thiết kế website.

Cập nhật 2026: Nguyên tắc cơ bản về sitemap và robots.txt không đổi nhiều, nhưng chi tiết công cụ trong Search Console có thể đã thay đổi giao diện. Nên kiểm tra thông tin chính thức tại Google Search Central. Về hiệu năng trang, xem thêm Core Web Vitals cho website doanh nghiệp.

Câu hỏi thường gặp

Website nhỏ có cần sitemap không?

Google cho biết website nhỏ, liên kết nội bộ tốt có thể không cần. Tuy vậy, gửi sitemap vẫn giúp theo dõi tình trạng đọc trong Search Console.

robots.txt có ẩn được trang khỏi Google không?

Không. Dùng `noindex` hoặc mật khẩu nếu muốn trang không xuất hiện. robots.txt chỉ quản lý việc thu thập.

Sau khi sửa robots.txt bao lâu Google cập nhật?

Google đọc lại tệp theo chu kỳ riêng và không có thời gian cố định. Hãy kiểm tra lại bằng Search Console sau vài ngày.

Nguồn tham khảo

• Google Search Central, Giới thiệu robots.txt — https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google Search Central, Sitemaps — https://developers.google.com/search/docs/crawling-indexing/sitemaps/overview
• Google Search Central, Xây dựng sitemap — https://developers.google.com/search/docs/crawling-indexing/sitemaps/build-sitemap