Robots.txt – Làm thế nào để chỉ cho google index trang chủ, không cho index trang con

Yêu cầu này có thể hơi kỳ quái vì ai cũng muốn google index toàn bộ site của mình, càng nhiều càng tốt, càng nhanh càng tốt. Tuy vậy, với một chủ website mới, đôi lúc nội dung chính chỉ có trên trang chủ, còn các nội dung trang con đang ở trạng thái… copy từ nhiều nguồn. Để làm điều này, chỉ cần sửa lại file robots.txt ở thư mục gốc

User-agent: *
Allow: /$
Disallow: /

Sau khi thực hiện xong, bạn có thể test nó với Robots tester do Google cung cấp: http://www.google.com/webmasters/tools/robots-testing-tool, hiển nhiên, bạn sẽ cần đăng nhập và add site cần test vào tài khoản của mình.