Có rất nhiều cách để code cho file robots.txt. Ở đây tôi xin đưa ra bài này để các bạn tham khảo và có thể làm thử xem thế nào. Đây là bài viết hướng dẫn cách tạo 1 file robots.txt cho Xenforo. Mở notepad và chép đoạn code bên dưới vào, đặt tên file là robots.txt: CODE: Select All User-agent: *Disallow: /test/Disallow: /account/Disallow: /admin.phpDisallow: /attachments/Disallow: /conversations/Disallow: /events/birthdays/Disallow: /events/monthlyDisallow: /events/weeklyDisallow: /find-new/Disallow: /goto/Disallow: /help/Disallow: /login/Disallow: /lost-password/Disallow: /members/Disallow: /misc/style?*Disallow: /misc/quick-navigation-menu?*Disallow: /online/Disallow: /posts/Disallow: /recent-activity/Disallow: /register/Disallow: /search/Allow: / File robots.txt là gì? Nó cho phép người quản trị Web (Webmaster) định ra các thành phần với quyền hạn riêng biệt cho từng bọ tìm kiếm. Nói cách khác thông qua tệp tin này, nó giúp cho các webmaster linh hoạt hơn trong việc cho hay không cho bot của các công cụ tìm kiếm(SE) đánh chỉ mục(index) một khu vực nào đó trong website của bạn. Robots.txt có thể quy định từng loại bot khác nhau của các SE khác nhau có thể vào website hay từng khu vực của website hay không? VD : User-agent: * : Cho tất các các loại bot truy cập vào website Disallow: /administrator/ : chặn không cho bot truy cập vào trang quản trị Disallow: / : Chặn không cho bot truy cập vào toàn bộ website Disallow: /images/nguoidep.JPG : Chặn không cho bot truy cập vào file ảnh có tên nguoidep.JPG Các bạn có thể tải file robots.txt mình tạo sắn giúp bạn. Các bạn chỉ việc tải về rồi upload robots.txt ngang hàng với index trang của bạn hoặc với forum thì robots.txt nằm trong thư mục public_html. Chúc bạn thành công.