Tạo file Robots.txt chuẩn google cho Xenforo

Thảo luận trong 'Mã nguồn mở Xenforo' bắt đầu bởi Trần Văn Cường, 6/12/15.

  1. Trần Văn Cường

    Trần Văn Cường I love CNTT Thành viên BQT Thành viên BQT

    Tham gia ngày:
    8/11/15
    Bài viết:
    3,693
    Đã được thích:
    43
    Điểm thành tích:
    48
    Giới tính:
    Nam
    Nghề nghiệp:
    Sinh Viên
    Nơi ở:
    Quảng Ninh thân yêu!
    Web:

    Có rất nhiều cách để code cho file robots.txt. Ở đây tôi xin đưa ra bài này để các bạn tham khảo và có thể làm thử xem thế nào. Đây là bài viết hướng dẫn cách tạo 1 file robots.txt cho Xenforo.


    cach-tao-tap-tin-robots.txt-xenforo.png
    Mở notepad và chép đoạn code bên dưới vào, đặt tên file là robots.txt:

    CODE:
    Select All
    User-agent: *
    Disallow: /test/
    Disallow: /account/
    Disallow: /admin.php
    Disallow
    : /attachments/
    Disallow: /conversations/
    Disallow: /events/birthdays/
    Disallow: /events/monthly
    Disallow
    : /events/weekly
    Disallow
    : /find-new/
    Disallow: /goto/
    Disallow: /help/
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /misc/style?*
    Disallow: /misc/quick-navigation-menu?*
    Disallow: /online/
    Disallow: /posts/
    Disallow: /recent-activity/
    Disallow: /register/
    Disallow: /search/
    Allow: /
    File robots.txt là gì?

    Nó cho phép người quản trị Web (Webmaster) định ra các thành phần với quyền hạn riêng biệt cho từng bọ tìm kiếm. Nói cách khác thông qua tệp tin này, nó giúp cho các webmaster linh hoạt hơn trong việc cho hay không cho bot của các công cụ tìm kiếm(SE) đánh chỉ mục(index) một khu vực nào đó trong website của bạn.

    Robots.txt có thể quy định từng loại bot khác nhau của các SE khác nhau có thể vào website hay từng khu vực của website hay không?

    VD :

    User-agent: * : Cho tất các các loại bot truy cập vào website

    Disallow: /administrator/ : chặn không cho bot truy cập vào trang quản trị

    Disallow: / : Chặn không cho bot truy cập vào toàn bộ website

    Disallow: /images/nguoidep.JPG : Chặn không cho bot truy cập vào file ảnh có tên nguoidep.JPG

    Các bạn có thể tải file robots.txt mình tạo sắn giúp bạn. Các bạn chỉ việc tải về rồi upload robots.txt ngang hàng với index trang của bạn hoặc với forum thì robots.txt nằm trong thư mục public_html.

    Chúc bạn thành công.
     

    Tập tin đính kèm:


    Bình Luận Bằng Facebook

    data-href="https://cnttqn.com/threads/tao-file-robots-txt-chuan-google-cho-xenforo.909.html"