Как правильно создать robots.txt для XenForo 1.5.8?

Тема в разделе "Техническая помощь", создана пользователем Реалистик, 04.06.16.

  1. Реалистик

    Реалистик Участник

    Сообщения:
    12
    Репутация:
    5
    Рейтинг:
    +1 / -0
    Как правильно создать robots.txt для XenForo 1.5.8?

    Сейчас у меня выглядит вот так:

    Код:
    # robots.txt
    User-agent: *
    Disallow: /register.html
    Disallow: /forum/account/
    Disallow: /forum/attachments/
    Disallow: /forum/birthdays/
    Disallow: /forum/conversations/
    Disallow: /forum/find-new/
    Disallow: /forum/forums/*/?direction
    Disallow: /forum/forums/*/?order
    Disallow: /forum/forums/*/mark-read?date
    Disallow: /forum/forums/*/page-*?order
    Disallow: /forum/help/
    Disallow: /forum/login/
    Disallow: /forum/lost-password/
    Disallow: /forum/members/
    Disallow: /forum/misc/
    Disallow: /forum/online/
    Disallow: /forum/pages/privacy/
    Disallow: /forum/posts/
    Disallow: /forum/recent-activity/
    Disallow: /forum/register
    Disallow: /forum/resources/?order
    Disallow: /forum/resources/*/download?version
    Disallow: /forum/resources/*/history
    Disallow: /forum/resources/*/update?resource_update_id
    Disallow: /forum/resources/authors/
    Disallow: /forum/resources/categories/*/?order
    Disallow: /forum/search
    Disallow: /forum/search.php
    Disallow: /forum/threads/*/poll
    Disallow: /forum/WhoHasVisited/
    
    Disallow: /register.html
    Disallow: /hack-master.ru/account/
    Disallow: /hack-master.ru/attachments/
    Disallow: /hack-master.ru/birthdays/
    Disallow: /hack-master.ru/conversations/
    Disallow: /hack-master.ru/find-new/
    Disallow: /hack-master.ru/forums/*/?direction
    Disallow: /hack-master.ru/forums/*/?order
    Disallow: /hack-master.ru/forums/*/mark-read?date
    Disallow: /hack-master.ru/forums/*/page-*?order
    Disallow: /hack-master.ru/help/
    Disallow: /hack-master.ru/login/
    Disallow: /hack-master.ru/lost-password/
    Disallow: /hack-master.ru/members/
    Disallow: /hack-master.ru/misc/
    Disallow: /hack-master.ru/online/
    Disallow: /hack-master.ru/pages/privacy/
    Disallow: /hack-master.ru/posts/
    Disallow: /hack-master.ru/recent-activity/
    Disallow: /hack-master.ru/register
    Disallow: /hack-master.ru/resources/?order
    Disallow: /hack-master.ru/resources/*/download?version
    Disallow: /hack-master.ru/resources/*/history
    Disallow: /hack-master.ru/resources/*/update?resource_update_id
    Disallow: /hack-master.ru/resources/authors/
    Disallow: /hack-master.ru/resources/categories/*/?order
    Disallow: /hack-master.ru/search
    Disallow: /hack-master.ru/search.php
    Disallow: /hack-master.ru/threads/*/poll
    Disallow: /hack-master.ru/WhoHasVisited/
    
    Host: hack-master.ru
    
    Sitemap: http://hack-master.ru/sitemap.php
    Sitemap: http://hack-master.ru/sitemap-1.xml
    Правильно ли я сделал? или есть ошибки. Помогите
     
  2. Next

    Next Администратор

    Сообщения:
    5.646
    Репутация:
    73
    Рейтинг:
    +566 / -0
    Стандартный robots.txt для xenforo
    Код:
    User-agent: *
    Disallow: /community/find-new/
    Disallow: /community/account/
    Disallow: /community/attachments/
    Disallow: /community/goto/
    Disallow: /community/posts/
    Disallow: /community/login/
    Disallow: /community/admin.php
    Allow: /
    
    Sitemap: https://xenforo.com/community/sitemap.php
    Универсального нет, для каждого форума он будет индивидуален. Все зависит от набора плагинов и настроек.

    Зачем сделано с доменом и без? Хватит одного варианта, который без
     
  3. Реалистик

    Реалистик Участник

    Сообщения:
    12
    Репутация:
    5
    Рейтинг:
    +1 / -0
    Понял, спасибо)
     

Похожие темы
  1. Next
    Ответов:
    0
    Просмотров:
    112
  2. Brave
    Ответов:
    8
    Просмотров:
    318
  3. magamio
    Ответов:
    1
    Просмотров:
    78
  4. idGreen
    Ответов:
    5
    Просмотров:
    132
  5. dhusss
    Ответов:
    0
    Просмотров:
    126
Загрузка...