Как правильно создать robots.txt для XenForo 1.5.8?

Тема в разделе "Техническая помощь", создана пользователем Реалистик, 04.06.16.

  1. Реалистик

    РеалистикУчастник

    Сообщения:
    11
    Репутация:
    5
    Рейтинг:
    +1 / -0
    Как правильно создать robots.txt для XenForo 1.5.8?

    Сейчас у меня выглядит вот так:

    Код:
    # robots.txt
    User-agent: *
    Disallow: /register.html
    Disallow: /forum/account/
    Disallow: /forum/attachments/
    Disallow: /forum/birthdays/
    Disallow: /forum/conversations/
    Disallow: /forum/find-new/
    Disallow: /forum/forums/*/?direction
    Disallow: /forum/forums/*/?order
    Disallow: /forum/forums/*/mark-read?date
    Disallow: /forum/forums/*/page-*?order
    Disallow: /forum/help/
    Disallow: /forum/login/
    Disallow: /forum/lost-password/
    Disallow: /forum/members/
    Disallow: /forum/misc/
    Disallow: /forum/online/
    Disallow: /forum/pages/privacy/
    Disallow: /forum/posts/
    Disallow: /forum/recent-activity/
    Disallow: /forum/register
    Disallow: /forum/resources/?order
    Disallow: /forum/resources/*/download?version
    Disallow: /forum/resources/*/history
    Disallow: /forum/resources/*/update?resource_update_id
    Disallow: /forum/resources/authors/
    Disallow: /forum/resources/categories/*/?order
    Disallow: /forum/search
    Disallow: /forum/search.php
    Disallow: /forum/threads/*/poll
    Disallow: /forum/WhoHasVisited/
    
    Disallow: /register.html
    Disallow: /hack-master.ru/account/
    Disallow: /hack-master.ru/attachments/
    Disallow: /hack-master.ru/birthdays/
    Disallow: /hack-master.ru/conversations/
    Disallow: /hack-master.ru/find-new/
    Disallow: /hack-master.ru/forums/*/?direction
    Disallow: /hack-master.ru/forums/*/?order
    Disallow: /hack-master.ru/forums/*/mark-read?date
    Disallow: /hack-master.ru/forums/*/page-*?order
    Disallow: /hack-master.ru/help/
    Disallow: /hack-master.ru/login/
    Disallow: /hack-master.ru/lost-password/
    Disallow: /hack-master.ru/members/
    Disallow: /hack-master.ru/misc/
    Disallow: /hack-master.ru/online/
    Disallow: /hack-master.ru/pages/privacy/
    Disallow: /hack-master.ru/posts/
    Disallow: /hack-master.ru/recent-activity/
    Disallow: /hack-master.ru/register
    Disallow: /hack-master.ru/resources/?order
    Disallow: /hack-master.ru/resources/*/download?version
    Disallow: /hack-master.ru/resources/*/history
    Disallow: /hack-master.ru/resources/*/update?resource_update_id
    Disallow: /hack-master.ru/resources/authors/
    Disallow: /hack-master.ru/resources/categories/*/?order
    Disallow: /hack-master.ru/search
    Disallow: /hack-master.ru/search.php
    Disallow: /hack-master.ru/threads/*/poll
    Disallow: /hack-master.ru/WhoHasVisited/
    
    Host: hack-master.ru
    
    Sitemap: http://hack-master.ru/sitemap.php
    Sitemap: http://hack-master.ru/sitemap-1.xml
    Правильно ли я сделал? или есть ошибки. Помогите
     
  2. Next

    NextАдминистратор

    Сообщения:
    8.040
    Репутация:
    99
    Рейтинг:
    +777 / -0
    Стандартный robots.txt для xenforo
    Код:
    User-agent: *
    Disallow: /community/find-new/
    Disallow: /community/account/
    Disallow: /community/attachments/
    Disallow: /community/goto/
    Disallow: /community/posts/
    Disallow: /community/login/
    Disallow: /community/admin.php
    Allow: /
    
    Sitemap: https://xenforo.com/community/sitemap.php
    Универсального нет, для каждого форума он будет индивидуален. Все зависит от набора плагинов и настроек.

    Зачем сделано с доменом и без? Хватит одного варианта, который без
     
  3. Реалистик

    РеалистикУчастник

    Сообщения:
    11
    Репутация:
    5
    Рейтинг:
    +1 / -0
    Понял, спасибо)
     
  4. sery2013

    sery2013Участник

    Сообщения:
    221
    Репутация:
    8
    Рейтинг:
    +8 / -3
    У меня в яндекс вебмастер вот такая проблемка:
    Screenshot_1.png
    Уже сколько их перепробовал,одно и тоже
     
  5. Next

    NextАдминистратор

    Сообщения:
    8.040
    Репутация:
    99
    Рейтинг:
    +777 / -0
    У Вас нет в корне robots.txt
     
  6. sery2013

    sery2013Участник

    Сообщения:
    221
    Репутация:
    8
    Рейтинг:
    +8 / -3
    Есть,но все равно такая проблема,он и был ранее
     

    Вложения:

  7. Next

    NextАдминистратор

    Сообщения:
    8.040
    Репутация:
    99
    Рейтинг:
    +777 / -0

    404, файла нет