Как правильно создать robots.txt для XenForo 1.5.8?

Реалистик

Регистрация
04.06.16
Сообщения
11
Симпатии
1
#1
Как правильно создать robots.txt для XenForo 1.5.8?

Сейчас у меня выглядит вот так:

Код:
# robots.txt
User-agent: *
Disallow: /register.html
Disallow: /forum/account/
Disallow: /forum/attachments/
Disallow: /forum/birthdays/
Disallow: /forum/conversations/
Disallow: /forum/find-new/
Disallow: /forum/forums/*/?direction
Disallow: /forum/forums/*/?order
Disallow: /forum/forums/*/mark-read?date
Disallow: /forum/forums/*/page-*?order
Disallow: /forum/help/
Disallow: /forum/login/
Disallow: /forum/lost-password/
Disallow: /forum/members/
Disallow: /forum/misc/
Disallow: /forum/online/
Disallow: /forum/pages/privacy/
Disallow: /forum/posts/
Disallow: /forum/recent-activity/
Disallow: /forum/register
Disallow: /forum/resources/?order
Disallow: /forum/resources/*/download?version
Disallow: /forum/resources/*/history
Disallow: /forum/resources/*/update?resource_update_id
Disallow: /forum/resources/authors/
Disallow: /forum/resources/categories/*/?order
Disallow: /forum/search
Disallow: /forum/search.php
Disallow: /forum/threads/*/poll
Disallow: /forum/WhoHasVisited/

Disallow: /register.html
Disallow: /hack-master.ru/account/
Disallow: /hack-master.ru/attachments/
Disallow: /hack-master.ru/birthdays/
Disallow: /hack-master.ru/conversations/
Disallow: /hack-master.ru/find-new/
Disallow: /hack-master.ru/forums/*/?direction
Disallow: /hack-master.ru/forums/*/?order
Disallow: /hack-master.ru/forums/*/mark-read?date
Disallow: /hack-master.ru/forums/*/page-*?order
Disallow: /hack-master.ru/help/
Disallow: /hack-master.ru/login/
Disallow: /hack-master.ru/lost-password/
Disallow: /hack-master.ru/members/
Disallow: /hack-master.ru/misc/
Disallow: /hack-master.ru/online/
Disallow: /hack-master.ru/pages/privacy/
Disallow: /hack-master.ru/posts/
Disallow: /hack-master.ru/recent-activity/
Disallow: /hack-master.ru/register
Disallow: /hack-master.ru/resources/?order
Disallow: /hack-master.ru/resources/*/download?version
Disallow: /hack-master.ru/resources/*/history
Disallow: /hack-master.ru/resources/*/update?resource_update_id
Disallow: /hack-master.ru/resources/authors/
Disallow: /hack-master.ru/resources/categories/*/?order
Disallow: /hack-master.ru/search
Disallow: /hack-master.ru/search.php
Disallow: /hack-master.ru/threads/*/poll
Disallow: /hack-master.ru/WhoHasVisited/

Host: hack-master.ru

Sitemap: http://hack-master.ru/sitemap.php
Sitemap: http://hack-master.ru/sitemap-1.xml
Правильно ли я сделал? или есть ошибки. Помогите
 

Next

Регистрация
29.09.14
Сообщения
8,856
Симпатии
847
#2
Стандартный robots.txt для xenforo
Код:
User-agent: *
Disallow: /community/find-new/
Disallow: /community/account/
Disallow: /community/attachments/
Disallow: /community/goto/
Disallow: /community/posts/
Disallow: /community/login/
Disallow: /community/admin.php
Allow: /

Sitemap: https://xenforo.com/community/sitemap.php
Универсального нет, для каждого форума он будет индивидуален. Все зависит от набора плагинов и настроек.

Зачем сделано с доменом и без? Хватит одного варианта, который без
 

Реалистик

Регистрация
04.06.16
Сообщения
11
Симпатии
1
#3

sery2013

Регистрация
11.12.15
Сообщения
243
Симпатии
10
#4
У меня в яндекс вебмастер вот такая проблемка:
Screenshot_1.png
Уже сколько их перепробовал,одно и тоже
 

Next

Регистрация
29.09.14
Сообщения
8,856
Симпатии
847
#5

sery2013

Регистрация
11.12.15
Сообщения
243
Симпатии
10
#6
Есть,но все равно такая проблема,он и был ранее
 

Вложения

Next

Регистрация
29.09.14
Сообщения
8,856
Симпатии
847
#7