Автор: Санёк
января 16, 2009 
70 комментариев
Robots.txt для WordPress.
Как известно, поисковые системы не любят когда их забивают всяким мусором, поэтому очень важно правильно составить файл robots.txt . Поэтому предоставляю наиболее подходящий, на мой взгляд, вариант:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /xmlrpc.php
Allow: /wp-content/uploads
Следующие два параметра только для блогов с "правильными ссылками" 
"Неправильными" я считаю ссылки вида domen.ru/?page_id=34
Disallow: /*?*
Disallow: /*?
Недавно Яндекс заявил, что их робот понимает новую директиву: Crawl-delay. Она поможет в индексации сайтов, размещенных на медленных серверах. С помощью этой директивы можно выставить timeout между закачками страниц. Это может значительно ускорить обход сайта роботом. С выходом новой версии WordPress это особенно актуально, так как WP cтал значительно прожорливей, что часто замедляет работу сайта. Если вы хотите выставить timeout в 5 секунд, это должно выглядеть так:
User-agent: Yandex
Crawl-delay: 5
Думаю этого вполне достаточно. Владельцы блогов - присылайте используемые вами директории))
Проголосовать на:
![]:->](http://seo-bomj.ru/wp-content/plugins/qipsmiles/smiles/aq.gif "]:->")
Как ссылки сделать правильными? В админке захожу в “постоянные ссылки”, пробовал там настраивать, не получилось…
admin Reply:
января 20, 2009 at 11:46
Заходите в настройки-постоянные ссылки (ЧПУ) Затем в общих настройках ставите галочку на “произвольная структура” и вписываете “/%postname%” (без кавычек).
У меня почти такой же robots, вот только комменты я разрешаю индексировать, так как много с ПС трафа именно благодаря комментам.
А еще запрещаю xmlrpc.php:
Disallow: /xmlrpc.php
admin Reply:
января 31, 2009 at 11:33
Спасибо, внес поправки.
У меня некоторые корневые /category/ имеют хороший PR…
И зачем я их буду закрывать?
Или закрыть остальные, PR не имеющие вообще?
admin Reply:
марта 1, 2009 at 13:46
А зачем вам PR на категориях? Лучше направьте его на главную и на посты. К тому же закрывая такие странички как “категория” вы избавляетесь от дублей контента на вашем сайте. Поисковики очень не любят дубли, потому что это мусор. Если у вас сателлит на WP и вам не важна посещаемость, то можно оставить категории. В этом случае дубли не помеха, наоборот нужно как можно больше страниц для размещения ссылок.
Вообще-то сателлит, но и посещаемость есть небольшая, на adsense кликают. Почему-то так получилось – фиг знает, сослался наверное кто-то…
admin Reply:
марта 2, 2009 at 2:25
Ну это вам виднее. Посмотрите в статистике откуда народ идет.
Я недавно начал разбираться во всем этом. Вы мне очень помогли. Спасибо.
admin Reply:
марта 2, 2009 at 2:10
Не за что))
Да не народ идет, а PR.
А мне он важнее, чем народ.
То Element – не забудь поставить плагин RusToLat.
admin Reply:
марта 20, 2009 at 19:27
Да кстати, забыл совсем…
Спасибо, но по комментариям не допонял
admin Reply:
марта 20, 2009 at 19:26
что именно?
Почему их стоит запретить?
admin Reply:
марта 22, 2009 at 19:06
Читайте внимательней статью
Прошу прощения, а в какую директорию кидать robots.txt?
admin Reply:
апреля 12, 2009 at 0:10
В корень сайта.
Если дописать:
User-agent: Yandex
Crawl-delay: 5
То паук яндекса будет игнорировать то, что написано в User-agent: *
admin Reply:
мая 6, 2009 at 23:56
У меня все норм – ни одной левой странице в индексе нет.
_http://seo-bomj.ru/robots.txt
Если закрыли категории, тогда надо закрывать группировку по месяцам и календарь.
admin Reply:
мая 15, 2009 at 12:44
Спасибо, поправлю.
вот насчет категорий. думаю можно и не закрывать, если в шаблоне вывода постов в карегории выводить только заголовки а?
Приме:
seo.kg/topics/news/
И ещё, не у всех категории называются “category”, вот у меня “topics” или “go” бывает…
admin Reply:
июня 17, 2009 at 2:43
В данном примере можно и не закрывать, только так все равно никто не делает (я по крайней мере не видел).
Здравствуйте, подскажите такой робот достоен своего существования:
User-Agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/languages/
Disallow: /wp-content/plugins/
Disallow: /wp-content/upgrade/
Disallow: /wp-content/uploads/
Disallow: /wp-content/themes/classic/
Disallow: /wp-content/themes/default/
Host: domen .ru
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/languages/
Disallow: /wp-content/plugins/
Disallow: /wp-content/upgrade/
Disallow: /wp-content/uploads/
Disallow: /wp-content/themes/classic/
Disallow: /wp-content/themes/default/
Заранее благодарю!
Всего доброго!
admin Reply:
июня 24, 2009 at 13:30
Да
Ant Reply:
июня 24, 2009 at 13:36
Спасибо, а то я уж распереживался
Игорь Reply:
июня 28, 2009 at 17:39
Директива “Host” прописывается без “http://”
admin Reply:
июня 28, 2009 at 18:38
ага, это просто двиг глючит.
В Host: www-нужен
http://seo-bomj.ru/robots.txt – лучший учебник )
Санёк Reply:
сентября 24, 2009 at 0:44
)))))
FА почему в Вашем файле robots.txt разрешен к индексации фидбернер?
Allow: /feedburner-evakuiruemsya
Allow: /tag/feedburner
Санёк Reply:
октября 2, 2009 at 11:15
Allow: /feedburner-evakuiruemsya —> это статья
Надо будет использовать, а то ошибки в вебмастер Яндексе уже задолбали
блин запретил яше к индексированию страницы вот так, а он все равно в индексе держит эти страницы, скажите я правильно же запретил их:
User-agent: *
Disallow: /stat*.htm
User-agent: Yandex
Disallow:
Disallow: /blog/comment*.html
Disallow: /blog/stat*.html
Disallow: /blog/search*.html
Host: mysite.ru
Санёк Reply:
ноября 2, 2009 at 22:58
User-agent: Yandex
Disallow: /
Вот так надо
не так:
User-agent: Yandex
Disallow: /
он все не будет индексировать, а мне надо чтобы указанные страницы не индексировал
Санёк Reply:
ноября 3, 2009 at 19:49
Disallow: — это лишнее
Зайди в яндекс вебмастер и проверь там, правильно ли составил robots.txt
спасибо.
я так понимаю ошибки пропадут после следующей индексаци?
Санёк Reply:
ноября 9, 2009 at 13:12
Какие именно?
Хе-хе.. Один сайт точно Яшка принял.. Правда страничек для сапы поменьше стало, но ничего, хоть так.. Спс за инфу!
Спасибо, а то на меня начал гугл ругаться за то что я плагины удалил, а он из найти не может.
Теперь, думаю, все ок будет.
Спасибо, полезная информация – лажу ща по всем блогам собираюсь свой идеальный роботс.тхт по крупицам) Мне кажется у тебя для юзерагента * хост лишний – его ведь только яша понимает, вроде бы.
Санёк Reply:
января 28, 2010 at 20:03
не лишний
Санёк, почему не лишний?
И еще – чем отличаются
Disallow: /trackback
Disallow: /feed
от
Disallow: */trackback
Disallow: */feed
Пробовал подставить /trackback для своих блогов для главной страницы, выдает 404, не совсем понятно что там запрещать.
Хотелось бы добавить, чтобы не забыли удалять
Disallow: /*?*
Disallow: /*?
если меняют ссылки на “по умолчанию”
Санёк Reply:
января 28, 2010 at 21:00
Это и так понятно.
Disallow: /trackback
Disallow: /feed
Запрещает seo-bomj.ru/trackback
seo-bomj.ru/feed
Disallow: */trackback
Disallow: */feed
Запрещает seo-bomj.ru/*всякая фигня*/trackback
seo-bomj.ru/*всякая фигня*/feed
Синтаксис записи я понимаю)) Я не о том, зачем ты запрещаешь /trackback если такой страницы не существует. Потому как */trackback – понятно идет для отдельных постов.
Санёк Reply:
января 28, 2010 at 21:19
а хз))) Может в индексе была. Я через роботс всякий мусор вычищал, например seo-bomj.ru/ddhdjjh.ru (не помню домен) Потом подправлю, спс
Спасибо за пост. Я как раз с robots.txt хотел разобраться на своих блогах. Наверное после того как мы все запретили то можно в конце и разрешить все остальное, что не под запретом:
Allow: /
В связи с пальбой из АГСа решил подредактировать на своих сайтах robots.txt, дофига всего начитался, но так и не понял, зачем прописывать отдельные правила для яндекса?
И нафига прописывать директорию Host?
Санёк Reply:
марта 3, 2010 at 2:27
Отдельные правила для Яндекса, потому что Яндекс тупой, а директива Host для того, чтобы тупой Яндекс не склеил ваш сайт с каким-нибудь другим.
А ошибки пропадут, из панели вебмастеров, после того как запретить индексировать, а то у меня ошибка 500 на некоторых висит и никак не убирается?
goto/http://
подскажите как его закрыть.
спасибо.
Санёк Reply:
марта 30, 2010 at 17:16
Disallow: /goto/*
спасибо. поставил.
иногда встречается, будто нужно показывать адрес сайт и sitemap.xml в robots. насколько можно согласиться с этим?
спасибо.
Санёк Reply:
марта 30, 2010 at 22:13
@Дилик, на все 100%
Спасибо, кое-что добавил.
Аха-ха
Рассмешил allow, где такое достал? Бред. Файл robots.txt запрещает, а не устанавливает, что нужно индексировать
Санёк Reply:
апреля 12, 2010 at 14:45
Да, это очень смешно. Почитайте здесь
Не читайте википедию, читайте пояснения Яндекса.
Директива Allow есть, но не для того, чтобы указывать ему: “индексируй, сволочь, вот это”
Санёк Reply:
апреля 12, 2010 at 15:37
– я так и не говорил. Эта директива необходима разрешения индексации некоторых страниц, которые попадают под директиву Disallow
Не читайте википедию, читайте пояснения Яндекса.
Директива Allow есть, но не для того, чтобы указывать ему: “индексируй, сволочь, вот это”
Санёк Reply:
апреля 12, 2010 at 15:48
Мне кажется, вы сами не понимаете о чем говорите. Allow – это исключение из директивы Disallow. Например:
Disallow: /wp-content/uploads #запрещаем индексацию содержимого папки uploads
Allow: /wp-content/uploads/foto #кроме папки foto
Классный обзор, попробую вашим robots попользоваться!Спасибо!
Спасибо за полезную информацию. Очень полезно. Решил взять robots.txt с Вашего сайта полностью.
Спасибо, сейчас составляю robots.txt для своего блога. А то, кажется, под фильтр какой-то попал – всего 19 страниц в индексе. Так и живем