Robots.txt для WordPress.

Санёк — Fri, 16 Jan 2009 13:45:50 +0000

Как известно, поисковые системы не любят когда их забивают всяким мусором, поэтому очень важно правильно составить файл robots.txt . Поэтому предоставляю наиболее подходящий, на мой взгляд, вариант:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /xmlrpc.php
Allow: /wp-content/uploads

Следующие два параметра только для блогов с "правильными ссылками" "Неправильными" я считаю ссылки вида domen.ru/?page_id=34

Disallow: /*?*
Disallow: /*?

Недавно Яндекс заявил, что их робот понимает новую директиву: Crawl-delay. Она поможет в индексации сайтов, размещенных на медленных серверах. С помощью этой директивы можно выставить timeout между закачками страниц. Это может значительно ускорить обход сайта роботом. С выходом новой версии WordPress это особенно актуально, так как WP cтал значительно прожорливей, что часто замедляет работу сайта. Если вы хотите выставить timeout в 5 секунд, это должно выглядеть так:

User-agent: Yandex
Crawl-delay: 5

Думаю этого вполне достаточно. Владельцы блогов - присылайте используемые вами директории))

Проголосовать на:

Все о SEO » robots.txt

Robots.txt для WordPress.