Robots.txt для WordPress.
Как известно, поисковые системы не любят когда их забивают всяким мусором, поэтому очень важно правильно составить файл robots.txt . Поэтому предоставляю наиболее подходящий, на мой взгляд, вариант:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /xmlrpc.php
Allow: /wp-content/uploads
