robots.txt и WordPress

robots.txt это первый файл, который попадается на пути поискового бота, когда он заходит на ваш сайт.
От параметров этого файла зависит качество, а сейчас даже вообще будет ли индексировать ваш сайт или нет.
Можно создание этого файла доверить какому-нибудь генератору или самой CMS, если она это позволяет делать, но лучшим вариантом будет взглянуть на этот файл собственными глазами и подправить необходимые параметры вручную.

Возможности robots.txt:
— запрет индексирования определенных каталогов (например файлы админки и то, куда не стоит лазить глазам посторонним)
— запретить индексировать ненужные, временные и дублированные элементы, страницы
— запретить индексирование ботами определенных поисковых систем (например забанить китайских ботов)
— указать зеркала сайтов (в том числе ваш же сайт с www и без)
— указать путь к sitemap.xml

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Host: blog.ru

Sitemap: http://blog.ru/sitemap.xml.gz
Sitemap: http://blog.ru/sitemap.xml

Для создания карты сайта применил плагин Google XML Sitemaps

Ссылки:
http://help.yandex.ru/webmaster/?id=996567
http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449