Dans un précédent article, nous nous étions penchés sur l’importance du fichier robots.txt pour assurer un bon référencement. En effet, si le fichier robots.txt ne remplace par un contenu de qualité, il permet d’optimiser l’indexation des pages, et d’empêcher les robots d’accéder à  certains répertoires.
Vous trouverez ci-dessous un exemple de fichier robots.txt adapté à  WordPress. A vous d’y faire quelques modifications si nécessaire, mais cela constitue une bonne base:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */comments/
Disallow: /*?*
Disallow: /*?

Allow: /wp-content/uploads/

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

# BEGIN XML-SITEMAP-PLUGIN

Sitemap: http://blog.brasseo.net/sitemap.xml

# END XML-SITEMAP-PLUGIN