Robots.txt pour wordpress

[growthmindset]

Bonjour, 
J'ai écris très recemment un article sur le fichier robots. Pour ceux qui ne savent pas a quoi ca sert. En gros, c'est un fichier texte qu'on mets à la racine de votre site internet et qui a pour objectif de bloquer certains crawler (que vous definissez) et surtout certaines pages de votre site. Ainsi les crawler n'indexeront pas certaines pages de votre site. Si vous voulez en savoir plus je vous invite à lire l'article : http://blog.growth-mindset.fr/robots-txt-magento-wordpress-prestashop

j'espere que ca pourra vous être utile au moins pour certains. 

Jonathan

[Juliennn]

C'est expliqué dans ton article mais sur tu devrais peut-être expliquer ce qu'est un crawler (ici, sur ce thread), pour que ce soit clair pour tout le monde. Ne serait-ce que brièvement...

Sympa ton blog en tout cas! Tu devrais publier plus souvent

[growthmindset]

Un crawler est un robot qui va visiter les pages qu'on lui indique et après qui fait ou non une action. Il existe des crawler qui font des copy/paste des pages on parle alors de scrapeur/er. 

Sinon tu as des petits malins d'il y a 10 ans qui se sont dit tiens pourquoi pas faire un crawler qui va visiter un site et qui laisse une empreinte visible dans google analytics comme ca après quand la personne qui a le site regarde son site il verra que je suis venu voir son site en partant du mien et viendra de lui même voir le mien. 

Enfin bref, un crawler = un robot qui visite des pages.