pppplus Posted September 29, 2017 Report Share Posted September 29, 2017 Je viens juste pour râler un peu contre ahrefs ! Leurs bots sont de vraies sangsues ! Aucun respect du fichiers robots.txt, aucun respect du nofollow, noindex. Je les ai même contacté, ils m'ont assuré qu'ils arrêtaient de scanner le site que je leur ai signalé ! Mais non, ils reviennent quelques heures après.... Obligé de les bloquer depuis le htaccess ! Quelle plaie !!! Fuyez-les, ne leur donnez plus de sous, juste par principe ! Voilà, ça soulage ! Quote Link to comment Share on other sites Partagez cette page :
Nicolas Posted September 29, 2017 Report Share Posted September 29, 2017 Pareil pour Majestic, semrush and co et si tu stoppes certains bots, des milliers d'autres se feront un plaisir de venir crawler et lister tes pages et tes backlinks ! par curiosité, pourquoi as tu bloqué ahrefs ? pour que la concurrence ne s'inspire pas de ton profil de liens ? Quote Link to comment Share on other sites Partagez cette page :
pppplus Posted September 29, 2017 Author Report Share Posted September 29, 2017 juste par que c'est un site en développant ouvert aux tests pour debbugage. Mais que c'est un domaine qui ne doit pas être répertorié, car il y a dessus des backlinks qui ne devraient pas y être. Mais comme c'est presque la version définitive, ils y sont, car il faut bien avancer pour finir. Difficile de laisser tous les détails en suspens, jusqu'au lancement final, avec le bon domaine. J'ai même indiqué à ahrefs le bon domaine à crawler s'ils le veulent ! Non, je ne cache rien, je m'en fiche que les autres me copient. C'est juste que là, c'est vraiment pas pertinent, et que j'ai clairement indiqué qu'il ne fallait pas crawler ce site. Et ils ne font pas dans la dentelle quand ils crawlent... c'est pas discret, avec des centaines d'IPs pour analyser les pages. Encore heureux qu'ils identifient clairement leurs IP, sinon, je ne saurais même pas comment les bloquer ! Nicolas 1 Quote Link to comment Share on other sites Partagez cette page :
Nicolas Posted September 29, 2017 Report Share Posted September 29, 2017 Normalement pour bloquer Ahrefs et Majestic : User-agent: AhrefsBot User-agent: MJ12bot Disallow: / Quote Link to comment Share on other sites Partagez cette page :
pppplus Posted September 30, 2017 Author Report Share Posted September 30, 2017 non, ahrefs ignore le fichier robots.txt. Quote Link to comment Share on other sites Partagez cette page :
Nicolas Posted September 30, 2017 Report Share Posted September 30, 2017 Ok, bon à savoir D'après nos tests, Majestic le respecte Quote Link to comment Share on other sites Partagez cette page :
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.