Disallow (robots.txt) : ne l'utilisez pas pour "faire comme tout le monde" (fr)

Dans le référencement il y a souvent deux méthodes : celle qui consiste à tester par soi-même et celle qui consiste à suivre le mouvement. Malheureusement la seconde option est souvent la plus facile et certains référenceurs tendent à s’y diriger plutôt que de constater par eux-même ce qu’il en est réellement.

Pour les développeurs comme pour les référenceurs, l’utilisation du Noindex directement dans le robots.txt peut grandement facilité la vie. Malgré qu’il ne paraisse pas dans la doc officielle, cette implémentation fonctionne depuis plusieurs années et encore aujourd’hui.

Découvrez dans l’article la différence entre les directives “Disallow” et “Noindex” au sein du fichier robots.txt.