Google veut standardiser le robots.txt et abandonne officiellement la directive Noindex: (fr)

Google a publié une série de posts sur son blog pour webmasters au sujet du fichier robots.txt : proposition de standard du protocole auprès de l’IETF, diffusion de ses outils en open source et arrêt de la prise en compte de certaines directives à l’automne prochain…