Robots.txt


Google vient d’annoncer une modification de son mode de lecture du fichier robots.txt. Une occasion pour revisiter les rapports entre la presse française et le géant américain. Le fichier robots.txt permet aux programmes d’indexation automatiques des moteurs de recherche de vérifier, avant de tout archiver, quels fichiers, quels répertoires le propriétaire […]

La presse, Google et le fichier robots.txt…