Réponse directe : un log serveur montre qu’une requête a atteint votre serveur ; il ne prouve pas à lui seul que son auteur était Googlebot, ni que l’URL sera indexée. Une analyse utile conserve l’heure, l’URL, le statut, le type de ressource et l’identité vérifiée du crawler avant d’en déduire une action.
Pourquoi regarder les logs
Search Console décrit la relation entre Google et des URL connues. Les logs montrent ce que votre infrastructure a effectivement reçu. Ils peuvent révéler des paramètres explorés sans utilité, un fichier qui renvoie une erreur, une redirection répétée ou une ressource essentielle demandée trop souvent.
L’intérêt est observationnel. Vous cherchez à comprendre le chemin entre découverte, requête HTTP et réponse du serveur. Le journal complète l’Inspection d’URL, il ne la remplace pas.
Les champs à conserver
Un export exploitable comprend généralement date, URL, méthode, code de réponse, user-agent, hôte, taille et temps de traitement. Ajoutez la cible finale lorsque le serveur enregistre plusieurs redirections.
Ne collectez pas plus d’informations que nécessaire. Les logs peuvent contenir des données personnelles ou des paramètres transmis par des visiteurs. Définissez durée de conservation et accès avec la conformité. Pour cette analyse, des agrégats par famille et des URL anonymisées sont souvent suffisants.
Classez les requêtes par type : HTML, image, feuille de style, script, fichier, sitemap, robots.txt et API. Un crawler qui demande une ressource statique n’a pas le même rôle qu’un crawler qui récupère un document HTML.
Vérifier le crawler
Le user-agent est une chaîne déclarative. Un outil tiers peut se présenter comme Googlebot. Google recommande une résolution DNS inversée, puis une vérification du nom obtenu et, lorsque nécessaire, une comparaison aux plages IP officielles. La procédure doit être documentée et reproductible.
Ne bloquez pas une adresse après un seul nom de robot. Échantillonnez, contrôlez la fréquence, le comportement et la provenance. La vérification répond à l’identité probable de l’appelant ; elle ne transforme pas la requête en preuve d’indexation.
Construire un échantillon
Choisissez une période représentative et regroupez les URL par répertoire et type. Regardez pages stratégiques, nouvelles pages, paramètres, redirections et erreurs. Évitez de conclure sur une seule journée d’incident ou de déploiement.
Pour chaque famille, relevez requêtes, réponses réussies, redirections, erreurs et temps de traitement. Ces données priorisent une enquête ; elles ne constituent pas une promesse de fréquence de crawl. Un grand nombre de passages ne prouve pas qu’une page aide les visiteurs.
Reliez les logs au sitemap, aux liens internes et à l’Inspection. Si une URL importante n’est jamais observée, recherchez un chemin de découverte. Si une famille faible reçoit beaucoup d’appels, examinez les liens générateurs, les paramètres et les facettes.
Scénarios fréquents
Paramètres nombreux. Identifiez les combinaisons qui changent réellement le contenu avant de contrôler la famille. Erreur intermittente. Comparez heure, serveur, cache et déploiement. Redirections en chaîne. Corrigez la règle qui crée l’étape intermédiaire. Faux Googlebot. Vérifiez DNS et IP avant tout blocage.
Procédure pratique
1. Exporter les champs autorisés et supprimer les données inutiles. 2. Normaliser les URL sans perdre les paramètres déterminants. 3. Classer les réponses HTTP et les ressources. 4. Vérifier un échantillon de crawlers. 5. Comparer les familles au sitemap et aux liens HTML. 6. Choisir une correction limitée : lien, redirection, paramètre, rendu ou disponibilité. 7. Rejouer l’analyse et archiver la différence.
Pour le contrôle d’indexation, lisez noindex SEO. Pour les URL à facettes, consultez la navigation e-commerce.
FAQ
Un passage Googlebot prouve-t-il l’indexation ?
Non. Il prouve une requête observée et, après vérification, une origine probable.
Faut-il conserver toutes les IP ?
Pas nécessairement. Définissez le besoin avec la conformité et privilégiez l’anonymisation lorsque l’identité complète n’est pas indispensable.
Les logs remplacent-ils un crawl ?
Non. Ils décrivent les requêtes reçues ; un crawl de contrôle analyse les liens et les signaux HTML.
Faire relire vos traces
Demandez un audit SEO pour relier logs, URL, directives et maillage sans confondre observation et indexation.
