Google explique les raisons pour lesquelles le plan du site indique que la page n’est pas disponible.

Martin Splitt et John Mueller de Google ont parlé des raisons pour lesquelles Search Console peut signaler une erreur « impossible de crawler » malgré la présence d’une sitemap XML valide sur un site web. Bien que Mueller ait admis qu’il peut parfois y avoir une explication technique à cela, il a également souligné que le problème réel est souvent lié à la qualité du site.

Message inapproprié de la console de recherche Google Recherche Merci

Splitt a admis que de nombreuses personnes qui rencontrent l’erreur “ne pourraient pas chercher” possèdent des cartes de sites XML valides qui sont correctement liées à des fichiers robots.txt, et qu’il n’y a aucune raison technique pour que Google ne puisse pas accéder au plan du site. Il est important de noter que les employés de Google sont conscients du problème et de la frustration des utilisateurs.

Martin Splitt a remarqué.

Pourquoi est-ce que Search Console affiche parfois “non indexable” même si le plan du site XML est valide ?

Tu peux confirmer sa validité, ce qui est un avantage d’un format structuré. Il est donc légitime, visible par le public et lié au fichier robots.txt. Cependant, Search Console signale parfois des difficultés pour le trouver.

Première raison : Difficultés liées à la charge de travail.

Selon John Mueller de Google, il est fréquent de constater des interrogations concernant le message d’erreur indiquant qu’une recherche ne peut pas être effectuée dans les forums. Il a expliqué qu’il existe deux causes possibles pour ce message d’erreur.

La principale raison est que parfois Google ne peut pas consulter le plan du site en raison de problèmes de charge sur le serveur hôte, ce qui indique que le serveur est submergé par un trop grand nombre de demandes de pages et ne peut pas fournir la ressource demandée. Cela peut également signifier que le serveur n’est pas en mesure de gérer la charge croissante.

Mueller donne des explications :

Nous avons déjà abordé ce sujet par le passé, notamment en ce qui concerne le nombre de systèmes Google capables de explorer un site Web. Il est possible que nous n’ayons pas eu l’occasion de créer ce fichier de plan du site en raison de nos nombreuses autres tâches. Ce genre de situation peut se produire. De ce fait, nous pourrions également dire que cela n’a pas pu être fait car nous n’avons pas eu le temps de le faire réellement.

Bien que Mueller n’ait pas abordé ce point, le problème de surcharge du serveur peut également survenir tard dans la nuit lorsque des robots légitimes et illégitimes bombardent un site Web avec de nombreuses requêtes simultanées, ce qui peut entraîner un abandon du serveur et la génération d’une réponse d’erreur 500. Vous pouvez vérifier les réponses d’erreur 500 à l’aide de Google Search Console, qui répertorie ces erreurs, ou dans les fichiers journaux du serveur si vous y avez accès.

Deuxième raison : Préoccupations concernant la qualité du site.

Mueller a partagé une deuxième raison, qu’il a qualifiée de “demande rampe”, qui concerne essentiellement Google qui estime ne pas avoir besoin du contenu et décide de le sauter. Il a expliqué que cela est lié à la qualité du contenu, bien qu’il ait mentionné la charge d’hôte, je ne suis pas certain de partager son point de vue. Vous pouvez en juger par vous-même.

Mueller a donné des informations.

Le passage suivant peut être reformulé ainsi : « L’autre aspect, en lien avec le rôle d’hôte, concerne la sollicitation du crawl. Si nos systèmes estiment que nous n’avons pas besoin de parcourir entièrement un site, nous pouvons décider de ne pas utiliser le fichier sitemap car nous disposons déjà d’assez d’informations. »

Le besoin de ramper un site Web est souvent influencé par la perception de sa qualité. Cela peut avoir un impact significatif sur la fréquence et l’étendue du ramper et de l’indexation du site. Ce processus ne repose pas uniquement sur des considérations techniques, car parfois nos systèmes estiment que la qualité globale du site n’est pas optimale. En conséquence, ils ne consacreront pas beaucoup de temps à explorer et indexer son contenu, et ne se préoccuperont donc pas du fichier sitemap pour le moment.

Troisième raison: Il est possible que le site ne soit pas essentiel.

La troisième explication qu’il a donnée est que Google peut parfois se passer du plan du site.

Mueller a donné des explications :

“Si nous constatons une nette amélioration de la qualité du site avec le temps, nous pourrions décider de l’adopter et d’utiliser le plan de site proposé. Cependant, cela ne dépend pas uniquement d’aspects techniques, que ce soit de mon point de vue ou de celui de mon site.”

Question : Est-il vraiment nécessaire d’avoir un fichier sitemap, et est-ce que nous voulons également le fichier sitemap ?

Résumé: “Texte: Aventures”

• Rechercher une erreur dans le plan de site de la Console de recherche “ne pouvait pas chercher” peut être déroutant. Même si une feuille de site est valide, accessible au public et correctement liée, la Console de recherche peut toujours indiquer que Google n’a pas pu l’obtenir.
• Demande au serveur Google de trouver un plan de site. Si Googlebot ne peut pas accéder au plan du site en raison d’une surcharge du serveur ou si Google a atteint la capacité maximale de rampe du site, Search Console peut indiquer “impossible de rechercher”.
• Il est possible que l’erreur soit causée par la requête de rampe. Google peut décider intentionnellement de ne pas explorer une page de site s’il estime qu’il n’y a pas suffisamment de raison de le faire.
• Le niveau de qualité d’un site web peut jouer un rôle dans l’intérêt que Google porte à son plan. Selon Mueller, la perception de la qualité d’un site web peut fortement influencer la fréquence à laquelle Google explore et indexe le site, y compris s’il récupère la structure du site en question.

Enfin, bien que Martin Splitt ou Mueller n’en parlent pas, cette conversation souligne un important problème avec Search Console, à savoir que le message d’erreur ne reflète pas la véritable raison du problème. Cela entraîne de la confusion et de la frustration chez les utilisateurs de la console de recherche. Ce qui est particulièrement frustrant, c’est que Google est conscient de l’inefficacité du message de la console de recherche, mais qu’ils ne font rien pour y remédier.

Image fournie par Shutterstock/Chuenmanuse.