Google Mueller a déclaré que les robots d’IA accèdent aux plans de site plutôt qu’aux flux RSS dans ses journaux.

John Mueller de Google explique que les robots d’exploration basés sur l’intelligence artificielle ne permettent généralement pas aux propriétaires de site de soumettre manuellement un plan de site. Il recommande plutôt l’utilisation d’un nom de fichier par défaut ou d’un flux RSS pour aider ces robots à découvrir le contenu des sites.

Il a discuté avec Martin Splitt lors du premier épisode du podcast Google Search Off the Record, intitulé “Les sitemaps sont-ils toujours importants?” Il a également mentionné avoir observé des robots d’IA accéder à son plan de site et à des fichiers RSS dans les journaux de son serveur.

Planifications privées et systèmes d’intelligence artificielle pour les accès facilités.

Mueller a expliqué que les propriétaires de sites souhaitant garder leur plan du site privé peuvent opter pour un nom de fichier peu commun, l’exclure du fichier robots.txt, et le soumettre directement à Google. Cependant, il a souligné que cette méthode pourrait rendre le sitemap difficile à trouver pour d’autres systèmes, et que Bing nécessiterait probablement sa propre soumission.

Les robots d’exploration AI utilisés pour l’entraînement se distinguent par le fait qu’ils ne disposent habituellement pas d’une console ou d’une configuration permettant de soumettre un fichier de plan de site. Pour les sites souhaitant intégrer leur contenu dans des systèmes AI, il est recommandé d’utiliser un nom générique comme “sitemap.xml” ou de se concentrer sur les flux RSS.

Le protocole des sitemaps stipule qu’une ligne de sitemap dans un fichier robots.txt est distincte de la ligne d’agent utilisateur, ce qui signifie qu’elle n’est pas soumise aux règles de crawl de quelque robot que ce soit. Il a été observé que les sitemaps sont plus facilement repérables car ils sont généralement liés à l’en-tête HTML d’une page.

Il a observé cette situation se produire dans les données de ses serveurs, où certains robots d’intelligence artificielle consultent son fichier sitemap, ainsi que ses fichiers RSS. Il n’a pas identifié les robots en question et a mentionné qu’il n’est pas certain si les entreprises d’IA enregistrent ces actions ou ce qu’elles en font.

Llms.txt ne peut pas remplacer le site Web.

Mueller a expliqué que les fichiers Markdown ne peuvent pas être utilisés par les systèmes de Google comme des feuilles de site HTML en raison de leur format moins strict. Il a également mentionné que les fichiers .txt pourraient éventuellement remplacer les fichiers XML pour cette utilisation.

Il a exprimé l’idée que l’espoir dépasse souvent la réalité en disant qu’il envisage un avenir où les systèmes de recherche pourront lire les fichiers Markdown. Pour l’instant, rien de tel n’est en place, mais il apprécie les efforts des sites qui tentent de le faire, bien qu’il reste prudent.

En août, il a affirmé que les seuls robots d’exploration sur ses sites d’essai prétendant supporter Markdown étaient des outils de référencement. En mai, j’ai examiné le guide d’optimisation de l’intelligence artificielle de Google llms.txt parmi les sites tactiques qui n’ont pas besoin de fonctionnalités générées par l’IA.

Pourquoi un plan de site valide pourrait ne pas être suffisant.

Splitt a fermé en posant la question de pourquoi Search Console indique “Ne pourrait pas chercher” pour une feuille de site publique valide liée au fichier robots.txt.

Mueller a expliqué qu’une des raisons est la charge excessive sur les serveurs. Les systèmes de Google peuvent être surchargés, ce qui les empêche de récupérer le contenu d’un site, et Search Console peut signaler cela comme un message indiquant que Google “ne peut pas effectuer de recherche”. Une autre raison est la fréquence des demandes d’exploration, qui peut amener Google à ignorer le plan du site lorsque ses systèmes estiment qu’il n’est pas nécessaire d’explorer davantage un site.

Il a souligné que la demande croissante dépend souvent de l’évaluation de la qualité d’un site Web, affirmant que ce critère ne se limite pas à des aspects strictement techniques. En février, il a indiqué à un utilisateur de Reddit que Google n’intégrera pas un plan de site à moins d’être convaincu de la présence de contenu nouveau et pertinent à indexer.

Rechercher les sites de console de rapport d’aide indique qu’un plan de site ne peut pas être considéré comme optimal en raison de divers facteurs, tels que la présence de contenu de qualité inférieure qui entraîne une faible demande de rampe. D’autres raisons évoquées sont les blocages de robots.txt, les actions manuelles en suspens et les URLs incorrectes.

Pouvez-vous préciser la raison de cela ?

Un plan de site avec un nom unique et sans fichier robots. Selon Mueller, le fichier txt d’entrée reste caché aux systèmes non soumis, et les robots d’indexation en IA ne proposent généralement pas de méthode de soumission. Il a recommandé l’utilisation d’un nom de sitemap par défaut ou d’un flux RSS pour permettre aux robots d’IA de découvrir le contenu des sites intéressés. De plus, une liste de robots.txt indique aux crawlers prenant en charge la directive Sitemap où trouver le fichier.

Pour obtenir une feuille de style valide affichant “impossible de rechercher”, les deux raisons évoquées par Mueller, à savoir la surcharge du serveur et la demande excessive de ressources, se trouvent en dehors du fichier en question.

Observer la direction du regard.

Les spécialistes de la recherche de Google recommandent de se concentrer sur ce qui est actuellement documenté plutôt que de se baser sur le fichier llms.txt. Les fichiers journaux du serveur sont l’endroit où ils ont observé des robots d’intelligence artificielle accéder à leurs fichiers, et c’est là que vous pouvez vérifier les vôtres.

Image fournie par Tetiana Yurchenko sur Shutterstock. Logo de Google: Source: Google.