Google explore des alternatives ou des moyens supplémentaires pour contrôler l’exploration et l’indexation au-delà de la norme de protocole robots.txt, vieille de 30 ans. “Nous pensons que le moment est venu pour les communautés du Web et de l’IA d’explorer d’autres moyens lisibles par machine de choix et de contrôle des éditeurs Web pour les cas d’utilisation émergents de l’IA et de la recherche”, Google il a écrit.

S’engager avec la communauté. Google a déclaré qu’il invitait les membres des communautés Web et IA à discuter d’un nouveau protocole. Google a déclaré qu’il “lâchait un débat public”, avec un “large éventail de voix d’éditeurs Web, de la société civile, d’universités et d’autres domaines du monde entier”.

Horaire. Google a déclaré que ces discussions ont lieu “pour participer à la discussion et nous inviterons les personnes intéressées à participer dans les ‘mois à venir’. Donc rien ne se passe trop tôt et rien ne changera demain”.

Problème avec le contenu payant. Récemment, Open AI a désactivé la fonctionnalité de navigation Bing dans ChatGPT après avoir pu accéder à du contenu payant sans l’autorisation de l’éditeur. C’est l’une des nombreuses raisons pour lesquelles Google recherche peut-être des alternatives au protocole robots.txt.

Parce que nous nous soucions. Nous avons tous été accusés d’autoriser les robots à accéder à nos sites Web à l’aide de robots.txt et d’autres nouvelles formes de données structurées. Mais nous pourrions envisager de nouvelles méthodes à l’avenir. On ne sait pas à quoi ressemblent ces méthodes et protocoles pour le moment, mais des discussions sont en cours.