Menu

Comment les IA « pompent » le contenu des éditeurs… sans scraper leurs sites ? 🤖📰

IA générative, robots.txt et presse : comment un résumé peut être produit sans accès direct à un article

Un éditeur peut interdire l'accès de ses pages à certains robots d'IA… et voir malgré tout un assistant générer un résumé de ses articles. Magie ? Pas vraiment. L'explication pourrait se trouver du côté des moteurs de recherche et des informations déjà disponibles ailleurs sur le Web. 🕵️

À retenir

Un refus d'accès dans robots.txt ne signifie pas que toute information sur un article disparaît du Web. Un assistant peut exploiter son titre, des extraits indexés, des reprises par d'autres médias ou des connaissances antérieures pour construire une réponse. Mais attention : une réponse plausible n'est pas la preuve que l'article original a été consulté ni fidèlement résumé.

Robots.txt : ce que l'éditeur interdit vraiment

Le fichier robots.txt sert à indiquer aux robots d'exploration les chemins qu'ils sont autorisés à parcourir. Un éditeur peut notamment définir des règles spécifiques pour GPTBot et ChatGPT-User, deux agents ayant des usages différents.

Nous avons déjà expliqué ces mécanismes dans notre article sur les robots.txt et les crawlers IA. (Une règle Disallow: / est une instruction aux robots qui la respectent, pas une barrière technique universelle ni une interdiction de parler du sujet 😉)

Le cas Ouest-France : une observation qui intrigue

Lors de nos tests, nous avons observé des règles de restriction visant des robots d'OpenAI dans le robots.txt de Ouest-France. Pourtant, en soumettant certaines URL d'articles à ChatGPT, nous avons obtenu des réponses qui ressemblaient à des résumés.

Auparavant, l'assistant indiquait parfois ne pas pouvoir consulter le site. Plus récemment, il pouvait fournir une réponse malgré cet obstacle. Ce changement de comportement nous a donné envie de comprendre d'où provenait l'information.

(Il s'agit d'observations ponctuelles : les règles robots.txt, les capacités de recherche et les réponses des assistants évoluent. Nous n'avons pas de journal réseau démontrant quelles pages ont été effectivement consultées lors de chaque test.)

Comment une IA peut-elle répondre sans lire l'article original ?

Une piste nous a été suggérée par une explication affichée lors d'une ancienne session avec un modèle à raisonnement : l'assistant indiquait qu'il ne pouvait pas ouvrir le site, mais pouvait rechercher des informations à partir du titre de l'article.

  1. Le titre et l'URL révèlent déjà le sujet de l'article.
  2. Les résultats des moteurs de recherche peuvent afficher des extraits ou des descriptions.
  3. Les reprises et citations par des tiers peuvent apporter des détails supplémentaires.
  4. Les connaissances générales du modèle permettent ensuite de construire un texte qui paraît cohérent, même si certaines informations manquent.

Voilà le paradoxe : l'IA peut produire un texte convaincant sans disposer du texte complet. Mais il serait excessif d'affirmer que cette méthode explique nécessairement toutes les réponses observées ou que l'assistant a volontairement « contourné » une interdiction.

Un résumé… ou une reconstitution plausible ?

Il faut distinguer deux opérations : résumer un document réellement consulté et reconstituer son contenu probable à partir de sources indirectes. Dans le second cas, les risques d'omission, de confusion et d'invention augmentent.

SituationCe que l'IA peut réellement savoirRisque pour le lecteur
Article complet accessibleLe texte original, sous réserve d'un accès effectifRésumé incomplet ou imprécis
Titre et extrait de recherche seulementLe thème et quelques informations visiblesConfondre une hypothèse avec le contenu de l'article
Reprises par d'autres sitesUne version indirecte de certains élémentsPerdre des nuances, la chronologie ou l'attribution
Article local très spécifique, peu reprisPeu d'informations vérifiablesProduire un résumé largement spéculatif

C'est particulièrement problématique pour les informations locales, les enquêtes originales ou les contenus exclusifs. (Si l'IA n'a pas lu l'article, elle devrait le dire clairement plutôt que de laisser croire le contraire.)

Quelles questions pour les éditeurs et les droits voisins ?

Pour les éditeurs français, l'enjeu ne se limite pas à la technique. Il concerne aussi l'attribution, le trafic, la rémunération des contenus et la capacité à financer la production d'informations originales.

Une question mérite d'être posée : si un assistant répond à la place d'un article grâce à des extraits ou à des reprises, qui capte la valeur créée par le travail journalistique initial ? Et dans quelles circonstances les droits d'auteur ou les droits voisins peuvent-ils entrer en jeu ?

La réponse juridique dépend des contenus utilisés, des actes de reproduction ou d'exploitation, des contrats et du droit applicable. Le seul fait de générer une réponse à partir d'un titre ne suffit pas, à lui seul, à établir une violation.

Comment tester la fiabilité d'un résumé généré par IA ?

Chez GreyFox Ads, défendre la valeur des éditeurs français 🦊

Les éditeurs de qualité financent la production de contenus originaux. Chez GreyFox Ads, nous pensons que les annonceurs ont intérêt à soutenir cet Open Web : c'est l'un des principes de notre Master Deal programmatique, conçu pour privilégier les environnements de qualité, la transparence et l'efficacité réelle.

Nous accompagnons aussi les régies et les Trading Desks dans leurs problématiques de curation, de monétisation et d'optimisation des achats programmatiques.

Envie de mieux valoriser l'Open Web français ?

Campagnes Display et Vidéo, curation programmatique, conseil aux régies : discutons de vos enjeux.

Contacter GreyFox Ads →

À l'origine de cette analyse : le post LinkedIn original. Il présente une hypothèse issue d'observations et non un audit technique des systèmes d'OpenAI. Pour les consignes de crawling, voir également la documentation officielle des robots OpenAI.

À propos de l'auteur : Max Legrand, fondateur de GreyFox Ads, spécialiste de la curation et des achats programmatiques.