Cet article a été écrit par Tom Travel. Cliquez ici pour lire l'article d'origine
Si vous êtes l'auteur de cet article, cliquez ici pour découvrir comment la republication de votre article améliore votre SEO et votre visibilité !
Désormais, les sites web ont la possibilité d’autoriser, de facturer ou de bloquer l’extraction de leur contenu par les robots d’exploration IA. Cloudflare est-il en train de poser les bases d’un nouveau modèle économique pour le web à l’ère de l’IA ?
Facturer, bloquer ou autoriser la libre collecte de données par les robots d’IA, telles sont les trois options offertes aux éditeurs par Cloudflare. Avec sa solution Pay per crawl, l’acteur californien veut en finir avec le scraping sauvage, ou l’extraction de contenu originaux sans aucun contrôle. Sa solution, expérimentée aux côtés d’une sélection d’éditeurs comme The Associated Press, The Atlantic ou Condé Nast. Mais le secteur des médias, où le modèle publicitaire est fortement menacé par la baisse de trafic entraîné par l’IA, n’est pas le seul à vouloir reprendre les rênes sur son contenu. Parmi la liste des testeurs de la solution de Cloudflare, on retrouve ainsi d’autres acteurs comme Pinterest, Quora ou encore Reddit. Selon SEMrush, le réseau social Reddit fait partie des sources les plus citées dans les résultats affichés par Google AI Overviews depuis son lancement aux Etats-Unis.
“Êtes-vous bien humain ?”
Cloudflare, dont les services d’authentification, notamment le célèbre Captcha “êtes-vous bien humain ?”, protège 20% du trafic web est particulièrement bien positionné pour développer un tel service. En septembre 2024, plus d’un million de sites web ont activé, selon Cloudflare, l’option de l’entreprise permettant tout simplement de bloquer le passage des robots d’exploration IA. Avec ce nouveau service, les entreprises de l’IA devront désormais obtenir l’autorisation explicite d’un site web avant de procéder à l’extraction de son contenu. Lors de son inscription sur le réseau Cloudflare, chaque nouveau domaine sera désormais invité à déterminer sa politique en matière d’autorisation des robots d’indexation.
Au-delà du scraping sauvage, faut-il contrôler voire même facturer l’accès aux données par les LLM ? La question semble légitime à l’heure où le serveur MCP est sur le point de renforcer davantage la connectivité entre IA et base de données. Difficile pour autant de miser sur l’émergence d’un modèle économique universel. “ça pourrait pousser à mettre autour de la table les parties prenantes pour mettre fin au far west”, estime Fabien Gouttebaron, VP Sales chez The Hotel Networks, société rachetée par Lighthouse début 2025 et à l’origine d’un MCP destiné faire des LLM un nouveau canal de réservation directe pour les hôtels.
Photo d’ouverture : Bernd 📷 Dittrich
A lire également :
