Alors que de plus en plus de médias critiquent vivement l’intelligence artificielle, accusée directement de faire perdre du trafic à certains journaux comme le New-York Times, le combat entre les créateurs de contenus et les intelligences artificielles est encore loin d’être terminé.
Et si on a appris, ces derniers jours, qu’un juge a donné raison à Anthropic qui était accusé de ne pas respecter le droit d’auteur en utilisant certains contenus, il se pourrait que Cloudflare ait trouvé la parade pour faire payer OpenAI, Google Gemini, et les autres outils d’IA…
Le « Pay per Crawl », un paywall destiné aux IA ?
Si cela peut ressembler à une simple blague au premier abord, ou à un concept qui ne serait pour le moment que très théorique, il se pourrait bien que le « Pay per Crawl » proposé par Cloudflare devienne la norme dans les mois ou les années à venir.
En effet, le service de cloud en ligne chargé de faciliter l’accès à 16% du trafic mondial selon un rapport de 2023, vient de sortir une bêta privée de ce nouvel outil. Avec le Pay per Crawl, Cloudflare souhaite donner le choix aux éditeurs de sites web de faire payer ou non les crawlers, ces robots qui explorent des millions de pages web chaque jour.
Une solution trois-en-un pour les éditeurs
Avec le Pay per Crawl Cloudflare propose en réalité aux éditeurs une solution trois-en-un, car cela permet de :
- Restreindre l’accès à un site web pour que le contenu ne soit pas exploité
- Contrôler les accès aux contenus en fonction des crawlers, comme si on souhaitait autoriser les crawlers d’OpenAI et refuser ceux de Google
- Facturer l’accès aux contenus aux crawlers qui y accèdent à travers des micro-paiements
Cloudflare tente également de séduire les solutions d’IA en estimant qu’il s’agit de créer une relation de confiance avec les créateurs de contenus, de favoriser l’innovation avec des accès privilégiés aux derniers contenus, et s’engage à ne facturer que les contenus qui seront vraiment consommés.
Quelles solutions concrètes pour faire payer avec le Pay per Crawl ?
Si l’idée du Pay per Crawl a de quoi séduire de nombreux éditeurs, la question de la mise en place concrète pose de nombreuses questions. Là encore, Cloudflare a tout prévu, et pourrait se doter de deux solutions :
- L’utilisation du code 402 où le serveur renvoie une réponse au crawler en lui indiquant le prix à payer avec l’en-tête « crawler-price » que le crawler devrait confirmer le prix payé avec l’en-tête « crawler-exact-price »
- L’utilisation de l’en-tête « crawler-max-price » lors du crawl d’une page, qui permettrait alors au robot d’accéder au contenu si son prix est inférieur ou égal à la somme demandée