Cloudflare teste un paywall (semi)-automatisé pour les crawlers IA

Non standardisé, réservé à des usages futurs dans le domaine du (micro)paiement : tel est le statut actuel du code HTTP 402.

Cloudflare en a fait le socle d'une initiative dite "Pay per Crawl". Il vient d'ouvrir une phase expérimentale (bêta privée), avec une promesse : donner aux éditeurs un moyen de monétiser de manière (semi-)automatisée leurs contenus auprès des crawlers IA.

L'entreprise américaine se positionne en tiers de confiance*. Elle enregistre les uns et les autres, qui disposent ensuite d'un cadre de négociation.

Des négociations par HTTP 402...

En l'état de la démarche, les propriétaires de domaines ont trois options, applicables robot par robot : bloquer l'accès, l'autoriser gratuitement... ou mettre un paywall (prix fixe pour le moment).

Deux types de flux sont mis en oeuvre.
Le premier, dit "réactif", laisse le robot découvrir le contenu. Si ce dernier exige un paiement, une réponse 402 (Payment Required)** est envoyée avec un en-tête crawler-price. Le robot a alors la possibilité de refaire une requête en incluant l'en-tête crawler-exact-price, indiquant qu'il est d'accord de payer le montant demandé.
Le second flux, dit "proactif", permet au robot de communiquer, par l'en-tête crawler-max-price, le prix maximal qu'il est prêt à payer pour accéder à un contenu. Si la ressource ne coûte pas plus cher, il reçoit une réponse HTTP 200 (OK) et paye le prix demandé (même s'il était prêt à payer davantage).

Cloudflare agrège les événements de paiement, puis facture les développeurs des robots et rétribue les éditeurs. À l'heure actuelle, il n'évoque pas de commissionnement ; ni d'ailleurs l'implication d'une quelconque cryptomonnaie.

... avec signature cryptographique des messages

Pour authentifier les requêtes et ainsi éviter l'usurpation de l'identité des crawlers autorisés, Cloudflare s'appuie sur la signature cryptographique de messages HTTP (RFC 9421 ; une norme qu'OpenAI, entre autres, a adopté, pour son projet Operator). Une paire de clés Ed25519 est générée, la clé publique étant hébergée - au format JSON Web Key - au sein d'un répertoire localisé dans /.well-known/http-message-signatures-directory.

L'idée d'une tarification dynamique est sur la feuille de route. Tout comme celles de licences "à l'échelle" distinguant les usages (entraînement, inférence, recherche...). Le vrai potentiel d'un tel système pourrait véritablement se révéler dans le domaine agentique.

Parallèlement à l'ouverture des expérimentations, Cloudflare annonce que tous les nouveaux sites mis en place avec ses solutions bloqueront désormais par défaut les crawlers IA. Plusieurs éditeurs (AP, Condé Nast, Fortune, The Atlantic, TIME...) se sont engagés sur la même voie.

Cloudflare met en avant sa capacité à distinguer les crawlers IA des autres bots, grâce aux "billions" ("trillions" en anglais des U.S.) de requêtes qu'il gère chaque jour.

** Coinbase a aussi un projet de protocole fondé sur le code HTTP402. Il permet pour le moment d'accepter des paiements en USDC.

Illustration générée par IA