Un mode batch sur l’API OpenAI : ce qu’il faut savoir

Payer deux fois moins cher à condition d’attendre jusqu’à 24 heures ? C’est désormais une possibilité pour qui utilise l’API OpenAI.

Une option de traitement par lots vient effectivement de faire son entrée. Un point de terminaison lui est dédié (/batches). Elle permet d’exécuter des requêtes contenues dans un fichier JSONL qu’on aura uploadé au préalable via l’endpoint /files.

Le traitement par lots ne fonctionne pour le moment que sur l’endpoint de saisie semi-automatique (/chat/completions). Il permet de choisir entre une quinzaine de modèles des familles GPT-3.5, 3.5 Turbo, 4 et 4 Turbo. Toute requête traitée est facturée, même si on annule le batch ou qu’il expire.

Des limites spécifiques au traitement par lots

Il n’y a pas de limites sur le nombre de requêtes par lot. Il y en a en revanche sur le nombre de tokens en file d’attente. Elles varient selon le modèle et selon le niveau d’usage (défini par le volume de dépenses sur l’API). La limite se réinitialise lorsqu’une requête est achevée.

Le ZDR (zero data retention) ne s’applique pas à l’endpoint /batch (ni d’ailleurs à /files).

Cette politique assure que requêtes et réponses ne sont jamais stockées (elles n’existent qu’en mémoire). OpenAI l’applique par défaut aux endpoints /audio/transcriptions, /audio/translations et /moderations. Les « clients de confiance avec des applications sensibles » peuvent l’activer sur /chat/completions, /embeddings et /completions. S’ils ne le font pas, OpenAI peut conserver les données jusqu’à 30 jours « à des fins de détection des usages abusifs ».
Ni /batches ni /files ne peuvent bénéficier du ZDR (comme, d’ailleurs, /fine_tuning/jobs). C’est à l’utilisateur de supprimer les données.

Illustration © Murrstock – Adobe Stock