Pour gérer vos consentements :
Categories: ChatGPT

Un mode batch sur l’API OpenAI : ce qu’il faut savoir

Payer deux fois moins cher à condition d’attendre jusqu’à 24 heures ? C’est désormais une possibilité pour qui utilise l’API OpenAI.

Une option de traitement par lots vient effectivement de faire son entrée. Un point de terminaison lui est dédié (/batches). Elle permet d’exécuter des requêtes contenues dans un fichier JSONL qu’on aura uploadé au préalable via l’endpoint /files.

Le traitement par lots ne fonctionne pour le moment que sur l’endpoint de saisie semi-automatique (/chat/completions). Il permet de choisir entre une quinzaine de modèles des familles GPT-3.5, 3.5 Turbo, 4 et 4 Turbo. Toute requête traitée est facturée, même si on annule le batch ou qu’il expire.

Des limites spécifiques au traitement par lots

Il n’y a pas de limites sur le nombre de requêtes par lot. Il y en a en revanche sur le nombre de tokens en file d’attente. Elles varient selon le modèle et selon le niveau d’usage (défini par le volume de dépenses sur l’API). La limite se réinitialise lorsqu’une requête est achevée.

GPT-3.5 Turbo GPT-4 GPT-4 Turbo
Niveau gratuit 200 k
Niveau 1 200 k 100 k 900 k
Niveau 2 400 k 200 k 1,35 M
Niveau 3 10 M 5 M 40 M
Niveau 4 100 M 30 M 80 M
Niveau 5 300 M 45 M 250 M

Le ZDR (zero data retention) ne s’applique pas à l’endpoint /batch (ni d’ailleurs à /files).

Cette politique assure que requêtes et réponses ne sont jamais stockées (elles n’existent qu’en mémoire). OpenAI l’applique par défaut aux endpoints /audio/transcriptions, /audio/translations et /moderations. Les « clients de confiance avec des applications sensibles » peuvent l’activer sur /chat/completions, /embeddings et /completions. S’ils ne le font pas, OpenAI peut conserver les données jusqu’à 30 jours « à des fins de détection des usages abusifs ».
Ni /batches ni /files ne peuvent bénéficier du ZDR (comme, d’ailleurs, /fine_tuning/jobs). C’est à l’utilisateur de supprimer les données.

Illustration © Murrstock – Adobe Stock

Recent Posts

Loi SREN : le sort en est jeté pour les fournisseurs cloud

La loi SREN (sécuriser et réguler l'espace numérique) est promulguée. Sur le volet cloud, de…

2 heures ago

Le référentiel HDS s’imprègne de SecNumCloud

Mis à jour, le référentiel de certification HDS inclut une partie des exigences de souveraineté…

5 heures ago

SIEM : 6 fournisseurs dominent un marché qui se densifie

À un an et demi d'intervalle, les positions évoluent peu chez les « leaders »…

1 jour ago

Superalignment : quel est ce projet OpenAI abandonné par ses managers ?

Deux chercheurs de haut niveau, en charge du projet Superalignment, ont quitté OpenAI, quelques jours…

1 jour ago

Cybersécurité : Cyberark rachète Venafi

Le spécialiste israëlien de la gestion des identités Cyberark rachète Venafi, éditeur de solutions de…

1 jour ago

Rimini Street tend une perche aux clients VMware

Rimini Street étend officiellement ses services de support aux licences perpétuelles VMware.

1 jour ago