Payer deux fois moins cher à condition d’attendre jusqu’à 24 heures ? C’est désormais une possibilité pour qui utilise l’API OpenAI.
Une option de traitement par lots vient effectivement de faire son entrée. Un point de terminaison lui est dédié (/batches). Elle permet d’exécuter des requêtes contenues dans un fichier JSONL qu’on aura uploadé au préalable via l’endpoint /files.
Le traitement par lots ne fonctionne pour le moment que sur l’endpoint de saisie semi-automatique (/chat/completions). Il permet de choisir entre une quinzaine de modèles des familles GPT-3.5, 3.5 Turbo, 4 et 4 Turbo. Toute requête traitée est facturée, même si on annule le batch ou qu’il expire.
Il n’y a pas de limites sur le nombre de requêtes par lot. Il y en a en revanche sur le nombre de tokens en file d’attente. Elles varient selon le modèle et selon le niveau d’usage (défini par le volume de dépenses sur l’API). La limite se réinitialise lorsqu’une requête est achevée.
GPT-3.5 Turbo | GPT-4 | GPT-4 Turbo | |
Niveau gratuit | 200 k | ||
Niveau 1 | 200 k | 100 k | 900 k |
Niveau 2 | 400 k | 200 k | 1,35 M |
Niveau 3 | 10 M | 5 M | 40 M |
Niveau 4 | 100 M | 30 M | 80 M |
Niveau 5 | 300 M | 45 M | 250 M |
Le ZDR (zero data retention) ne s’applique pas à l’endpoint /batch (ni d’ailleurs à /files).
Cette politique assure que requêtes et réponses ne sont jamais stockées (elles n’existent qu’en mémoire). OpenAI l’applique par défaut aux endpoints /audio/transcriptions, /audio/translations et /moderations. Les « clients de confiance avec des applications sensibles » peuvent l’activer sur /chat/completions, /embeddings et /completions. S’ils ne le font pas, OpenAI peut conserver les données jusqu’à 30 jours « à des fins de détection des usages abusifs ».
Ni /batches ni /files ne peuvent bénéficier du ZDR (comme, d’ailleurs, /fine_tuning/jobs). C’est à l’utilisateur de supprimer les données.
Illustration © Murrstock – Adobe Stock
La société britannique de cybersécurité Darktrace a accepté une offre de rachat de 5,32 milliards…
Silicon et KPMG lancent la deuxième édition de l'étude Trends of IT. Cette édition 2024…
Le ministère de l'économie a adressé une lettre d'intention à la direction d'Atos pour racheter…
Directeur Technologie de SNCF Connect & Tech, Arnaud Monier lance une campagne de recrutement pour…
Les grands de l'IT suppriment des milliers de jobs au nom du déploiement de. Une…
Quatre ans après l’appel de Rome - un pacte présenté en 2020 par le Vatican…