AWS fait jouer la loi du marché pour ses instances GPU

Face à la pénurie de GPU, AWS propose une option de réservation anticipée d’instances… facturées selon l’offre et la demande.

Premier arrivé, premier servi ; l’offre et la demande feront le prix. C’est ainsi que fonctionnent les « blocs de capacité EC2 pour ML ».

AWS vient de lancer cette option de réservation* d’instances GPU. Ses principales caractéristiques :

– Réservation jusqu’à 8 semaines en amont
– De 1 à 64 instances
– Pour 1 à 14 jours
– Paiement immédiat ; pas d’annulation ni de modification possible

Un seul type d’instance est pour le moment au catalogue. En l’occurrence, la P5 (192 vCPU, 2 To de RAM, 8 GPU H100-80, réseau 3200 Gbps, 8 x 3,84 To de SSD, bande passante EBS de 80 Gbps), disponible dans la région US East.

Les instances réservées par ce biais sont groupées en clusters au sein d’une même zone de disponibilité (c’est d’ailleurs aussi le cas des VM P4d et Trn1). Elles ne peuvent entrer ni dans le cadre des Savings Plans, ni dans les remises sur engagement. On ne peut pas les partager entre comptes AWS ou au sein d’une organisation.

Pour choisir un autre OS que celui par défaut, il faut utiliser le CLI. Les options : RHEL (0,13 $/heure), RHEL avec haute disponibilité (0,165 $/h), SLES (0,125 $/h) et Ubuntu Pro (0,336$/h).

* Pour les réservations de capacité sur d’autres ressources, la date d’effet est immédiate. C’est une spécificité de ces blocs EC2 « spécial machine learning ». Autre différence : une fois la période de réservation écoulée, les instances s’éteignent (on ne bascule par sur la facturation à la demande).

À consulter en complément :

Box et Google Cloud changent d’angle sur l’IA
L’IA générative : innovation ou enjeu de résilience ?
Comment Dropbox applique le machine learning au nommage des fichiers
Le « cloud souverain européen » d’AWS prend forme