Amazon S3 accepte dorénavant les fichiers de 5 To

Le service de stockage en ligne Amazon S3 est un des piliers de l’offre cloud de la compagnie. Avec la montée en gamme des applications web, certaines limites commençaient toutefois à se faire sentir, telle la taille maximale de chaque fichier stocké, fixée à 5 Go.

Amazon relève aujourd’hui cette limite à 5 To, soit 1000 fois plus que précédemment. Voilà largement de quoi voir venir, quoique certaines tâches lourdes puissent d’ores et déjà travailler sur des ensembles de données particulièrement massifs : archivage d’informations, vidéos, imagerie médicale, études sur le génome ou le climat, etc.

Certes, il faudra disposer d’une large puissance de calcul pour espérer pouvoir effectuer des traitements sur de tels jeux d’informations, mais, dans ce domaine, Amazon apporte aussi une réponse, avec ses Cluster Compute Instances (maximum de 16 Xeon quadricœurs) et Cluster GPU Instances (maximum de 16 Xeon quadricœurs et de 16 Tesla M2050). Restera bien évidemment le traditionnel problème de la vitesse d’interconnexion entre les unités de stockage et les nœuds de calcul.

Vous vous en doutez, il sera impossible de charger en une seule opération un document de 5 To sur les serveurs de la compagnie. Il est donc conseillé de découper le fichier en plusieurs parties, lesquelles seront téléchargées sur Amazon S3 puis rassemblées grâce à la Multipart Upload API.