Pour gérer vos consentements :
Categories: CloudRéseauxStockage

Amazon S3 accepte dorénavant les fichiers de 5 To

Le service de stockage en ligne Amazon S3 est un des piliers de l’offre cloud de la compagnie. Avec la montée en gamme des applications web, certaines limites commençaient toutefois à se faire sentir, telle la taille maximale de chaque fichier stocké, fixée à 5 Go.

Amazon relève aujourd’hui cette limite à 5 To, soit 1000 fois plus que précédemment. Voilà largement de quoi voir venir, quoique certaines tâches lourdes puissent d’ores et déjà travailler sur des ensembles de données particulièrement massifs : archivage d’informations, vidéos, imagerie médicale, études sur le génome ou le climat, etc.

Certes, il faudra disposer d’une large puissance de calcul pour espérer pouvoir effectuer des traitements sur de tels jeux d’informations, mais, dans ce domaine, Amazon apporte aussi une réponse, avec ses Cluster Compute Instances (maximum de 16 Xeon quadricœurs) et Cluster GPU Instances (maximum de 16 Xeon quadricœurs et de 16 Tesla M2050). Restera bien évidemment le traditionnel problème de la vitesse d’interconnexion entre les unités de stockage et les nœuds de calcul.

Vous vous en doutez, il sera impossible de charger en une seule opération un document de 5 To sur les serveurs de la compagnie. Il est donc conseillé de découper le fichier en plusieurs parties, lesquelles seront téléchargées sur Amazon S3 puis rassemblées grâce à la Multipart Upload API.

Recent Posts

5 chiffres du marché de l’emploi cadre dans l’informatique

Métiers, secteurs, volumes d'offres... Le point, à partir des données de l'Apec, sur quelques indicateurs…

1 jour ago

Serverless : comment Airbus a développé son app de tracking W@y Oversize

Airbus a mis en place Squid, une équipe spécialisée qui a créé un pipeline de…

1 jour ago

Open Web Search : vers un Google européen ?

En gestation depuis 2019, le projet Open Web Search se lance officiellement, à l'appui d'un…

1 jour ago

Adrien Vandeweeghe prend la direction de Trellix en France

Le nouveau directeur de Trellix a pour mission de développer commercialement la filiale française, dont…

1 jour ago

Mainframe : une initiative de modernisation à la Fondation Linux

L'Open Mainframe Project dédie un groupe de travail à la question de la modernisation. La…

1 jour ago

5 licornes et scale-up françaises à suivre

Back Market, Contentsquare et Alan font partie des entreprises du numérique "Made in France" à…

2 jours ago