Dropbox s’émancipe d’AWS avec sa propre infrastructure de stockage

Dropbox doit, en partie, sa croissance à Amazon Web Services. Le service de stockage Cloud rappelle dans un billet de blog qu’il a été le premier à adopter Amazon S3 ce qui lui a permis de grandir rapidement. Mais comme toute les sociétés ayant atteint un certain niveau de maturité, Dropbox a décidé d’investir dans la construction de sa propre infrastructure de stockage pour répondre aux exigences de plus en plus fortes de ses clients.

La start-up américaine avance plusieurs raisons pour expliquer ce choix. « La première est un élément clé de différentiation pour nous, la performance », explique Akhil Gupta, vice-président infrastructure de Dropbox dans le billet de blog. Il ajoute : « le fait d’avoir l’infrastructure de stockage à demeure autorise la customisation de la pile de bout en bout et permet d’améliorer les performances pour nos besoins particuliers ». Le second point réside dans la nature du stockage des fichiers de Dropbox ; « notre stockage en mode bloc est unique », affirme le responsable. Il faut dire que le volume de données est énorme pour le spécialiste du stockage Cloud. Il affiche 500 millions d’abonnés et 500 Po de données. Akhil Gupta se rappelle qu’à son arrivée dans l’entreprise, en 2012, ce volume n’était que de 40 Po.

Le projet Magic Pocket dans le détail

Dropbox est conscient qu’avec ce rythme de croissance, la dépendance a AWS ne peut plus durer. Et ambitionne de créer une infrastructure de stockage évolutive capable de gérer des volumes de données de l’ordre de l’exaoctet (10 ¹⁸). Si le billet de blog ne donne pas plus d’éléments techniques sur cette infrastructure de stockage interne (ceux-ci sont attendus d’ici quelques semaines), Akhil Gupta présente la genèse du projet. Il a démarré à l’été 2013 avec pour nom de code « Magic Pocket ». Un POC (proof of concept) a d’abord servi à connaître les workloads et la distribution des fichiers. Puis les équipes ont travaillé sur le software, « une grande partie du projet », avoue le dirigeant.

En août 2014, un premier test « Dark launch » a été lancé avec un mirroring entre deux sites régionaux. Le 27 février 2015 est considéré comme le D-Day où Dropbox a commencé pour la première fois à stocker et servir des fichiers utilisateurs depuis son infrastructure. A partir de cette validation, Dropbox s’est laissé 6 mois pour migrer les 500 Po de données sur son infrastructure de stockage. Pendant cette période, la start-up avoue avoir été obligée de rajouter des serveurs dans 3 sites régionaux pour absorber le flux de données. Dans ce cadre, elle a créé un réseau haute performance capable d’un débit crête de 500 Go par seconde. A date du 30 octobre 2015, la société avait réussi à migrer 90% des données sur son infrastructure.

Reste que cette initiative ne signifie pas que la start-up tourne le dos définitivement aux services d’AWS. « AWS reste un partenaire incontournable » précise Akhil Gupta. Qui ajoute : « plus tard cette année, nous allons étendre notre partenariat avec AWS pour stocker les données en Allemagne pour nos clients professionnels européens qui nous en font la demande ». Une approche hybride dictée par des considérations de conformité et la volonté des entreprises européennes de localiser leurs données sur le continent.

Spotify va jouer sa partition IT dans le Cloud de Google