Pour gérer vos consentements :

Meta : les dessous d’une (vaste) migration de données

Meta, maison mère de Facebook et Instagram, a levé le voile sur une vaste opération de modernisation de sa plateforme de données.

Les nécessaires mises à niveau techniques et des résistances internes ont freiné le processus. Sans le bloquer, toutefois.

C’est ce qu’expliquent des ingénieurs de Meta dans une note technique sur la migration vers un nouveau format de jeux de données à l’échelle de l’exaoctet.

Les migrations de cette ampleur, comme d’autres, sont « difficiles ».

Elles le sont d’autant plus du fait de :

– la dette technique

« Les systèmes ont été construits au fil des ans et présentent différents niveaux de dépendances et d’intégrations profondes avec d’autres systèmes », ont souligné les ingénieurs. Le partage de responsabilités entre IT et Métiers permet d’aller de l’avant.

– les aspects non techniques

Ils ne doivent pas être négligés. « Guider les utilisateurs tout au long du processus de migration avec un minimum de friction est un art qui doit être perfectionné au fil du temps et qui est unique à chaque migration », ont ajouté les chercheurs.

Meta migre vers « Tulip »

Pourquoi Meta a choisi de migrer ses données vers le format Tulip ?

« Au fil du temps, la plateforme de données s’est transformée en diverses strates alors que les besoins de l’entreprise augmentaient. Ce qui était une modeste plateforme de données au début est devenue une plateforme à l’échelle de l’exaoctet », indiquent-ils.

Et d’ajouter : « le format de données pour la journalisation était Hive Text Delimited ou JSON, du fait [des systèmes] hérités. » Mais les limitations de ces formats étaient trop importantes.

L’amélioration de la sérialisation des données était la solution.

Pour ce faire, Meta a conçu un système nommé « Tulip ».

L’utilisation de plus de 30 000 schémas de journalisation a rendu l’exercice plus complexe.

Quatre années d’efforts ont donc été nécessaires pour adopter Tulip.

Quant à la formation d’utilisateurs, elle a impliqué d’autres outils et ressources, dont une équipe de support et un guide de migration.

« Faire d’énormes paris comme la transformation de formats de sérialisation sur l’ensemble de la plateforme de données est un défi à court terme, mais cela offre des avantages à long terme et conduit à une évolution au fil du temps », ont ajouté les ingénieurs de Meta.

Les données seraient ingérées ou converties par différentes applications plus efficacement.

(crédit photo © Adobe Stock)

Recent Posts

La Suite Numérique : les errements d’un projet d’État

La Cour des comptes pointe les résultats insuffisants de La Suite Numérique (ex-SNAP) et évoque…

2 jours ago

Apple Pay : l’UE valide l’ouverture à la concurrence sur les iPhone

La Commission européenne approuve la proposition d’Apple permettant à des concurrents de proposer des solutions…

2 jours ago

Que d’eau ! Les engagements d’AWS pour en économiser

AWS entend devenir « water-positive » pour 2030. Que recouvre cet objectif ?

3 jours ago

PC : le marché renoue avec la croissance au deuxième trimestre

Après sept trimestres consécutifs de baisse, le marché mondial des PC traditionnels affiche un rebond…

3 jours ago

Le CISPE et Microsoft trouvent un accord : et maintenant ?

Le CISPE s'est engagé à retirer sa plainte contre Microsoft. Quelle monnaie d'échange le groupe…

3 jours ago

Silo AI, une nouvelle prise pour AMD dans le vivier européen de l’IA

Après avoir acquis Mipsology en France, AMD s'empare de Silo AI, tête de pont de…

4 jours ago