Pour gérer vos consentements :
Categories: Data & Stockage

AWS croise S3 et Lambda pour la transformation de données

AWS propose désormais une option alternative aux proxys pour transformer des objets récupérés sur S3. Elle se fonde sur le FaaS Lambda.

Le principe : associer des fonctions à des points d’accès S3 et les invoquer lors des requêtes GET.

AWS en fournit quelques-unes « prêtes à l’emploi ». Elles permettent de :

  • détecter et masquer des données personnelles (sur la base du service Amazon Comprehend) ;
  • décompresser des données (bzip2, gzip, snappy, zlib, zstandard, ZIP).
Objectif : pouvoir présenter un même jeu de données sous différentes formes selon les applications.

Le service – nommé S3 Object Lambda – est conçu de sorte que les fonctions n’ont pas besoin de permissions pour lire les objets originaux. Principale limite : ces fonctions peuvent s’exécuter pendant 60 secondes au maximum. Elles doivent par ailleurs être rattachées au même compte que le point d’accès associé. Et se trouver dans la même région AWS.

Cette fonction Python met en capitales le contenu de chaque objet.

Il est possible, en utilisant les en-têtes HTTP Range et partNumber, de ne récupérer qu’une partie d’un objet. Et éventuellement d’utiliser des connexions parallèles pour télécharger plusieurs parties d’un même objet.

Autre possibilité qu’offre S3 Object Lambda : générer des objets « à la volée ». AWS donne en exemple la création de documents JSON ou CSV à partir du contenu d’une base de données.

Les commandes de haut niveau ne sont pas encore prises en charge dans le CLI AWS. Pour la disponibilité, elle est quasi mondiale, à l’exception de quelques régions AWS en Asie. La facturation dépend des ressources que consomment les fonctions Lambda.

Illustration principale ©

Recent Posts

Ransomwares : que paient les PME en France ?

6 PME françaises sur 10 victimes d'une attaque de ransomware disent avoir payé jusqu'à 40…

1 jour ago

5G : le Canada rejette Huawei

Le gouvernement de Justine Trudeau a décidé, comme son voisin américain, de bannir le géant…

1 jour ago

Dell Technologies : les 5 dirigeants les mieux rémunérés

Les cinq principaux dirigeants de Dell Technologies ont obtenu une rémunération totale combinée de 93…

1 jour ago

WhatsApp s’ouvre aux entreprises, avec une API basée sur le cloud

Mark Zuckerberg et le groupe Meta ont trouvé un moyen de générer des revenus B2B…

1 jour ago

Windows 11 : le portail de téléchargement usurpé par des hackers

Des pirates ont détourné le portail officiel de téléchargement du système d’exploitation Windows 11 pour…

1 jour ago

Sauvegarde et restauration : Veeam dévoile la v12

Veeam dévoile la mise à niveau de son offre Backup & Replication (v12) et dévoile…

2 jours ago