Storage Transfer Service : Google Cloud vise les données sur site

Clément Bohic,
google-storage-transfer-service

Google ajoute à son service de « transfert de stockage » une option ciblant les données sur site.

Il y a du nouveau dans l’offre Storage Transfer Service de Google.

Jusqu’alors, la solution permettait :

  • d’importer des données en ligne dans Google Cloud Storage
  • d’en transférer entre buckets Google Cloud Storage

S’y ajoute (en bêta) une fonctionnalité de transfert de données sur site.

Le service exploite un agent conteneurisé à déployer sur les serveurs et/ou les VM Linux qui ont accès aux données à migrer.

Cet agent exécute des tâches de transfert qu’on crée sur la console Google Cloud et qu’on rattache à des projets.

google-transfer-service

Quelques conditions préalables :

  • activer l’API Pub/Sub dans la console Google Cloud
  • ouvrir les ports 80 (HTTP) et 443 (HTTPS)
  • s’assurer que tous les agents connectés à un projet fonctionnent avec le même système de fichiers sur le même point de montage

300 Mb/s recommandés

Google recommande d’utiliser au moins trois agents pour pallier les éventuelles erreurs. Le service rééquilibrera automatiquement la charge.

Il existe des différences avec la version « en ligne » de Storage Transfer Service. Entre autres :

  • Planification : possibilité, sur la version « on-prem », d’exécuter des tâches tous les n jours, heures ou semaines (l’exécution des tâches est quotidienne sur la version « en ligne)
  • Synchronisation : sur la version « on-prem », elle ne peut être qu’incrémentale (transfert uniquement des parties modifiées des fichiers et des objets)
  • Contrôle de la bande passante : la version « on-prem » seule le permet, au Mb/s près pour chaque transfert
  • Monitoring avec Stackdriver (indisponible sur la version « en ligne »)
  • Impossibilité, sur la version « on-prem », de supprimer les fichiers sources après un transfert

Storage Transfer Service « on-prem » prend en charge un maximum de 100 agents par projet. Les tâches de transfert peuvent comporter jusqu’à 1 milliard de fichiers. Une bande passante d’au moins 300 Mb/s est recommandée – en dessous, mieux vaut, selon Google, se servir de l’application gsutil.

Logo © Google