Avec TessMaster, Ebay optimise Kubernetes dans OpenStack

Dans une volonté d’être à la pointe de l’innovation et à l’écoute de ses développeurs, Ebay s’est résolument orienté vers le Cloud. Le spécialiste du commerce électronique a pour cela travaillé sur ses propres outils d’intégration. Parmi ceux-là, il y a TessMaster, un framework de gestion de Kubernetes dans OpenStack.

Suneet Nandwani, directeur senior des plateformes et de l’infrastructure Cloud chez Ebay, souligne à nos confrères de ZDnet que « avec l’émergence de Docker, il est devenu clair que les conteneurs sont devenus une technologie que les développeurs apprécient ». Fort de cette tendance, il a regardé les gestionnaires de clusters de conteneurs pour automatiser les opérations de mise à l’échelle. « Nous avons estimé que notre capacité à gérer et à rendre plus opérationnelle notre infrastructure, amélioreraient la gestion des clusters », indique le responsable. Parmi ces évolutions, il cite en premier le service de planification avancée pour optimiser l’usage de l’infrastructure et in fine réduire les coûts.

Kubernetes a un problème de taille

Après des tests, le choix de la société s’est porté sur Kubernetes. Mais petit hic, l’intégration du gestionnaire de cluster dans la plateforme Open Source de Cloud, OpenStack, n’est pas des plus simples. Après avoir créé son propre Cloud (Stratus), Ebay a décidé en 2013 de basculer sur OpenStack. Il dispose actuellement de 9 plateformes Cloud qui forment un Cloud unique nommé C3. On ne connaît pas exactement la taille de C3, mais Suneet Nandwani évoque « des dizaines de milliers de serveurs physiques et des centaines de milliers de machines virtuelles. Je pense qu’il s’agit d’un des Cloud OpenStack les plus matures. Je n’en ai pas rencontré d’autres de cette taille ».

Et c’est cette question de taille qui pose problème avec Kubernetes. « La plupart des entreprises utilisant Kubernetes en interne le font sur une petite échelle », assure l’expert. Et de détailler, « avoir un cluster avec une dizaine de nœuds c’est une chose, mais quand vous en avez 7 ou 8 clusters avec des centaines de milliers de nœuds, c’est complétement différent ».

Ebay se tourne alors sur la brique Magnum en charge de la gestion des clusters de conteneurs d’OpenStack. Une expérience décevante. « Nous n’avons rien vu dans la communauté qui pourrait nous aider, nous avons alors décidé d’écrire notre propre plateforme d’administration pour Kubernetes sur OpenStack. » Cette plateforme se nomme TessMaster et la version personnalisée de Kubernetes par Ebay s’appelle Tess.IO.

TessMaster, une administration de Kubernetes sur OpenStack

TessMaster est « capable de monter à l’échelle rapidement en ayant la flexibilité de pouvoir baisser ou augmenter le nombre de conteneurs », précise le spécialiste. L’interface permet de gérer en direct les problèmes opérationnels des clusters. Toutes les modifications sur les conteneurs sont tracées et enregistrées dans une base de données. TessMaster peut ensuite diffuser ces changements à d’autres parties de l’infrastructure de l’entreprise.

TessMaster fonctionne aujourd’hui sur 7 clusters sous Kubernetes comprenant 100 serveurs physiques chacun et font tourner 2000 conteneurs. Au début, les conteneurs étaient utilisés dans le cadre du développement et des tests, mais Ebay a sauté le pas pour placer des applications conteneurisées en production. Chaque application nécessite plusieurs conteneurs pour l’ensemble de ses composants et ses dépendances. « Nous avons lancé 4 applications sur Kubernetes en 2016, ce qui nous a permis de constater l’efficience des applications et l’agilité des développeurs », indique Suneet Nandwani. Ces applications sont dans plusieurs domaines : la recherche approfondie, le deep learning et le big data via Hadoop. Le site d’enchères prévoit de lancer plus d’applications en clusters dans les mois qui viennent. De même, il pourrait ouvrir à terme le code de TessMaster à la communauté.

A lire aussi :

Conteneurs : pourquoi VMware adopte Kubernetes

Pokémon Go peut remercier Google Cloud, Kubernetes et Docker

Crédit Photo : Donvitorio-Shutterstock