re:Invent 2024 : des annonces IA d'AWS, ce qui est vraiment disponible

La distillation sur Bedrock ? Oui, mais en preview. Amazon Q dans GitLab ? Oui, mais seulement pour l'édition Ultimate. La gouvernance centralisée des clusters SageMaker HyperPod avec EKS ? Oui, mais uniquement dans des régions cloud situées aux USA.

Ces trois exemples, parmi d'autres, illustrent les disponibilités assez variables des nombreuses "fonctionnalités IA" sur lesquelles AWS a communiqué lors de la re:Invent 2024.

Sur la partie Bedrock

Plusieurs des annonces de la re:Invent concernent la brique de RAG. Il en est ainsi de l'API Data Automation, en preview dans la région US-West. Générant des insights à partir de données multimodales non structurées, elle peut notamment être utilisée pour traiter les documents en vue de constituer des index (AWS propose aussi d'utiliser un modèle de fondation pour cela).

Le GraphRAG - gestion des graphes de connaissances - est également en preview, dans toutes les régions commerciales où Bedrock Knowledge Bases est disponible. Même chose pour la récupération de données structurées (capacité à interroger data lakes et data warehouses en langage naturel).

Autre preview : celle de la collaboration multiagent. Elle est accessible dans toutes les régions AWS prenant en charge les agents Bedrock (dont, en Europe, Francfort, Londres, Paris et Zurich). Cette fonctionnalité implique un modèle superviseur qui divise et/ou paraphrase les requêtes, invoque en parallèle ou en série les sous-agents appropriés, réunit les réponses, vérifie si le problème est résolu et, dans la négative, relance une boucle d'action. Ce modèle superviseur peut aussi être paramétré pour essayer d'abord de diriger les requêtes simples directement vers les sous-agents appropriés, qui fourniront alors eux-mêmes une réponse à l'utilisateur.

Disponibilité géographique plus limitée (USA) pour la preview du "routage intelligent" des prompts. Il s'appuie sur un modèle qui classe les requêtes et les redirige entre plusieurs modèles d'une même famille pour optimiser le rapport qualité/prix.

La mise en cache des prompts (5 minutes maximum) est aussi en preview. Pour Claude 3.5 Sonnet V2 et Claude 3.5 Haiku sur la plaquet US-West. Et, sur la plaque US-East, pour les modèles Nova Micro, Lite et Pro d'Amazon. Nova Micro est monomodal (texte), avec 128k de contexte. Nova Lite gère images, vidéos et texte, avec 300k de capacité en input. L'un et l'autre peuvent être distillés à partir de Nova Pro, orienté en particulier sur les usages agentiques.

La vérification par raisonnement automatisé (validation mathématique de la précision des réponses générées) arrive en preview dans la brique Bedrock Guardrails, en région US-West. Preview également (y compris dans les régions AWS de Francfort, d'Irlande et de Londres), sur cette même brique, pour la détection de toxicité multimodale. Elle s'étend en fait aux images en plus du texte, en entrée comme en sortie.

Comme sus-évoqué, la distillation est en preview (US-East, US-West). Elle consiste à entraîner un modèle "élève" à partir de données synthétiques qu'un modèle "maître" aura générées en fonction d'un use case.

Sur la partie Amazon Q

L'intégration d'Amazon Q dans QuickSight est en preview (US-East, US-West)... pour qui est sur un abonnement de niveau Pro.

L'intégration d'Amazon Q dans GitLab Duo est aussi en preview, pour les déploiements autohébergés de l'édition Ultimate. En natif, GitLab Duo utilise pour l'heure essentiellement des modèles d'Anthropic. Nommément, Claude 3 Haiku (aide CLI, explication de vulnérabilités) et Claude 3.5 Sonnet (explication de code, refactoring, recherche de causes racines...).

Concernant Amazon Q Developer, AWS a lancé une preview (en région US-East) de fonctionnalités d'investigation et de rémédiation de problèmes d'exploitation. S'y ajoutent - également en preview, sur le forfait Pro - des options de modernisation mainframe (de cobol à Java), migration VMware (vers EC2) et transformation .NET Framework (vers .NET cross-platform). Plusieurs extensions des capacités agentiques sont par ailleurs en disponibilité générale (documentation de codebases ; automatisation des revues de code et de la génération de tests unitaires).

Sur Amazon Q Business, on nous promet "bientôt" une preview pour un outil d'automatisation de workflows. On pourra les concevoir en langage naturel ou bien à partir de procédures opérationnelles permanentes ou d'enregistrements vidéos. Ils pourront inclure appels API, actions UI automatiques, agents IA et boucles humaines. Amazon Q Business les exécutera à l'aide d'un modèle "entraîné sur des milliers de sites web et d'applications de bureau". Ils pourront exploiter un catalogue de plug-in permettant de connecter des applications tierce. Celles-ci (pour le moment une dizaine, dont Confluence, Jira, Salesforce, ServiceNow, Teams et Zendesk) sont pour le moment utilisables depuis l'interface de conversation Amazon Q Business.

Sur la partie SageMaker

Une des régions AWS en Europe (Irlande) accueille pour le moment la "nouvelle génération" de SageMaker. Visuellement, elle s'incarne dans une interface dite "Unified Studio", qui est pour le moment en preview. Y sont regroupés, entre autres, une console avec éditeur SQL, des outils ETL, des notebooks Jupyter et un catalogue de données. Sous le capot, un lakehouse unifiant les data lakes S3, Redshift et tiers. Il permet les requêtes avec tous moteurs et outils compatibles Iceberg et gère le "zéro ETL" depuis les bases transactionnelles comme depuis certaines apps (type Salesforce/SAP).

Plusieurs éléments qu'AWS a mis en avant lors de la re:Invent sont en GA. Par exemple, un outil de gouvernance centralisée des ressources pour les clusters EKS SageMaker HyperPod (US-East, US-West). Idem pour les plans d'entraînement flexibles (US-West sur 5 types d'instances ; US-West sur 2 types). Avec eux, SageMaker HyperPod suggère des stratégies en fonction de paramètres tels que la date de démarrage souhaitée, la durée de la tâche ou le type et le nombre d'instances.
AWS propose aussi, en GA, des "recettes" utilisables dans les jobs SageMaker, ainsi qu'avec HyperPod (Slurm ou EKS).

Illustration principale générée par IA