Amazon réduit ses coûts de 98% en remplaçant Claude Sonnet par un modèle de décision
Sommaire
En bref
- Amazon a remplacé Claude Sonnet 4.6 par Strands Decider, un petit modèle de décision, pour étiqueter les tickets de son système interne.
- Le changement réduit les coûts de 98% (22 200$ à 500$ par million de tickets) tout en maintenant la qualité.
- Strands Decider ne génère pas de texte : il reçoit un état et un ensemble d'options, puis retourne les probabilités pour chacune.
- Cette substitution reste limitée à des tâches très spécifiques (classification fermée, volume élevé, contexte limité à quelques milliers de tokens).
Ce que dit la source
Amazon et AWS utilisaient Claude Sonnet 4.6 pour classifier automatiquement les tickets d'un immense système interne (escalades clients, demandes de capacité, alertes, résultats de sécurité). Sonnet offrait un équilibre acceptable entre performance et coût, mais deux ingénieurs ont découvert qu'un modèle de décision spécialisé, Strands Decider, accomplissait la même tâche à 98% moins cher, ce qui devrait économiser des millions de dollars annuels en coûts de tokens.
- Un modèle de décision prend un état (le ticket) et un ensemble d'options fermées (20 catégories) pour retourner une probabilité et un score de confiance pour chacune, au lieu de générer du texte libre.
- Strands Decider utilise une fenêtre de contexte de 4 096 tokens; les labels ont dû être réécrits en critères d'une ou deux phrases au lieu de leurs descriptions complètes de production.
- Réduction de 78% du temps de latence (4 215 ms → 897 ms par appel) et 70% des tokens (6 724 → 2 010 par ticket).
- Coût par million de tickets : 22 200$ avec Sonnet, environ 500$ avec Strands Decider sur une instance SageMaker ml.g5.xlarge fonctionnant à pleine capacité (5 600 tickets/heure).
- Le déploiement a utilisé un switch trois états (Bedrock seul, dual, Strands seul) pour comparer les sorties en direct avant basculement complet, une approche que les auteurs jugent supérieure à l'évaluation hors ligne.
- Détail surprenant : l'ordre des clés JSON a affecté les probabilités de sortie de jusqu'à 0,19 points.
Dans les commentaires
Débat partagé entre reconnaissance que la classification LLM était du surengagement et questions pratiques non résolues.
- Plusieurs commentateurs soulignent que cette redécouverte d'une classification simple et bon marché était prévisible : les approches traditionnelles (SVM, encodeurs NLP, règles) existaient bien avant l'ère LLM et auraient pu être envisagées d'emblée.
- Quelques commentaires contestent le choix initial de Sonnet : pourquoi Amazon n'a-t-elle pas testé Haiku (bien moins cher) ou entraîné son propre modèle sur les milliers de tickets étiquetés disponibles chez elle ?
- Un doute sur la terminologie : les auteurs qualifient leur approche d'« agent », alors que le pipeline ne comporte ni outils ni raisonnement réel, il s'agit d'une classification pure avec output fixe.
- Interrogation sur l'offre commerciale : pourquoi Strands Decider n'est-elle pas disponible via Bedrock plutôt que via SageMaker, où la facturation horaire peut devenir coûteuse si l'utilisation n'est pas continue ?
Alternatives citées : Aucun concurrent direct mentionné dans les commentaires, bien que plusieurs auteurs évoquent des alternatives conceptuelles (SVM, encodeurs NLP, systèmes de règles, Deepseek pour des cas proches mais différents).
Notre lecture
L'article illustre une dynamique réelle : les organisations ont appliqué des modèles généraux onéreux à des tâches spécialisées, plus par effet de mode que par ajustement véritable du problème. Pour la classification fermée à très haut volume, un petit modèle de décision ou un système NLP léger redevient pertinent. En revanche, cette approche reste strictement limitée à des cas très spécifiques (catalogue de sorties immuable, contexte compressible, pas de génération textuelle requise). Le débat HN pointe une leçon plus large : l'accès aux modèles frontière n'annule pas le retour utile aux fondamentaux du machine learning. À examiner si votre charge de travail ressemble exactement à cette classification interne chez Amazon, sinon, le modèle de coût et les garde-fous diffèrent sensiblement.