Aller au contenu
La Lettre IT
Retour aux synthèses
3 min de lecture
Développement & outils

Coroutines durables pour TypeScript : agents persistants à très faible latence

En bref

  • Restate ajoute les coroutines durables à son SDK TypeScript : routines persistantes multiples étapes qui répliquent la durabilité des workflows mais avec une latence d'environ 2,5 ms (P50) au lieu de 50-100 ms.
  • Cette approche utilise les générateurs JavaScript pour implémenter un ordonnanceur déterministe compatible avec la journalisation des exécutions.
  • Le modèle s'adresse aux agents IA complexes qui nécessitent une granularité fine de persistance (appels d'outils, résultats de LLM) dans un processus continu plutôt que dans une file d'attente traditionnelle.

Ce que dit la source

Restate constate que les agents IA modernes doivent persister et suivre leur progression étape par étape (chunks de résultats LLM, plusieurs étapes par appel d'outil). Les workflows classiques (Temporal, etc.) forcent une séparation activités/orchestrateur qui impose une latence importante et casse le modèle de processus continu. Restate présente les coroutines durables comme solution pour offrir à la fois persistance fine-grained, concurrence locale et latence minimale, sans basculer entre orchestrateur et workers pour chaque étape.

  • Les coroutines durables rapportent 2,5 ms (P50) et 9 ms (P99) de latence supplémentaire par étape durable, contre 50-100 ms avec les approches workflow classiques, testées à plus de 10 000 actions/seconde sur GCP en replication 3-AZ.
  • L'implémentation s'appuie sur les générateurs TypeScript et un ordonnanceur déterministe pour reproduire la sémantique de persistance des workflows tout en gardant l'exécution dans un même processus.
  • Les coroutines permettent la réutilisation de ressources locales (connexions authentifiées, fichiers cachés) entre étapes, contrairement aux systèmes basés file d'attente qui isolent chaque activité.
  • Restate envisage les deux modèles comme complémentaires : fonctions durables séparées pour travail lourd (conversation, outils longs) avec queueing, coroutines/steps pour la granularité fine dans un flux continu.
  • L'API expose `run()` pour une étape durable, `spawn()` pour créer des coroutines concurrentes, et des combinateurs (`all()`, `select()`) analogues aux promesses pour orchestrer étapes et tâches.

Dans les commentaires

Débat limité et exploratoire, sans tension réelle. Un commentateur signale une approche parallèle (actor system typé enveloppant des générateurs) ; pas de critique substantielle de la latence annoncée ou du modèle lui-même.

  • Un commentateur rapporte avoir implémenté une solution comparable, enveloppant les générateurs dans un système d'acteurs typé, sans confronter cette expérience aux caractéristiques de Restate ou indiquer ce qui manquait.

Notre lecture

Innovation légitime mais niche. Restate adresse un problème concret des agents IA complexes : la granularité fine de persistance que les workflows classiques ne maîtrisent pas bien. La latence mesurée (quelques ms) paraît crédible pour du changement d'état durable avec replication. Cependant, le sujet touche surtout les équipes construisant des agents IA en production, et reste loin du cœur des décisions infra des DSI. Intéressant à surveiller pour les startups ou projets agents IA, mais pas d'urgence d'adoption ailleurs.

Le brief, dans votre boîte mail

Recevez chaque jour la sélection et l'analyse La Lettre IT, sans avoir à repasser sur le site.