OpenAI déploie Pando, un nouveau backend Git pour gérer l'explosion des commits
Sommaire
En bref
- OpenAI a conçu Pando, un backend Git compatibe avec le protocole existant, pour gérer la montée en charge de son monorepo.
- La solution divise par 5 la latence médiane des pushes et livre près d'un pétaoctet de données Git par jour.
- Pando coordonne les écritures sur des branches indépendantes et réutilise les packfiles pour les lectures, sans changer le flux de travail des développeurs ni des agents.
- OpenAI contribue également les améliorations à Git en amont, notamment sur le protocole packfile-uri.
Ce que dit la source
OpenAI rapporte que la charge sur son monorepo a augmenté exponentiellement, notamment après le déploiement de Codex, qui permet aux ingénieurs de paralléliser beaucoup plus de travail. La fiabilité est tombée sous 90% avec des pushes et fetches lents et des merges défaillants. Plutôt que de changer radicalement de système de contrôle de version, OpenAI a choisi de reconstruire le backend tout en gardant Git comme interface et protocole.
- Pando a été conçu, implémenté et déployé en 10 semaines, le cœur du système par un seul ingénieur et l'implémentation par des agents (les agents d'OpenAI eux-mêmes)
- La réduction de latence médiane en push atteint 5x, avec une capacité de ~1 pétaoctet de données Git par jour
- L'architecture permet les écritures parallèles sur des branches indépendantes : deux pushes sur des branches différentes ne se bloquent plus mutuellement
- Pando réutilise les packfiles (format compressé de Git) entre les clients plutôt que de générer un packfile unique par téléchargement
- Le système tolère que des lecteurs voient plusieurs branches à des points dans le temps différents, un choix de conception explicite pour maximiser la scalabilité
- OpenAI a contribué des améliorations à Git upstream, notamment sur le protocole packfile-uri qui permet à un serveur de renvoyer des liens externes pour télécharger des packs
Dans les commentaires
Débat partagé : respect technique pour l'ingénierie, mais doutes sur la nécessité et les chiffres.
- Plusieurs commentateurs soulignent que c'est au moins la cinquième entreprise majeure (GitHub, Cursor, Anthropic, East River Source Control) à publier un article sur le même problème en peu de temps, ce qui soulève des questions sur la convergence d'idées et les détails partagés entre les boîtes.
- Un commentaire questionne la légitimité même du problème : si OpenAI n'emploie pas autant d'ingénieurs que Google, pourquoi avoir besoin de scaler Git à ce niveau ? Le volume de commits reflète peut-être une fragmentation des changements plutôt qu'une vraie productivité.
- L'absence de benchmarks détaillés (pushes par seconde, nombre de pusheurs concurrents) est relevée, rendant difficile de comprendre les performances absolues.
- L'augmentation des commits est questionnée : est-ce une proxy de la vélocité réelle ou une artefact du découpage fin des changements ? Cela signifie-t-il réellement une plus grande utilité produit ?
- Un commentaire propose une question alternative : ne s'agit-il pas d'un problème de monorepo plutôt que de Git lui-même ? Des packages privés en repos séparés auraient-ils mieux scalé ?
- Certains notent que les studios de jeux et les entreprises à très grande échelle ont depuis longtemps abandonné Git pour des VCS centralisés, suggérant que la distribution de Git n'est peut-être pas la bonne architecture à ce niveau.
- Une blague récurrente : l'un des articles antérieurs aurait résolu sa performance en gzippant simplement le contenu servi, ce qui remet en question si la complexité ajoutée était réellement nécessaire.
Notre lecture
L'ingénierie de Pando est crédible et les améliorations en amont vers Git sont louables. Mais le fil révèle un doute partagé : est-ce que le problème existe vraiment à la hauteur décrite, ou est-ce un artefact du monorepo ? Le silence sur les benchmarks absolus, l'absence de réponse sur le volume réel de pusheurs concurrents, et la convergence suspecte avec d'autres posts du même type (Anthropic, Cursor, GitHub) en quelques mois suggèrent que OpenAI vend une solution impressive plutôt qu'une crise démontrée chiffres en main. Pour les DSI : intéressant d'observer comment les plus grandes boîtes résolvent ce problème, probablement utile pour les monorepos à très haute vélocité (+ de 10 000 commits/jour), mais pas de signal fort que votre infra Git a besoin d'une refonte similaire sans preuves de la même charge. À surveiller plutôt qu'à adopter hâtivement.