Pymizu : parallélisme Python et R ultra-rapide en mémoire partagée
Sommaire
En bref
- Pymizu offre un pool de tâches parallèles avec latence inférieure à 1 microseconde, contre ~100 µs avec ProcessPoolExecutor.
- Les structures de données (numpy, polars, pandas, Arrow) se partagent en zero-copy entre Python et R sans sérialisation.
- Construit sur libmizu (C), utilise des files lock-free en mémoire partagée (POSIX Linux/macOS, Win32 Windows) et intègre asyncio comme drop-in concurrent.futures.Executor.
- L'API reste expérimentale ; le projet cherche du retour d'expérience avant stabilisation.
Ce que dit la source
L'auteur (Shikokuchuo) propose une approche au problème du parallélisme Python : le GIL rend les threads CPU-bound inutiles en CPython, ce qui pousse à utiliser ProcessPoolExecutor. Mais ProcessPoolExecutor sérialise les tâches et les données via pickle, d'où une latence d'environ 100 µs par aller-retour. Pymizu contourne cela en utilisant la mémoire partagée et des files lock-free en C, réduisant cette latence à moins de 1 µs. L'auteur présente aussi l'interopérabilité Python-R comme un avantage : les deux langages partagent les mêmes pools et structures de données sans copies.
- Latence de tâche : < 1 µs par aller-retour (contre 94 µs avec ProcessPoolExecutor, 9 µs avec ThreadPoolExecutor sur benchmarks M4 Pro)
- Débit pipeliné : 2,39 millions de tâches/s sur un worker (vs 18 500 pour ProcessPoolExecutor)
- Zero-copy views sur numpy arrays, polars, pyarrow, pandas, duckdb ; aucune sérialisation pickle
- Asyncio natif : await sur tâches, async for sur canaux, intégration concurrent.futures.Executor drop-in
- Interop R-Python : workers R via mizu package, même fil de données entre les deux langages
- Lock-free IPC en mémoire partagée : POSIX shared memory (Linux, macOS) ou Win32 file mappings, pas de dispatcher
- Nested parallel maps : une tâche peut mapper sur son propre pool, deadlock-free
Dans les commentaires
Débat absent : un seul commentaire (l'auteur lui-même) sur ce fil HN. Aucune contestion, critique ou perspective adverse pour le moment.
- Fil trop maigre pour un débat substantiel ; seul le commentaire de l'auteur est présent.
Notre lecture
Pymizu adresse un vrai problème : la latence de coordination entre workers Python est actuellement un goulot d'étranglement pour les tâches fines. Les benchmarks (135× plus rapide que ProcessPoolExecutor sur le cas trivial) sont impressionnants et reproductibles. L'interop R-Python zero-copy est un bonus intéressant pour les équipes data. Cependant, l'API reste expérimentale, le projet est jeune, et les benchmarks sur un M4 Pro ne représentent pas tous les cas réels (workloads CPU-intensifs sur servers, contention mémoire en production). L'adoption dépendra de la maturation et du retour d'expérience. À tester si tu as des patterns de task parallelism fin en Python ou si tu co-utilises Python et R ; pas une action immédiate pour les équipes standard.