Aller au contenu
La Lettre IT
Retour aux synthèses
3 min de lecture
Développement & outils

Tantivy: comment un développeur a remis en question 20 ans de domination Lucene

En bref

  • Paul Masurel a créé Tantivy en 2017, une bibliothèque de recherche en Rust, initialement pour tester le langage et valider sa compréhension des moteurs de recherche.
  • Tantivy s'est avéré 2x plus rapide que Lucene sur certains benchmarks grâce à des techniques comme les transducteurs d'état fini et la compression SIMD.
  • Le projet a inspiré une collaboration genuine avec l'équipe Lucene, qui a intégré des optimisations issues de cette comparaison.
  • Tantivy alimente désormais Quickwit (acquis par Datadog en 2024), ParadeDB et d'autres produits de recherche.

Ce que dit la source

L'article rapporte l'histoire de Paul Masurel et de la création de Tantivy. Masurel, frustré par son rôle limité chez Exalead puis travaillant sur des bases Lucene 2.4 chez Indeed au Japon, a décidé en 2016 de construire un moteur de recherche from scratch en Rust pour tester le langage et valider sa compréhension des fondamentaux. Le projet visait délibérément à rester petit, modulaire et ownable par les développeurs, plutôt que de chercher à concurrencer Elasticsearch. Tantivy s'est révélé compétitif et souvent plus rapide que Lucene, suscitant une collaboration bienveillante avec l'équipe Lucene qui a adopté certaines optimisations.

  • Tantivy repose sur des transducteurs d'état fini pour le dictionnaire de termes, la compression SIMD pour l'index inversé et une couche I/O memory-mapped qui maintient l'empreinte mémoire basse
  • Le benchmark Search Benchmark Game montrait Tantivy 2x plus rapide que Lucene sur plusieurs cas d'usage, en dépit de la maturité et des deux décennies de Lucene
  • Adrien Grand (Elastic) et Mike McCandless (Amazon) ont investigué les raisons de cette différence et proposé des patches à Lucene ; au lieu de la confrontation, une collaboration open a émergé
  • Masurel a délibérément maintenu Tantivy petit et modulaire, refusant certaines PRs pour ajouter des features niche afin de laisser aux utilisateurs la possibilité de pluguer leurs propres composants (tokenizer, query parser)
  • Quickwit, fondé par Masurel en 2020 sur Tantivy pour le log search cloud-native, a été acquis par Datadog en 2024 ; Tantivy alimente aussi ParadeDB et LNX

Dans les commentaires

Peu de débat substantiel sur ce fil.

  • Le fil HN ne contient aucun commentaire exploitable.

Notre lecture

Cet article de présentation n'apporte pas de nouvelle technique ou d'annonce concrète, mais raconte un cas intéressant de réinvention d'un problème résolu. Le point clé pour les équipes infrastructure : Tantivy existe et fonctionne bien, mais reste une bibliothèque, pas un produit clé en main. Il est adapté aux sociétés pour lesquelles la recherche est assez critique pour justifier une intégration fine et custom. La collaboration open entre Lucene et Tantivy, plutôt que la cannibalisation, montre aussi qu'une nouvelle implémentation en meilleure position peut élever l'écosystème entier. Intéressant à suivre, mais pas d'action imédiate pour la plupart des DSI.

Le brief, dans votre boîte mail

Recevez chaque jour la sélection et l'analyse La Lettre IT, sans avoir à repasser sur le site.