SCM : moteur de recherche IA pour photos et vidéos sur macOS, sans cloud
Sommaire
En bref
- Application macOS locale qui indexe photos et vidéos avec un modèle vision IA, permettant de chercher par description textuelle, transcription vocale ou OCR.
- Les résultats pointent directement sur la scène ou le moment recherché dans une vidéo, sans jamais envoyer les données vers le cloud.
- Utilise CLIP pour les embeddings, Whisper pour la transcription, Tesseract pour l'OCR, avec support optionnel de petits LLM locaux pour discuter des résultats.
Ce que dit la source
Le créateur propose SCM, une application de recherche sémantique locale pour des bibliothèques de photos et vidéos sur macOS. L'outil permet de chercher par description naturelle (« un coucher de soleil sur la plage »), par dialogue exact dans les vidéos, ou par texte visible. Contrairement aux solutions cloud, toutes les données restent sur la machine : les poids des modèles se téléchargent une seule fois, puis tout fonctionne hors ligne. Le projet met l'accent sur la segmentation des scènes vidéo pour atterrir au moment exact d'une correspondance, pas juste sur le fichier.
- Recherche multimodale : vision sémantique (CLIP), OCR (Tesseract en 36 langues), dialogue (Whisper), avec scoring granulaire et badges « pourquoi ça correspond »
- Segmentation vidéo : chaque scène est embedée séparément ; le résultat affiche un timecode et ouvre la vidéo directement au bon moment
- Infrastructure locale : Electron + React pour l'interface, Bun comme gestionnaire de paquets, llama.cpp en sidecar optionnel pour les LLM, aucune connexion réseau requise après la première télécharge des poids (~435 MB pour CLIP)
- Filtrage actif : les requêtes sauvegardées deviennent des onglets réutilisables ; Screenshots et Email sont des vues intelligentes toggleables ; un portail de bruit évite les faux positifs
- Installation macOS via Homebrew avec gestion automatique des flags de quarantaine ; support Silicon et Intel, macOS 12+ requis
Dans les commentaires
Débat partagé, penchant critique sur les choix techniques. Le fil applaudit le concept et la philosophie locale, mais conteste la pile technologique (Electron, Tesseract vs Vision Framework d'Apple) et pose des questions sérieuses sur les limites pratiques (vitesse d'indexation vidéo, perf sur M1 avec grosse librairie).
- Plusieurs commentateurs remettent en question le choix de Tesseract pour l'OCR : Apple's Vision Framework est réputé supérieur en vitesse et précision sur macOS. Un commentaire note que même les LLM actuels recommandent Vision Framework, pas Tesseract.
- La performance d'indexation vidéo inquiète : un commentateur ayant construit quelque chose de similaire avec CLIP rapporte que le taux d'échantillonnage est « le jeu décisif », 1 frame/seconde sur 12k vidéos = des jours, les keyframes seules prenaient une nuit.
- Questionnement sur l'architecture : pourquoi Electron et JavaScript plutôt que natif ou Rust ? Frappé comme du « bloatware ». Un autre demande si les frames sont passées par une queue bornée pour éviter que ffmpeg ne devance le modèle d'embedding.
- Comparaison avec Immich, une alternative cross-platform avec recherche IA approximative pour photos et vidéos (qualité et couverture « every frame » non clarifiées).
- Scepticisme sur la pile technologique en général : plusieurs commentateurs doutent que CLIP soit le meilleur choix, suggestions vers des VLM plus petits comme Qwen-VL avec encodeurs vidéo.
- Suspicion d'IA dans la rédaction du projet : un commentateur note que la page semble écrite par une IA et refuse de l'utiliser pour cette raison, préférant rester autonome.
- Concernant l'orientation EXIF : un commentateur relève que CLIP est très sensible à l'orientation des images ; sans application de l'information EXIF, les embeddings seront calculés sur une image tournée, et l'OCR échouera sur du texte rotaté de 90°.
Alternatives citées : Immich (cross-platform, recherche IA approximative pour photos/vidéos)
Notre lecture
Le concept est solide et attrayant pour qui veut garder ses médias hors du cloud. Mais le projet souffre de choix techniques contestables, Tesseract à la place de Vision Framework est une vraie perte sur macOS, Electron soulève des questions de bloat pour une tâche essentiellement locale. La vraie interrogation n'est pas le concept, c'est la scalabilité : indexer des milliers de vidéos à plusieurs images par seconde reste un problème d'optimisation non trivial, et le fil suggère que la solution proposée l'ignore. Intéressant à tester pour une petite librairie personnelle ; à moins d'une optimisation sérieuse du sampling vidéo, probablement trop lent pour qui a vraiment beaucoup de contenu. À surveiller si le créateur adresse Tesseract et la perf d'indexation.