Cactus
Moteur d'IA hybride edge-cloud fournissant des LLM, VLM et de la transcription locaux pour les appareils mobiles et connectés.
Exécutez des LLM quantifiés, des modèles de vision et la transcription vocale de manière native sur mobile et appareils connectés.
Cactus est un moteur d'inférence haute performance conçu pour les appareils mobiles et connectés, prenant en charge les modèles de texte, de، voix et de vision. Il s'adresse aux développeurs mobiles et aux ingénieurs cherchant à déployer des pipelines d'IA locaux avec un relais cloud optionnel.
Qu'est-ce que c'est
Il fournit un graphe de calcul sans copie (zero-copy), des noyaux CPU/GPU sur plusieurs architectures et des techniques de quantification personnalisées basées sur la rotation, allant de 4 bits à 1 bit. Le moteur expose des API compatibles OpenAI et gère le RAG automatique ainsi que l'appel d'outils sur l'appareil via son modèle Needle.
Pour qui
Il convient aux développeurs intégrant de l'intelligence sur l'appareil dans des applications iOS, Android, macOS ou embarquées. Il ne convient pas aux équipes nécessitant une inférence exclusivement hébergée dans le cloud sans contraintes de matériel local.
Fonctionnalités clés
Quantification basée sur la rotation
Les techniques de quantification personnalisées font passer la précision des poids des modèles de 4 bits à 1 bit.
Graphe de calcul sans copie
Le Cactus Graph optimisé gère les opérations sur les tenseurs, la multiplication matricielle et l'attention en local.
API compatibles OpenAI
Le moteur Cactus fournit des interfaces standard de complétion de chat, de streaming, de vision et d'appel d'outils.
Relais cloud hybride
Achemine automatiquement les requêtes difficiles vers le cloud en fonction des seuils de confiance du modèle local.
Opérationnel en 3 étapes
Notre verdict honnête
Ses atouts
- Exécution native sur le matériel Apple, Samsung et Pixel via des noyaux SIMD optimisés
- Prend en charge les flux de travail multimodaux, y compris les modèles de vision et la transcription audio
- Fournit des liaisons pour Swift, Kotlin, Flutter, React Native, Rust et Python
- Comprend des capacités d'auto-RAG directement dans le pipeline d'initialisation du modèle
Ses limites
- Nécessite la compilation de dépendances C++ et la configuration de chaînes d'outils de construction locales
- La conversion de modèles depuis HuggingFace peut être expérimentale selon l'architecture
- L'exécution locale de modèles multimodaux lourds consomme beaucoup de RAM de l'appareil
Tarifs & licence
Le logiciel est open source sans frais de licence mentionnés dans les métadonnées du dépôt. Le seul coût est son exécution sur votre propre matériel local ou le paiement de l'utilisation de l'API de relais cloud.
Missions pour francophones
876 missions ouvertes à distance en entraînement d’IA, mises à jour le 15 novembre 2026 ; la plupart paient $20–$170 de l’heure. 8 d’entre elles demandent des francophones. Zekai les liste gratuitement ; la candidature se fait sur la plateforme de l’employeur.
Alternatives
Utilisez-le, ou laissez-nous l'installer
FAQ
Quelles architectures de modèles sont prises en charge ?
Les familles de modèles Liquid, Gemma, Whisper, Parakeet et Qwen sont explicitement testées, ainsi que tout modèle HuggingFace via conversion.
Cactus prend-il en charge le repli cloud ?
Oui, il inclut un mode hybride qui achemine les requêtes difficiles vers le cloud lorsque la confiance du modèle local descend en dessous d'un seuil défini.
