AngelSlim
Boîte à outils de compression de modèles pour des flux de travail efficaces de LLM, VLM et diffusion.
Boîte à outils complète pour la compression, la quantification et la distillation de modèles LLM, VLM et de diffusion.
AngelSlim est une boîte à outils de compression de modèles open source conçue par Tencent pour les grands modèles tels que Hunyuan, Qwen et DeepSeek. Elle s'adresse aux ingénieurs en audio, en IA et en infrastructure de modèles qui ont besoin de réduire l'empreinte des modèles grâce à des techniques avancées de quantification et de décodage spéculatif.
Qu'est-ce que c'est
La boîte à outils fournit un framework unifié pour les algorithmes de quantification tels que INT4, FP8 et NVFP4, ainsi que des frameworks de décodage spéculatif comme Eagle3, DFlare et DFly. Elle intègre également des mécanismes d'attention creuse (sparse attention) et de distillation sensible à la quantification axée sur l'échelle pour optimiser le déploiement des grands modèles.
Pour qui
Elle convient aux ingénieurs en apprentissage automatique et aux chercheurs déployant des modèles de langage massifs ou multimodaux sur du matériel contraint. Elle ne convient pas aux praticiens de l'audio cherchant des plugins de station audionumérique de haut niveau ou aux créateurs non techniques.
Fonctionnalités clés
Quantification diverse
Prend en charge les algorithmes de quantification FP8, INT8, INT4, NVFP4 et ternaire personnalisée.
Décodage spéculatif
Implémente les frameworks Eagle3, DFlare, DFly et MTP pour des accélérations d'inférence de bout en bout.
Attention creuse
Comprend les algorithmes d'attention creuse par blocs Stem et MInference pour accélérer le pré-remplissage de contextes longs.
Distillation quantifiée
Fournit un support de distillation sensible à la quantification sur Megatron-Core pour l'entraînement distribué.
Opérationnel en 3 étapes
Notre verdict honnête
Ses atouts
- Intègre les principaux algorithmes de compression dans un framework unique et unifié
- Prend en charge des méthodes de quantification extrêmes allant jusqu'aux versions de modèles 1.25-bit et 2-bit
- Fournit des stratégies de décodage spéculatif spécialisées telles que la fusion par couches de diffusion par blocs
- Permet la quantification de grands modèles comme Qwen3-235B et DeepSeek-R1 sur un seul GPU
Ses limites
- Nécessite des compétences techniques avancées dans les frameworks de deep learning et l'entraînement distribué
- Ne précise pas de licence open source spécifique dans les métadonnées de son dépôt
- L'exécution de modèles compressés massifs nécessite toujours des ressources mémoire GPU ou système importantes
Tarifs & licence
Le logiciel est fourni via son dépôt GitHub, et le seul coût est de l'exécuter vous-même sur votre propre matériel.
Missions pour francophones
876 missions ouvertes à distance en entraînement d’IA, mises à jour le 15 novembre 2026 ; la plupart paient $20–$170 de l’heure. 8 d’entre elles demandent des francophones. Zekai les liste gratuitement ; la candidature se fait sur la plateforme de l’employeur.
