AngelSlim
Kit de herramientas de compresión de modelos para flujos de trabajo eficientes de LLM, VLM y difusión.
Kit de herramientas integral para la compresión, cuantización y destilación de modelos LLM, VLM y de difusión.
AngelSlim es un kit de herramientas de compresión de modelos de código abierto desarrollado por Tencent para grandes modelos como Hunyuan, Qwen y DeepSeek. Está dirigido a ingenieros de audio, IA y de infraestructura de modelos que necesitan reducir la huella de los modelos mediante cuantización avanzada y decodificación especulativa.
Qué es
El kit de herramientas ofrece un marco unificado para algoritmos de cuantización como INT4, FP8 y NVFP4, junto con marcos de decodificación especulativa como Eagle3, DFlare y DFly. También integra mecanismos de atención dispersa y destilación consciente de la cuantización solo con escala para optimizar el despliegue de grandes modelos.
Para quién
Está dirigido a ingenieros de aprendizaje automático e investigadores que despliegan grandes modelos lingüísticos o multimodales en hardware con limitaciones. No es adecuado para profesionales del audio que busquen plugins de estaciones de trabajo de audio digital de alto nivel ni para creadores no técnicos.
Funciones clave
Cuantización diversa
Compatible con algoritmos de cuantización ternaria personalizados, FP8, INT8, INT4 y NVFP4.
Decodificación especulativa
Implementa los marcos Eagle3, DFlare, DFly y MTP para acelerar la inferencia de extremo a extremo.
Atención dispersa
Incluye algoritmos de atención dispersa por bloques Stem y MInference para acelerar el prellenado en contextos largos.
Destilación cuantizada
Ofrece soporte para destilación consciente de la cuantización en Megatron-Core para entrenamiento distribuido.
Listo en 3 pasos
Nuestro veredicto honesto
Lo mejor
- Integra los principales algoritmos de compresión en un único marco unificado
- Compatible con métodos de cuantización extrema de hasta versiones de modelos de 1.25-bit y 2-bit
- Proporciona estrategias especializadas de decodificación especulativa como la fusión por capas de difusión por bloques
- Permite la cuantización de grandes modelos como Qwen3-235B y DeepSeek-R1 en una sola GPU
Sus límites
- Requiere conocimientos técnicos avanzados en frameworks de aprendizaje profundo y entrenamiento distribuido
- No especifica una licencia de código abierto concreta en los metadatos de su repositorio
- La ejecución de modelos comprimidos masivos sigue requiriendo importantes recursos de memoria RAM o GPU
Precios y licencia
El software se ofrece a través de su repositorio en GitHub, y el único coste es ejecutarlo por cuenta propia en su propio hardware.
Empleos para hispanohablantes
876 puestos remotos abiertos de entrenamiento de IA, actualizados el 15 de noviembre de 2026; la mayoría paga $20–$170 por hora. 22 de ellos piden hispanohablantes. Zekai los lista gratis; la solicitud va a la plataforma del empleador.
