AngelSlim
Kit de ferramentas de compressão de modelos para fluxos de trabalho eficientes de LLM, VLM e difusão.
Kit de ferramentas abrangente para compressão, quantização e destilação de modelos LLM, VLM e de difusão.
AngelSlim é um kit de ferramentas de compressão de modelos open source desenvolvido pela Tencent para grandes modelos como Hunyuan, Qwen e DeepSeek. Ele é adequado para engenheiros de áudio, IA e infraestrutura de modelos que precisam reduzir a pegada de modelos por meio de quantización avançada e decodificação especulativa.
O que é
O kit de ferramentas fornece uma estrutura unificada para algoritmos de quantização como INT4, FP8 e NVFP4, juntamente com frameworks de decodificação especulativa como Eagle3, DFlare e DFly. Ele também integra mecanismos de atenção esparsa e destilação consciente de quantização baseada apenas em escala para otimizar o deploy de grandes modelos.
Para quem
É adequado para engenheiros de machine learning e pesquisadores que fazem deploy de modelos de linguagem massivos ou multimodais em hardware restrito. Não é adequado para profissionais de áudio que buscam plugins de estação de trabalho de áudio digital de alto nível ou criadores não técnicos.
Recursos principais
Quantização Diversificada
Suporta algoritmos de quantização FP8, INT8, INT4, NVFP4 e ternários personalizados.
Decodificação Especulativa
Implementa frameworks Eagle3, DFlare, DFly e MTP para acelerações de inferência ponta a ponta.
Atenção Esparsa
Inclui algoritmos de atenção esparsa em blocos Stem e MInference para acelerar o prefill de contexto longo.
Destilação Quantizada
Fornece suporte a destilação consciente de quantização no Megatron-Core para treinamento distribuído.
Pronto em 3 passos
Nosso veredito honesto
Pontos fortes
- Integra algoritmos de compressão principais em um único framework unificado
- Suporta métodos de quantização extrema até versões de modelo de 1.25-bit e 2-bit
- Fornece estratégias de decodificação especulativa especializadas, como fusão por camada de difusão em bloco
- Permite a quantização de grandes modelos como Qwen3-235B e DeepSeek-R1 em uma única GPU
Onde deixa a desejar
- Requer habilidade técnica avançada em frameworks de deep learning e treinamento distribuído
- Não declara uma licença open source específica nos metadados do seu repositório
- Executar modelos compactados massivos ainda requer recursos significativos de GPU ou memória do sistema
Preços & licença
O software é fornecido por meio de seu repositório no GitHub, e o único custo é executá-lo por conta própria no seu próprio hardware.
Vagas para quem fala português
876 vagas remotas abertas de treinamento de IA, atualizadas em 15 de novembro de 2026; a maioria paga $20–$170 por hora. 8 delas pedem falantes de português. O Zekai lista de graça; a candidatura vai para a plataforma do empregador.
