AngelSlim
Откройте для себя AngelSlim, набор инструментов для сжатия моделей с открытым исходным кодом от Tencent, включающий продвинутое квантование, спекулятивное декодирование и разреженное внимание.
Комплексный набор инструментов для сжатия, квантования и дистилляции моделей LLM, VLM и диффузионных моделей.
AngelSlim — это инструмент для сжатия моделей с открытым исходным кодом, разработанный Tencent для больших моделей, таких как Hunyuan, Qwen и DeepSeek. Он подходит для инженеров по аудио, ИИ и инфраструктуре моделей, которым необходимо уменьшить объем моделей с помощью продвинутого квантования и спекулятивного декодирования.
Что это
Набор инструментов предоставляет единый фреймворк для алгоритмов квантования, таких как INT4, FP8 и NVFP4, а также фреймворки спекулятивного декодирования, такие как Eagle3, DFlare и DFly. Он также интегрирует механизмы разреженного внимания и дистилляцию с учетом квантования только по шкале для оптимизации развертывания больших моделей.
Для кого
Он подходит для инженеров по машинному обучению и исследователей, развертывающих массивные языковые или мультимодальные модели на оборудовании с ограничениями. Он не подходит для аудиоспециалистов, ищущих высокоуровневые плагины для цифровых звуковых рабочих станций, или нетехнических создателей контента.
Ключевые возможности
Разнообразное квантование
Поддерживает FP8, INT8, INT4, NVFP4 и пользовательские алгоритмы троичного квантования.
Спекулятивное декодирование
Реализует фреймворки Eagle3, DFlare, DFly и MTP для ускорения инференса от начала до конца.
Разреженное внимание
Включает алгоритмы блочно-разреженного внимания Stem и MInference для ускорения предварительного заполнения длинного контекста.
Квантованная дистилляция
Обеспечивает поддержку дистилляции с учетом квантования на Megatron-Core для распределенного обучения.
Готово за 3 шага
Наш честный вердикт
Плюсы
- Интегрирует основные алгоритмы сжатия в единый фреймворк
- Поддерживает методы экстремального квантования вплоть до версий моделей с 1.25-бит и 2-бит
- Предоставляет специализированные стратегии спекулятивного декодирования, такие как слоевое слияние блочной диффузии
- Позволяет выполнять квантование больших моделей, таких как Qwen3-235B и DeepSeek-R1, на одном GPU
Минусы
- Требует продвинутых технических навыков в фреймворках глубокого обучения и распределенном обучении
- Не указывает конкретную лицензию с открытым исходным кодом в метаданных своего репозитория
- Запуск массивных сжатых моделей по-прежнему требует значительных ресурсов GPU или системной памяти
Цены и лицензия
Программное обеспечение предоставляется через репозиторий GitHub, и единственная стоимость заключается в его запуске на собственном оборудовании.
Вакансии для носителей русского языка
876 открытых удалённых вакансий по обучению ИИ, обновлено 15 ноября 2026 г.; в большинстве оплата $20–$170 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.
