AngelSlim
Modell-Komprimierungs-Toolkit für effiziente LLM-, VLM- und Diffusions-Workflows.
Umfassendes Toolkit für die Komprimierung, Quantisierung und Destillation von LLM-, VLM- und Diffusionsmodellen.
AngelSlim ist ein von Tencent entwickeltes Open-Source-Modell-Komprimierungs-Toolkit für große Modelle wie Hunyuan, Qwen und DeepSeek. Es richtet sich an Audio-, KI- und Modell-Infrastruktur-Ingenieure, die den Speicherabdruck von Modellen durch fortschrittliche Quantisierung und spekulative Dekodierung reduzieren müssen.
Was es ist
Das Toolkit bietet ein einheitliches Framework für Quantisierungsalgorithmen wie INT4, FP8 und NVFP4 sowie Frameworks für spekulative Dekodierung wie Eagle3, DFlare und DFly. Es integriert zudem sparsame Aufmerksamkeitsmechanismen und maßstabsspezifische Quantisierungs-bewusste Destillation zur Optimierung der Bereitstellung großer Modelle.
Für wen
Es eignet sich für Machine-Learning-Ingenieure und Forscher, die massive Sprach- oder multimodale Modelle auf eingeschränkter Hardware bereitstellen. Es ist nicht geeignet für Audio-Anwender, die High-Level-Digital-Audio-Workstation-Plugins suchen, oder nicht-technische Ersteller.
Wichtige Funktionen
Vielfältige Quantisierung
Unterstützt FP8, INT8, INT4, NVFP4 und benutzerdefinierte ternäre Quantisierungsalgorithmen.
Spekulative Dekodierung
Implementiert Eagle3-, DFlare-, DFly- und MTP-Frameworks für End-to-End-Inferenzbeschleunigungen.
Sparsame Aufmerksamkeit
Enthält Stem- und MInference-Block-Sparse-Attention-Algorithmen zur Beschleunigung des Prefills bei langen Kontexten.
Quantisierte Destillation
Bietet Unterstützung für quantisierungsbewusste Destillation auf Megatron-Core für verteiltes Training.
Startklar in 3 Schritten
Unser ehrliches Fazit
Stärken
- Integriert gängige Komprimierungsalgorithmen in ein einziges einheitliches Framework
- Unterstützt extreme Quantisierungsmethoden bis hin zu 1,25-Bit- und 2-Bit-Modellversionen
- Bietet spezialisierte Strategien zur spekulativen Dekodierung wie Block-Diffusion-Layer-Wise-Fusion
- Ermöglicht die Quantisierung großer Modelle wie Qwen3-235B und DeepSeek-R1 auf einer einzigen GPU
Schwächen
- Erfordert fortgeschrittene technische Kenntnisse in Deep-Learning-Frameworks und distribuiertem Training
- Nennt keine spezifische Open-Source-Lizenz in den Repository-Metadaten
- Das Ausführen massiv komprimierter Modelle erfordert nach wie vor erhebliche GPU- oder Systemressourcen
Preise & Lizenz
Die Software wird über ihr GitHub-Repository bereitgestellt, und die einzigen Kosten bestehen darin, sie selbst auf eigener Hardware auszuführen.
Stellen für Deutschsprachige
870 offene Remote-Stellen im KI-Training, aktualisiert am 14. November 2026; die meisten zahlen $20–$170 pro Stunde. 12 davon suchen Deutschsprachige. Zekai listet sie kostenlos; die Bewerbung läuft über die Plattform des Arbeitgebers.
