AngelSlim
Verimli LLM, VLM ve difüzyon iş akışları için model sıkıştırma araç seti.
LLM, VLM ve difüzyon modeli sıkıştırma, kuantalama ve damıtma için kapsamlı araç seti.
AngelSlim, Hunyuan, Qwen ve DeepSeek gibi büyük modeller için Tencent tarafından geliştirilen açık kaynaklı bir model sıkıştırma araç setidir. Gelişmiş kuantalama ve spekülatif kod çözme yoluyla model kapladığı alanları azaltması gereken ses, AI ve model altyapı mühendisleri için uygundur.
Nedir
Araç seti; INT4, FP8 ve NVFP4 gibi kuantalama algoritmaları için birleştirilmiş bir çerçevenin yanı sıra Eagle3, DFlare ve DFly gibi spekülatif kod çözme çerçevenin sunar. Ayrıca büyük model dağıtımını optimize etmek için seyrek dikkat mekanizmalarını ve yalnızca ölçekli kuantalamanın farkında damıtmayı entegre eder.
Kimler için
Kısıtlı donanım üzerinde devasa dil veya çok modlu modeller dağıtan makine öğrenimi mühendisleri ve araştırmacılar için uygundur. Üst düzey dijital ses iş istasyonu eklentileri arayan ses pratisyenleri veya teknik olmayan içerik oluşturucular için uygun değildir.
Temel özellikler
Çeşitli Kuantalama
FP8, INT8, INT4, NVFP4 ve özel üçlü (ternary) kuantalama algoritmalarını destekler.
Spekülatif Kod Çözme
Uçtan uca çıkarım hızlandırmaları için Eagle3, DFlare, DFly ve MTP çerçevelerini uygular.
Seyrek Dikkat
Uzun bağlam ön dolumunu hızlandırmak için Stem ve MInference blok-seyrek dikkat algoritmalarını içerir.
Kuantalanmış Damıtma
Dağıtık eğitim için Megatron-Core üzerinde kuantalamanın farkında damıtma desteği sağlar.
3 adımda hazır
Dürüst kararımız
Artıları
- Ana akım sıkıştırma algoritmalarını tek bir birleşik çerçevede entegre eder
- 1.25-bit ve 2-bit model sürümlerine kadar aşırı kuantalama yöntemlerini destekler
- Blok-difüzyon katman tabanlı füzyon gibi özel spekülatif kod çözme stratejileri sağlar
- Tek bir GPU üzerinde Qwen3-235B ve DeepSeek-R1 gibi büyük model kuantalamasını etkinleştirir
Eksileri
- Derin öğrenme çerçevelerinde ve dağıtık eğitimde gelişmiş teknik beceri gerektirir
- Depo meta verisinde belirli bir açık kaynak lisansı belirtmiyor
- Devasa sıkıştırılmış modelleri çalıştırmak hâlâ önemli miktarda GPU veya sistem belleği kaynağı gerektirir
Fiyatlar & lisans
Yazılım GitHub depoları aracılığıyla sağlanır ve tek maliyet onu kendi donanımınızda çalıştırmaktır.
Türkçe konuşanlar için işler
870 açık uzaktan yapay zeka eğitimi işi, 14 Kasım 2026 tarihinde güncellendi; çoğu saatlik $20–$170 ödüyor. Bunların 2 tanesi Türkçe konuşanlar için. Zekai ücretsiz listeler; başvuru işverenin platformunda yapılır.
