Cactus
Mobil ve giyilebilir cihazlar için yerel LLM, VLM ve seslendirme sağlayan hibrit uç-bulut yapay zeka motoru.
Kuantize edilmiş LLM'leri, vizyon modellerini ve konuşma dökümünü mobil ve giyilebilir cihazlarda yerel olarak çalıştırın.
Cactus, metin, konuşma ve vizyon modellerini destekleyen, mobil cihazlar ve giyilebilir cihazlar için özel olarak tasarlanmış yüksek performanslı bir çıkarım motorudur. İsteğe bağlı bulut aktarımıyla yerel yapay zeka boru hatları kurmak isteyen mobil geliştiriciler ve mühendisler için uygundur.
Nedir
Sıfır kopyalı bir hesaplama grafiği, birden fazla mimaride CPU/GPU çekirdekleri ve 4 bitten 1 bite kadar değişen özel rotasyon tabanlı kuantizasyon teknikleri sunar. Motor, OpenAI uyumlu API'ler sunar ve Needle modeli aracılığıyla cihaz üzerinde araç çağırmanın yanı sıra otomatik RAG'yi yönetir.
Kimler için
iOS, Android, macOS veya gömülü uygulamalara cihaz içi zeka entegre eden geliştiriciler için uygundur. Yerel donanım kısıtlamaları olmaksızın tamamen bulut barındırmalı çıkarım gerektiren ekipler için uygun değildir.
Temel özellikler
Rotasyon Tabanlı Kuantizasyon
Özel kuantizasyon teknikleri, modelleri 4 bit ağırlık hassasiyetinden 1 bit hassasiyete kadar ölçeklendirir.
Sıfır Kopyalı Hesaplama Grafiği
Optimize edilmiş Cactus Graph, tensör işlemlerini, matris çarpımını ve dikkati yerel olarak yönetir.
OpenAI Uyumlu API'ler
Cactus Engine; standart sohbet tamamlama, akış, vizyon ve araç çağırma arayüzleri sağlar.
Hibrit Bulut Aktarımı
Yerel model güven eşiklerine bağlı olarak zorlu sorguları otomatik olarak buluta yönlendirir.
3 adımda hazır
Dürüst kararımız
Artıları
- Optimize edilmiş SIMD çekirdekleri aracılığıyla Apple, Samsung ve Pixel donanımlarında yerel yürütme
- Vizyon modelleri ve ses dökümü dahil çok modlu iş akışlarını destekler
- Swift, Kotlin, Flutter, React Native, Rust ve Python için bağlar sağlar
- Model başlatma boru hattının içinde doğrudan otomatik RAG özellikleri içerir
Eksileri
- C++ bağımlılıklarının derlenmesini ve yerel derleme araç zincirlerinin kurulmasını gerektirir
- HuggingFace'den model dönüştürme, mimariye bağlı olarak deneysel olabilir
- Ağır çok modlu modelleri yerel olarak çalıştırmak önemli ölçüde cihaz RAM'i tüketir
Fiyatlar & lisans
Yazılım, depo meta verilerinde belirtilmiş bir lisans ücreti olmayan open source bir projedir. Tek maliyet, yerel donanımda kendiniz çalıştırmak veya bulut aktarımı API kullanımı için ödeme yapmaktır.
Türkçe konuşanlar için işler
876 açık uzaktan yapay zeka eğitimi işi, 15 Kasım 2026 tarihinde güncellendi; çoğu saatlik $20–$170 ödüyor. Bunların 2 tanesi Türkçe konuşanlar için. Zekai ücretsiz listeler; başvuru işverenin platformunda yapılır.
Alternatifler
Kullanın ya da biz kuralım
SSS
Hangi model mimarileri destekleniyor?
Liquid, Gemma, Whisper, Parakeet ve Qwen model aileleri açıkça test edilmiştir, ayrıca dönüştürme yoluyla herhangi bir HuggingFace modeli desteklenir.
Cactus bulut yedeklemesini destekliyor mu?
Evet, yerel model güveni belirlenen bir eşiğin altına düştüğünde zor sorguları buluta yönlendiren hibrit bir mod içerir.
