inference
LLM'leri, ses ve multimodal modelleri birleşik bir API aracılığıyla sunun.
Birleşik bir inference API kullanarak bulutta, şirket içinde (on-prem) veya dizüstü bilgisayarınızda LLM'leri, ses ve multimodal modelleri çalıştırın.
Xorbits Inference; dil, konuşma tanıma ve multimodal modelleri tek bir komutla dağıtmanıza olanak tanır. Açık kaynaklı yapay zeka modellerini OpenAI uyumlu bir RESTful API ile sunması gereken geliştiriciler ve veri bilimciler için uygundur.
Nedir
Dağıtık kümeleri, otomatik istek gruplamayı (batching) ve LangChain ve Dify gibi üçüncü taraf araçlarla entegrasyonu destekleyerek model sunumunu heterojen donanımlar arasında yönetir. GGML, vLLM ve TensorRT dahil olmak üzere birden fazla motor sağlar.
Kimler için
Kod yeniden yazmak zorunda kalmadan model altyapılarını değiştirmek isteyen, yerel veya dağıtık yapay zeka uygulamaları geliştiren mühendisler için uygundur. Kod etkileşimi olmadan geleneksel, kutudan çıktığı gibi çalışan bir video düzenleme uygulaması arayan kullanıcılara uygun değildir.
Temel özellikler
Çoklu motor sunumu
Birleşik bir API aracılığıyla vLLM, GGML, TensorRT ve özel arka uçları (backend) destekler.
OpenAI uyumlu API
Kolay entegrasyon için Function Calling içeren RESTful uç noktaları (endpoint) sağlar.
Heterojen donanım
Inference görevlerini hızlandırmak için hem GPU'ları hem de CPU'ları akıllıca kullanır.
Dağıtık dağıtım
Model inference işlemlerini birden fazla cihaz veya makineye sorunsuz bir şekilde dağıtır.
3 adımda hazır
Dürüst kararımız
Artıları
- Tek bir kod satırını değiştirerek OpenAI uç noktalarının (endpoint) yerine doğrudan kullanılabilir
- Metinden görsele, sese ve multimodal modellere yerleşik destek
- Dağıtık küme dağıtımı ve otomatik gruplama (auto-batching) özellikleri içerir
- LangChain, LlamaIndex ve Dify ile yerel olarak entegre olur
Eksileri
- Model ağırlıklarını ve donanım kaynaklarını kurmak ve yönetmek için teknik beceri gerektirir
- Büyük dil ve multimodal modelleri çalıştırmak önemli ölçüde GPU/CPU kapasitesi gerektirir
- Self-host, sürekli altyapı bakım ve izleme maliyetleri içerir
Fiyatlar & lisans
Yazılım, açık kaynak lisansı altında ücretsizdir ve kurumsal teklifleri tercih etmediğiniz sürece tek maliyet altyapıyı kendiniz çalıştırmanızdır.
Türkçe konuşanlar için işler
870 açık uzaktan yapay zeka eğitimi işi, 14 Kasım 2026 tarihinde güncellendi; çoğu saatlik $20–$170 ödüyor. Bunların 2 tanesi Türkçe konuşanlar için. Zekai ücretsiz listeler; başvuru işverenin platformunda yapılır.
Alternatifler
Kullanın ya da biz kuralım
SSS
Bunu OpenAI yerine doğrudan kullanabilir miyim?
Evet, Function Calling içeren OpenAI uyumlu bir RESTful API sağlar.
Hangi donanım platformları destekleniyor?
Bulut, şirket içi (on-prem) ve dizüstü bilgisayarlarda GPU'lar ve CPU'lar dahil heterojen donanımları destekler.
Multimodal modelleri destekliyor mu?
Evet, dil, konuşma tanıma, metinden görsele ve multimodal modelleri yerel olarak sunar.
