inference
قم بتقديم نماذج LLMs، والنطق، والنمادج متعددة الوسائط عبر API موحد.
قم بتشغيل نماذج LLMs، والنطق، والنمادج متعددة الوسائط على السحابة، أو البنية المحلية، أو حاسوبك المحمول باستخدام API موحد لـ inference.
تتيح لك Xorbits Inference نشر نماذج اللغة، والتعرف على الكلام، والنمادج متعددة الوسائط باستخدام أمر واحد. وهي تناسب المطورين وعلماء البيانات الذين يحتاجون إلى تقديم نماذج الذكاء الاصطناعي مفتوحة المصدر باستخدام RESTful API متوافق مع OpenAI.
ما هو
وهي تدير تقديم النماذج عبر الأجهزة غير المتجانسة، مع دعم المجموعات الموزعة، والمعالجة الآلية للطلبات على دفعات، والتكامل مع أدوات الطرف الثالث مثل LangChain و Dify. وتوفر محركات متعددة بما في ذلك GGML و vLLM و TensorRT.
لمن هو
وهي تناسب المهندسين الذين يقومون ببناء تطبيقات ذكاء اصطناعي محلية أو موزعة ويرغبون في تبديل الواجهات الخلفية للنماذج دون إعادة كتابة الكود. وهي لا تناسب المستخدمين الذين يبحثون عن تطبيق تقليدي جاهز لتحرير الفيديو دون تفاعل مع الكود.
أهم الميزات
تقديم متعدد المحركات
يدعم vLLM، وGGML، وTensorRT، والواجهات الخلفية المخصصة من خلال API موحد.
API متوافق مع OpenAI
يوفر نقاط نهاية RESTful بما في ذلك Function Calling لسهولة الاستبدال الفوري.
أجهزة غير متجانسة
يستفيد بذكاء من وحدات معالجة الرسومات GPUs ووحدات المعالجة المركزية CPUs تسريع مهام inference.
نشر موزع
يوزع inference النماذج بسلاسة عبر أجهزة أو أجهزة حاسوب متعددة.
جاهز للعمل في 3 خطوات
حكمنا الصادق
ما يميّزه
- بديل فوري لنقاط نهاية OpenAI عن طريق تغيير سطر واحد من الكود
- دعم مدمج لتحويل النص إلى صور، والصوت، والنمادج متعددة الوسائط
- يتضمن نشر المجموعات الموزعة وإمكانيات الدفعات التلقائية
- يتكامل محلياً مع LangChain، وLlamaIndex، وDify
أين يقصّر
- يتطلب مهارة تقنية لإعداد وإدارة أوزان النماذج وموارد الأجهزة
- يتطلب تشغيل نماذج اللغة الكبيرة والنمادج متعددة الوسائط قدرة عالية من GPU/CPU
- يستلزم الـ self-host تكاليف صيانة ومراقبة مستمرة للبنية التحتية
التسعير والرخصة
البرنامج مجاني بموجب ترخيص مفتوح المصدر، والتكلفة الوحيدة هي تشغيل البنية التحتية بنفسك إلا إذا اخترت العروض المؤسسية.
وظائف للناطقين بالعربية
870 وظيفة مفتوحة عن بعد في تدريب الذكاء الاصطناعي، آخر تحديث ١٤ نوفمبر ٢٠٢٦؛ أجر معظمها $20–$170 في الساعة. منها 2 وظائف تطلب متحدثين بالعربية. يعرضها ذكائي مجانًا، والتقديم يتم على منصة جهة التوظيف.
البدائل
استخدمه، أو دعنا نُعِدّه لك
الأسئلة الشائعة
هل يمكنني استخدام هذا كبديل فوري لـ OpenAI؟
نعم، فهو يوفر RESTful API متوافق مع OpenAI يتضمن Function Calling.
ما هي منصات الأجهزة المدعومة؟
يدعم أجهزة غير متجانسة بما في ذلك GPUs وCPUs عبر السحابة، والبنية المحلية، والحواسيب المحمولة.
هل يدعم النماذج متعددة الوسائط؟
نعم، فهو يقدم محلياً نماذج اللغة، والتعرف على الكلام، وتحويل النص إلى صور، والنمادج متعددة الوسائط.
