inference
Sirve LLMs, modelos de voz y multimodales a través de una API unificada.
Ejecuta LLMs, modelos de voz y multimodales en la nube, en local o en tu portátil utilizando una API de inference unificada.
Xorbits Inference te permite desplegar modelos de lenguaje, reconocimiento de voz y multimodales con un solo comando. Es ideal para desarrolladores y científicos de datos que necesitan servir modelos de IA de código abierto con una API RESTful compatible con OpenAI.
Qué es
Gestiona el servicio de modelos en hardware heterogéneo, admitiendo clústeres distribuidos, procesamiento por lotes automatizado de solicitudes e integración con herramientas de terceros como LangChain y Dify. Proporciona múltiples motores, incluidos GGML, vLLM y TensorRT.
Para quién
Es adecuado para ingenieros que crean aplicaciones de IA locales o distribuidas y desean cambiar los backends de los modelos sin reescribir código. No es adecuado para usuarios que buscan una aplicación tradicional de edición de video lista para usar sin interacción con código.
Funciones clave
Servicio multi-motor
Compatible con vLLM, GGML, TensorRT y backends personalizados a través de una API unificada.
API compatible con OpenAI
Proporciona endpoints RESTful que incluyen Function Calling para un reemplazo directo y sencillo.
Hardware heterogéneo
Utiliza de forma inteligente tanto GPUs como CPUs para acelerar las tareas de inference.
Despliegue distribuido
Distribuye sin problemas la inference de modelos entre múltiples dispositivos o máquinas.
Listo en 3 pasos
Nuestro veredicto honesto
Lo mejor
- Reemplazo directo para los endpoints de OpenAI cambiando una sola línea de código
- Soporte integrado para modelos de texto a imagen, audio y multimodales
- Incluye despliegue de clústeres distribuidos y capacidades de procesamiento por lotes automático
- Se integra de forma nativa con LangChain, LlamaIndex y Dify
Sus límites
- Requiere conocimientos técnicos para configurar y gestionar los pesos de los modelos y los recursos de hardware
- Ejecutar modelos de lenguaje grandes y multimodales exige una capacidad significativa de GPU/CPU
- El self-host implica costes continuos de mantenimiento y monitorización de la infraestructura
Precios y licencia
El software es gratuito bajo su licencia open source, y el único coste es ejecutar la infraestructura por tu cuenta a menos que optes por ofertas empresariales.
Empleos para hispanohablantes
870 puestos remotos abiertos de entrenamiento de IA, actualizados el 14 de noviembre de 2026; la mayoría paga $20–$170 por hora. 22 de ellos piden hispanohablantes. Zekai los lista gratis; la solicitud va a la plataforma del empleador.
Alternativas
Úsalo, o deja que lo configuremos
FAQ
¿Puedo usar esto como reemplazo directo de OpenAI?
Sí, proporciona una API RESTful compatible con OpenAI que incluye Function Calling.
¿Qué plataformas de hardware son compatibles?
Es compatible con hardware heterogéneo que incluye GPUs y CPUs en la nube, en local y en portátiles.
¿Es compatible con modelos multimodales?
Sí, sirve de forma nativa modelos de lenguaje, reconocimiento de voz, texto a imagen y multimodales.
