inference
Sirva LLMs, modelos de fala e multimodais através de uma API unificada.
Execute LLMs, modelos de fala e multimodais na nuvem, on-prem ou no seu notebook usando uma API de inference unificada.
O Xorbits Inference permite que você faça o deploy de modelos de linguagem, reconhecimento de fala e multimodais usando um único comando. Ele é ideal para desenvolvedores e cientistas de dados que precisam servir modelos de IA open source com uma API RESTful compatível com a OpenAI.
O que é
Ele gerencia o serving de modelos em hardware heterogêneo, suportando clusters distribuídos, loteamento automatizado de requisições e integração com ferramentas de terceiros como LangChain e Dify. Ele fornece múltiplos engines, incluindo GGML, vLLM e TensorRT.
Para quem
Ele é ideal para engenheiros que constroem aplicações de IA locais ou distribuídas e querem trocar backends de modelos sem reescrever código. Não é adequado para usuários que buscam uma aplicação tradicional de edição de vídeo pronta para uso sem interação por código.
Recursos principais
Serving multi-engine
Suporta vLLM, GGML, TensorRT e backends personalizados através de uma API unificada.
API compatível com a OpenAI
Fornece endpoints RESTful incluindo Function Calling para substituição fácil e direta.
Hardware heterogêneo
Utiliza de forma inteligente GPUs e CPUs para acelerar tarefas de inference.
Deploy distribuído
Distribui perfeitamente a inference de modelos entre múltiplos dispositivos ou máquinas.
Pronto em 3 passos
Nosso veredito honesto
Pontos fortes
- Substituição direta para endpoints da OpenAI alterando apenas uma linha de código
- Suporte integrado para modelos de texto para imagem, áudio e multimodais
- Inclui deploy de cluster distribuído e recursos de auto-batching
- Integra-se nativamente com LangChain, LlamaIndex e Dify
Onde deixa a desejar
- Requer habilidade técnica para configurar e gerenciar pesos de modelos e recursos de hardware
- Executar LLMs e modelos multimodais exige capacidade significativa de GPU/CPU
- O self-host envolve custos contínuos de manutenção e monitoramento de infraestrutura
Preços & licença
O software é gratuito sob sua licença open source, e o único custo é rodar a infraestrutura por conta própria, a menos que você opte por ofertas corporativas.
Vagas para quem fala português
876 vagas remotas abertas de treinamento de IA, atualizadas em 15 de novembro de 2026; a maioria paga $20–$170 por hora. 8 delas pedem falantes de português. O Zekai lista de graça; a candidatura vai para a plataforma do empregador.
Alternativas
Use, ou deixe que a gente configure
FAQ
Posso usar isto como um substituto direto para a OpenAI?
Sim, ele fornece uma API RESTful compatível com a OpenAI que inclui Function Calling.
Quais plataformas de hardware são suportadas?
Ele suporta hardware heterogêneo, incluindo GPUs e CPUs na nuvem, on-prem e em notebooks.
Ele suporta modelos multimodais?
Sim, ele serve nativamente modelos de linguagem, reconhecimento de fala, texto para imagem e multimodais.
