Red Hat AI Inference Server
O Red Hat AI Inference Server otimiza a inferência de modelos em ambientes de nuvem híbrida, acelerando as implantações e reduzindo custos.
O que é um servidor de inferência?
O servidor de inferência é um software que conecta aplicações de inteligência artificial (IA) a Large Language Models (LLMs) e gera respostas baseadas em dados. Esse processo é chamado de inferência. É nesse ponto que a aplicação gera valor de negócios e entrega o resultado esperado.
Os LLMs exigem uma ampla capacidade de armazenamento, memória e infraestrutura para realizar inferência em escala com eficiência, o que costuma representar uma fatia significativa do orçamento.
Parte da plataforma Red Hat AI, o Red Hat AI Inference Server otimiza os recursos de inferência para reduzir os custos, geralmente elevados, e o tamanho da infraestrutura.
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
Introdução ao Red Hat AI Inference Server
Como o Red Hat AI Inference Server funciona?
Com o Red Hat AI Inference Server, você faz inferências rápidas, econômicas e em escala. Por ser open source, a solução oferece suporte a todos os modelos de IA generativa (gen IA), em todos os aceleradores e ambientes de nuvem.
Com a tecnologia vLLM, o servidor de inferência aprimora a utilização da GPU e reduz o tempo de resposta. Quando utilizado com o LLM Compressor, ele aumenta a eficiência das inferências sem prejudicar o desempenho. Com suporte multiplataforma e uma comunidade em crescimento, o vLLM vem se destacando como o Linux® da inferência em gen IA.
50% Clientes que usaram o LLM Compressor atingiram uma economia de 50% sem prejudicar o desempenho.*
*Zelenović, Saša. "Aproveite todo o potencial dos LLMs: otimização para alto desempenho com o vLLM". Blog da Red Hat, 27 de fevereiro de 2025.
Você é quem escolhe seus modelos
O Red Hat AI Inference Server é compatível com todos os modelos open source líderes do setor e oferece portabilidade flexível de GPU. Você tem liberdade para usar o modelo de gen IA que preferir ou selecionar um da nossa coleção de modelos open source validados, oferecidos por terceiros.
Além disso, como parte do Red Hat AI, o Red Hat AI Inference Server é certificado para uso em todas as soluções Red Hat. Ele também pode ser implantado em outras plataformas Linux e Kubernetes, com suporte como previsto na política de suporte de terceiros da Red Hat.
Suporte do Red Hat AI
Como somos um dos maiores colaboradores comerciais do vLLM, entendemos bem essa tecnologia. Nossos consultores têm a expertise necessária para ajudar você a atingir as metas de IA da sua empresa.
Como comprar
O Red Hat AI Inference Server está disponível como solução autônoma ou como parte do Red Hat AI. Ele está incluído tanto no Red Hat Enterprise Linux® AI quanto no Red Hat OpenShift® AI.
Implantação com parceiros
A integração de experts e tecnologias permite que nossos clientes façam mais com a IA. Confira todos os parceiros da Red Hat para garantir que suas soluções sejam compatíveis com as nossas.
Perguntas frequentes
Preciso comprar o Red Hat Enterprise Linux AI ou o Red Hat OpenShift AI para usar o Red Hat AI Inference Server?
Não. Você pode comprar o Red Hat AI Inference Server como uma solução Red Hat autônoma.
Preciso comprar o Red Hat AI Inference Server para usar o Red Hat Enterprise Linux AI?
Não, o Red Hat AI Inference Server está incluído no Red Hat Enterprise Linux AI e no Red Hat OpenShift AI.
O Red Hat AI Inference Server pode ser executado no Red Hat Enterprise Linux ou no Red Hat OpenShift?
Sim. Ele também pode ser executado em ambientes Linux de terceiros, conforme nossas políticas de suporte.
Quais são os preços do Red Hat AI Inference Server?
O preço é calculado por acelerador.
