Nossa Plataforma Privada de IA

O desafio

Qualquer um pode recomendar IA privada. Poucos podem mostrar a sua. Antes de oferecer plataformas privadas de LLM a clientes, nos demos o mesmo briefing que um cliente nos daria: rodar modelos de linguagem capazes em hardware próprio, com disciplina de produção de verdade — não um laboratório que cai quando ninguém está olhando. Se não conseguíssemos operar nossa própria plataforma nesse padrão, não teríamos o direito de construir uma para mais ninguém.

O que construímos

Nossa plataforma é um cluster NVIDIA DGX Spark com 4 nós de GPU rodando Kubernetes (RKE2). Tudo acima do hardware é projetado do mesmo jeito que construímos para clientes:

• Deploys via GitOps. Toda carga de trabalho é declarada no Git e reconciliada com o cluster automaticamente pelo Argo CD. Não existe “alguém mudou algo em um servidor” — o repositório é o registro, e qualquer desvio se corrige sozinho.
• Observabilidade. Métricas, logs e dashboards cobrindo nós, GPUs e cargas de trabalho, para que perguntas operacionais sejam respondidas com dados, e não com palpites.
• Cargas multi-tenant. Ambientes isolados por tenant permitem que experimentos, serviços voltados a clientes e ferramentas internas compartilhem o hardware sem atropelar uns aos outros.

Sobre essa fundação fizemos o trabalho de modelo em si: construímos, quantizamos e hoje servimos nossa própria linhagem Mixture-of-Experts — o Vinicius-35B-A3B-v1 — com vLLM, dentro da nossa própria rede, com controle de acesso no endpoint de serving. Infraestrutura, plataforma e modelo: um só time, de ponta a ponta.

O resultado

O cluster roda cargas de produção todos os dias e funciona também como a arquitetura de referência do que entregamos: a mesma fundação Kubernetes, a mesma disciplina de GitOps, a mesma stack de observabilidade. Quando dimensionamos uma plataforma privada de IA para um cliente, estamos descrevendo hardware e software que já operamos — incluindo a construção e o serving de modelos sob medida. Não vendemos IA privada em slides. Nossa própria plataforma é a nossa prova.