Shopify transforma modelos abertos em especialistas do Sidekick e corta custo

Foto: Kampus Production (Pexels)

A Shopify descreveu como o Sidekick, seu assistente de comércio com inteligência artificial (IA), passa tarefas pesadas em tokens a modelos abertos que a empresa pós-treina e serve em unidades de processamento gráfico (GPUs) próprias. O caso central é um subagente de GraphQL, linguagem de consulta de APIs, baseado no NVIDIA Nemotron 3.5 Lightning.

Segundo o blog de engenharia, nesse trabalho o modelo pós-treinado supera levemente o modelo de fronteira da API, responde cerca de sete vezes mais rápido e custa cerca de 90% menos para servir. O texto, de Logan Vegna e datado de 21 de outubro de 2026, detalha o ciclo de aprendizado contínuo e o papel de software e hardware da NVIDIA.

O que aconteceu

Um modelo de fronteira conversa com o lojista, planeja o trabalho e chama ferramentas. Para empregos focados, repassa a execução a subagentes com modelos abertos pós-treinados para uma só tarefa. Quando o comerciante pergunta quais produtos estão quase sem estoque, o subagente de GraphQL lê o esquema da API, busca documentação, escreve e executa a consulta e devolve o resultado. O fluxo lê cerca de 40 tokens para cada um que escreve, e a API do modelo de fronteira cobra por todos.

Ao pós-treinar o Nemotron 3.5 Lightning — mixture-of-experts com 30 bilhões de parâmetros, três bilhões ativos por token — a Shopify passou a controlar os pesos, a decidir quando o modelo muda e a servi-lo nas próprias GPUs. O ciclo, chamado Model Optimization Flywheel, se repete a cada lote novo de dados de produção.

Especialistas de produto transformam requisitos em rubrica de qualidade; no GraphQL, ela cobre completude, execução e qualidade da resposta. Um juiz baseado em modelo de linguagem é afinado até concordar com rótulos humanos e passa a pontuar mudanças de agente, candidatos e rodadas de treino. Antes do modelo aberto, a equipe empurra a versão no modelo de fronteira; só mantém alterações se a nota do juiz sobe. Depois, modelos como o Nemotron são testados no subagente real, pesando qualidade, velocidade e suporte no Megatron Bridge.

A medição de inferência começa cedo com o AIPerf, no NVIDIA Dynamo, reapresentando rastros de produção com texto sintético. Falhas viram dado de treino por self-healing: um crítico escreve uma dica, nunca a resposta, e um lojista simulado refaz o pedido. Em 86 rodadas noturnas recentes, o processo reparou 59.535 conversas — 69% das falhas tentadas. No pós-treino, no mesmo job FP8 do modelo de Analytics, oito GPUs B300 treinaram 1,86 vez mais rápido que oito H200, com 46% menos horas de GPU.

Fora da caixa, o Nemotron marcou 37,7 no juiz de GraphQL, ante 73 do modelo de fronteira. Após seis voltas e cerca de 61 mil exemplos reparados, chegou a 74,5. No replay com AIPerf, a mediana de resposta completa caiu de 6,50 segundos na API de fronteira para 0,87 segundo; o 1% mais lento terminou oito vezes antes. O custo de servir nessa carga ficou cerca de 90% menor; no conjunto pós-treinado, o self-hosting corta entre 90% e 98% frente ao preço da API de fronteira.

O que isso pode mudar

O arranjo sugere que assistentes comerciais podem manter a inteligência geral no modelo de fronteira — conversa e orquestração — e deslocar o trabalho especializado e caro em tokens para especialistas abertos sob controle da própria empresa. Se o volante se sustentar, correções humanas, falhas de produção e novas gerações de hardware poderiam tornar o próximo ciclo mais barato e mais rápido.

Para plataformas de e-commerce e provedores de IA, o caso pode reforçar a hipótese de que pós-treino focado em tarefa, medição de serviço desde o início e propriedade dos pesos passam a ser peças centrais de custo e latência. Ainda assim, os ganhos relatados valem para as cargas medidas; generalizar o mesmo salto exigiria evidências próprias.

Fontes: Shopify Engineering.

Fontes: Shopify Engineering

Leia mais em: mundodosnegocio.com.br