Especializar o vocabulário de SLMs corta custo de inferência em 77%
Método VocabX da Dharma-AI, aplicado a um corretor de redações em português baseado no Qwen3-4B, reduziu o custo medido de inferência sem trocar o modelo-base.
Foto: Vanessa Loring (Pexels)
Uma equipe da Dharma-AI mostrou, em artigo publicado no blog da Hugging Face nesta quarta-feira (21), que adaptar o vocabulário de um modelo de linguagem pequeno — do inglês small language model (SLM) — pode cortar o custo medido de inferência em 77% em uma aplicação real, sem alterar o modelo-base nem a receita de treinamento.
O trabalho antecipa resultados do paper VocabX, ainda em revisão. O caso medido é um corretor automático de redações em português em produção, construído sobre o Qwen3-4B, que recebe a redação, o enunciado e os textos de apoio e devolve uma avaliação em JSON com nota e comentário por competência.
O que aconteceu
Modelos abertos especializados por ajuste fino, como Qwen e Gemma, herdavam um tokenizador feito para muitos idiomas e domínios. No corretor, isso gerava dois desperdícios: o texto que o modelo escreve a cada pedido se fragmentava em mais tokens do que o necessário, e a cada token gerado a rede pontuava um vocabulário de 151.669 entradas, muitas quase nunca usadas na tarefa.
Com o VocabX, o grupo reconstruiu o vocabulário mantendo o mesmo modelo-base, os mesmos dados e a mesma receita de treino. Em vez de escolher tokens por frequência, o método pondera o custo de cada campo — prompt de sistema, mensagem do usuário ou resposta do modelo. No corretor, um token economizado na resposta vale 7,4 vezes um economizado na leitura. A inferência tem duas fases: no prefill o limite é computação; no decode, a geração token a token, o gargalo passa a ser largura de banda de memória.
O VocabX atua em duas camadas sob o mesmo critério de custo: reconstrói o corte de palavras em subpalavras e cria macro tokens para trechos longos e repetidos, como envelopes JSON. Cinco buscas automáticas caçam repetições — palavras longas, linhas, expressões, frases e estruturas com pontuação. Sem as cinco, a redução de tokens no corretor cairia 55,6 pontos percentuais. A camada de saída do modelo passou de cerca de 152 mil para cerca de 65 mil linhas.
Em sete versões treinadas com a mesma semente e testadas em 500 pedidos na mesma máquina, com GPU RTX 5090 e servidor vLLM, a resposta média caiu de 350 para 101 tokens e o custo, calculado a partir do tempo medido, recuou 77,0%. A qualidade, pelo bench score que combina precisão da nota e triagem de textos fora do tema ou das regras, subiu de 0,703 para 0,810. Uma primeira versão que fundia nota e JSON num único macro barateava mais no papel, mas piorava a qualidade; separar a nota custou dois tokens a mais por resposta e foi, na medição, ainda mais barato.
Em cinco domínios públicos — contratos, artigos médicos, papers científicos, notícias e código Python — e três famílias (Qwen3, Llama-3.1 e Gemma-3), o VocabX comprimiu mais que o melhor método de referência nas quinze combinações, com margens médias de custo estimado de 10,2, 7,5 e 13,6 pontos, respectivamente.
O que isso pode mudar
Se a especialização de vocabulário por custo, e não só por frequência, se confirmar em outros sistemas de produção, empresas que já operam SLMs em um único domínio — contratos, código ou avaliações estruturadas — poderiam reduzir a conta de inferência sem migrar para modelos maiores nem reescrever todo o pipeline de treino. O próprio artigo ressalta que o VocabX não torna o modelo mais inteligente: apenas evita pagar para escrever pedaço a pedaço o que se repete e para pontuar entradas que a tarefa quase nunca usa.
A hipótese mais ampla é que a especialização de modelos de domínio possa começar uma camada antes dos pesos e dos dados, no tokenizador, tratado hoje como propriedade fixa do modelo-base. Os números vêm da versão atual do paper e podem mudar antes da publicação completa, segundo os autores Bernardo França de Aguiar, Gabriel Pimenta de Freitas Cardoso, Bruno Duarte e Francisco de Almeida Rocha Alves.
Leia mais em: mundodosnegocio.com.br