OpenAI detalha Habitat e Cosmos DB para mais de 1 bilhão de usuários do ChatGPT
Na Parte II do blog, a OpenAI explica como o Habitat e o Azure Cosmos DB sustentam mais de 1 bilhão de usuários, 500 PB e latência de leitura de ~10 ms.
Foto: Sanket Mishra (Pexels)
A OpenAI publicou nesta sexta-feira, 23 de outubro de 2026, a segunda parte de uma série técnica sobre o Habitat, a plataforma de armazenamento online que alimenta produtos como o ChatGPT, a API e o Codex. O texto descreve como a empresa otimizou o Azure Cosmos DB — banco de dados distribuído da Microsoft Azure — para sustentar crescimento acelerado, com resposta em milissegundos a mais de 1 bilhão de usuários em 40 regiões geográficas.
Assinado pelos membros do staff técnico Jon Lee, Hrachya Hakobyan e Chaomin Yu, o artigo detalha a volta a um modelo multi-inquilino e um salto nas leituras. Segundo a OpenAI, o Habitat já cobre mais de 500 petabytes; a maior conta de Azure Cosmos DB da empresa guarda dezenas de petabytes e serve mais de 20 milhões de consultas por segundo (QPS).
O que aconteceu
No relato, o Habitat combina caches, autorização, residência de dados, criptografia, isolamento multi-inquilino e roteamento, com armazenamento em Azure Cosmos DB, Nanobase, Valkey e blobs, além de captura de mudanças de dados (CDC) para Databricks, Rockset e Kafka. A empresa passou de um contêiner compartilhado a contêineres dedicados para reduzir “vizinhos barulhentos” e colisões de chave de partição — e depois retornou ao multi-inquilino como padrão.
Contêineres isolados teriam limitado o raio de falhas, mas complicaram o planejamento de capacidade: times de produto esqueciam de pré-escalar e a OpenAI citava salas de incidente no dia do lançamento. Em parceria com o Azure, descreve limitação de chaves quentes, qualidade de serviço (QoS) que prioriza tráfego interativo e um modo serverless aprimorado com até 10 mil unidades de requisição por segundo (RU/s) por partição física. Afirma não ter tido incidentes de provisionamento ou de vizinho barulhento nos meses seguintes.
A escala exigiu serviço “co-gerido”. No fim de 2024, uma queda de energia na região primária mostrou que o failover poderia levar várias horas; cerca de um mês depois, o retorno à região original gerou nova interrupção por estampida de conexões no gateway. Desde então, Habitat e Azure monitoram juntos camadas até o armazenamento físico e testam em contas do tamanho de produção.
Em 2026, o foco teria sido desempenho global de leitura — mais de 90% dos pedidos do Habitat. A estratégia inclui colocar dados perto dos usuários quando há capacidade, replicar amplamente só conjuntos pequenos e sensíveis à latência (alguns em todas as 40 regiões Azure onde a OpenAI serve tráfego) e cache lookaside em Valkey com invalidação via change feed, em linha com ideias do TAO da Meta. A reescrita do serviço em Rust, no lugar do Python, também teria cortado overhead. Resultado declarado: latência mediana (p50) de leitura de cerca de 120 milissegundos para cerca de 10 milissegundos, melhoria de 12 vezes.
A CDC escala para milhões de alterações por segundo e mais de cem tópicos Kafka. Olhando adiante, a OpenAI diz construir um sistema interno na escala de exabytes, com núcleo RocksDB Cloud do Rockset e replicação Raft, visando o próximo bilhão de usuários e o armazenamento de conversas.
O que isso pode mudar
Se o modelo de coengenharia com o provedor de nuvem se consolidar, outras empresas em escala extrema podem precisar tratar serviços “gerenciados” como parceria operacional profunda. A queda de latência de leitura, se mantida, poderia acelerar iterações de produto ao reduzir caches e batching improvisados nas aplicações — um dos objetivos explícitos do Habitat.
O storage próprio em escala de exabytes sugere, em hipótese, busca por mais controle sobre custo de flash e topologia de replicação, com trocas como pico de QPS potencialmente menor. Nada no texto garante cronograma comercial ou impacto direto no usuário final do ChatGPT. Ainda assim, a combinação de mais de 1 bilhão de usuários, 40 regiões e dezenas de petabytes em uma conta reforça que a disputa em inteligência artificial (IA) passa cada vez mais por armazenamento online, não só por modelos.
Fontes: OpenAI Blog
Leia mais em: www.mundodosnegocio.com.br