30 de setembro de 2026
Reprodutibilidade da inferência de LLMs sob carga
Reprodutibilidade da Inferência de Llms sob Carga
Cláudio Rafael da Silva; Anaximandro Anderson Pereira Melo De Souza
DOI: 10.22167/2675-6528-202602788
Artigo derivado de Trabalho de Conclusão de Curso (TCC), com conteúdo baseado no trabalho original do aluno e adaptado ao formato editorial da Revista E&S com apoio da ferramenta ResumeAI, solução de inteligência artificial desenvolvida pelo Instituto Pecege para síntese e organização textual.
Resumo
A incorporação de Modelos de Linguagem de Grande Escala, ou “Large Language Models” [LLMs], em sistemas corporativos ampliou a necessidade de compreender sua confiabilidade, sobretudo em contextos nos quais respostas automatizadas precisaram ser reproduzidas, auditadas e validadas. Objetivou-se analisar empiricamente a reprodutibilidade da inferência de LLMs sob diferentes níveis de carga concorrente, investigando se o aumento do “batching” dinâmico comprometeu a estabilidade semântica das respostas mesmo com temperatura igual a zero, semente fixa e demais parâmetros controlados. A pesquisa, de natureza aplicada, exploratória, descritiva e quantitativa, empregou um delineamento empírico-experimental. O experimento foi conduzido em ambiente computacional controlado, utilizando GPU, motor de inferência “vLLM”, precisão “bfloat16” e simulação escalonada de requisições concorrentes. Geraram-se 600 inferências, distribuídas em 30 patamares de carga com 20 repetições cada, e as respostas foram avaliadas por consistência interna e similaridade semântica. Os resultados indicaram que a estabilidade das respostas diminuiu com o aumento da carga concorrente, mostrando que o controle dos hiperparâmetros de geração não assegurou determinismo absoluto. A degradação manifestou-se como variação semântica sutil entre respostas formalmente coerentes, e não como falha explícita do sistema. Concluiu-se que a reprodutibilidade de LLMs em escala depende não apenas do modelo e do “prompt”, mas também das condições físicas e computacionais da infraestrutura de inferência.
Palavras-chave: “Batching” Dinâmico; Confiabilidade de Software; Engenharia de Prompt; “GPU Computing”; Inteligência Artificial Generativa.
1. Introdução
A crescente incorporação de Modelos de Linguagem de Grande Escala, ou Large Language Models (LLMs), em ambientes organizacionais transformou a forma como sistemas digitais produzem, interpretam e automatizam informações textuais. Embora esses avanços ampliem a eficiência operacional, eles também introduzem desafios técnicos associados à confiabilidade, rastreabilidade e previsibilidade das respostas geradas. Em sistemas baseados em inteligência artificial, especialmente quando integrados a processos críticos, a coerência linguística não é suficiente; é necessário que o comportamento do modelo possa ser testado, auditado e reproduzido sob condições controladas (O’Brien et al., 2024; Yuan et al., 2025).
Nas arquiteturas atuais, os LLMs são executados sobre infraestruturas computacionais de alto desempenho, geralmente apoiadas por unidades de processamento gráfico (GPU), bibliotecas de tensores e motores de inferência otimizados. Essa infraestrutura permite processar grandes volumes de requisições simultâneas, mas também introduz fatores físicos e matemáticos que podem interferir no comportamento lógico percebido pelo usuário. A literatura recente tem mostrado que a inferência de LLMs não depende apenas do prompt e dos hiperparâmetros definidos pelo desenvolvedor, mas também da precisão numérica, da alocação de memória, da ordem das operações matriciais e dos mecanismos de agrupamento dinâmico de requisições (Kalamkar et al., 2019; Kwon et al., 2023). Assim, a confiabilidade desses sistemas precisa ser analisada de forma integrada, considerando tanto a camada algorítmica quanto a camada de infraestrutura.
Em condições ideais, espera-se que um modelo configurado com parâmetros determinísticos, como temperatura igual a zero e semente fixa, produza a mesma resposta diante de um mesmo prompt. Essa expectativa é relevante para testes de regressão, depuração de sistemas, validação de filtros de segurança e auditoria de respostas automatizadas. No entanto, pesquisas recentes indicaram que essa estabilidade não é plenamente garantida em ambientes reais de inferência. Mesmo quando os parâmetros lógicos permanecem constantes, pequenas variações numéricas podem ocorrer durante a execução do modelo e, em determinadas condições, podem ser amplificadas ao longo do processo de decodificação, gerando respostas semanticamente distintas (O’Brien et al., 2024; Yuan et al., 2025). A explicação técnica desse fenômeno está relacionada, em parte, à aritmética de ponto flutuante, onde operações numéricas realizadas em computadores, sobretudo com formatos de precisão reduzida como bfloat16, não obedecem perfeitamente às propriedades matemáticas abstratas. Em cálculos matriciais executados em GPU, a ordem das somas e multiplicações pode variar conforme a distribuição da carga entre os núcleos de processamento, o que produz pequenas diferenças nos resultados intermediários (Kalamkar et al., 2019).
Além da precisão numérica, o gerenciamento de memória também exerce papel relevante na estabilidade das inferências. Motores modernos de inferência, como o vLLM, utilizam técnicas de otimização para ampliar a vazão de respostas em cenários com múltiplas requisições simultâneas. Entre essas técnicas, destaca-se o PagedAttention, que reorganiza o uso do cache de chaves e valores para reduzir desperdícios de memória e permitir maior número de conexões concorrentes (Kwon et al., 2023). Embora essas soluções sejam essenciais para viabilizar a operação de LLMs em escala, elas também modificam a forma como os cálculos são distribuídos e executados no hardware, especialmente quando o sistema utiliza batching dinâmico para agrupar requisições de diferentes tamanhos. A eficiência computacional dos modelos, como demonstrado pelo FlashAttention (Dao et al., 2022), depende fortemente da forma como os dados são movimentados entre os níveis de memória da GPU, evidenciando que a inferência de LLMs é um fenômeno computacional condicionado por arquitetura física, precisão numérica, paralelismo e gerenciamento de memória.
A instabilidade numérica observada em aceleradores gráficos não constitui fenômeno recente, mas sua manifestação na inferência de LLMs afeta diretamente o usuário final. Em contextos de engenharia de software, onde LLMs produzem trechos de programa, correções ou configurações de infraestrutura, a variação silenciosa entre execuções deixa de ser apenas ruído estatístico e se converte em risco de cadeia de suprimentos de software, pois artefatos distintos podem ser incorporados a repositórios a partir de solicitações idênticas. Esse risco agrava-se pelo fato de que as diferenças tendem a preservar validade sintática, escapando às verificações automatizadas usuais. A literatura recente sobre a incompatibilidade entre precisão de treinamento e de inferência reforça como a escolha do formato numérico influencia diretamente a estabilidade do comportamento observado (Li et al., 2024; Yuan et al., 2025). A justificativa deste trabalho decorreu da lacuna entre a expectativa prática de determinismo e o comportamento efetivamente observado em sistemas de produção, onde variações aparentemente pequenas podem comprometer testes automatizados, auditorias, validações de segurança e processos de tomada de decisão baseados em respostas de LLMs, sem se manifestar como erro evidente, mas como alteração semântica sutil.
A premissa operacional amplamente assumida na prática profissional, segundo a qual a fixação de temperatura igual a zero seria suficiente para assegurar saídas idênticas, carece de garantia formal dos motores de inferência em produção sob agrupamento dinâmico de requisições. Compreender e quantificar o patamar de carga a partir do qual essa premissa não se sustenta e caracterizar o modo de falha correspondente é crucial para a engenharia de software e a governança de inteligência artificial, pois a reprodutibilidade em escala é uma propriedade sistêmica, dependente da interação entre modelo, motor de inferência, precisão numérica, política de loteamento e infraestrutura de hardware. Diante desse contexto, o objetivo deste trabalho foi analisar empiricamente a reprodutibilidade da inferência de LLMs sob diferentes níveis de carga concorrente, investigando se o aumento do tamanho dos lotes dinâmicos em ambiente com GPU e precisão bfloat16 produziu variações semânticas nas respostas, mesmo com temperatura igual a zero, semente fixa e demais parâmetros de inferência controlados.
2. Material e Métodos
A pesquisa foi caracterizada, quanto à sua natureza, como aplicada, pois buscou compreender um problema técnico concreto relacionado à reprodutibilidade da inferência em Modelos de Linguagem de Grande Escala (LLMs) sob alta carga computacional. O estudo não se limitou à discussão teórica do não determinismo, mas procurou produzir evidências empíricas para apoiar decisões práticas em engenharia de software, governança de inteligência artificial e validação de sistemas baseados em modelos generativos (Gil, 2019; Vergara, 2016).
Quanto aos objetivos, o estudo assumiu caráter exploratório e descritivo. Foi exploratório porque investigou um fenômeno ainda recente na literatura aplicada, relacionado à possibilidade de variação semântica em inferências de LLMs mesmo quando os parâmetros lógicos de geração permaneceram controlados. Foi descritivo porque registrou, mensurou e analisou o comportamento das respostas geradas sob diferentes níveis de carga concorrente, permitindo observar padrões de estabilidade e degradação semântica (Gil, 2019; Vergara, 2016).
A abordagem metodológica adotada foi quantitativa, com apoio interpretativo qualitativo na análise das respostas geradas. A dimensão quantitativa ocorreu pela mensuração da consistência interna, da similaridade semântica e da variação das respostas ao longo dos diferentes patamares de carga. A dimensão qualitativa foi utilizada para interpretar o significado das alterações textuais observadas, especialmente quando as respostas permaneceram formalmente coerentes, mas apresentaram mudança de sentido relevante.
O delineamento metodológico correspondeu a um experimento computacional controlado, estruturado por simulação de carga escalonada. Optou-se por esse delineamento para manipular diretamente a variável independente, representada pelo tamanho do lote de requisições concorrentes, e observar seus efeitos sobre a variável dependente, que foi a degradação da reprodutibilidade semântica. Os dados foram obtidos diretamente por execução experimental em ambiente computacional controlado, sem envolver respondentes humanos ou amostragem de participantes.
O experimento foi conduzido em ambiente de computação em nuvem, utilizando o “Google Colab Pro” como plataforma operacional e uma unidade de processamento gráfico (GPU) “NVIDIA A100” como acelerador principal. Essa infraestrutura permitiu simular condições de inferência sob alta carga e observar o comportamento do modelo em cenário de concorrência computacional. O motor de inferência utilizado foi o “vLLM”, com o modelo “Qwen2.5-7B-Instruct”, executado em precisão “bfloat16”.
A configuração experimental reproduziu uma arquitetura típica de atendimento eficiente a LLMs, na qual a otimização de memória e o agrupamento dinâmico de requisições são empregados para ampliar a vazão de processamento. Essa escolha foi sustentada por estudos que discutem os efeitos da precisão reduzida, o gerenciamento eficiente de memória e as fontes numéricas de não determinismo em inferência (Kalamkar et al., 2019; Kwon et al., 2023; O’Brien et al., 2024).
A arquitetura experimental foi composta por diversas camadas. Na camada física, utilizou-se a GPU “NVIDIA A100” de 40 GB, cujos núcleos tensoriais executaram operações matriciais em precisão reduzida. Sobre ela operaram o ambiente de execução “CUDA” e a biblioteca “PyTorch”, responsáveis pela alocação de memória e pelo despacho dos núcleos de execução.
A camada seguinte correspondeu ao motor de inferência “vLLM” (versão 0.19.1), que empregou três mecanismos principais: o “PagedAttention”, que fragmenta o cache de chaves e valores em blocos de tamanho fixo; o “chunked prefill”, que limita a quantidade de “tokens” processados em cada passo de agendamento a 8.192; e o escalonamento assíncrono, que sobrepõe a preparação do próximo lote em CPU à execução do lote corrente em GPU (Kwon et al., 2023).
Esses mecanismos foram relevantes porque a composição efetiva de cada lote processado dependeu do estado do escalonador no instante da execução, e não apenas do conjunto de requisições submetidas. Acima do motor, situou-se o modelo “Qwen2.5-7B-Instruct”, executado em precisão “bfloat16”. Em camada apartada, operou a instrumentação de telemetria e o subsistema de avaliação semântica, este último baseado no modelo “all-MiniLM-L6-v2” da biblioteca “Sentence Transformers”.
Os parâmetros de instanciação do motor compreenderam precisão “bfloat16″, janela de contexto limitada a 1.024 “tokens”, fração de memória de vídeo reservada de 0,8, execução em processo único e captura de grafos de execução habilitada. Os parâmetros de amostragem do modelo foram configurados com temperatura igual a zero, “Top-P” igual a um, semente fixada em 42 e limite de geração de dez “tokens”.
A escolha da precisão “bfloat16” foi uma decisão técnica diretamente implicada no fenômeno investigado. Esse formato preserva os oito bits de expoente do “fp32”, mantendo a mesma faixa dinâmica de representação, mas reduz a mantissa para sete bits explícitos. Em termos de resolução relativa, o “bfloat16” mostrou-se aproximadamente oito vezes mais grosseiro que o “fp16” e cerca de sessenta e cinco mil vezes mais grosseiro que o “fp32” (Kalamkar et al., 2019; Li et al., 2024).
Essa característica não representou fragilidade do delineamento, mas uma condição deliberada de observação, pois o formato “bfloat16” é padrão em atendimento de produção. A adoção desse formato preservou a validade ecológica do experimento e situou-o na configuração em que microvariações numéricas possuem maior probabilidade de se tornarem observáveis. A utilização de “fp32” seria inviável devido ao orçamento de memória disponível para o modelo de sete bilhões de parâmetros.
As variáveis de controle foram definidas para reduzir interferências externas e isolar o efeito da carga concorrente. Foram mantidos constantes os principais hiperparâmetros de geração, o modelo, o prompt de controle, o ambiente de execução e o formato de precisão numérica. A variável independente foi o tamanho do lote dinâmico de requisições, variando em diferentes patamares de carga até o limite de 250 solicitações concorrentes.
A variável dependente foi a perda de reprodutibilidade, observada por meio da dispersão das respostas e da similaridade semântica entre as saídas obtidas. A coleta de dados foi realizada por meio de um “script” em linguagem Python desenvolvido especificamente para automatizar o experimento. Em cada rodada, um “prompt” de controle foi submetido ao modelo em conjunto com requisições adicionais de preenchimento, destinadas a ocupar o lote e a elevar a concorrência efetiva sobre o motor de inferência.
As requisições auxiliares foram construídas a partir de um mesmo texto-base, replicado para compor o volume correspondente a cada patamar de carga, com comprimento equivalente entre si. O limite de geração foi fixado em dez “tokens” para todas as requisições. Ao todo, foram geradas 600 inferências, distribuídas em 30 patamares de carga, com 20 repetições independentes em cada patamar.
O “notebook” utilizado na coleta, contendo a instanciação do motor, o “prompt” de controle, o laço de escalonamento de carga e as rotinas de avaliação semântica, foi disponibilizado em repositório público sob licença Apache 2.0 e arquivado sob identificador digital persistente, permitindo a replicação integral do procedimento (Silva, 2026).
Para reduzir riscos de contaminação entre as execuções, invocou-se a rotina de liberação de cache do alocador ao final de cada iteração. Implementou-se persistência contínua dos resultados, armazenando cada resposta gerada com seus metadados operacionais, incluindo tamanho do lote, número da iteração e registro temporal da execução. Esse procedimento fortaleceu a rastreabilidade do experimento e permitiu posterior conferência da base bruta.
A análise dos dados foi conduzida em duas etapas. Na primeira, avaliou-se a consistência interna das respostas em cada patamar de carga, verificando se o modelo produziu respostas idênticas ou semanticamente divergentes. Na segunda etapa, as respostas foram transformadas em representações vetoriais por meio do modelo “all-MiniLM-L6-v2″, da biblioteca “SentenceTransformers”, permitindo calcular a similaridade de cosseno entre os textos gerados.
A similaridade de cosseno foi utilizada por ser uma métrica amplamente aplicada em Processamento de Linguagem Natural para comparar proximidade semântica entre vetores textuais. A interpretação dos resultados considerou que a quebra de reprodutibilidade não deveria ser analisada apenas como diferença literal entre cadeias de caracteres, mas também como alteração semântica com potencial impacto operacional.
A análise combinou a frequência de respostas distintas, a similaridade semântica e a inspeção qualitativa das principais variações observadas. Essa triangulação analítica permitiu avaliar se a instabilidade gerada sob carga representou apenas variação superficial de redação ou efetiva alteração semântica com potencial impacto em sistemas corporativos.
Dessa forma, o percurso metodológico adotado permitiu testar empiricamente a hipótese de que o aumento da carga concorrente, mediado pelo “batching” dinâmico e pela reorganização das operações em GPU, poderia comprometer a reprodutibilidade de inferências mesmo sob temperatura igual a zero. A estrutura experimental mostrou-se coerente com o objetivo do trabalho, pois manteve controlados os parâmetros lógicos de geração e concentrou a análise na influência da infraestrutura computacional sobre a estabilidade das respostas.
3. Resultados e Discussão
A análise dos resultados foi conduzida a partir de uma base de 600 inferências, geradas em 30 patamares distintos de carga concorrente, com 20 repetições independentes para cada patamar. O estudo focou em quatro dimensões principais: a estabilidade textual das respostas, a similaridade semântica avaliada por cosseno, a latência média de inferência e o uso de memória de vídeo (VRAM). O objetivo central foi verificar se a configuração lógica de inferência determinística, que incluía temperatura igual a zero e semente fixa, seria suficiente para garantir a reprodutibilidade sob diferentes níveis de carga. Os achados indicaram que a estabilidade inicial foi mantida apenas nos primeiros patamares, enquanto o aumento da concorrência elevou a probabilidade de divergências semânticas. É importante notar que a dimensão referente ao uso de memória de vídeo não se mostrou informativa devido ao método de medição empregado, de modo que as conclusões se basearam nas três primeiras dimensões.
Os dados consolidados revelaram que os seis primeiros patamares de carga, que corresponderam a um intervalo de 1 a 43 requisições simultâneas, apresentaram 100% de similaridade média e produziram uma única resposta textual. Esse período foi caracterizado como estabilidade inicial, onde o comportamento do modelo foi plenamente determinístico. No entanto, a partir de 52 requisições, observou-se a primeira ruptura de consistência, com 5% de divergências no patamar inicial dessa nova faixa de carga, e um aumento abrupto para 45% em 61 requisições. Essa transição não seguiu um padrão linear simples, indicando uma sensibilidade específica do sistema à carga concorrente.
Entre 86 e 112 requisições, o sistema demonstrou uma reacomodação temporária, retornando a um estado de estabilidade onde nenhuma divergência foi registrada. Contudo, a instabilidade tornou-se persistente a partir de 121 requisições, com a proporção média de divergências atingindo 30,9% e chegando a 50% no patamar máximo de 250 requisições simultâneas. Essa dinâmica sugere que a perda de reprodutibilidade não decorreu de uma falha determinística única, mas sim de uma zona de instabilidade sensível à forma como o lote dinâmico foi organizado pelo motor de inferência, conforme discutido por Kwon et al. (2023).
A evolução da taxa de divergências semânticas em função do aumento da carga concorrente revelou um padrão de instabilidade intermitente até 112 requisições, que se tornou persistente após 121 requisições. A ausência de divergências nos patamares iniciais confirmou que o modelo, em baixa carga, reproduziu a mesma saída. Contudo, a presença de respostas divergentes em cargas intermediárias e altas indicou que a reprodutibilidade foi comprometida pela pressão sistêmica do processamento concorrente. A correlação de Pearson entre a carga e o percentual de divergências foi de 0,741, um valor positivo e elevado, sugerindo uma forte associação entre o aumento das requisições simultâneas e o crescimento da instabilidade semântica.
Esse achado está em consonância com a literatura técnica sobre inferência em Modelos de Linguagem de Grande Escala, que aponta como o uso de “batching” dinâmico e a atenção paginada podem modificar o ordenamento operacional dos cálculos em GPU. Isso é particularmente relevante quando há tensores em baixa precisão e o agendamento redistribui as requisições entre passos sucessivos (Kwon et al., 2023; O’Brien et al., 2024). A divergência foi operacionalizada como o afastamento em relação à resposta modal do próprio patamar, ou seja, a formulação mais frequente entre as vinte repetições de cada nível de carga. Essa definição impôs um teto estrutural de 50% à métrica, pois a resposta modal, por construção, representa ao menos metade das ocorrências de cada patamar. Assim, nos patamares em que a taxa se aproximou desse limite, a instabilidade efetiva pode ter sido superior à registrada, e o valor observado deve ser interpretado como uma estimativa conservadora.
A latência média de inferência apresentou um crescimento praticamente monotônico em função da carga concorrente, passando de 0,165 segundo no lote unitário para 0,371 segundo no patamar de 250 requisições simultâneas. A correlação entre carga e latência média foi extremamente alta, com um coeficiente de Pearson de 0,996. Essa análise foi crucial porque a latência serviu como um indicador operacional da pressão exercida sobre o motor de inferência, demonstrando que o escalonamento experimental efetivamente impôs maior pressão operacional ao sistema. No entanto, a latência, por si só, não representou a causa direta da divergência semântica, mas sim um sintoma da sobrecarga computacional.
Em relação ao uso de memória de vídeo, a telemetria registrou um valor praticamente constante, em torno de 32,58 GB, ao longo de todo o experimento. Contudo, esse resultado não permitiu uma interpretação substantiva, pois o motor de inferência reserva antecipadamente o conjunto de memória para o cache de chaves e valores, conforme a fração configurada de 0,8 da capacidade do dispositivo. O procedimento de medição registrou a memória ocupada no instante da leitura, e não o pico efetivo de utilização interna. A constância observada decorreu, portanto, do próprio desenho da alocação, e não do comportamento do sistema sob carga, o que limita a capacidade de sustentar ou afastar hipóteses relativas ao uso de memória.
A análise textual das 600 respostas geradas reforçou a interpretação de que a degradação não produziu respostas aleatórias, incoerentes ou sintaticamente defeituosas. Foram observadas apenas duas formulações finais: “Inovação digital para processos corporativos.”, com 445 ocorrências, e “Inovação digital para negócios transformados”, com 155 ocorrências. O sistema oscilou entre essas duas saídas plausíveis e bem formadas, um fenômeno denominado biestabilidade semântica. A similaridade de cosseno foi de 100% para a resposta idêntica à referência e de 76,15% para a formulação divergente, indicando uma proximidade semântica considerável, mas com uma alteração de sentido relevante.
Do ponto de vista da engenharia de software, esse resultado é particularmente relevante, pois uma falha desse tipo pode não ser detectada por inspeções superficiais de qualidade textual ou por testes unitários convencionais baseados em comparação literal de cadeias de caracteres. A resposta divergente, embora mantivesse fluidez linguística, alterou o foco semântico de “processos corporativos” para “negócios transformados”, o que pode modificar uma regra de negócio em aplicações que dependem de saídas reprodutíveis. A similaridade média geral de 95,43% agregou dois regimes distintos: um plenamente reprodutível e outro com divergência semântica recorrente, evidenciando que avaliações baseadas apenas em médias agregadas podem ocultar rupturas localizadas de reprodutibilidade.
Os resultados permitiram delimitar com clareza o que foi observado e o que permaneceu no plano da conjectura. Observou-se que o aumento da carga concorrente esteve associado ao crescimento das divergências semânticas, que a latência acompanhou monotonicamente esse aumento e que a degradação assumiu a forma de alternância entre duas saídas bem formadas. Os mecanismos internos responsáveis por essa associação não foram diretamente observados, pois não foram instrumentados. A explicação mais compatível com a configuração documentada envolve a variação da composição efetiva dos lotes processados, decorrente do fracionamento do processamento inicial e do escalonamento assíncrono.
Esses fatores alteram a ordem das operações de redução executadas em paralelo e, sob a mantissa reduzida do formato “bfloat16”, podem acumular microvariações suficientes para inverter a ordenação entre candidatos próximos na etapa de decodificação, as quais são amplificadas pela geração autorregressiva (Kalamkar et al., 2019; Kwon et al., 2023; O’Brien et al., 2024; Yashwanth, 2025). Essa é uma hipótese teoricamente fundamentada e compatível com a literatura, mas não um mecanismo demonstrado diretamente por este estudo, que não contemplou ensaios de ablação nem instrumentação em nível de núcleo de execução. Para a Engenharia de Software e a governança de Inteligência Artificial, o comportamento observado impõe a consequência prática de que a infraestrutura de execução não pode ser tratada como uma camada transparente ao comportamento lógico do modelo, especialmente em arquiteturas corporativas críticas.
Em síntese, a pesquisa demonstrou empiricamente que a fixação de hiperparâmetros lógicos de geração, como temperatura zero e semente fixa, não garante a reprodutibilidade da inferência de LLMs sob carga concorrente. A estabilidade foi observada apenas em baixos níveis de carga, enquanto o aumento da concorrência levou a variações semânticas sutis, mas significativas, que podem impactar a confiabilidade de sistemas corporativos. A degradação manifestou-se como biestabilidade semântica, alternando entre respostas formalmente coerentes, mas com sentidos operacionais distintos. Esse achado reforça que a reprodutibilidade em escala é uma propriedade sistêmica, dependente da interação complexa entre o modelo, o motor de inferência, a precisão numérica, a política de loteamento e a infraestrutura de hardware.
4. Conclusão
O presente estudo objetivou analisar empiricamente a reprodutibilidade da inferência de Modelos de Linguagem de Grande Escala (LLMs) sob diferentes níveis de carga concorrente, investigando o impacto do aumento do “batching” dinâmico na estabilidade semântica das respostas, mesmo com hiperparâmetros de geração controlados. Verificou-se que a estabilidade das respostas foi mantida apenas em baixos patamares de carga. Com o aumento da concorrência, observou-se uma degradação da reprodutibilidade, manifestada por variações semânticas sutis entre respostas formalmente coerentes, um fenômeno denominado biestabilidade semântica. A latência média de inferência cresceu monotonicamente com a carga, indicando a pressão operacional sobre o sistema. A principal contribuição deste trabalho reside em demonstrar que a fixação de parâmetros lógicos de geração, como temperatura zero e semente fixa, não assegura determinismo absoluto em ambientes de inferência de LLMs sob carga. Esse achado é crucial para a engenharia de software e a governança de inteligência artificial, pois revela que a reprodutibilidade em escala é uma propriedade sistêmica, dependente da interação complexa entre o modelo, o motor de inferência, a precisão numérica, a política de loteamento e a infraestrutura de hardware, e não apenas do código da aplicação ou do modelo isoladamente.
Contudo, o delineamento apresentou limitações, como a telemetria de memória de vídeo, que não se mostrou informativa devido ao método de medição, e a ausência de ensaios de ablação, que impediu isolar a contribuição individual de cada mecanismo do motor de inferência. A métrica de divergência, definida em relação à resposta modal, impôs um teto estrutural de 50%, sugerindo que os valores observados podem ser estimativas conservadoras. Além disso, o registro do ambiente experimental não preservou todas as versões de software e o sorteio do comprimento das requisições auxiliares não utilizou semente fixa, afetando a reprodutibilidade integral do experimento. O estudo também se restringiu a um único modelo, arquitetura de acelerador, formato numérico e prompt. Para estudos futuros, recomenda-se a realização de ensaios de ablação com instrumentação em nível de núcleo de execução e a replicação sob outros esquemas de quantização e arquiteturas de silício. Enquanto a indústria não disponibilizar núcleos de inferência estritamente invariantes à composição do lote, a mitigação desse risco exigirá das equipes de desenvolvimento a adoção de camadas de redundância semântica e de auditoria contínua nas aplicações cliente.
Referências Bibliográficas
DAO, T.; FU, D. Y.; ERMON, S.; RUDRA, A.; RÉ, C. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. arXiv preprint arXiv:2205.14135, 2022.
GIL, A. C. Métodos e Técnicas de Pesquisa Social. 7. ed. São Paulo: Atlas, 2019.
KALAMKAR, D.; MUDIGERE, D.; MELLEMPUDI, N.; GEORGANAS, E. et al. A Study of BFLOAT16 for Deep Learning Training. arXiv preprint arXiv:1905.12322, 2019.
KWON, W.; LI, Z.; SHENG, Y.; YU, C.H.; GONZALEZ, J.E. et al. Efficient Memory Management for Large Language Model Serving with PagedAttention. arXiv preprint arXiv:2309.06180, 2023.
LI, B.; LIN, J.; YANG, P.; YAO, J.; ZHANG, Y.; ZHOU, J. Defeating the Training-Inference Mismatch via FP16. arXiv preprint arXiv:2407.13527, 2024.
O’BRIEN, P. D.; SRIDHAR, R.; ANASTASOPOULOS, A.; KUMAR, V. Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference. arXiv preprint arXiv:2407.03112, 2024.
SILVA, C. R. nondeterminism_llm_inference: rotina de coleta e análise de dados do experimento de reprodutibilidade da inferência de LLMs sob carga. Versão v1.0-tcc. Zenodo, 2026. DOI: 10.5281/zenodo.22740542. Disponível em: https://doi.org/10.5281/zenodo.22740542. Acesso em: 14 set. 2026.
VERGARA, S. C. Projetos e Relatórios de Pesquisa em Administração. 16. ed. São Paulo: Atlas, 2016.
YASHWANTH, T. S. On the Structure of Floating-Point Noise in Batch-Invariant GPU Matrix Multiplication. arXiv preprint arXiv:2511.00025, 2025.
YUAN, J.; LI, H.; DING, X.; XIE, W.; LI, Y. J. et al. Give Me FP32 or Give Me Death? Challenges and Solutions for Reproducible Reasoning. arXiv preprint arXiv:2506.09501, 2025.
Artigo oriundo de Trabalho de Conclusão de Curso da Especialização em Data Science e Analytics do MBA USP/Esalq
Para saber mais sobre o curso, clique aqui e acesse a plataforma MBX Academy

