30 de septiembre de 2026
Reproducibilidad de la inferencia de LLMs bajo carga
Reprodutibilidad de la Inferencia de LLMs bajo Carga
Cláudio Rafael da Silva; Anaximandro Anderson Pereira Melo De Souza
DOI: 10.22167/2675-6528-202602788
Artículo derivado de Trabajo de Fin de Curso (TCC), con contenido basado en el trabajo original del estudiante y adaptado al formato editorial de la Revista E&S con el apoyo de la herramienta ResumeAI, una solución de inteligencia artificial desarrollada por el Instituto Pecege para la síntesis y organización textual.
Resumen
La incorporación de Modelos de Lenguaje de Gran Escala, o “Large Language Models” [LLMs], en sistemas corporativos ha ampliado la necesidad de comprender su confiabilidad, sobre todo en contextos en los que las respuestas automatizadas han necesitado ser reproducidas, auditadas y validadas. Se objetivó analizar empíricamente la reproducibilidad de la inferencia de LLMs bajo diferentes niveles de carga concurrente, investigando si el aumento del “batching” dinámico comprometió la estabilidad semántica de las respuestas incluso con temperatura igual a cero, semilla fija y demás parámetros controlados. La investigación, de naturaleza aplicada, exploratoria, descriptiva y cuantitativa, empleó un diseño empírico-experimental. El experimento se llevó a cabo en un entorno computacional controlado, utilizando GPU, motor de inferencia “vLLM”, precisión “bfloat16” y simulación escalonada de solicitudes concurrentes. Se generaron 600 inferencias, distribuidas en 30 niveles de carga con 20 repeticiones cada una, y las respuestas fueron evaluadas por consistencia interna y similitud semántica. Los resultados indicaron que la estabilidad de las respuestas disminuyó con el aumento de la carga concurrente, mostrando que el control de los hiperparámetros de generación no aseguró determinismo absoluto. La degradación se manifestó como una variación semántica sutil entre respuestas formalmente coherentes, y no como una falla explícita del sistema. Se concluyó que la reproducibilidad de LLMs a escala depende no solo del modelo y del “prompt”, sino también de las condiciones físicas y computacionales de la infraestructura de inferencia.
Palabras clave: “Batching” Dinámico; Confiabilidad de Software; Ingeniería de Prompt; “GPU Computing”; Inteligencia Artificial Generativa.
1. Introducción
La creciente incorporación de Modelos de Lenguaje de Gran Escala, o Large Language Models (LLMs), en entornos organizacionales ha transformado la forma en que los sistemas digitales producen, interpretan y automatizan información textual. Si bien estos avances amplían la eficiencia operativa, también introducen desafíos técnicos asociados a la fiabilidad, trazabilidad y previsibilidad de las respuestas generadas. En sistemas basados en inteligencia artificial, especialmente cuando se integran en procesos críticos, la coherencia lingüística no es suficiente; es necesario que el comportamiento del modelo pueda ser probado, auditado y reproducido bajo condiciones controladas (O’Brien et al., 2024; Yuan et al., 2025).
En las arquitecturas actuales, los LLM se ejecutan sobre infraestructuras computacionales de alto rendimiento, generalmente respaldadas por unidades de procesamiento gráfico (GPU), bibliotecas de tensores y motores de inferencia optimizados. Esta infraestructura permite procesar grandes volúmenes de solicitudes simultáneas, pero también introduce factores físicos y matemáticos que pueden interferir en el comportamiento lógico percibido por el usuario. La literatura reciente ha demostrado que la inferencia de LLM no solo depende del prompt y de los hiperparámetros definidos por el desarrollador, sino también de la precisión numérica, la asignación de memoria, el orden de las operaciones matriciales y los mecanismos de agrupación dinámica de solicitudes (Kalamkar et al., 2019; Kwon et al., 2023). Por lo tanto, la fiabilidad de estos sistemas debe analizarse de forma integrada, considerando tanto la capa algorítmica como la capa de infraestructura.
En condiciones ideales, se espera que un modelo configurado con parámetros determinísticos, como temperatura igual a cero y semilla fija, produzca la misma respuesta ante un mismo prompt. Esta expectativa es relevante para pruebas de regresión, depuración de sistemas, validación de filtros de seguridad y auditoría de respuestas automatizadas. Sin embargo, investigaciones recientes han indicado que esta estabilidad no está plenamente garantizada en entornos reales de inferencia. Incluso cuando los parámetros lógicos permanecen constantes, pueden ocurrir pequeñas variaciones numéricas durante la ejecución del modelo y, en determinadas condiciones, pueden ser amplificadas a lo largo del proceso de decodificación, generando respuestas semánticamente distintas (O’Brien et al., 2024; Yuan et al., 2025). La explicación técnica de este fenómeno está relacionada, en parte, con la aritmética de punto flotante, donde las operaciones numéricas realizadas en computadoras, sobre todo con formatos de precisión reducida como bfloat16, no obedecen perfectamente a las propiedades matemáticas abstractas. En cálculos matriciales ejecutados en GPU, el orden de las sumas y multiplicaciones puede variar según la distribución de la carga entre los núcleos de procesamiento, lo que produce pequeñas diferencias en los resultados intermedios (Kalamkar et al., 2019).
Además de la precisión numérica, la gestión de la memoria también juega un papel importante en la estabilidad de las inferencias. Los motores de inferencia modernos, como vLLM, utilizan técnicas de optimización para aumentar el rendimiento de las respuestas en escenarios con múltiples solicitudes simultáneas. Entre estas técnicas, destaca PagedAttention, que reorganiza el uso de la caché de claves y valores para reducir el desperdicio de memoria y permitir un mayor número de conexiones concurrentes (Kwon et al., 2023). Si bien estas soluciones son esenciales para posibilitar la operación de LLMs a escala, también modifican la forma en que los cálculos se distribuyen y ejecutan en el hardware, especialmente cuando el sistema utiliza batching dinámico para agrupar solicitudes de diferentes tamaños. La eficiencia computacional de los modelos, como lo demuestra FlashAttention (Dao et al., 2022), depende en gran medida de la forma en que los datos se mueven entre los niveles de memoria de la GPU, lo que evidencia que la inferencia de LLMs es un fenómeno computacional condicionado por la arquitectura física, la precisión numérica, el paralelismo y la gestión de memoria.
La inestabilidad numérica observada en aceleradores gráficos no constituye un fenómeno reciente, pero su manifestación en la inferencia de LLMs afecta directamente al usuario final. En contextos de ingeniería de software, donde los LLMs producen fragmentos de programa, correcciones o configuraciones de infraestructura, la variación silenciosa entre ejecuciones deja de ser solo ruido estadístico y se convierte en un riesgo de cadena de suministro de software, ya que artefactos distintos pueden ser incorporados a repositorios a partir de solicitudes idénticas. Este riesgo se agrava por el hecho de que las diferencias tienden a preservar la validez sintáctica, escapando a las verificaciones automatizadas habituales. La literatura reciente sobre la incompatibilidad entre la precisión de entrenamiento y de inferencia refuerza cómo la elección del formato numérico influye directamente en la estabilidad del comportamiento observado (Li et al., 2024; Yuan et al., 2025). La justificación de este trabajo surgió de la brecha entre la expectativa práctica de determinismo y el comportamiento efectivamente observado en sistemas de producción, donde variaciones aparentemente pequeñas pueden comprometer pruebas automatizadas, auditorías, validaciones de seguridad y procesos de toma de decisiones basados en respuestas de LLMs, sin manifestarse como un error evidente, sino como una alteración semántica sutil.
La premisa operativa ampliamente asumida en la práctica profesional, según la cual la fijación de una temperatura igual a cero sería suficiente para asegurar salidas idénticas, carece de garantía formal de los motores de inferencia en producción bajo agrupamiento dinámico de solicitudes. Comprender y cuantificar el nivel de carga a partir del cual esta premisa no se sostiene y caracterizar el modo de fallo correspondiente es crucial para la ingeniería de software y la gobernanza de inteligencia artificial, ya que la reproducibilidad a escala es una propiedad sistémica, dependiente de la interacción entre modelo, motor de inferencia, precisión numérica, política de lotes y infraestructura de hardware. Ante este contexto, el objetivo de este trabajo fue analizar empíricamente la reproducibilidad de la inferencia de LLMs bajo diferentes niveles de carga concurrente, investigando si el aumento del tamaño de los lotes dinámicos en un entorno con GPU y precisión bfloat16 produjo variaciones semánticas en las respuestas, incluso con temperatura igual a cero, semilla fija y demás parámetros de inferencia controlados.
2. Material y Métodos
La investigación se caracterizó, por su naturaleza, como aplicada, ya que buscó comprender un problema técnico concreto relacionado con la reproducibilidad de la inferencia en Modelos de Lenguaje de Gran Escala (LLMs) bajo alta carga computacional. El estudio no se limitó a la discusión teórica del no determinismo, sino que procuró producir evidencia empírica para apoyar decisiones prácticas en ingeniería de software, gobernanza de inteligencia artificial y validación de sistemas basados en modelos generativos (Gil, 2019; Vergara, 2016).
En cuanto a los objetivos, el estudio asumió un carácter exploratorio y descriptivo. Fue exploratorio porque investigó un fenómeno aún reciente en la literatura aplicada, relacionado con la posibilidad de variación semántica en inferencias de LLMs incluso cuando los parámetros lógicos de generación permanecieron controlados. Fue descriptivo porque registró, midió y analizó el comportamiento de las respuestas generadas bajo diferentes niveles de carga concurrente, permitiendo observar patrones de estabilidad y degradación semántica (Gil, 2019; Vergara, 2016).
El enfoque metodológico adoptado fue cuantitativo, con apoyo interpretativo cualitativo en el análisis de las respuestas generadas. La dimensión cuantitativa se produjo mediante la medición de la consistencia interna, la similitud semántica y la variación de las respuestas a lo largo de los diferentes niveles de carga. La dimensión cualitativa se utilizó para interpretar el significado de los cambios textuales observados, especialmente cuando las respuestas se mantuvieron formalmente coherentes, pero presentaron un cambio de sentido relevante.
El diseño metodológico correspondió a un experimento computacional controlado, estructurado mediante simulación de carga escalonada. Se optó por este diseño para manipular directamente la variable independiente, representada por el tamaño del lote de solicitudes concurrentes, y observar sus efectos sobre la variable dependiente, que fue la degradación de la reproducibilidad semántica. Los datos se obtuvieron directamente mediante ejecución experimental en un entorno computacional controlado, sin involucrar a encuestados humanos ni muestreo de participantes.
El experimento se llevó a cabo en un entorno de computación en la nube, utilizando “Google Colab Pro” como plataforma operativa y una unidad de procesamiento gráfico (GPU) “NVIDIA A100” como acelerador principal. Esta infraestructura permitió simular condiciones de inferencia bajo alta carga y observar el comportamiento del modelo en un escenario de concurrencia computacional. El motor de inferencia utilizado fue “vLLM”, con el modelo “Qwen2.5-7B-Instruct”, ejecutado en precisión “bfloat16”.
La configuración experimental reprodujo una arquitectura típica de atención eficiente a LLMs, en la cual la optimización de memoria y el agrupamiento dinámico de solicitudes se emplean para ampliar el caudal de procesamiento. Esta elección fue sustentada por estudios que discuten los efectos de la precisión reducida, la gestión eficiente de memoria y las fuentes numéricas de no determinismo en inferencia (Kalamkar et al., 2019; Kwon et al., 2023; O’Brien et al., 2024).
La arquitectura experimental se compuso de diversas capas. En la capa física, se utilizó la GPU “NVIDIA A100” de 40 GB, cuyos núcleos tensoriales ejecutaron operaciones matriciales en precisión reducida. Sobre ella operaron el entorno de ejecución “CUDA” y la biblioteca “PyTorch”, responsables de la asignación de memoria y del despacho de los núcleos de ejecución.
La siguiente capa correspondió al motor de inferencia “vLLM” (versión 0.19.1), que empleó tres mecanismos principales: el “PagedAttention”, que fragmenta la caché de claves y valores en bloques de tamaño fijo; el “chunked prefill”, que limita la cantidad de “tokens” procesados en cada paso de planificación a 8.192; y el escalado asíncrono, que superpone la preparación del siguiente lote en CPU a la ejecución del lote corriente en GPU (Kwon et al., 2023).
Estos mecanismos fueron relevantes porque la composición efectiva de cada lote procesado dependió del estado del planificador en el instante de la ejecución, y no solo del conjunto de solicitudes enviadas. Por encima del motor, se situó el modelo “Qwen2.5-7B-Instruct”, ejecutado en precisión “bfloat16”. En una capa separada, operó la instrumentación de telemetría y el subsistema de evaluación semántica, este último basado en el modelo “all-MiniLM-L6-v2” de la biblioteca “Sentence Transformers”.
Los parámetros de instanciación del motor comprendieron precisión “bfloat16″, ventana de contexto limitada a 1.024 “tokens”, fracción de memoria de vídeo reservada de 0,8, ejecución en proceso único y captura de grafos de ejecución habilitada. Los parámetros de muestreo del modelo fueron configurados con temperatura igual a cero, “Top-P” igual a uno, semilla fijada en 42 y límite de generación de diez “tokens”.
La elección de la precisión “bfloat16” fue una decisión técnica directamente implicada en el fenómeno investigado. Este formato preserva los ocho bits de exponente del “fp32”, manteniendo el mismo rango dinámico de representación, pero reduce la mantisa a siete bits explícitos. En términos de resolución relativa, el “bfloat16” resultó ser aproximadamente ocho veces más burdo que el “fp16” y cerca de sesenta y cinco mil veces más burdo que el “fp32” (Kalamkar et al., 2019; Li et al., 2024).
Esta característica no representó una fragilidad del diseño, sino una condición deliberada de observación, ya que el formato “bfloat16” es estándar en la atención de producción. La adopción de este formato preservó la validez ecológica del experimento y lo situó en la configuración en la que las microvariaciones numéricas tienen mayor probabilidad de hacerse observables. La utilización de “fp32” sería inviable debido al presupuesto de memoria disponible para el modelo de siete mil millones de parámetros.
Las variables de control se definieron para reducir las interferencias externas y aislar el efecto de la carga concurrente. Se mantuvieron constantes los principales hiperparámetros de generación, el modelo, el prompt de control, el entorno de ejecución y el formato de precisión numérica. La variable independiente fue el tamaño del lote dinámico de solicitudes, variando en diferentes niveles de carga hasta el límite de 250 solicitudes concurrentes.
La variable dependiente fue la pérdida de reproducibilidad, observada a través de la dispersión de las respuestas y la similitud semántica entre las salidas obtenidas. La recopilación de datos se realizó mediante un “script” en lenguaje Python desarrollado específicamente para automatizar el experimento. En cada ronda, se envió un “prompt” de control al modelo junto con solicitudes adicionales de llenado, destinadas a ocupar el lote y elevar la concurrencia efectiva sobre el motor de inferencia.
Las solicitudes auxiliares se construyeron a partir de un mismo texto base, replicado para componer el volumen correspondiente a cada nivel de carga, con una longitud equivalente entre sí. El límite de generación se fijó en diez “tokens” para todas las solicitudes. En total, se generaron 600 inferencias, distribuidas en 30 niveles de carga, con 20 repeticiones independientes en cada nivel.
El “notebook” utilizado en la recolección, que contiene la instanciación del motor, el “prompt” de control, el bucle de escalonamiento de carga y las rutinas de evaluación semántica, fue puesto a disposición en un repositorio público bajo licencia Apache 2.0 y archivado bajo identificador digital persistente, permitiendo la replicación integral del procedimiento (Silva, 2026).
Para reducir los riesgos de contaminación entre ejecuciones, se invocó la rutina de liberación de caché del asignador al final de cada iteración. Se implementó persistencia continua de los resultados, almacenando cada respuesta generada con sus metadados operativos, incluyendo tamaño del lote, número de iteración y registro temporal de la ejecución. Este procedimiento fortaleció la trazabilidad del experimento y permitió la posterior verificación de la base bruta.
El análisis de los datos se realizó en dos etapas. En la primera, se evaluó la consistencia interna de las respuestas en cada nivel de carga, verificando si el modelo produjo respuestas idénticas o semánticamente divergentes. En la segunda etapa, las respuestas se transformaron en representaciones vectoriales mediante el modelo “all-MiniLM-L6-v2″, de la biblioteca “SentenceTransformers”, permitiendo calcular la similitud del coseno entre los textos generados.
La similitud de coseno se utilizó por ser una métrica ampliamente aplicada en Procesamiento de Lenguaje Natural para comparar la proximidad semántica entre vectores textuales. La interpretación de los resultados consideró que la ruptura de la reproducibilidad no debía analizarse solo como una diferencia literal entre cadenas de caracteres, sino también como una alteración semántica con potencial impacto operativo.
El análisis combinó la frecuencia de respuestas distintas, la similitud semántica y la inspección cualitativa de las principales variaciones observadas. Esta triangulación analítica permitió evaluar si la inestabilidad generada bajo carga representó solo una variación superficial de redacción o una alteración semántica efectiva con potencial impacto en sistemas corporativos.
De esta forma, el recorrido metodológico adoptado permitió probar empíricamente la hipótesis de que el aumento de la carga concurrente, mediado por el “batching” dinámico y por la reorganización de las operaciones en GPU, podría comprometer la reproducibilidad de inferencias incluso bajo temperatura igual a cero. La estructura experimental se mostró coherente con el objetivo del trabajo, ya que mantuvo controlados los parámetros lógicos de generación y concentró el análisis en la influencia de la infraestructura computacional sobre la estabilidad de las respuestas.
3. Resultados y Discusión
El análisis de los resultados se realizó a partir de una base de 600 inferencias, generadas en 30 niveles distintos de carga concurrente, con 20 repeticiones independientes para cada nivel. El estudio se centró en cuatro dimensiones principales: la estabilidad textual de las respuestas, la similitud semántica evaluada por coseno, la latencia media de inferencia y el uso de memoria de video (VRAM). El objetivo central fue verificar si la configuración lógica de inferencia determinista, que incluía temperatura igual a cero y semilla fija, sería suficiente para garantizar la reproducibilidad bajo diferentes niveles de carga. Los hallazgos indicaron que la estabilidad inicial se mantuvo solo en los primeros niveles, mientras que el aumento de la concurrencia elevó la probabilidad de divergencias semánticas. Es importante notar que la dimensión referente al uso de memoria de video no resultó informativa debido al método de medición empleado, por lo que las conclusiones se basaron en las tres primeras dimensiones.
Los datos consolidados revelaron que los seis primeros niveles de carga, que correspondieron a un intervalo de 1 a 43 solicitudes simultáneas, presentaron un 100% de similitud media y produjeron una única respuesta textual. Este período se caracterizó como estabilidad inicial, donde el comportamiento del modelo fue plenamente determinista. Sin embargo, a partir de 52 solicitudes, se observó la primera ruptura de consistencia, con un 5% de divergencias en el nivel inicial de esta nueva franja de carga, y un aumento abrupto a un 45% en 61 solicitudes. Esta transición no siguió un patrón lineal simple, indicando una sensibilidad específica del sistema a la carga concurrente.
Entre 86 y 112 solicitudes, el sistema demostró una readaptación temporal, volviendo a un estado de estabilidad donde no se registraron divergencias. Sin embargo, la inestabilidad se volvió persistente a partir de 121 solicitudes, con la proporción media de divergencias alcanzando el 30,9% y llegando al 50% en el nivel máximo de 250 solicitudes simultáneas. Esta dinámica sugiere que la pérdida de reproducibilidad no se debió a una única falla determinista, sino a una zona de inestabilidad sensible a la forma en que el lote dinámico fue organizado por el motor de inferencia, como se discute en Kwon et al. (2023).
La evolución de la tasa de divergencias semánticas en función del aumento de la carga concurrente reveló un patrón de inestabilidad intermitente hasta 112 solicitudes, que se volvió persistente después de 121 solicitudes. La ausencia de divergencias en los niveles iniciales confirmó que el modelo, con baja carga, reprodujo la misma salida. Sin embargo, la presencia de respuestas divergentes en cargas intermedias y altas indicó que la reproducibilidad se vio comprometida por la presión sistémica del procesamiento concurrente. La correlación de Pearson entre la carga y el porcentaje de divergencias fue de 0,741, un valor positivo y elevado, lo que sugiere una fuerte asociación entre el aumento de las solicitudes simultáneas y el crecimiento de la inestabilidad semántica.
Este hallazgo está en consonancia con la literatura técnica sobre inferencia en Modelos de Lenguaje de Gran Escala, que señala cómo el uso de “batching” dinámico y la atención paginada pueden modificar el ordenamiento operacional de los cálculos en GPU. Esto es particularmente relevante cuando hay tensores en baja precisión y la programación redistribuye las solicitudes entre pasos sucesivos (Kwon et al., 2023; O’Brien et al., 2024). La divergencia se operacionalizó como el alejamiento respecto a la respuesta modal del propio nivel, es decir, la formulación más frecuente entre las veinte repeticiones de cada nivel de carga. Esta definición impuso un techo estructural del 50% a la métrica, ya que la respuesta modal, por construcción, representa al menos la mitad de las ocurrencias de cada nivel. Así, en los niveles en que la tasa se aproximó a este límite, la inestabilidad efectiva pudo haber sido superior a la registrada, y el valor observado debe interpretarse como una estimación conservadora.
La latencia media de inferencia presentó un crecimiento prácticamente monotónico en función de la carga concurrente, pasando de 0,165 segundos en el lote unitario a 0,371 segundos en el nivel de 250 solicitudes simultáneas. La correlación entre carga y latencia media fue extremadamente alta, con un coeficiente de Pearson de 0,996. Este análisis fue crucial porque la latencia sirvió como un indicador operacional de la presión ejercida sobre el motor de inferencia, demostrando que el escalamiento experimental efectivamente impuso mayor presión operacional al sistema. Sin embargo, la latencia, por sí sola, no representó la causa directa de la divergencia semántica, sino más bien un síntoma de la sobrecarga computacional.
En cuanto al uso de memoria de vídeo, la telemetría registró un valor prácticamente constante, en torno a 32,58 GB, a lo largo de todo el experimento. Sin embargo, este resultado no permitió una interpretación sustantiva, ya que el motor de inferencia reserva de antemano el conjunto de memoria para la caché de claves y valores, conforme a la fracción configurada de 0,8 de la capacidad del dispositivo. El procedimiento de medición registró la memoria ocupada en el instante de la lectura, y no el pico efectivo de utilización interna. La constancia observada provino, por lo tanto, del propio diseño de la asignación, y no del comportamiento del sistema bajo carga, lo que limita la capacidad de sostener o descartar hipótesis relativas al uso de memoria.
El análisis textual de las 600 respuestas generadas reforzó la interpretación de que la degradación no produjo respuestas aleatorias, incoherentes o sintácticamente defectuosas. Solo se observaron dos formulaciones finales: “Innovación digital para procesos corporativos”, con 445 ocurrencias, y “Innovación digital para negocios transformados”, con 155 ocurrencias. El sistema osciló entre estas dos salidas plausibles y bien formadas, un fenómeno denominado biestabilidad semántica. La similitud de coseno fue del 100% para la respuesta idéntica a la referencia y del 76,15% para la formulación divergente, lo que indica una proximidad semántica considerable, pero con una alteración de sentido relevante.
Desde el punto de vista de la ingeniería de software, este resultado es particularmente relevante, ya que un fallo de este tipo puede no ser detectado por inspecciones superficiales de calidad textual o por pruebas unitarias convencionales basadas en la comparación literal de cadenas de caracteres. La respuesta divergente, aunque mantuvo fluidez lingüística, alteró el enfoque semántico de “procesos corporativos” a “negocios transformados”, lo que puede modificar una regla de negocio en aplicaciones que dependen de salidas reproducibles. La similitud media general del 95,43% agregó dos regímenes distintos: uno plenamente reproducible y otro con divergencia semántica recurrente, evidenciando que evaluaciones basadas solo en medias agregadas pueden ocultar rupturas localizadas de reproducibilidad.
Los resultados permitieron delimitar con claridad lo que se observó y lo que permaneció en el plano de la conjetura. Se observó que el aumento de la carga concurrente estuvo asociado al crecimiento de las divergencias semánticas, que la latencia acompañó monótonamente este aumento y que la degradación asumió la forma de alternancia entre dos salidas bien formadas. Los mecanismos internos responsables de esta asociación no fueron directamente observados, ya que no fueron instrumentados. La explicación más compatible con la configuración documentada involucra la variación de la composición efectiva de los lotes procesados, derivada del fraccionamiento del procesamiento inicial y del escalonamiento asíncrono.
Estos factores alteran el orden de las operaciones de reducción ejecutadas en paralelo y, bajo la mantisa reducida del formato “bfloat16”, pueden acumular microvariaciones suficientes para invertir la ordenación entre candidatos cercanos en la etapa de decodificación, las cuales son amplificadas por la generación autorregresiva (Kalamkar et al., 2019; Kwon et al., 2023; O’Brien et al., 2024; Yashwanth, 2025). Esta es una hipótesis teóricamente fundamentada y compatible con la literatura, pero no un mecanismo demostrado directamente por este estudio, que no contempló ensayos de ablación ni instrumentación a nivel de núcleo de ejecución. Para la Ingeniería de Software y la gobernanza de Inteligencia Artificial, el comportamiento observado impone la consecuencia práctica de que la infraestructura de ejecución no puede ser tratada como una capa transparente al comportamiento lógico del modelo, especialmente en arquitecturas corporativas críticas.
En resumen, la investigación demostró empíricamente que la fijación de hiperparámetros lógicos de generación, como temperatura cero y semilla fija, no garantiza la reproducibilidad de la inferencia de LLMs bajo carga concurrente. La estabilidad se observó solo en bajos niveles de carga, mientras que el aumento de la concurrencia llevó a variaciones semánticas sutiles pero significativas, que pueden impactar la confiabilidad de sistemas corporativos. La degradación se manifestó como biestabilidad semántica, alternando entre respuestas formalmente coherentes, pero con sentidos operacionales distintos. Este hallazgo refuerza que la reproducibilidad a escala es una propiedad sistémica, dependiente de la interacción compleja entre el modelo, el motor de inferencia, la precisión numérica, la política de lotes y la infraestructura de hardware.
4. Conclusión
El presente estudio tuvo como objetivo analizar empíricamente la reproducibilidad de la inferencia de Modelos de Lenguaje Grandes (LLMs) bajo diferentes niveles de carga concurrente, investigando el impacto del aumento del “batching” dinámico en la estabilidad semántica de las respuestas, incluso con hiperparámetros de generación controlados. Se observó que la estabilidad de las respuestas se mantuvo solo en bajos niveles de carga. Con el aumento de la concurrencia, se observó una degradación de la reproducibilidad, manifestada por variaciones semánticas sutiles entre respuestas formalmente coherentes, un fenómeno denominado biestabilidad semántica. La latencia media de inferencia creció monótonamente con la carga, indicando la presión operacional sobre el sistema. La principal contribución de este trabajo reside en demostrar que la fijación de parámetros lógicos de generación, como temperatura cero y semilla fija, no asegura determinismo absoluto en entornos de inferencia de LLMs bajo carga. Este hallazgo es crucial para la ingeniería de software y la gobernanza de inteligencia artificial, ya que revela que la reproducibilidad a escala es una propiedad sistémica, dependiente de la interacción compleja entre el modelo, el motor de inferencia, la precisión numérica, la política de lotes y la infraestructura de hardware, y no solo del código de la aplicación o del modelo de forma aislada.
Sin embargo, el diseño presentó limitaciones, como la telemetría de memoria de video, que no resultó informativa debido al método de medición, y la ausencia de ensayos de ablación, que impidió aislar la contribución individual de cada mecanismo del motor de inferencia. La métrica de divergencia, definida en relación con la respuesta modal, impuso un techo estructural del 50%, sugiriendo que los valores observados pueden ser estimaciones conservadoras. Además, el registro del entorno experimental no conservó todas las versiones de software y el sorteo de la longitud de las solicitudes auxiliares no utilizó una semilla fija, afectando la reproducibilidad integral del experimento. El estudio también se restringió a un único modelo, arquitectura de acelerador, formato numérico y prompt. Para estudios futuros, se recomienda la realización de ensayos de ablación con instrumentación a nivel de núcleo de ejecución y la replicación bajo otros esquemas de cuantización y arquitecturas de silicio. Mientras la industria no ofrezca núcleos de inferencia estrictamente invariantes a la composición del lote, la mitigación de este riesgo requerirá de los equipos de desarrollo la adopción de capas de redundancia semántica y de auditoría continua en las aplicaciones cliente.
Referencias Bibliográficas
DAO, T.; FU, D. Y.; ERMON, S.; RUDRA, A.; RÉ, C. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. arXiv preprint arXiv:2205.14135, 2022.
GIL, A. C. Métodos e Técnicas de Pesquisa Social. 7. ed. São Paulo: Atlas, 2019.
KALAMKAR, D.; MUDIGERE, D.; MELLEMPUDI, N.; GEORGANAS, E. et al. A Study of BFLOAT16 for Deep Learning Training. arXiv preprint arXiv:1905.12322, 2019.
KWON, W.; LI, Z.; SHENG, Y.; YU, C.H.; GONZALEZ, J.E. et al. Efficient Memory Management for Large Language Model Serving with PagedAttention. arXiv preprint arXiv:2309.06180, 2023.
LI, B.; LIN, J.; YANG, P.; YAO, J.; ZHANG, Y.; ZHOU, J. Defeating the Training-Inference Mismatch via FP16. arXiv preprint arXiv:2407.13527, 2024.
O’BRIEN, P. D.; SRIDHAR, R.; ANASTASOPOULOS, A.; KUMAR, V. Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference. arXiv preprint arXiv:2407.03112, 2024.
SILVA, C. R. nondeterminism_llm_inference: rotina de coleta e análise de dados do experimento de reprodutibilidade da inferência de LLMs sob carga. Versão v1.0-tcc. Zenodo, 2026. DOI: 10.5281/zenodo.22740542. Disponível em: https://doi.org/10.5281/zenodo.22740542. Acesso em: 14 set. 2026.
VERGARA, S. C. Projetos e Relatórios de Pesquisa em Administração. 16. ed. São Paulo: Atlas, 2016.
YASHWANTH, T. S. On the Structure of Floating-Point Noise in Batch-Invariant GPU Matrix Multiplication. arXiv preprint arXiv:2511.00025, 2025.
YUAN, J.; LI, H.; DING, X.; XIE, W.; LI, Y. J. et al. Give Me FP32 or Give Me Death? Challenges and Solutions for Reproducible Reasoning. arXiv preprint arXiv:2506.09501, 2025.
Artículo originario del Trabajo de Conclusión de Curso de la Especialización en Data Science y Analytics del MBA USP/Esalq
Para saber más sobre el curso, haga clic aquí y acceda a la plataforma MBX Academy