Artículo

16 de septiembre de 2026

Evaluación de Metodologías de Recuperación Aumentada por Generación (Rag) en la Construcción de Agentes Generativos

Matheus Pinheiro Leopoldino; Anna Carolina Martins

DOI: 10.22167/2675-6528-202602280

Artículo derivado de Trabajo de Fin de Curso (TCC), con contenido basado en el trabajo original del estudiante y adaptado al formato editorial de la Revista E&S con el apoyo de la herramienta ResumeAI, una solución de inteligencia artificial desarrollada por el Instituto Pecege para la síntesis y organización textual.

Resumen

El avance reciente de los modelos de lenguaje de gran tamaño ha impulsado el uso de agentes generativos en contextos corporativos, pero persistieron limitaciones de fidelidad factual y dependencia de conocimiento genérico. Las arquitecturas de Generación Aumentada por Recuperación (RAG) surgieron como solución para integrar bases de conocimiento externas. El estudio evaluó comparativamente diferentes metodologías de RAG aplicadas a la construcción de agentes generativos orientados a la atención automatizada de preguntas frecuentes. Para ello, se implementaron cinco arquitecturas distintas de RAG –clásica, con re-ranker, multi-hop, jerárquica y basada en agentes– sobre una base de conocimiento común y se evaluaron bajo condiciones controladas. La evaluación consideró métricas de fidelidad al contexto, relevancia de la respuesta, latencia y uso de tokens, utilizando juicios automatizados mediante el enfoque LLM-as-a-judge. Los resultados evidenciaron trade-offs estructurales entre calidad de las respuestas, costo computacional y tiempo de respuesta, indicando la ausencia de un enfoque universalmente superior. Notablemente, el método jerárquico ofreció el mejor compromiso entre rendimiento y costo computacional. Como contribución, la investigación ofreció un análisis comparativo sistemático que apoya decisiones técnicas y arquitectónicas en el diseño de agentes generativos basados en RAG para aplicaciones empresariales.

Palabras clave: Arquitectura; LLM; LLM-as-a-Judge; Recuperación.

1. Introducción

La evolución de los Modelos de Lenguaje Grandes (LLMs) ha transformado la interacción humana con sistemas computacionales, impulsando el desarrollo de agentes generativos en diversos contextos, notablemente en el entorno corporativo. Estos agentes están diseñados para simular la interacción textual humana y ejecutar comportamientos dirigidos a objetivos específicos, utilizando herramientas complementarias que les confieren autonomía (Park et al., 2023). Esta capacidad ha generado un valor significativo para empresas e individuos (Godbole et al., 2024; Yu et al., 2025; Manda, 2025; Borishetty et al., 2025).

En el sector de atención al cliente, la implementación de agentes generativos basados en LLMs ha sido adoptada como una alternativa eficaz para optimizar operaciones. Un estudio de caso en una empresa con cinco mil empleados demostró una reducción del 37,5% en el número de solicitudes de soporte tras la introducción de una solución de atención basada en inteligencia artificial generativa (Al-Osaimi et al., 2025). Esta aplicación tiene como objetivo disminuir los trasbordos a equipos humanos de nivel uno, al mismo tiempo que eleva la calidad y la consistencia de las respuestas proporcionadas a los usuarios.

Sin embargo, a pesar del potencial, los LLM enfrentan desafíos significativos, especialmente en dominios específicos. Uno de los principales problemas reside en la fidelidad factual de las respuestas y en la dependencia de conocimiento genérico obtenido durante el preentrenamiento, lo que puede resultar en información desactualizada o imprecisa para contextos de negocio que exigen conocimiento interno específico (Genesis, 2025). Esta limitación impide que los modelos proporcionen respuestas precisas a preguntas que demandan datos corporativos o especializados.

Para superar estas deficiencias, las arquitecturas de Recuperación Aumentada por Generación (RAG) emergen como una solución prometedora. La RAG combina mecanismos de búsqueda con modelos generativos, permitiendo la integración de bases de conocimiento externas al proceso de generación de respuestas. Este enfoque mejora el anclaje factual de las respuestas y facilita la adaptación a bases de conocimiento específicas, lo cual es crucial en entornos de soporte con alto volumen de preguntas que dependen de una base de conocimiento interna preestablecida (Gupta et al., 2024; Genesis, 2025).

A pesar de la eficacia de RAG, la construcción de estos sistemas implica la elección entre diversas estrategias, cada una con sus propios compromisos en términos de precisión, latencia y costo computacional (Genesis y Keane, 2025; Brontes et al., 2025). La proliferación de nuevas técnicas y la escasez de evaluaciones comparativas sistemáticas dificultan la toma de decisiones arquitectónicas fundamentadas para la construcción de agentes generativos. Esta brecha en el marco científico impide la selección de la metodología más adecuada para diferentes escenarios de aplicación.

Ante este escenario, la presente investigación se justifica por la necesidad de un análisis comparativo sistemático que pueda respaldar decisiones técnicas y arquitectónicas en el diseño de agentes generativos basados en RAG para aplicaciones empresariales. Con ello, el objetivo del trabajo es evaluar el rendimiento de diferentes metodologías de RAG aplicadas a la construcción de agentes generativos orientados a la atención automatizada de preguntas frecuentes, comparándolas a partir de las métricas faithfulness, latencia en la generación de las respuestas, uso de tokens, answer relevancy y context relevancy, buscando encontrar metodologías que ofrezcan un mejor costo-beneficio en cuanto a robustez técnica, costo operacional y calidad de las respuestas finales.

2. Material y Métodos

La investigación adoptada es de naturaleza aplicada y exploratoria, con el objetivo de comprender el funcionamiento de diferentes metodologías de Recuperación Aumentada por Generación (RAG) a través de la construcción de un algoritmo. El estudio se dividió en cuatro fases principales, como se ilustra en la Figura 1, con etapas realizadas múltiples veces para comparar las metodologías de RAG.

Figura 1. Pasos del proceso metodológico para la evaluación de múltiples metodologías de RAG.

Fuente: Resultados originales de la investigación

La ejecución de la investigación utilizó un entorno computacional configurado en Python, empleando bibliotecas como CrewAI para la construcción de agentes generativos y la reproducibilidad de los experimentos. Las bibliotecas utilizadas y sus roles se detallan en la Tabla 1.

Tabla 1. Bibliotecas utilizadas en el estudio

BibliotecaVersiónPapel en el estudio
openai1.0.0Interfaz con modelos (LLM y “embeddings”) provistos por OpenAI vía API.
antrópico0.34.0Interfaz con modelos de LLM provistos por Anthropic vía API.
crewai0.28.0Marco” agêntico utilizado.
faiss-cpu1.7.4Indexación y búsqueda vectorial de los “embeddings” de la base de conocimiento.
numpy1.24Manipulación y almacenamiento de los vectores numéricos generados por el modelo de “embeddings”.
pandas2.0Lectura, organización y almacenamiento de los datos experimentales.

Fuente: Resultados originales de la investigación

El estudio, que maneja datos no estructurados (textos), realizó análisis cualitativos escalados a través de modelos de lenguaje, utilizados tanto en la generación como en la evaluación automatizada de las respuestas.

La base de conocimiento se construyó a partir del Manual de Instrucciones y Normas para Trabajos de Conclusión de Curso de la ESALQ/USP, en formato PDF. De este documento, se extrajeron y segmentaron 200 fragmentos textuales utilizando el modelo multimodal openai-gpt-5.2, a través de la plataforma “web”, con instrucciones estandarizadas para identificar unidades textuales semánticamente coherentes y mitigar sesgos. El “prompt” incluía un patrón de retorno combinado de pregunta y respuesta.

Después de la extracción, los fragmentos fueron reclasificados por un LLM en categorías inducidas de forma no supervisada, como Concepto, Proceso, Evaluación, Orientación, Proyecto de investigación, Metodología, Ética, Formato, Referencias, Figuras/tablas, Análisis, Conclusión, Resultados preliminares, TFG final, Defensa, Envío, Elementos pre-textuales, Elementos post-textuales, Apéndices, Citas, Post-defensa, Pruebas, Reconocimiento y Recursos.

El contenido de la base de conocimiento se transformó en vectores numéricos (“snippets”) utilizando el modelo text-embedding-3-small de OpenAI. Estos vectores se convirtieron a “float32” y se organizaron en un “array” de NumPy.

Se construyó un índice vectorial con FAISS, utilizando la estructura IndexFlatL2 para la similitud por distancia euclidiana (L2). El índice se pobló con los “embeddings” generados y se persistió en disco, manteniendo el mapeo entre la posición en el índice y el registro textual.

La recuperación vectorial base, común a todas las metodologías evaluadas, se implementó de forma determinista. Las consultas se convertían en vectores numéricos por el mismo modelo y se buscaban en el índice FAISS, devolviendo los 5 mejores resultados (“snippets”) por “Búsqueda de Vecinos Más Cercanos” (“Nearest Neighbor Search”).

Para evaluar las metodologías RAG, se generaron 200 preguntas con el modelo gemini-3-flash (a través de la plataforma “web”), a diferencia del modelo de creación de la base de conocimiento para evitar sesgos. Las preguntas se dividieron equitativamente en cuatro grupos, según la Tabla 2, para evaluar diferentes niveles de dependencia del mecanismo de recuperación.

Tabla 2. Clasificaciones de preguntas creadas para evaluación

ClasificaciónDefiniciónEjemplo
Completamente relacionadas – “single-snippet”Preguntas cuya respuesta puede ser obtenida íntegramente a partir de un único fragmento recuperado de la base de conocimiento.¿El TCC se puede realizar en grupo?
Completamente relacionadas – “multi-snippet”Preguntas cuya respuesta exige la combinación de dos o más fragmentos recuperados de la base de conocimiento.¿Cuál es el peso del TCC en la media final y cómo la reprobación en él afecta la obtención del título?
Vinculadas parcialmentePreguntas relacionadas con el contenido de la base, pero que requieren conocimiento adicional no presente en los fragmentos recuperados.¿Existe un límite de veces que puedo cambiar de orientador?
No relacionadasPreguntas no relacionadas con el contenido de la base de conocimiento, no susceptibles de ser respondidas por el sistema RAG.¿Cómo aprender a tocar guitarra solo por internet?

Fuente: Resultados originales de la investigación

Se construyeron múltiples agentes utilizando el “framework” CrewAI para implementar y comparar cinco estrategias de RAG: Clásica, Re-ranking, Multihop, Jerárquica y Agente, como se detalla en la Tabla 3. Para la comparabilidad, se mantuvieron constantes parámetros como la temperatura (0), el número máximo de fragmentos recuperados (5) y el modelo de lenguaje (openai-gpt-40-mini), así como “prompts” equivalentes.

Tabla 3. Estrategias de RAG para la generación de respuestas utilizadas

EstrategiaDefinición
ClásicoSe recuperan fragmentos relevantes mediante búsqueda vectorial y se proporcionan directamente como contexto para que un modelo de lenguaje genere la respuesta.
ReclasificaciónLos fragmentos recuperados inicialmente por búsqueda vectorial pasan por una etapa adicional de reevaluación semántica para seleccionar los contextos más relevantes antes de la generación de la respuesta.
MultisaltoEl sistema realiza múltiples etapas de recuperación, formulando preguntas intermedias sucesivas para recopilar información complementaria antes de producir la respuesta final.
JerárquicoOrganiza la base de conocimiento en niveles temáticos y restringe la búsqueda vectorial a los grupos de tópicos más relevantes para la pregunta, refinando el alcance de la recuperación.
AgénticoMúltiples agentes especializados cooperan entre sí, distribuyendo tareas como el refinamiento de la pregunta, la recuperación de contexto y la síntesis de la respuesta en un flujo colaborativo de razonamiento.

Fuente: Resultados originales de la investigación

El enfoque RAG Clásico integró directamente la recuperación vectorial con el modelo de generación. Se seleccionaron fragmentos semánticamente cercanos, se organizaron en bloques de contexto y se concatenaron para que el modelo de lenguaje generara la respuesta. Un único agente orquestó la búsqueda vectorial y la generación de la respuesta.

En RAG con Re-ranking, se agregó un paso intermedio. Después de la búsqueda vectorial inicial, los fragmentos se sometieron a una reevaluación semántica por un modelo de lenguaje (“cross-encoder”) para seleccionar los tres más pertinentes, que compusieron el contexto final. Un único agente gestionaba la búsqueda y el re-ranking.

El RAG “multi-hop” utilizó un mecanismo iterativo de recuperación. El modelo de lenguaje analizaba los fragmentos recuperados y, si era necesario, formulaba preguntas intermedias para obtener información complementaria. Este proceso podía repetirse hasta 3 interacciones, construyendo un contexto progresivo a partir de información dispersa.

El enfoque Jerárquico estructuró la base de conocimiento en grupos temáticos. Para cada pregunta, un modelo de lenguaje clasificaba el tema más probable, restringiendo la búsqueda vectorial a los fragmentos de ese grupo temático. Los fragmentos resultantes se organizaban y se proporcionaban al modelo generador.

El RAG basado en Agentes expandió la arquitectura a un sistema multiagente en el “framework” CrewAI. Agentes especializados asumieron roles como reformular la pregunta original, buscar y seleccionar fragmentos relevantes, y sintetizar la respuesta final. La interacción secuencial y coordinada entre agentes simuló un flujo colaborativo de razonamiento.

Durante la ejecución, se almacenaron datos como el contexto enviado, la estimación de “tokens” y la latencia. Las etapas de decisión, recuperación y reordenamiento fueron rastreadas por “logs” de “debug” para garantizar transparencia y reproducibilidad. Los flujos de agentes se ejecutaron de forma aislada, con mecanismos de liberación de memoria para evitar “state leakage”.

La evaluación de las metodologías consideró cinco métricas principales: “faithfulness” (fidelidad de la respuesta al contexto), “answer relevancy” (adecuación de la respuesta a la pregunta), “context relevancy” (calidad de los fragmentos recuperados), latencia (tiempo de procesamiento) y uso de “tokens” (consumo computacional). Las tres primeras métricas evalúan la calidad semántica e informacional, mientras que las dos últimas reflejan rendimiento y costo.

Las métricas de calidad (“faithfulness”, “answer relevancy”, “context relevancy”) se calcularon mediante el enfoque “LLM-as-a-judge”, utilizando el modelo claude-haiku-4-5-20251001, configurado con temperatura cero para juicios determinísticos y reproducibles, a fin de reducir sesgos. Los “prompts” de evaluación definieron criterios explícitos para puntuaciones normalizadas entre 0 y 1, acompañados de justificaciones textuales.

Las métricas operacionales de latencia y uso de “tokens” fueron medidas directamente por el “runner” de ejecución, utilizando “timestamps” del reloj del sistema para latencia y el consumo de “tokens” como “proxy” de costo computacional. Se implementó un mecanismo de “retry” para llamadas al evaluador, con hasta tres intentos adicionales y “backoff” exponencial (1, 2 y 4 segundos) en caso de errores transitorios.

3. Resultados y Discusión

Los resultados para la métrica de fidelidad indicaron una degradación progresiva en la fidelidad de las respuestas a medida que aumentaba la complejidad de las preguntas. Las preguntas totalmente relacionadas y respaldadas por un único fragmento presentaron los mayores niveles de adherencia factual, seguidas por aquellas que requerían múltiples fragmentos, preguntas parcialmente relacionadas y, por último, preguntas no relacionadas. Este patrón, detallado en la Tabla 4, sugiere que, a medida que las tareas demandan mayor capacidad de integración semántica o inferencia más allá del conocimiento explícitamente disponible, aumenta la probabilidad de desviaciones factuales en las respuestas generadas por los sistemas evaluados. Aunque muchos escenarios mostraron valores consistentes entre el primer (Q1) y el tercer cuartil (Q3), escenarios con alta variación y donde las respuestas podían ser generadas a partir de la base de conocimiento disponible pueden representar riesgos para la implementación corporativa y deben ser analizados caso por caso.

Tabla 4. Resultados para la métrica LLM-as-a-judge “faithfulness”

Método RAGAgrupaciónMediaQ1La medianaT3
AgénticoNo relacionadas0.70.31.01.0
ClásicoNo relacionadas1.01.01.01.0
JerárquicoNo relacionadas1.01.01.01.0
MultisaltoNo relacionadas0.50.00.51.0
ReclasificaciónNo relacionadas1.01.01.01.0
AgénticoVinculadas parcialmente0.80.51.01.0
ClásicoVinculadas parcialmente0.90.61.01.0
JerárquicoVinculadas parcialmente0.91.01.01.0
MultisaltoVinculadas parcialmente0.80.51.01.0
ReclasificaciónVinculadas parcialmente0.80.51.01.0
Agéntico“multi-fragmento”0.70.50.51.0
Clásico“multi-fragmento”0.70.50.51.0
Jerárquico“multi-fragmento”0.80.50.81.0
Multisalto“multi-fragmento”0.60.50.50.5
Reclasificación“multi-fragmento”0.70.50.51.0
Agéntico“fragmento-único”1.01.01.01.0
Clásico“fragmento-único”1.01.01.01.0
Jerárquico“fragmento-único”0.91.01.01.0
Multisalto“fragmento-único”1.01.01.01.0
Reclasificación“fragmento-único”1.01.01.01.0

Fuente: Resultados originales de la investigación.

Este patrón de degradación de la fidelidad fue consistente entre las diferentes metodologías de RAG, pero con intensidades variadas. Los enfoques más complejos, como las metodologías agéntica y multihop, mostraron una mayor propensión a la alucinación. En el enfoque multihop, esto puede atribuirse al encadenamiento sucesivo de consultas y respuestas intermediarias, que tiende a introducir ruido adicional y aumentar la probabilidad de generación de contenido no estrictamente fundamentado. La metodología agéntica, por su parte, exhibió una mayor variabilidad en las puntuaciones de fidelidad, posiblemente debido a la autonomía de los agentes y a la división de responsabilidades cognitivas, lo que puede llevar a respuestas más elaboradas incluso con fundamentación parcial o inexistente. Es crucial evaluar los casos de alucinación considerando el riesgo asociado al caso de uso, distinguiendo entre respuestas sin relación lógica de contenido y aquellas que, aunque no fundamentadas en la base interna, pueden ser correctas por el conocimiento del mundo. El estudio observó el segundo tipo de alucinación. En contraste, el enfoque jerárquico demostró una mayor robustez en la métrica de fidelidad, lo que se asocia al fuerte mecanismo de restricción contextual impuesto por la organización jerárquica de los documentos, limitando la exposición a contextos marginales.

El análisis conjunto de las métricas de fidelidad y relevancia de la respuesta, presentado en la Tabla 5, reveló un compromiso significativo entre la fidelidad factual y la utilidad percibida de las respuestas. Las metodologías con mayor propensión a la alucinación a menudo exhibieron puntuaciones más altas de relevancia de la respuesta. Esto sugiere que la libertad de extrapolar más allá del conocimiento recuperado explícitamente, aunque aumenta el riesgo de imprecisión, puede generar respuestas más útiles, especialmente cuando la base de conocimiento no contiene información directamente aplicable a la pregunta propuesta. Este hallazgo subraya la importancia del mantenimiento de las bases de conocimiento en los sistemas RAG e indica una relación inversamente proporcional entre la cobertura de la base y la necesidad de conocimiento externo por parte de los agentes de recuperación.

Tabla 5. Resultados para la métrica LLM-as-a-judge “answer relevancy”

Método RAGAgrupaciónMediaQ1La medianaT3
AgénticoNo relacionadas0,50,00,31,0
ClásicoNo relacionadas0,00,00,00,0
JerárquicoNo relacionadas0,00,00,00,0
MultisaltoNo relacionadas0,70,11,01,0
ReclasificaciónNo relacionadas0,00,00,00,0
AgénticoVinculadas parcialmente0,50,50,50,5
ClásicoVinculadas parcialmente0,60,50,50,9
JerárquicoVinculadas parcialmente0,50,50,50,5
MultisaltoVinculadas parcialmente0,40,10,50,5
ReclasificaciónVinculadas parcialmente0,60,50,50,9
Agéntico“multi-fragmento”0,90,61,01,0
Clásico“multi-fragmento”0,80,60,80,9
Jerárquico“multi-fragmento”0,80,80,91,0
Multisalto“multi-fragmento”0,91,01,01,0
Reclasificación“multi-fragmento”0,80,80,91,0
Agéntico“fragmento-único”1,01,01,01,0
Clásico“fragmento-único”1,01,01,01,0
Jerárquico“fragmento-único”0,91,01,01,0
Multisalto“fragmento-único”1,01,01,01,0
Reclasificación“fragmento-único”1,01,01,01,0

Fuente: Resultados originales de la investigación.

El efecto de mayor relevancia con menor fidelidad fue notable en el conjunto de preguntas no relacionadas, donde el enfoque multihop presentó una proporción significativa de respuestas útiles, incluso sin soporte factual directo de la base de conocimiento. En estos casos, la alta relevancia de la respuesta resultó del uso de conocimientos generales o inferencias implícitas del modelo. Esto demuestra que la utilidad percibida y la fidelidad factual son dimensiones complementarias, no necesariamente alineadas. La métrica de relevancia del contexto, presentada en la Tabla 6, reveló un comportamiento distinto de las métricas anteriores. Aunque hubo una degradación progresiva de la relevancia de los fragmentos recuperados con el aumento de la complejidad de las preguntas, no se observaron diferencias significativas entre las metodologías evaluadas. Esto sugiere que los mecanismos de recuperación, en las implementaciones estudiadas, convergieron a conjuntos de contexto semánticamente similares, independientemente de la arquitectura de RAG utilizada.

Tabla 6. Resultados para la métrica LLM-as-a-judge “context relevancy”

Método RAGAgrupaciónMediaQ1La medianaT3
AgénticoNo relacionadas0,00,00,00,0
ClásicoNo relacionadas0,00,00,00,0
JerárquicoNo relacionadas0,00,00,00,0
MultisaltoNo relacionadas0,00,00,00,0
ReclasificaciónNo relacionadas0,00,00,00,0
AgénticoVinculadas parcialmente0,30,00,30,5
ClásicoVinculadas parcialmente0,30,00,30,5
JerárquicoVinculadas parcialmente0,30,00,30,5
MultisaltoVinculadas parcialmente0,30,00,30,5
ReclasificaciónVinculadas parcialmente0,30,00,30,5
Agéntico“multi-fragmento”0,60,50,50,8
Clásico“multi-fragmento”0,60,50,50,8
Jerárquico“multi-fragmento”0,60,50,50,8
Multisalto“multi-fragmento”0,60,50,60,8
Reclasificación“multi-fragmento”0,60,50,50,8
Agéntico“fragmento-único”0,90,91,01,0
Clásico“fragmento-único”0,90,91,01,0
Jerárquico“fragmento-único”0,90,91,01,0
Multisalto“fragmento-único”0,90,91,01,0
Reclasificación“fragmento-único”0,90,91,01,0

Fuente: Resultados originales de la investigación.

La ausencia de una diferenciación relevante en la métrica de relevancia contextual no implica que todas las metodologías sean igualmente eficaces en términos de recuperación de contexto, sino que sugiere que las estrategias aplicadas pueden no haber sido suficientemente distintas o necesarias para producir separaciones medibles. Tres factores pueden haber contribuido a este escenario: la estructura de la base de conocimiento, que era un manual de normas altamente delimitado, favoreciendo recuperaciones precisas; la naturaleza de las preguntas generadas, que, a pesar de provenir de otro modelo de lenguaje, mantenían una alta relación semántica con la base para preguntas totalmente relacionadas; y el cuello de botella en el top-K de cinco fragmentos recuperados, que pudo haber limitado la capacidad de profundización de técnicas como multihop y re-ranking, enfocadas en bases de conocimiento extensas. Este resultado sugiere la necesidad de futuras investigaciones con técnicas más sofisticadas de generación de preguntas y recuperación.

En cuanto a la latencia, los resultados, detallados en la Tabla 7, reflejaron la complejidad computacional inherente a cada metodología. El método clásico demostró los menores tiempos de respuesta debido a su simplicidad arquitectónica y al menor número de pasos, siendo ideal para preguntas simples donde la latencia es un factor crítico. Por otro lado, metodologías más elaboradas, como el re-ranking, presentaron latencias sustancialmente superiores, incluso para preguntas de baja complejidad. Esto indica que el costo computacional adicional introducido por pasos intermedios puede no ser compensado en todos los escenarios, sugiriendo la adecuación de diferentes metodologías de RAG para tipos específicos de preguntas y la posibilidad de pipelines híbridos en entornos productivos.

Tabla 7. Resultados para la métrica de latencia en la generación de la respuesta

Método RAGAgrupaciónMediaQ1La medianaT3
AgénticoNo relacionadas10,37,78,412,4
ClásicoNo relacionadas3,22,52,63,7
JerárquicoNo relacionadas4,23,53,95,0
MultisaltoNo relacionadas9,36,38,512,5
ReclasificaciónNo relacionadas17,08,814,215,3
AgénticoVinculadas parcialmente7,05,76,67,3
ClásicoVinculadas parcialmente3,12,52,73,2
JerárquicoVinculadas parcialmente4,33,34,04,9
MultisaltoVinculadas parcialmente6,45,86,16,4
ReclasificaciónVinculadas parcialmente10,38,08,69,0
Agéntico“multi-fragmento”8,47,88,38,9
Clásico“multi-fragmento”5,53,23,84,2
Jerárquico“multi-fragmento”4,23,94,14,7
Multisalto“multi-fragmento”8,37,88,28,8
Reclasificación“multi-fragmento”9,58,79,610,0
Agéntico“fragmento-único”5,95,35,46,0
Clásico“fragmento-único”2,82,62,83,0
Jerárquico“fragmento-único”3,73,23,44,2
Multisalto“fragmento-único”5,55,35,45,5
Reclasificación“fragmento-único”8,17,68,08,5

Fuente: Resultados originales de la investigación.

El análisis del consumo de tokens en el prompt, presentado en la Tabla 8, reveló que los enfoques multihop y agéntico consumieron aproximadamente el doble de tokens en comparación con las demás metodologías. Este elevado consumo refleja la necesidad de mantener historiales de interacción más extensos, múltiples contextos intermedios o instrucciones adicionales a lo largo del proceso de generación. Aunque asociado a una mayor flexibilidad cognitiva de estos enfoques, este aumento en el costo operativo impone limitaciones de escalabilidad y viabilidad económica, especialmente en aplicaciones de gran escala donde la latencia y el costo por solicitud son factores críticos de decisión arquitectónica.

Tabla 8. Resultados para la métrica de consumo de tokens en el prompt

Método RAGAgrupaciónMediaQ1La medianaT3
AgénticoNo relacionadas2065108920102510
ClásicoNo relacionadas7835855901039
JerárquicoNo relacionadas785688702716
MultisaltoNo relacionadas2290121612573013
ReclasificaciónNo relacionadas359671815171580
AgénticoVinculadas parcialmente10029129311007
ClásicoVinculadas parcialmente667593603609
JerárquicoVinculadas parcialmente778694712725
MultisaltoVinculadas parcialmente1247123412491258
ReclasificaciónVinculadas parcialmente903719730750
Agéntico“multi-fragmento”102899510281057
Clásico“multi-fragmento”1851620629647
Jerárquico“multi-fragmento”728705739765
Multisalto“multi-fragmento”1287125513011310
Reclasificación“multi-fragmento”765756761768
Agéntico“fragmento-único”936891914961
Clásico“fragmento-único”597589592597
Jerárquico“fragmento-único”729602666726
Multisalto“fragmento-único”1273123412611295
Reclasificación“fragmento-único”724715718728

Fuente: Resultados originales de la investigación.

La Figura 1 presenta un análisis consolidado de las métricas, revelando las diferencias en el equilibrio entre la calidad de las respuestas y la eficiencia computacional entre los métodos evaluados. El método Jerárquico demostró el rendimiento más equilibrado, combinando altos niveles de faithfulness con valores relativamente elevados de answer relevancy y buena eficiencia en las métricas de consumo de tokens. El método Clásico destacó por su baja latencia, manteniendo niveles competitivos de fidelidad y consumo de tokens, lo que lo convierte en una alternativa eficiente cuando el tiempo de respuesta es un factor crítico. El método Agéntico obtuvo un buen rendimiento en la calidad de respuesta, particularmente en answer relevancy, pero presentó penalizaciones en las métricas de costo computacional, como latencia y consumo de tokens. El método multihop mostró un rendimiento similar al Agéntico en relevancia de la respuesta, pero con menor eficiencia computacional general. Finalmente, el método de Re-ranking presentó resultados más modestos en el conjunto de las métricas analizadas, sobre todo en latencia y relevancia de la respuesta. Considerando simultáneamente calidad y eficiencia, los resultados consolidados del estudio sugieren que el método Jerárquico ofrece el mejor compromiso entre rendimiento y costo computacional en el contexto evaluado.

Figura 1. Análisis comparativo de las métricas entre los diferentes métodos

Fuente: Resultados originales de la investigación.

Los resultados de este estudio indicaron que no existe una metodología de RAG universalmente superior en todas las dimensiones analizadas. Las diferentes arquitecturas evaluadas presentaron comportamientos distintos en las métricas de fidelidad, relevancia de la respuesta, relevancia del contexto, latencia y consumo de tokens, revelando la existencia de compensaciones estructurales entre fidelidad factual, utilidad percibida, costo computacional y rendimiento operativo, especialmente cuando se evalúan desde la perspectiva de diferentes estilos de preguntas. Los enfoques más flexibles, como multihop y agéntico, tendieron a producir respuestas más relevantes, especialmente para preguntas en las que la base de conocimiento no ofrecía soporte directo, lo que puede ser útil cuando la cobertura del conocimiento aún no está consolidada. Sin embargo, esta ganancia en relevancia de la respuesta se produjo a costa de una mayor propensión a la extrapolación no anclada en el contexto recuperado, manifestándose en un mayor riesgo de alucinación factual, mayor latencia y un consumo significativamente superior de tokens. En contraste, las metodologías más restrictivas, como el enfoque jerárquico y el método clásico, demostraron un mayor control sobre la fidelidad factual y un mejor rendimiento operativo, aunque con menor capacidad de extrapolación en preguntas complejas o poco relacionadas. Estos hallazgos refuerzan que las métricas de calidad en los sistemas de RAG no deben analizarse de forma aislada, sino como dimensiones complementarias que reflejan objetivos de diseño distintos. La adopción de sistemas de RAG en entornos productivos debe ponderar la precisión, utilidad, costo, latencia y robustez contra la alucinación, evaluando la tolerancia a la extrapolación según el contexto de negocio. Las arquitecturas híbridas, capaces de seleccionar dinámicamente la metodología más adecuada al tipo de pregunta, pueden ser un camino prometedor para equilibrar estas compensaciones.

4. Conclusión

El presente estudio evaluó comparativamente el rendimiento de diferentes metodologías de Recuperación Aumentada por Generación (RAG) en la construcción de agentes generativos para la atención automatizada de preguntas frecuentes. Se observó que no existe un enfoque universalmente superior, sino compensaciones estructurales entre la calidad de las respuestas, el costo computacional y el rendimiento operativo. Se observó que la fidelidad factual de las respuestas se degradó con el aumento de la complejidad de las preguntas, siendo más acentuada en metodologías como la agéntica y la multi-hop, que también presentaron mayor propensión a la alucinación. En contrapartida, se notó que la relevancia de la respuesta, especialmente para preguntas sin soporte directo en la base de conocimiento, frecuentemente se elevó a costa de la fidelidad. La metodología jerárquica demostró el mejor compromiso entre rendimiento y costo computacional, mientras que el método clásico se destacó por su baja latencia, siendo eficiente para preguntas más simples. La principal contribución de la investigación reside en la oferta de un análisis comparativo sistemático que subsidia decisiones técnicas y arquitectónicas en el diseño de agentes generativos basados en RAG para aplicaciones empresariales.

A pesar de los hallazgos, el análisis de la relevancia del contexto no reveló diferencias significativas entre las metodologías, un resultado que pudo haber sido influenciado por la naturaleza altamente delimitada de la base de conocimiento, la alta relación semántica de las preguntas generadas y el cuello de botella impuesto por el límite de cinco fragmentos recuperados. Tales factores sugieren que las estrategias de recuperación pueden no haber sido suficientemente probadas en su capacidad de diferenciación. Para futuras investigaciones, se recomienda la exploración de técnicas más sofisticadas de generación de preguntas y recuperación, como el re-ranking semántico profundo y la expansión adaptativa de consultas. Se sugiere también la evaluación de estrategias adaptativas que consideren el nivel de confianza del sistema y la cobertura de la base de conocimiento, con el objetivo de ampliar la capacidad de generalización y la confiabilidad de los agentes generativos basados en RAG. La implementación de arquitecturas híbridas, capaces de seleccionar dinámicamente la metodología más adecuada al tipo de pregunta, emerge como un camino prometedor para equilibrar los trade-offs identificados entre precisión, utilidad, costo, latencia y robustez contra la alucinación en entornos productivos.

Referencias Bibliográficas

Al-Osaimi, M; Altuwayrah, A.; Khan, H.; Rahman, Abdul. 2025. Transforming Support Efficiency in Exploration: A Combined GenAI Models Solution for improved Application Support. Disponível em: https://doi.org/10.2118/227054-MS. Acesso em: 25 out. 2025.

Genesis, J. 2025. Retrieval-Augmented Text Generation: Methods, Challenges, and Applications. Disponível em:

Park, J. S.; O’Brien, J. C.; Cai, C. J.; Morris, M. R.; Liang, P.; Bernstein, M. S. 2023. Generative Agents: Interactive Simulacra of Human Behavior. Disponível em: . Acesso em: 30 abr. 2025.

Artículo originario del Trabajo de Conclusión de Curso de la Especialización en Data Science y Analytics del MBA USP/Esalq

Para saber más sobre el curso, haga clic aquí y acceda a la plataforma MBX Academy

También te puede interesar

Economía, Inversiones Y Banca

23 de octubre de 2026

Educação Financeira, Comportamentos e Vieses na Tomada de Decisão Financeira

A gestão financeira pessoal representa um desafio crescente, influenciada por vieses cognitivos que afetam a tomada de decisão, mesmo em indivíduos com alto conhecimento. O presente estudo analisou a relação entre o nível de educação financeira e a ocorrência de vieses comportamentais na tomada de decisão financeira de adultos residentes no Brasil. Realizou-se um levantamento de campo de natureza aplicada, quantitativa e descritivo-correlacional, por meio da aplicação de um questionário estruturado a 163 respondentes. O instrumento contemplou variáveis sociodemográficas, conhecimento e hábitos financeiros, e situações hipotéticas para identificar vieses cognitivos. Os resultados indicaram que níveis mais elevados de educação financeira associaram-se a melhores práticas de controle financeiro, poupança e investimento, com correlações significativas com renda e escolaridade. Contudo, a presença de vieses comportamentais (ancoragem, aversão à perda, escassez, otimismo/negatividade, viés do presente, status quo, excesso de confiança e contabilidade mental) persistiu mesmo entre indivíduos com maior escolaridade e renda, sem associação estatisticamente significativa com as variáveis sociodemográficas analisadas. Concluiu-se que a educação financeira, embora essencial para a organização e o controle financeiro, não foi suficiente para neutralizar a influência de vieses cognitivos. Sugere-se a incorporação de abordagens comportamentais aos programas de educação financeira.

Palavras-chave: Comportamento financeiro; Economia comportamental; Finanças pessoais; Heurísticas cognitivas; Vieses cognitivos.

22 de octubre de 2026

Viaje del Consumidor en la Decisión de Compra de Infoproductos en el Entorno Digital

La expansión del comercio electrónico y la transformación tecnológica impulsaron la necesidad de comprender el comportamiento del consumidor de infoproductos, cuya experiencia percibida se ha vuelto crucial para el desarrollo profesional. El estudio tuvo como objetivo analizar los factores que influyeron en la decisión de compra de infoproductos en el entorno digital, considerando las etapas del viaje del consumidor. Se realizó una investigación aplicada, cuantitativa y descriptiva, a través de un estudio de campo con 100 consumidores de la Serra Gaúcha. La recopilación de datos se realizó mediante un cuestionario estructurado, utilizando muestreo no probabilístico. Los resultados revelaron un público cualificado y con un fuerte comportamiento “mobile-first”. Se constató que la disponibilidad de información detallada y la aprobación social fueron los principales desencadenantes de atracción en la fase de precompra. En las etapas transaccionales y posteriores, la minimización de fricciones operativas, la agilidad del acceso inmediato y la seguridad sistémica demostraron ser cruciales para la conversión y la satisfacción, aunque se identificaron lagunas en la eficiencia del soporte humano. La retención se fundamentó en la confianza generada por experiencias anteriores positivas, superando el factor precio. Se concluyó que el viaje del consumidor de infoproductos opera como un sistema integrado, exigiendo alineación entre infraestructura tecnológica, curaduría de contenido y humanización del soporte para asegurar el compromiso.

Palabras clave: Comercio electrónico; Comportamiento del consumidor; Experiencia del consumidor; Fidelización; Negocios virtuales.

22 de octubre de 2026

Observatorio Digital de la Amazonía: Ciencia de Datos Aplicada al Análisis de Indicadores Sociales, Económicos, Ambientales y de Salud

El estado de Amazonas ha enfrentado desafíos históricos en la consolidación del Sistema Único de Salud (SUS), derivados de barreras geográficas, desigualdades socioeconómicas y limitaciones estructurales. En este estudio se describió el desarrollo e implementación de un geoportal de información en salud, concebido para apoyar el monitoreo, la evaluación y la planificación en el contexto amazónico. Se adoptó un enfoque de estudio de caso descriptivo, basado en análisis documental y datos secundarios, abarcando el mapeo de funcionalidades, la infraestructura técnica y las etapas de validación de la herramienta. El Portal fue desarrollado con tecnologías abiertas e integró múltiples bases de datos nacionales, ofreciendo dashboards interactivos, mapas temáticos y repositorio digital de documentos. Entre los resultados, destacaron la visualización georreferenciada de indicadores clave, la posibilidad de análisis comparativos temporales y la utilización de la plataforma en la revisión de planes de salud y en el redireccionamiento de acciones estratégicas. El portal puede representar un avance en la gobernanza digital y en la gestión basada en evidencia, con potencial de replicabilidad para otros territorios de alta complejidad, siempre que vaya acompañado de inversiones en infraestructura tecnológica, capacitación profesional y articulación interinstitucional.

Palabras clave: Amazonía; Evaluación en Salud; Salud Digital; Sistemas de Información en Salud.

22 de octubre de 2026

Aprendizaje Continuo como Factor de Crecimiento Organizacional en la Percepción de los Colaboradores

El impacto del aprendizaje continuo y la gestión del conocimiento en el crecimiento de las organizaciones fue estudiado en un escenario de globalización y constantes cambios. El objetivo del estudio fue analizar la percepción de los colaboradores sobre la cultura de aprendizaje y su importancia para el desarrollo personal y profesional. Los datos se obtuvieron a través de una encuesta anónima, de enfoque cuantitativo, utilizando un formulario con preguntas tipo “survey” aplicado a 87 profesionales de los sectores de tecnología, salud, educación, comercio y servicios. Los resultados indicaron que los colaboradores tenían una percepción positiva sobre la contribución del aprendizaje continuo al crecimiento personal y organizacional, reconociendo sus beneficios para el desarrollo de nuevas habilidades, la innovación y la competitividad. Sin embargo, se observó que el incentivo al intercambio de conocimiento interno y la oferta de capacitaciones prácticas aún presentaban medias moderadas de acuerdo. Se concluyó que el aprendizaje continuo contribuye significativamente al desarrollo individual y organizacional, sugiriendo que las empresas deben desarrollar políticas estratégicas de aprendizaje dirigido a nuevas habilidades, buscando una mayor ventaja competitiva y la innovación.

Palabras clave: Aprendizaje continuo; Autodesarrollo; Crecimiento organizacional; Gestión del Conocimiento; Innovación.

22 de octubre de 2026

Previsión de la Morosidad de Pago Agregada en el Sistema Financiero Brasileño por Modelo Sarimax con Variables Macroeconómicas

La morosidad agregada en el sistema financiero brasileño es un indicador crucial de riesgo crediticio, cuya previsión está regulada por las Resoluciones CMN n.° 4.557/2017 y 4.966/2021 para la medición prospectiva de pérdidas esperadas. Se modeló y predijo la morosidad agregada mediante el modelo SARIMAX, proyectando su trayectoria hasta diciembre de 2026 bajo escenarios optimista, base y pesimista. Se utilizaron 164 observaciones mensuales (julio/2012 a febrero/2026) y variables macroeconómicas como desempleo, Selic, IPCA, IBC-Br y endeudamiento de las familias. La especificación con variables contemporáneas fue seleccionada con base en criterios de información y estabilidad de los coeficientes, y el diagnóstico de los residuos confirmó adecuación estadística, con MAPE de 3,12%. La morosidad histórica varió entre 4,33% y 7,64%. La estimación identificó el desempleo (β = 0,2534; p < 0,001) y la Selic (β = 0,2128; p < 0,001) como principales determinantes positivos, con fuerte persistencia temporal (AR(1) = 0,8965). La Selic exhibió correlación creciente con la morosidad (r = 0,62 en el rezago 12), mientras que el desempleo demostró efecto contemporáneo (r = 0,33). Las proyecciones indicaron morosidad entre 6,30% y 7,98% en diciembre de 2026, con una amplitud de 1,68 punto porcentual, evidenciando implicaciones directas para el dimensionamiento de provisiones en las instituciones financieras.

Palabras clave: Desempleo; Modelado predictivo; Política monetaria; Provisión de pérdidas; Series temporales.

22 de octubre de 2026

Factores de Compromiso de las Partes Interesadas en la Transferencia Internacional de Tecnología a un Hospital Público

Este estudio describió los factores críticos percibidos para la participación de las partes interesadas en la transferencia internacional de tecnología en un hospital público, con foco en la planificación. El objetivo fue describir estos factores condicionantes, según la percepción de los profesionales. Se realizó un estudio de caso único, aplicando un cuestionario a 25 profesionales y utilizando análisis de contenido, complementado por tabulaciones descriptivas. Los principales obstáculos identificados fueron resistencia al cambio (72%), financiación (64%), falta de comunicación (60%) y burocracia (40%). Solo el 28% de los encuestados reconoció la existencia de herramientas adecuadas para la gestión de stakeholders, mientras que el 48% negó y el 24% no supo informar. Cruzamientos exploratorios indicaron variaciones en la evaluación de influencia según el tiempo de actuación, pero no establecieron relaciones causales. La falta de participación se asoció con retrasos, baja adhesión, desperdicio de recursos, fallas de comunicación, compromiso de la absorción de conocimiento y riesgos para la seguridad del paciente. Las conclusiones se restringieron a las percepciones del grupo investigado y fundamentaron recomendaciones preliminares para la comunicación y coordinación intersectorial.

Palabras clave: Estudio de caso; Gestión de proyectos; Innovación en salud; Partes interesadas; Sector público.