09 de febrero de 2026
Evaluación comparativa de arquitecturas RAG para la mitigación de alucinaciones en LLMs
Ighor Felipe de Melo Queiroz; Adriana Camargo de Brito
Resumen elaborado por la herramienta ResumeAI, solución de inteligencia artificial desarrollada por el Instituto Pecege orientada a la síntesis y redacción.
Esta investigación evaluó comparativamente el rendimiento de tres arquitecturas de Recuperación Aumentada por Generación (RAG) — RAG Tradicional, Tree-RAG y MultiQuery RAG — con el framework LangChain, para identificar el enfoque más eficaz en la reducción de alucinaciones y en el aumento de la precisión de Modelos de Lenguaje Grandes (LLMs) en bases de conocimiento textuales y complejas. El estudio buscó llenar una brecha en la literatura, que carece de comparaciones sistemáticas del rendimiento de diferentes arquitecturas RAG en un corpus técnico con fuerte dependencia contextual, utilizando una combinación de métricas cuantitativas y cualitativas.
A pesar de la proliferación de herramientas de Inteligencia Artificial (IA) (Sichman, 2021), una limitación crítica de los LLM es la “alucinación”, la generación de información factualmente incorrecta. Este fenómeno ocurre porque los modelos generan texto basándose en patrones estadísticos, sin acceso a fuentes externas para su verificación en tiempo real (Rapp et al., 2025). La plausibilidad de estas respuestas compromete la fiabilidad de la tecnología en aplicaciones críticas (Sun et al., 2025).
Para mitigar este riesgo, la técnica de Recuperación Aumentada por Generación (RAG), introducida por Lewis et al. (2020), integra un mecanismo de recuperación de información al proceso de generación. Antes de responder, el sistema RAG consulta una base de datos externa y específica, proporcionando los fragmentos más relevantes al LLM como un contexto adicional. El modelo está instruido a basar su respuesta exclusivamente en esta información, lo que aumenta la precisión factual y garantiza que las salidas sean auditables y basadas en evidencia (Arslan et al., 2024; Zhao et al., 2024).
La versatilidad de RAG ha impulsado variaciones para dominios específicos. En salud, Ye (2024) aplicó RAG a registros electrónicos con aprendizaje de ranking, mientras que Ozmen & Mathur (2025) destacan su potencial para el soporte a la decisión clínica. En salud mental, la combinación de RAG con retroalimentación humana redujo las alucinaciones (Soman et al., 2025a). La técnica también se aplicó en ingeniería, como en el Análisis de Modo y Efecto de Fallo (FMEA), utilizando grafos de conocimiento para mejorar la recuperación de datos (Bahr et al., 2025).
Surgieron arquitecturas más sofisticadas para optimizar la recuperación. Tree-RAG (Fatehkia et al., 2024) utiliza la estructura jerárquica de documentos para generar descripciones contextuales, alcanzando alta precisión en consultas factuales. DMQR-RAG (Li et al., 2024) emplea una estrategia de reescritura de múltiples consultas para ampliar la cobertura de la búsqueda. A pesar de estos avances, la literatura carece de un análisis comparativo de estas arquitecturas en un mismo corpus técnico. Este estudio realiza esta evaluación utilizando el Libro del Jugador de Dungeons & Dragons 5ª Edición como corpus, elegido por su complejidad normativa, interdependencia conceptual y estructura formal, que desafían a los sistemas de IA.
La metodología garantizó una comparación rigurosa manteniendo constante el pipeline de procesamiento, variando únicamente la estrategia de recuperación. El corpus fue el Libro del Jugador de Dungeons & Dragons 5ª Edición, un manual de 315 páginas y aproximadamente 212.919 palabras, elegido por su estructura, densidad informacional y dependencia contextual. El contenido se extrajo del PDF con la biblioteca PyMuPDF, tratando el formato en columnas, y la estructura jerárquica se extrajo con expresiones regulares y se almacenó en JSON.
Después de la extracción, el texto se segmentó en unidades más pequeñas, o chunks, utilizando el método RecursiveCharacterTextSplitter, con una longitud máxima de 850 caracteres y una superposición de 150 caracteres. Esta configuración equilibra la granularidad de la información y la preservación del contexto semántico. A continuación, los chunks se convirtieron en representaciones vectoriales (embeddings) a través del modelo all-MiniLM-L6-v2 de la biblioteca Sentence Transformers. Los vectores resultantes se indexaron en la biblioteca FAISS (Facebook AI Similarity Search), optimizada para búsquedas de similitud en alta dimensionalidad, permitiendo una recuperación de información eficiente.
El pipeline fue orquestado por el framework LangChain, utilizando el modelo de lenguaje openai/gpt-oss-120b, accedido a través de la infraestructura de Groq, para la generación de las respuestas. Para cada consulta, el sistema recuperaba los 10 chunks más semánticamente similares del índice FAISS. Estos se insertaban en un prompt que instruía al LLM a generar una respuesta basada exclusivamente en el contexto proporcionado, con la directiva de responder “No sé con base en la información disponible” en caso de que la respuesta no pudiera ser encontrada. Las tres arquitecturas se diferenciaron en la utilización del contexto: el RAG Tradicional usó la concatenación directa de los chunks recuperados; el Tree-RAG exploró la estructura jerárquica del documento para realizar sumarios progresivos; y el MultiQuery RAG generó múltiples reformulaciones de la pregunta para búsquedas paralelas.
El rendimiento de los modelos se evaluó mediante un enfoque híbrido. Se elaboraron cinco preguntas de complejidad variada (factual, conceptual, procedimental, analítica y exploratoria), cada una con una respuesta de referencia. Para la evaluación cuantitativa, se emplearon las métricas ROUGE-1, ROUGE-2 y ROUGE-L (Lin, 2004) para medir la superposición léxica, y BERTScore F1 (Mirtaheri et al., 2025) para evaluar la similitud semántica. La evaluación cualitativa se llevó a cabo en dos etapas: un análisis humano asignando puntuaciones de 1 a 5 en una escala Likert para cuatro criterios (fidelidad, completitud, claridad y relevancia), seguido de una validación cruzada en la que un LLM externo (Gemini 2.5) realizó la misma evaluación para reducir sesgos individuales.
Los resultados de la evaluación revelaron que la eficacia de cada arquitectura está ligada a la naturaleza de la consulta. Para la pregunta factual “¿Cuál es el dato de vida de un guerrero?”, el Tree-RAG fue el único en proporcionar la respuesta correcta y directa (“d10”), demostrando la superioridad de su enfoque jerárquico para localizar información puntual, lo que corrobora las observaciones de Fatehkia et al. (2024). En contraste, el RAG Tradicional y el MultiQuery RAG fallaron, afirmando que la información no estaba disponible en el contexto.
En preguntas conceptuales y procedimentales, como “¿Qué son las pruebas de estrés?” y “¿Cuáles son los pasos para crear un personaje?”, el RAG Tradicional presentó el desempeño más equilibrado. Sus respuestas fueron consistentemente más completas y bien estructuradas. Por ejemplo, en la explicación sobre pruebas de estrés, el RAG Tradicional definió el concepto y detalló la mecánica, recibiendo nota máxima en todos los criterios cualitativos. El Tree-RAG y el MultiQuery RAG también proporcionaron respuestas correctas, pero fueron menos detallados, indicando que la concatenación directa de fragmentos del RAG Tradicional es más eficaz para preservar el encadenamiento semántico.
El análisis de preguntas más complejas, como “¿Cómo funciona la ventaja y la desventaja?” (analítica) y “Explica cómo funciona la progresión de hechizos de un mago” (exploratoria), expuso las limitaciones de las arquitecturas más sofisticadas. Tree-RAG falló en ambas, lo que indica que su estructura jerárquica puede fragmentar el contexto cuando la respuesta requiere la integración de información dispersa. MultiQuery RAG también falló en la pregunta sobre la progresión de hechizos y fue menos detallado en la otra. RAG Tradicional, aunque tampoco logró explicar completamente la progresión de hechizos, proporcionó una respuesta parcial y relevante, demostrando mayor robustez.
El análisis cualitativo, tanto humano como el realizado por el LLM Gemini, consolidó estas observaciones. El RAG Tradicional obtuvo la mayor puntuación global en ambas evaluaciones. El Tree-RAG destacó por su precisión factual, pero recibió notas bajas en completitud y relevancia en las preguntas en las que falló. El MultiQuery RAG presentó un rendimiento intermedio, pero la evaluación humana señaló que la diversidad de queries a veces introdujo ruido y fragmentó el contexto. La evaluación de Gemini confirmó la superioridad general del RAG Tradicional.
El análisis cuantitativo reforzó los hallazgos cualitativos. El Tree-RAG alcanzó las puntuaciones más altas de ROUGE-1 (0.421) y ROUGE-2 (0.235) en la pregunta factual, reflejando su alta fidelidad léxica. Por otro lado, el RAG Tradicional obtuvo consistentemente los valores más altos de BERTScore F1 en preguntas conceptuales y procedimentales (p. ej., 0.838 en la pregunta sobre ventaja/desventaja), indicando una mejor preservación de la similitud semántica. El MultiQuery RAG presentó una mayor variabilidad en las puntuaciones, sugiriendo que su estrategia de reformulación puede llevar a una recuperación de contexto menos enfocada en un corpus estructurado.
La discusión de los resultados, al ser contrastada con la literatura, ofrece perspectivas. La superioridad de Tree-RAG en consultas fácticas se alinea con los hallazgos de Fatehkia et al. (2024), pero este estudio también evidencia su fragilidad en consultas que demandan la síntesis de información dispersa. El desempeño inconsistente de MultiQuery RAG contrasta con las ganancias de precisión reportadas por Li et al. (2024) en corpora más diversos, sugiriendo que la reformulación de preguntas puede introducir más ruido que señal en un corpus técnico con terminología bien definida.
Este estudio comparó con éxito las arquitecturas RAG Tradicional, Tree-RAG y MultiQuery RAG, evaluando su capacidad para mitigar alucinaciones en un corpus técnico. Los resultados indican que el RAG Tradicional ofrece el mejor equilibrio general entre fidelidad, claridad y completitud, siendo particularmente eficaz en respuestas conceptuales y procedimentales. El Tree-RAG demostró una precisión superior en consultas fácticas y objetivas. El MultiQuery RAG, por su parte, presentó una mayor variabilidad e introdujo ruido en el contexto recuperado, lo que redujo la consistencia de las respuestas en este escenario. Las conclusiones refuerzan que la arquitectura RAG ideal depende del contexto de la aplicación. Para sistemas que manejan la recuperación de hechos directos, el Tree-RAG es la opción indicada. Para aplicaciones que exigen explicaciones detalladas, el RAG Tradicional se muestra más robusto. Las limitaciones observadas, como la dificultad para procesar contenido tabular, apuntan a la necesidad de desarrollar enfoques híbridos. Se concluye que el objetivo fue alcanzado: se demostró que la eficacia de cada arquitectura RAG depende intrínsecamente de la naturaleza de la consulta, con el RAG Tradicional presentando el mejor equilibrio general, el Tree-RAG destacándose en precisión fáctica y el MultiQuery RAG mostrando un potencial limitado en corpus altamente estructurados. Se recomienda, para trabajos futuros, la expansión del análisis a corpus no estructurados, la exploración de estrategias que integren datos tabulares y textuales, y la evaluación de la viabilidad de implementación de estas arquitecturas en contextos corporativos.
Referencias:
Arslan, M., Ghanem, H., Munawar, S., & Cruz, C. (2024). A Survey on RAG with LLMs. Procedia Computer Science, 246(C), 3781–3790. https://doi. org/10.1016/j. procs.2024.09.178
Bahr, L., Wehner, C., Wewerka, J., Bittencourt, J., Schmid, U., & Daub, R. (2025). Knowledge graph enhanced retrieval-augmented generation for failure mode and effects analysis. Journal of Industrial Information Integration, 45, 100807. https://doi. org/10.1016/J. JII.2025.100807
Fatehkia, M., Lucas, J. K., & Chawla, S. (2024). TREE-RAG: Lessons from the LLM Trenches. http://arxiv. org/abs/2402.17483
Heredia Álvaro, J. A., & Barreda, J. G. (2025). An advanced retrieval-augmented generation system for manufacturing quality control. Advanced Engineering Informatics, 64, 103007. https://doi. org/10.1016/J. AEI.2024.103007
Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W.-T., Rocktäschel, T., Riedel, S., & Kiela, D. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. https://github. com/huggingface/transformers/blob/master/
Li, Z., Wang, J., Jiang, Z., Mao, H., Chen, Z., Du, J., Zhang, Y., Zhang, F., Zhang, D., & Liu, Y. (2024). DMQR-RAG: Diverse Multi-Query Rewriting for RAG. http://arxiv. org/abs/2411.13154
Lin, C.-Y. (2004). ROUGE: A Package for Automatic Evaluation of Summaries.
Mirtaheri, S. L., Pugliese, A., Movahed, N., & Shahbazian, R. (2025). A comparative analysis on using GPT and BERT for automated vulnerability scoring. Intelligent Systems with Applications, 26, 200515. https://doi. org/10.1016/J. ISWA.2025.200515
Ozmen, B. B., & Mathur, P. (2025). Evidence-based artificial intelligence: Implementing retrieval-augmented generation models to enhance clinical decision support in plastic surgery. Journal of Plastic, Reconstructive & Aesthetic Surgery, 104, 414–416. https://doi. org/10.1016/J. BJPS.2025.03.053
Rapp, A., Di Lodovico, C., & Di Caro, L. (2025). How do people react to ChatGPT’s unpredictable behavior? Anthropomorphism, uncanniness, and fear of AI: A qualitative study on individuals’ perceptions and understandings of LLMs’ nonsensical hallucinations. International Journal of Human-Computer Studies, 198, 103471. https://doi. org/10.1016/J. IJHCS.2025.103471
Shang, Y., Ke, Z., Lin, P., Ren, Q., Zhang, W., Wang, X., Li, X., Gong, F., Wang, S., Wang, B., Xu, Z., Sun, M., & Tan, S. (2025). Empowering knowledge graphs with hybrid retrieval-augmented generation for the intelligent mix scheme of mass concrete. Case Studies in Construction Materials, 23, e04979. https://doi. org/10.1016/J. CSCM.2025. E04979
Sichman, J. S. (2021). Inteligencia Artificial y sociedad: avances y riesgos. Estudos Avancados, 35(101), 37–49. https://doi. org/10.1590/s0103-4014.2021.35101.004
Soman, G., Judy, M. V., & Abou, A. M. (2025a). Human guided empathetic AI agent for mental health support leveraging reinforcement learning-enhanced retrieval-augmented generation. Cognitive Systems Research, 90, 101337. https://doi. org/10.1016/J. COGSYS.2025.101337
Sun, S., Lin, Z., & Wu, X. (2025). Hallucinations of large multimodal models: Problem and countermeasures. Information Fusion, 118, 102970. https://doi. org/10.1016/J. INFFUS.2025.102970
Vidivelli, S., Ramachandran, M., & Dharunbalaji, A. (2024). Efficiency-Driven Custom Chatbot Development: Unleashing LangChain, RAG, and Performance-Optimized LLM Fusion. Computers, Materials and Continua, 80(2), 2423–2442. https://doi. org/10.32604/CMC.2024.054360
Ye, C. (2024). Exploring a learning-to-rank approach to enhance the Retrieval Augmented Generation (RAG)-based electronic medical records search engines. Informatics and Health, 1(2), 93–99. https://doi. org/10.1016/J. INFOH.2024.07.001
Zhao, P., Zhang, H., Yu, Q., Wang, Z., Geng, Y., Fu, F., Yang, L., Zhang, W., Jiang, J., & Cui, B. (2024). Retrieval-Augmented Generation for AI-Generated Content: A Survey. http://arxiv. org/abs/2402.19473
Resumen ejecutivo del Trabajo de Conclusión de Curso de Especialización en Data Science y Analytics del MBA USP/Esalq
Más información sobre el curso; haga clic aquí:
