09 de febrero de 2026
Aplicación de inteligencia artificial en la clasificación de auditorías ISO 9001:2015
Oziris Teixeira de Menezes; Charles Gomes da Silva
Resumen elaborado por la herramienta ResumeAI, solución de inteligencia artificial desarrollada por el Instituto Pecege orientada a la síntesis y redacción.
El objetivo de este estudio es evaluar el rendimiento de la combinación de la vectorización Term Frequency-Inverse Document Frequency (TF-IDF) con el clasificador Random Forest en la clasificación automática de respuestas textuales de auditorías de la norma ISO 9001:2015. La investigación busca determinar la capacidad de este enfoque de aprendizaje automático para asignar de forma precisa y consistente las clases “Conforme”, “No Conforme” e “Inconcluso” a evidencias textuales, verificando su generalización en datos no vistos y su viabilidad como herramienta de apoyo. El trabajo propone una alternativa automatizada a los procesos de análisis manuales, que son onerosos, lentos y susceptibles a la subjetividad del auditor. La investigación llena un vacío al adaptar y validar técnicas de Inteligencia Artificial (IA) y Procesamiento de Lenguaje Natural (PLN) para el dominio normativo de la gestión de la calidad, históricamente dependiente del juicio humano.
La gestión de la calidad, regida por la ISO 9001:2015, se enfrenta al desafío del volumen creciente de información textual generada en auditorías. Con aproximadamente 1,26 millones de certificados válidos a nivel mundial, según el ISO Survey 2022, se realizan millones de auditorías en cada ciclo trienal. Estos procesos, cruciales para la competitividad y el acceso a mercados, implican costos significativos, con certificaciones iniciales estimadas entre US$ 4.000 y US$ 6.000, especialmente para pequeñas y medianas empresas. El análisis manual de las evidencias consume tiempo, recursos e introduce una variabilidad interpretativa que puede comprometer la consistencia de los resultados. La dependencia de la experiencia y del sesgo del auditor representa un cuello de botella para la escalabilidad y estandarización del proceso de certificación.
En este contexto, la IA surge como una solución para optimizar la gobernanza de las auditorías. Aunque modelos de lenguaje profundos como BERT (Devlin et al., 2019) representan el estado del arte en PLN, su implementación en entornos regulados se ve limitada por altos costos computacionales, la necesidad de vastos conjuntos de datos y una menor interpretabilidad, factor crítico en dominios donde la trazabilidad de las decisiones es obligatoria. En contrapartida, enfoques como la vectorización TF-IDF (Manning, Raghavan y Schütze, 2008) y el clasificador Random Forest (Breiman, 2001) ofrecen un equilibrio entre rendimiento, robustez y explicabilidad. El TF-IDF proporciona una representación numérica de la relevancia de los términos, mientras que el Random Forest maneja bien datos de alta dimensionalidad, resiste el sobreajuste y permite extraer la importancia de las variables, facilitando la comunicación de los resultados (Bishop, 2006).
La relevancia de esta investigación radica en la verificación empírica de que métodos consolidados y de bajo costo computacional pueden ofrecer resultados competitivos cuando se evalúan con rigor estadístico. El estudio aborda una laguna en la literatura, que carece de un cuerpo de conocimiento sobre la automatización de la selección de conformidad en auditorías ISO 9001:2015. Al cuantificar el rendimiento del modelo con métricas estandarizadas, validación cruzada e intervalos de confianza, el trabajo demuestra la viabilidad técnica de la solución y ofrece un protocolo replicable. La principal contribución práctica es la demostración de una herramienta capaz de apoyar a las organizaciones con análisis más rápidos, consistentes y menos subjetivos, fortaleciendo la confiabilidad del proceso de certificación y orientando acciones correctivas.
La cuestión central de investigación es si la combinación de TF-IDF y Random Forest puede generalizar adecuadamente en la clasificación de respuestas de auditoría, manteniendo un equilibrio entre precisión, interpretabilidad y viabilidad de implementación. La hipótesis subyacente es que, incluso ante los avances en redes neuronales profundas, este enfoque resulta suficiente y eficaz para el problema. El análisis riguroso del sobreajuste, la variabilidad de los resultados y la importancia de las características textuales tiene como objetivo proporcionar una respuesta cuantitativa y cualitativa a esta cuestión, contribuyendo a la toma de decisiones basada en evidencia en la auditoría de calidad.
El estudio se llevó a cabo como una investigación aplicada y cuantitativa, con un diseño experimental para evaluar el modelo en escenarios de auditoría simulados. La recolección de datos, realizada durante dos meses, comenzó con una lista de verificación de 14 preguntas alineadas con la norma, modelada a partir de un guion de un organismo certificador. Este instrumento fue sometido a 12 profesionales cualificados en auditorías ISO 9001:2015, instruidos para generar respuestas textuales a tres escenarios: “Conforme”, “No Conforme” e “Inconcluso”. Tras una ronda inicial de baja adhesión, la lista de verificación fue reformulada, resultando en una base de datos final consolidada y balanceada de 504 respuestas textuales.
La preparación de los datos siguió un pipeline de preprocesamiento de NLP en Python (versión 3.10) con las bibliotecas Pandas, Scikit-learn y NLTK. Los pasos incluyeron la normalización de los textos (conversión a minúsculas, eliminación de puntuación y stopwords), seguida por la tokenización. La representación numérica se realizó con el modelo TF-IDF, que pondera la importancia de un término en un documento basándose en su frecuencia local, inversamente proporcional a su frecuencia en todo el corpus, destacando términos distintivos de cada clase (Manning, Raghavan y Schütze, 2008).
Para el entrenamiento y la evaluación, se seleccionó el algoritmo Random Forest, un método que construye múltiples árboles de decisión y define la clase final por votación mayoritaria (Breiman, 2001). La elección se justifica por su robustez ante la alta dimensionalidad de datos textuales, menor propensión al sobreajuste y capacidad de proporcionar una medida de importancia para cada variable, fundamental para la interpretabilidad. Para una evaluación imparcial de la generalización, el conjunto de datos se dividió de forma estratificada en entrenamiento (80%) y prueba (20%), preservando la proporción original de las clases.
Los resultados cuantitativos demuestran un rendimiento robusto. La validación cruzada de 5 pliegues reveló una precisión media de 0,887, con una desviación estándar de 0,023 y un intervalo de confianza del 95% entre 0,866 y 0,907. La precisión macro alcanzó una media de 0,891 (IC 95%: 0,870–0,912), y el recall macro obtuvo una media de 0,887 (IC 95%: 0,866–0,907). El F1-score macro, media armónica entre precisión y recall, registró un valor medio de 0,885 (IC 95%: 0,865–0,906). La baja variabilidad, indicada por las desviaciones estándar reducidas (alrededor de 0,024), y los intervalos de confianza estrechos confirman la estabilidad del modelo.
El análisis de sobreajuste, comparando el rendimiento en los conjuntos de entrenamiento y prueba, reveló una tendencia esperada. El modelo alcanzó el 100% en todas las métricas en el conjunto de entrenamiento, mientras que en el conjunto de prueba, el rendimiento se estabilizó en 91,1%. Esta diferencia de nueve puntos porcentuales caracteriza un error de generalización moderado. Las curvas de aprendizaje corroboraron este hallazgo: la curva de entrenamiento permaneció en 1,00, mientras que la de validación cruzada convergió alrededor de 0,91. Aunque la brecha indica que el modelo memorizó parte de los datos de entrenamiento, el alto rendimiento en la prueba demuestra su excelente capacidad de generalización para datos no vistos.
El análisis de la matriz de confusión, generada en el conjunto de prueba, reforzó la capacidad del modelo para discriminar las tres clases. Los valores en la diagonal principal (clasificaciones correctas) fueron altos, mientras que los valores fuera de la diagonal (errores) fueron bajos y distribuidos de forma equilibrada, sin un sesgo sistemático de confusión entre un par de clases específico. Las curvas ROC para cada clase también presentaron un comportamiento ejemplar, con un área bajo la curva (AUC) macro promedio de aproximadamente 0,91. Este valor indica que, en el 91% de las veces, el modelo asigna una puntuación mayor a una instancia positiva aleatoria que a una negativa, confirmando su alta capacidad discriminatoria.
La interpretabilidad se investigó mediante el análisis de la importancia de las variables (feature importance) del Random Forest. Los términos asociados a la negación y la incertidumbre fueron los más influyentes. La palabra ‘no’ fue la variable más importante, contribuyendo con un 17,6% al poder predictivo. Le siguieron ‘pero’ (14,1%) y la expresión ‘respuesta no’ (5,8%). Otros términos relevantes incluyeron conjunciones como ‘si’ (5,5%), ‘pero no’ (5,2%) y ‘o’ (4,8%). Este hallazgo es semánticamente coherente con el dominio de la auditoría; las negaciones o reservas son fuertes indicadores de no conformidad o inconclusividad.
Para profundizar la comprensión, se aplicaron técnicas de interpretabilidad agnósticas como SHAP (SHapley Additive Explanations), Partial Dependence Plots (PDP) e Individual Conditional Expectation (ICE). Los gráficos SHAP confirmaron la importancia global de términos como ‘no’ y ‘pero’, mostrando cómo su presencia dirigía consistentemente la predicción hacia las clases “No Conforme” o “Inconcluso”. Los PDPs ilustraron el efecto marginal promedio de estos términos, demostrando que un aumento en la frecuencia de ‘no’ reduce drásticamente la probabilidad de una clasificación “Conforme”. Los gráficos ICE revelaron la heterogeneidad de este efecto en instancias individuales, mostrando que el contexto puede mitigar o intensificar el impacto de una sola palabra.
El proceso de optimización de hiperparámetros, mediante GridSearchCV con validación cruzada de 5 pliegues, identificó la configuración ideal para el Random Forest. La combinación con mejor rendimiento medio (precisión del 89,95%) fue: 400 árboles (nestimators=400), profundidad máxima ilimitada (maxdepth=None), mínimo de 5 muestras para dividir un nodo (minsamplessplit=5) y mínimo de 1 muestra por nodo hoja (minsamplesleaf=1). El análisis mostró que el modelo es robusto a variaciones en los hiperparámetros, pero la optimización sistemática garantizó que la configuración final equilibra complejidad y generalización.
En resumen, los resultados demuestran que el enfoque propuesto es eficaz para la clasificación de respuestas de auditoría. El modelo alcanza altos niveles de acurácia, precisión y recall de manera estable, según validado por validación cruzada e intervalos de confianza. La capacidad de generalización, a pesar de un sobreajuste moderado, es suficiente para aplicaciones prácticas. La interpretabilidad permite que auditores y gestores comprendan los factores de las clasificaciones automáticas, generando confianza en el sistema y proporcionando insights sobre los patrones lingüísticos asociados a la conformidad, alineándose a principios de IA explicable (Fawcett y Provost, 2013; Géron, 2019).
Este estudio evaluó la aplicación del modelo TF-IDF con Random Forest para la clasificación automática de respuestas en auditorías ISO 9001:2015. Los resultados fueron consistentes, con el modelo presentando una precisión media de 0,887 y un F1-score macro de 0,885, ambos con intervalos de confianza del 95% estrechos, indicando estabilidad. El análisis de sobreajuste reveló un error de generalización moderado de nueve puntos porcentuales, lo que no compromete la capacidad predictiva del modelo en datos no vistos. La interpretabilidad del clasificador, evidenciada por la importancia de términos como ‘no’ y ‘pero’, refuerza la validez del modelo y su adecuación al contexto de la auditoría; la justificación de las decisiones es fundamental. El protocolo metodológico garantiza la reproducibilidad y la fiabilidad de los hallazgos. Se concluye que el objetivo fue alcanzado.
Referencias:
Bishop, C. M. (2006). Pattern Recognition and Machine Learning. New York: Springer.
Breiman, L. (2001). Random Forests. Machine Learning, 45(1), 5–32.
Devlin, J.; Chang, M.-W.; Lee, K.; Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Proceedings of NAACL-HLT 2019, p. 4171–4186. Minneapolis, MN: ACL.
Fávero, L. P.; Belfiore, P. (2017). Manual de análise de dados: estatística e modelagem multivariada com Excel, SPSS e Stata. 1. ed. Rio de Janeiro: Elsevier.
Fawcett, T.; Provost, F. (2013). Data Science and its Relationship to Big Data and Data-Driven Decision Making. Big Data, 1(1), 51–59.
Géron, A. (2019). Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems. 2. ed. Sebastopol: O’Reilly Media.
Joachims, T. (1998). Text categorization with Support Vector Machines: Learning with many relevant features. In: ECML-98 — European Conference on Machine Learning, LNCS 1398, p. 137–142. Berlin/Heidelberg: Springer.
Jurafsky, D.; Martin, J. H. (2021). Speech and Language Processing. 3. ed. Draft. Stanford: Prentice Hall.
LawInnovation. (2024). IA y Machine Learning hacen la auditoría interna más asertiva. Disponible en: https://lawinnovation. com. br. Acceso en: 1 abr. 2025.
Manning, C. D.; Raghavan, P.; Schütze, H. (2008). Introduction to Information Retrieval. Cambridge: Cambridge University Press.
McCallum, A.; Nigam, K. (1998). A comparison of event models for Naive Bayes text classification. In: AAAI-98 Workshop on Learning for Text Categorization, p. 41–48. Madison, WI: AAAI Press.
Mikolov, T.; Chen, K.; Corrado, G.; Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space. arXiv preprint arXiv:1301.3781.
Müller, A. C.; Guido, S. (2016). Introduction to Machine Learning with Python: A Guide for Data Scientists. Sebastopol: O’Reilly Media.
Recima21. (2023). El impacto de la inteligencia artificial en la automatización de auditorías. Disponible en: https://recima21. com. br. Acceso en: 1 abr. 2025.
Resumen ejecutivo del Trabajo de Conclusión de Curso de Especialización en Data Science y Analytics del MBA USP/Esalq
Más información sobre el curso; haga clic aquí:
