09 de octubre de 2026
Uso de Web Scraping y Ciencia de Datos para la Optimización del Mantenimiento Metroferroviario
Uso de Web Scraping y Data Science para la Optimización del Mantenimiento Metroferroviario
Lucas Duarte de Souza; Felipe Pinto da Silva
DOI: 10.22167/2675-6528-202603177
Artículo derivado del Trabajo de Conclusión de Curso (TCC), con contenido basado en el trabajo original del alumno y adaptado al formato editorial de la Revista E&S con el apoyo de la herramienta ResumeAI, solución de inteligencia artificial desarrollada por el Instituto Pecege para síntesis y organización textual.
Resumen
El mantenimiento metroferroviario genera un volumen significativo de registros operativos que, frecuentemente, permanecen subutilizados para análisis predictivos. El objetivo principal de este estudio fue automatizar la recolección de datos y comparar el rendimiento de modelos predictivos para estimar el volumen semanal de fallas en el Sistema de Control de Rutas (CBI) del Metro de São Paulo. Se implementó una infraestructura computacional virtualizada (Proxmox y LXC) con una aplicación Python/Flask para web scraping continuo de datos del sistema SAP, almacenados en una base de datos MySQL. Se procesaron 3.181 registros de fallas entre 2021 y 2024. La Validación Cruzada en Ventanas Deslizantes se aplicó para evaluar el método Holt-Winters y el algoritmo Facebook Prophet, tras la agregación semanal de los datos para estabilizar la serie temporal, dada la alta volatilidad diaria. Los resultados indicaron que el modelo Holt-Winters presentó el mejor ajuste predictivo, con un Error Medio Absoluto (MAE) de 5,63, siendo aproximadamente un 30% más preciso que el Prophet (MAE = 8,08) en el contexto específico. Se proyectó un aumento de aproximadamente 10 a 18 fallas semanales en el próximo ciclo. Se concluyó que la integración de un pipeline automatizado de datos con el modelo Holt-Winters ofrece una herramienta robusta para proyectar el comportamiento de fallas del sistema CBI, permitiendo la transición a un mantenimiento predictivo que optimiza la asignación de recursos y eleva la confiabilidad operacional.
Palabras clave: Automatización de Procesos; Holt-Winters; Predicción de Fallos; Series temporales; Señalización.
1. Introducción
El Metro de São Paulo constituye un elemento vital en la infraestructura de movilidad urbana de la mayor metrópoli del país, siendo responsable del transporte de aproximadamente tres millones setecientas mil personas diariamente en días laborables (COMPANHIA DO METROPOLITANO DE SÃO PAULO, [202-?]). La garantía de la eficiencia operativa, de la disponibilidad continua y de la seguridad de los usuarios depende, intrínsecamente, de una gestión de mantenimiento altamente eficaz. Este complejo ecosistema tecnológico abarca miles de equipos interdependientes, incluyendo sistemas de energía, telecomunicaciones y, de forma crucial, la señalización ferroviaria.
Con el avance de la Industria 4.0 y la creciente digitalización de los equipos metroferroviarios, el paradigma del mantenimiento se ha transformado. Ha dejado de ser percibido meramente como un centro de costos enfocado en reparaciones correctivas para convertirse en un área estratégica, capaz de generar inteligencia predictiva y optimizar la disponibilidad de los activos mediante el análisis de grandes volúmenes de datos históricos, conocidos como Big Data (Lee, Kao y Yang, 2014). Investigaciones recientes han demostrado el desarrollo de frameworks de Machine Learning explicables que utilizan flujos de datos en tiempo real para aumentar la confiabilidad en operadores metroferroviarios (Abreu et al., 2024), y cómo técnicas de minería de datos permiten la priorización estratégica de la planificación del mantenimiento, superando las limitaciones de los cronogramas preventivos fijos (Obal, Bellinello y Petrovic, 2025).
A pesar del volumen significativo de datos sobre fallas e intervenciones generado y registrado en sistemas internos, estos registros frecuentemente permanecen subutilizados o restringidos a funciones descriptivas, sin explorar la totalidad de la información para la anticipación de fallas recurrentes. Esta brecha entre la recolección y el análisis efectivo es particularmente crítica en activos de alta complejidad, como el Sistema de Control de Rutas (CBI), que exige un enfoque más proactivo para garantizar la continuidad de los servicios y la seguridad.
La relevancia de este trabajo reside en su capacidad para transformar datos brutos en inteligencia predictiva, permitiendo la proyección anticipada de curvas de degradación y la identificación de patrones estacionales de estrés en el sistema. La eficacia del análisis sistemático de registros históricos para este fin está fuertemente corroborada en la literatura, donde los métodos estadísticos permiten estimar con precisión el volumen futuro de ocurrencias (Hyndman; Athanasopoulos, 2021), y el uso de la minería de datos viabiliza la priorización estratégica de acciones de mantenimiento preventivo en los períodos de mayor criticidad (Obal, Bellinello y Petrovic, 2025). Aplicada al contexto metroferroviario, como evidenciado por Abreu et al. (2024), este enfoque proactivo optimiza la asignación de recursos y equipos, traduciéndose directamente en reducción de costos operativos, aumento de la disponibilidad de los activos y, crucialmente, en la elevación de los niveles de seguridad y satisfacción de los pasajeros.
Ante lo expuesto, el objetivo de este trabajo fue desarrollar y comparar modelos predictivos de fallos — específicamente el método estadístico Holt-Winters y el algoritmo Facebook Prophet — para determinar qué enfoque predictivo ofrece mayor precisión en la predicción de fallos semanales del sistema CBI. Para viabilizar este estudio, se utilizó una infraestructura de datos virtualizada en Proxmox, alimentada por una rutina automatizada de recolección de datos (Web Scraping) del sistema SAP, garantizando la integridad y actualización continua de la información analizada.
2. Material y Métodos
Esta investigación se clasificó como aplicada, con el objetivo de generar conocimientos prácticos para la optimización del mantenimiento ferroviario (GIL, 2019). Se adoptó un enfoque cuantitativo, basado en la recolección y análisis estadístico de datos numéricos para identificar patrones de comportamiento (PRODANOV; FREITAS, 2013). El trabajo se estructuró en etapas de configuración de la infraestructura, recolección automatizada, tratamiento de datos y modelado estadístico comparativo.
El objeto empírico consistió en los registros de fallas del Sistema de Control de Rutas (CBI) del Metro de São Paulo. Se recolectaron 3.181 registros de fallas, abarcando el período de enero de 2021 a diciembre de 2024. Los datos fueron extraídos del sistema corporativo SAP, que almacena información sobre ocurrencias e intervenciones de mantenimiento.
Para la adquisición y procesamiento de los datos, se implementó una infraestructura computacional virtualizada con hypervisor Proxmox VE. Una aplicación web personalizada en Python/Flask se alojó para automatizar el flujo de datos y centralizar información. La arquitectura se segregó en contenedores LXC distintos: uno para MySQL, otro para la aplicación de backend y web scraping, y un tercero para el entorno de análisis exploratorio (Jupyter Lab).
La rutina de extracción de datos, vía web scraping, se implementó en el backend de la aplicación utilizando Python, con las bibliotecas Requests y BeautifulSoup. El algoritmo simuló la navegación de un usuario en el sistema SAP, con autenticación automatizada por credenciales cifradas. El proceso siguió un flujo automatizado de ETL (Extract, Transform, Load), solicitando informes de ocurrencias, intervenciones y órdenes de servicio, procesando tablas HTML y archivos binarios (.xls).
Los datos brutos se procesaron en memoria con la biblioteca Pandas para limpieza, tipificación y estandarización de campos, como la extracción de Línea y Zona. Posteriormente, los datos tratados se insertaron y actualizaron en la base de datos MySQL utilizando el ORM SQLAlchemy, con un modelo relacional que garantizó la integridad y evitó duplicidades. Un sistema de logging integrado acompañó todo el proceso para asegurar la trazabilidad.
El procesamiento analítico se realizó en el entorno Jupyter Lab, donde los datos se sometieron a etapas de limpieza, conversión de fechas y remuestreo. Se generaron dos series temporales distintas para el análisis: una con granularidad diaria y otra con agregación semanal. La alta volatilidad estocástica diaria justificó la agregación semanal para la estabilización de la serie temporal y una mejor exposición de los patrones de comportamiento del sistema CBI.
Para la modelización predictiva, se seleccionaron el método estadístico Holt-Winters y el algoritmo Facebook Prophet. El Holt-Winters, una Suavización Exponencial Triple, se aplicó por ser adecuado para series con tendencia y estacionalidad. Se optó por el método aditivo, dada la constancia de la varianza de la serie (HYNDMAN; ATHANASOPOULOS, 2021). Los parámetros de suavización fueron optimizados automáticamente por el algoritmo Statsmodels para minimizar el error cuadrático, con un período estacional fijado en 4.
En carácter comparativo, se utilizó el algoritmo Facebook Prophet, un modelo de regresión aditiva que se adapta a datos con fuertes efectos estacionales y cambios de tendencia. El Prophet formula el problema como un ajuste de curva descomponible (TAYLOR; LETHAM, 2018), donde el componente de estacionalidad se modela por una Serie de Fourier. La estacionalidad diaria fue desactivada, manteniéndose la semanal activa, y un parámetro de estacionalidad personalizada se insertó para capturar el comportamiento mensual.
Para la validación y comparación de desempeño, se adoptó la Validación Cruzada en Ventanas Deslizantes (Walk-Forward Validation). Esta técnica, implementada vía TimeSeriesSplit de la biblioteca Scikit-Learn, dividió el conjunto de datos en 5 iteraciones secuenciales. En cada iteración, el modelo se entrenó con una ventana histórica progresiva y se probó en la ventana inmediatamente futura, evitando el uso de información futura en el entrenamiento. La métrica de desempeño adoptada fue el Error Absoluto Medio (MAE), por la interpretabilidad directa en relación con la cantidad física de fallas.
3. Resultados y Discusión
La etapa inicial de la investigación se centró en la minería de datos para identificar y aislar el Sistema de Control de Rutas (CBI) como el activo crítico para el estudio, según el objetivo establecido. Durante el período comprendido entre enero de 2021 y diciembre de 2024, se acumularon 3.181 registros de fallas referentes a este sistema. Esta robusta base de datos permitió un análisis en profundidad del comportamiento de las fallas, proporcionando el sustento empírico necesario para el desarrollo y la comparación de los modelos predictivos, alineándose a la propuesta de transformar datos brutos en inteligencia operativa, como sugieren Lee, Kao y Yang (2014).
Antes de aplicar los algoritmos predictivos, se realizó un Análisis Exploratorio de Datos (AED) para caracterizar la serie histórica de fallos. Se observó que la granularidad diaria de la serie presentaba un comportamiento altamente estocástico, con un Coeficiente de Variación (CV) superior al 100%. La media de fallos diarios fue de 2,97, con una desviación estándar de 3,12, y el recuento total de aproximadamente 1.460 días. Esta alta volatilidad, junto con la presencia de un número significativo de días sin fallos (valores cero), indicó que la granularidad diaria sería inadecuada para la modelización predictiva, dificultando la convergencia de los modelos de regresión.
Por otro lado, la agregación de los datos en granularidad semanal demostró una considerable estabilización de la serie temporal. En este formato, la serie abarcó aproximadamente 208 semanas, con una media de 16,87 fallos por semana y una desviación estándar de 8,45. El Coeficiente de Variación (CV) se redujo a alrededor del 50%, lo que indica una volatilidad moderada. Esta agregación semanal eliminó los valores nulos y suavizó la varianza, revelando de forma más clara la tendencia cíclica del proceso de degradación del sistema CBI. Este enfoque de remuestreo fue crucial para exponer los patrones subyacentes de comportamiento del sistema, según la literatura sobre series temporales (Hyndman; Athanasopoulos, 2021).
Con base en la caracterización estadística, los modelos predictivos se aplicaron priorizando la serie semanal. En el experimento inicial con el modelo Holt-Winters, la aplicación a la granularidad diaria resultó en un Error Absoluto Medio (MAE) de 1,70, lo que representó cerca del 57% de la media de fallos diarios, confirmando la baja fiabilidad para esta frecuencia. Sin embargo, al aplicarse a la serie semanal, el modelo Holt-Winters obtuvo un MAE de 5,63. Este resultado representó una reducción del error relativo a aproximadamente el 33%, indicando una capacidad robusta para capturar la tendencia de degradación del activo y proyectar el volumen de fallos.
La proyección realizada por el modelo Holt-Winters indicó un aumento esperado de aproximadamente 10 a 18 fallas semanales en el próximo ciclo, evidenciando la capacidad predictiva del modelo para anticipar el comportamiento futuro del sistema. La visualización del comportamiento observado y de la predicción de Holt-Winters demostró un ajuste adecuado, con la línea de predicción siguiendo de cerca la tendencia de los datos históricos. Este hallazgo es fundamental para la transición de un mantenimiento reactivo a un enfoque proactivo, optimizando la asignación de recursos y equipos, como señala la literatura (Abreu et al., 2024).
Posteriormente, el algoritmo Facebook Prophet se aplicó bajo la misma metodología de validación cruzada en ventanas deslizantes. El modelo Prophet, aunque reconocido por su capacidad para manejar estacionalidades y tendencias, presentó inestabilidad en las ventanas iniciales de prueba. Tras la convergencia, el modelo alcanzó un Error Absoluto Medio (MAE) final de 8,08. El análisis gráfico de la predicción de Prophet en relación con los datos reales mostró una mayor dispersión y una menor adherencia a los picos y valles de la serie temporal observada, especialmente en las fases iniciales de la predicción.
La comparación directa entre los dos modelos predictivos reveló que el Holt-Winters presentó un rendimiento superior. El Holt-Winters alcanzó un MAE de 5,63 y una Raíz del Error Cuadrático (RMSE) de 7,04, siendo clasificado como el modelo de mejor ajuste. En contraste, el Facebook Prophet obtuvo un MAE de 8,08 y una RMSE de 9,73, resultando en una precisión aproximadamente un 43% inferior a la del Holt-Winters para este conjunto de datos específico. Esta diferencia sustancial en las métricas de error valida la elección del Holt-Winters como el motor principal de predicción para el volumen de fallas semanales del sistema CBI.
Para el modelo Holt-Winters, la configuración adoptada incluyó componentes de tendencia y estacionalidad aditivos, con el período estacional fijado en cuatro, reflejando las variaciones cíclicas mensuales en la agregación semanal. Los parámetros de suavización de la serie, como nivel, tendencia y estacionalidad, no fueron fijados arbitrariamente, sino optimizados automáticamente por el algoritmo Statsmodels. Esta optimización, basada en la maximización de la verosimilitud, garantizó el mejor ajuste matemático a los datos de entrenamiento, confiriendo robustez numérica al modelo y alineándose a las mejores prácticas de modelado de series temporales (Hyndman; Athanasopoulos, 2021).
A pesar del rendimiento inferior de Prophet en las métricas de error global, la descomposición de sus componentes proporcionó evidencias importantes sobre el comportamiento estacional de la serie de fallos. El análisis estacional semanal, por ejemplo, identificó que los martes, jueves y sábados son los días de mayor probabilidad de ocurrencia de fallos. En contrapartida, los domingos y lunes presentaron una retracción natural en el volumen de fallos, indicando patrones operacionales y de uso del sistema que influyen en la frecuencia de las ocurrencias.
Adicionalmente, la descomposición de los componentes del Prophet reveló ciclos mensuales de criticidad, con picos notables en los días 4 y 28 del mes. En el ámbito anual, se observó una clara tendencia de agravamiento de las ocurrencias durante el mes de diciembre. Esta información estacional, aunque no utilizada directamente para la predicción primaria debido a la superioridad del Holt-Winters, es valiosa para el diagnóstico de patrones operacionales y para la planificación estratégica del mantenimiento, permitiendo que el equipo de mantenimiento anticipe períodos de mayor demanda y asigne recursos de manera más eficiente (Obal, Bellinello y Petrovic, 2025).
La infraestructura de datos virtualizada en Proxmox, con la aplicación Python/Flask para web scraping continuo del sistema SAP y almacenamiento en MySQL, demostró ser eficaz en la recolección y tratamiento de los 3.181 registros de fallas. Esta automatización del pipeline de datos es un pilar fundamental para la sostenibilidad del enfoque predictivo, garantizando que los modelos sean alimentados con información actualizada e íntegra. La capacidad de extraer y procesar datos de sistemas corporativos, como el SAP, es un diferencial que permite la aplicación práctica de las técnicas de data science en entornos reales de mantenimiento metroferroviario.
En resumen, los resultados de la investigación confirmaron que el modelo Holt-Winters, al ser aplicado a la serie semanal de fallas del sistema CBI, ofrece la mayor precisión predictiva, con un Error Absoluto Medio significativamente menor en comparación con Facebook Prophet. La integración de este modelo con un pipeline automatizado de recolección de datos representa una herramienta robusta para proyectar el comportamiento futuro de las fallas. Esta capacidad de predicción permite que el Metro de São Paulo transite hacia un mantenimiento predictivo más eficiente, optimizando la asignación de recursos y elevando la confiabilidad operacional del sistema de señalización, respondiendo directamente al objetivo principal del estudio.
4. Conclusión
El presente estudio buscó desarrollar y comparar modelos predictivos para estimar el volumen semanal de fallas en el Sistema de Control de Rutas (CBI) del Metro de São Paulo, utilizando una infraestructura de datos automatizada. Se verificó que la recolección continua de 3.181 registros de fallas, entre 2021 y 2024, por medio de web scraping del sistema SAP y almacenamiento en MySQL, estableció una base de datos robusta. El análisis exploratorio reveló la alta volatilidad de la serie temporal diaria, lo que justificó la agregación de los datos en granularidad semanal para estabilizar el comportamiento de las fallas. En este contexto, el modelo Holt-Winters demostró el mejor desempeño predictivo, con un Error Medio Absoluto (MAE) de 5,63, superando el algoritmo Facebook Prophet, que obtuvo un MAE de 8,08. La proyección realizada por el Holt-Winters indicó un aumento de aproximadamente 10 a 18 fallas semanales en el próximo ciclo, evidenciando su capacidad de anticipar la degradación del activo. La principal contribución reside en la integración de un pipeline automatizado de datos con un modelo predictivo eficaz, ofreciendo una herramienta robusta que permite al Metro de São Paulo transitar de un mantenimiento reactivo a un enfoque predictivo, optimizando la asignación de recursos y elevando la confiabilidad operacional del sistema CBI.
A pesar de la eficacia demostrada, el estudio enfrentó la limitación de la alta estocasticidad de los datos diarios, que exigió la agregación semanal y pudo haber mitigado la detección de patrones de falla de curtísimo plazo. Adicionalmente, se observó que el algoritmo Facebook Prophet, aunque útil para la descomposición de componentes estacionales que identificaron picos de fallas los martes, jueves y sábados, y tendencias de agravamiento en diciembre, presentó inestabilidad en las ventanas iniciales de prueba y menor precisión predictiva global para este conjunto de datos. Como sugerencia para estudios futuros, se recomienda la implementación de un dashboard interactivo para la visualización de las predicciones por el equipo de mantenimiento, facilitando la toma de decisiones. Además, profundizar el análisis de los patrones estacionales identificados por Prophet puede refinar la planificación estratégica del mantenimiento, permitiendo intervenciones más asertivas en períodos de mayor criticidad.
Referencias Bibliográficas
ABREU, D. et al. An explainable machine learning framework for railway predictive maintenance using data streams from the metro operator of Portugal. Scientific Reports, v. 14, n. 1, p. 8189, 2024.
COMPANHIA DO METROPOLITANO DE SÃO PAULO (METRÔ). Tecnologia: Operação. São Paulo, [202-?]. Disponível em: https://www.metro.sp.gov.br/tecnologia/operacao/. Acesso em: 03 fev. 2026.
GIL, A. C. Como elaborar projetos de pesquisa. 6. ed. São Paulo: Atlas, 2019.
HYNDMAN, R. J.; ATHANASOPOULOS, G. Forecasting: principles and practice. 3. ed. [S.I.]: OTexts, 2021. Disponível em: OTexts.com/fpp3.
LEE, J.; KAO, H.-A.; YANG, S. Service innovation and smart analytics for industry 4.0 and big data environment. Procedia CIRP, v. 16, p. 3-8, 2014.
OBAL, T. M.; BELLINELLO, M.; PETROVIC, S. Uso de mineração de dados para priorização no planejamento de manutenção preventiva. Proceeding Series of the Brazilian Society of Computational and Applied Mathematics, v. 9, n. 1, 2025.
PRODANOV, C. C.; FREITAS, E. C. Metodologia do trabalho científico: métodos e técnicas da pesquisa e do trabalho acadêmico. 2. ed. Novo Hamburgo: Feevale, 2013.
TAYLOR, S. J.; LETHAM, B. Prophet: forecasting at scale. The American Statistician, v. 72, n. 1, p. 37-45, 2018.
Artículo originado del Trabajo de Conclusión de Curso de la Especialización en Data Science y Analytics del MBA USP/Esalq
Para saber más sobre el curso, haga clic aquí y acceda a la plataforma MBX Academy