Orquestación de Pronósticos Meteorológicos Vía Api en Arquitectura en Capas: Municipios Paulistas de Relevancia Agrícola

Arnaldo Patrício Pinhoni Silva; Jorge Costa Silva Filho

DOI: 10.22167/2675-6528-202602686

Artículo derivado del Trabajo de Conclusión de Curso (TCC), con contenido basado en el trabajo original del alumno y adaptado al formato editorial de la Revista E&S con el apoyo de la herramienta ResumeAI, solución de inteligencia artificial desarrollada por el Instituto Pecege para síntesis y organización textual.

Resumen

Se desarrolló y evaluó un flujo automatizado de datos para pronósticos meteorológicos, obtenidos a través de Open-Meteo, en cinco municipios paulistas de relevancia agrícola, durante el período del 14 de marzo al 01 de abril de 2026. La solución se estructuró en el enfoque Extract, Load, Transform (ELT), utilizando PostgreSQL para el almacenamiento bruto, dbt para las transformaciones y Apache Airflow para la orquestación diaria, en un entorno contenedorizado con Docker y gestión de dependencias por uv. La arquitectura analítica se organizó en capas bronce, silver y gold, preservando datos brutos, estructurando registros horarios y generando agregaciones diarias. El modelo mantuvo el historial de las rondas de pronóstico y visiones deduplicadas para la caracterización meteorológica. Se preservaron 17 rondas por ciudad, totalizando 14.280 registros horarios y 595 agregaciones diarias. La comparación entre rondas reveló variaciones de hasta 3,02 °C en la temperatura media y 25,7 mm en la precipitación para el mismo día y localidad. La validación de la base deduplicada contra la reanálisis ERA5 indicó un error absoluto medio de 0,56 °C en la temperatura media diaria y 2,38 mm en la precipitación diaria, con un rendimiento distinto entre las variables. Los resultados demostraron la viabilidad del enfoque en la generación de series temporales versionadas, con trazabilidad y pruebas automatizadas de calidad, y proporcionaron una base para estudios futuros.

Palabras clave: Apache Airflow; Automatización de datos; dbt; Ingeniería de datos.

1. Introducción

La agricultura brasileña desempeña un papel estratégico en la economía nacional, presentando alta sensibilidad a la variabilidad climática. Eventos extremos, irregularidades en la precipitación y oscilaciones térmicas afectan directamente la productividad de cultivos de relevancia regional, especialmente en el estado de São Paulo. La agricultura contemporánea enfrenta incertidumbres hidrometeorológicas crecientes, demandando soluciones analíticas capaces de transformar datos brutos en información operacional útil. Pronósticos meteorológicos organizados de forma consistente, en contextos regionales, pueden subsidiar el monitoreo ambiental, el seguimiento de riesgos y la planificación operacional, convirtiéndose en un insumo crítico para la toma de decisiones en el campo (IPCC, 2023; El Hachimi et al., 2022).

A pesar de la creciente disponibilidad de datos meteorológicos a través de interfaces de programación de aplicaciones (APIs) públicas, su aprovechamiento analítico efectivo no está garantizado. La utilidad de la información depende de atributos como consistencia, representación adecuada y adecuación al uso, dimensiones reconocidas como centrales en la literatura de calidad de datos en entornos de gran volumen y alta velocidad de ingesta (Taleb et al., 2021). La ausencia de procesos estructurados de validación y transformación compromete la confiabilidad de los análisis derivados, haciendo necesaria la adopción de arquitecturas que aseguren la calidad desde la recolección hasta el consumo analítico.

En el escenario específico de las predicciones meteorológicas obtenidas a través de APIs, surgen desafíos adicionales. Estos incluyen el consumo recurrente de datos semiestructurados, la estandarización temporal, la selección de variables pertinentes y la conversión de respuestas en formato JSON a estructuras tabulares reutilizables. La plataforma Open-Meteo, por ejemplo, proporciona predicciones horarias parametrizables por coordenadas geográficas, variables meteorológicas y zona horaria, lo que favorece la integración programática, pero exige organización técnica para convertir el dato bruto en una base analítica consistente (Open-Meteo, n.d.).

Para enfrentar estos desafíos, las arquitecturas en capas se han empleado ampliamente en la ingeniería de datos. Sirven como estrategia para organizar la evolución de los datos, desde su forma bruta hasta el consumo analítico. La literatura reciente, que aborda conceptos como lakehouse y arquitectura medallion, describe un flujo de refinamiento progresivo en capas bronce, silver y gold. En este modelo, la capa inicial preserva el dato de origen, la intermedia realiza limpieza y estructuración, y la final consolida conjuntos de datos orientados al consumo analítico (Armbrust et al., 2021; Microsoft, n.d.a). Herramientas como Apache Airflow y dbt fortalecen este diseño, permitiendo la definición declarativa de flujos de trabajo, transformaciones en SQL y pruebas automatizadas de calidad (Apache Airflow, n.d.; dbt Labs, n.d.).

En Brasil, la adopción de prácticas de ingeniería de datos orientadas al monitoreo agrícola aún es reciente, especialmente en lo que se refiere a la automatización de flujos de ingesta y al versionamiento de series temporales de pronósticos climáticos. La estructuración de pipelines reproducibles y auditables para este fin representa una contribución relevante. Esto se aplica tanto desde el punto de vista técnico como de la gestión de la información en el agronegocio, al viabilizar análisis comparativos entre rondas de pronóstico y el rastreo de la calidad de los datos a lo largo del tiempo (Taleb et al., 2021).

Ante este contexto y la necesidad de sistemas robustos para la gestión de datos meteorológicos en el agronegocio, este trabajo tuvo como objetivo desarrollar y evaluar un pipeline automatizado para la ingesta, transformación, validación y organización analítica de pronósticos meteorológicos obtenidos vía API pública, estructurado en arquitectura en capas y aplicado a cinco municipios paulistas de relevancia agrícola.

2. Material y Métodos

Esta investigación, de naturaleza aplicada, tuvo como objetivo el desarrollo y la evaluación de un sistema automatizado para la ingesta, transformación y organización analítica de pronósticos meteorológicos. Se clasificó como descriptiva en cuanto a sus objetivos, buscando caracterizar el funcionamiento del artefacto computacional sin manipulación de variables ni establecimiento de relaciones causales (Gil, 2022). El enfoque metodológico fue cuantitativo, con resultados expresados en variables numéricas medibles, como temperatura y precipitación (Creswell y Creswell, 2021). El diseño se configuró como un estudio de caso aplicado, enfocado en cinco municipios paulistas de relevancia agrícola.

La delimitación espacial del estudio comprendió los municipios de Ribeirão Preto, Piracicaba, Campinas, São José do Rio Preto y Presidente Prudente, en el estado de São Paulo. La selección de estas localidades se fundamentó en su notoria relevancia socioeconómica y expresiva inserción regional en el agronegocio, según lo evidenciado por indicadores de Producto Interno Bruto (PIB) y Valor Agregado Bruto (VAB) de la agropecuaria (IBGE, n.d.). El período de monitoreo y recolección de datos se extendió del 14 de marzo al 01 de abril de 2026, con previsiones que abarcan hasta el 07 de abril del mismo año.

Los datos utilizados fueron secundarios, obtenidos exclusivamente de la API pública de la plataforma Open-Meteo, sin necesidad de recolección directa en campo o por instrumentación propia (Marconi y Lakatos, 2022). El servicio de pronóstico meteorológico fue accedido por el endpoint /v1/forecast (Open-Meteo, n.d.), que proporciona pronósticos horarios parametrizables por coordenadas geográficas, variables meteorológicas y zona horaria. El horizonte de pronóstico se mantuvo en siete días, resultando en 168 valores horarios por solicitud y por municipio.

Las consultas a la API se realizaron en resolución horaria, con retorno en formato JSON. Las variables recolectadas incluyeron temperatura del aire a 2 m, humedad relativa del aire a 2 m, precipitación, punto de rocío a 2 m, radiación solar de onda corta, velocidad del viento a 10 m, déficit de presión de vapor y evapotranspiración de referencia (ETo). La ETo se obtuvo directamente de la API, calculada con base en el estándar FAO-56 (Valle Júnior et al., 2021; Open-Meteo, n.d.).

El desarrollo del trabajo siguió cuatro etapas secuenciales. Inicialmente, se identificó el problema y se definió el alcance de la solución para la ingesta y organización analítica de pronósticos meteorológicos. Luego, se diseñó y desarrolló el pipeline de datos en una arquitectura por capas. La tercera etapa consistió en la operación del sistema, acumulando 17 rondas de ingesta. Finalmente, se evaluó el artefacto mediante métricas cuantitativas de volumen, integridad, divergencia entre rondas y precisión (Munappy et al., 2020).

La operacionalización de la recopilación de datos adoptó un pipeline metadata-driven, utilizando una configuración externa a través de la variable `OPEN_METEO_CITIES_JSON`. Esta estrategia permitió la expansión o sustitución de las localidades de interés sin alteraciones directas en el código fuente, confiriendo escalabilidad y madurez técnica a la solución (Microsoft, n.d.b). Dicho enfoque mitigó la rigidez estructural y favoreció la reutilización de procesos, garantizando bajo acoplamiento entre la lógica de ingesta y las definiciones de parámetros.

El modelado de datos adoptó el enfoque Extract, Load, Transform (ELT), estructurado en capas bronce, plata y oro, alineándose a los referentes de medallion architecture y lakehouse (Armbrust et al., 2021; Microsoft, n.d.a). La capa bronce preservó las respuestas JSON brutas de Open-Meteo íntegramente, junto con el registro temporal de la ingesta, cumpliendo función de auditoría y trazabilidad sin transformaciones semánticas.

En la capa silver, las respuestas brutas se expandieron a registros atómicos horarios por ciudad, ronda de ingesta y hora, mediante la desnormalización de los arreglos JSON y la conversión a columnas explícitamente tipadas. Los modelos se materializaron como vistas sobre PostgreSQL. Una vista histórica mantuvo todas las rondas, mientras que una vista corriente se derivó del histórico para uso operacional, y una vista deduplicada retuvo una única predicción por municipio y fecha objetivo (Firmani et al., 2016; Merino et al., 2016).

La capa gold consolidó los datos horarios en agregaciones diarias por ciudad, ronda de ingesta y día, produciendo nueve indicadores meteorológicos. Estos incluyeron temperatura media, máxima y mínima diaria, precipitación total, punto de rocío medio, radiación solar de onda corta media, velocidad media del viento a 10 m, déficit de presión de vapor medio y evapotranspiración de referencia acumulada, calculada por el método FAO-56 (Ruiz-Ortega et al., 2024). Se mantuvieron vistas históricas y actuales para diferentes propósitos analíticos.

Las transformaciones analíticas y la modelización de los datos se ejecutaron a través del framework dbt (data build tool), empleando el lenguaje SQL. Se implementaron pruebas automatizadas de calidad en dbt, verificando valores nulos y unicidad de los registros por ciudad y registro temporal después de cada ronda de ingesta (Firmani et al., 2016; Merino et al., 2016). Este procedimiento aseguró la confiabilidad en contextos de procesamiento continuo.

Todo el flujo operativo fue orquestado por Apache Airflow 2.9.1, ejecutado en modo LocalExecutor sobre Python 3.10, a través de un DAG (Directed Acyclic Graph) con programación diaria (Apache Airflow, n.d.). El DAG coordinó la ejecución secuencial de las tareas de ingesta en la capa bronce (`bronze_ingest`), transformación vía dbt (`dbt_run`) y validación de las pruebas de calidad (`dbt_test`). La conteinerización con Docker aseguró portabilidad y consistencia del entorno.

La gestión de dependencias de Python se realizó con `uv` y se fijó mediante el archivo de bloqueo `uv.lock`, garantizando la reproducibilidad computacional del entorno (Alston y Rick, 2021). El DAG se configuró con reintentos automáticos en caso de fallo, con un intervalo de cinco minutos, y el parámetro `catchup` se mantuvo desactivado, de modo que las ejecuciones no realizadas en la fecha prevista no se recuperaron posteriormente (Munappy et al., 2020).

Para evaluar la precisión de las predicciones almacenadas, la base de datos deduplicada se comparó con la reanálisis ERA5, producida por el European Centre for Medium-Range Weather Forecasts (Hersbach et al., 2020). La reanálisis se accedió a través del servicio de archivo de Open-Meteo para las mismas coordenadas y fechas. La comparación se realizó en la granularidad diaria para la temperatura media y la precipitación acumulada, empleando sesgo, error absoluto medio (MAE) y raíz del error cuadrático medio (RMSE) como medidas de verificación (Jolliffe y Stephenson, 2012).

El código fuente del pipeline está disponible en un repositorio público bajo licencia MIT, accesible en `https://github.com/arnaldopinhoni/tcc-climate-data-pipeline`. El repositorio incluye los modelos dbt de las capas silver y gold, las pruebas automatizadas de calidad, las consultas que reproducen las tablas presentadas y el script de validación contra el reanálisis ERA5. Para la recreación del entorno, se versionan el archivo de composición de los contenedores, el archivo de bloqueo de dependencias y los modelos de configuración de variables de entorno y perfil de conexión del dbt.

3. Resultados y Discusión

El pipeline automatizado para la ingesta, transformación, validación y organización analítica de pronósticos meteorológicos operó según lo esperado, cubriendo el período del 14 de marzo al 01 de abril de 2026. Durante este intervalo de 19 días, se acumularon 17 rondas de ingesta por ciudad, distribuidas en 14 días distintos, con pronósticos que se extendían hasta el 07 de abril de 2026. La capa silver histórica consolidó un total de 14.280 registros horarios, mientras que la capa gold histórica generó 595 agregaciones diarias, de las cuales 125 compusieron la base deduplicada utilizada para la caracterización meteorológica. La uniformidad en el conteo de registros entre los cinco municipios monitoreados demostró que todas las rondas iniciadas fueron procesadas integralmente por las capas subsiguientes, sin ninguna pérdida parcial de datos, confirmando la robustez del flujo.

Adecuación de la arquitectura en capas

La arquitectura en capas, compuesta por bronce, plata y oro, demostró ser altamente eficaz para el problema de ingesta y transformación de pronósticos meteorológicos, alineándose con los referentes de medallion architecture y lakehouse (Armbrust et al., 2021; Microsoft, n.d.a). La capa de bronce actuó como un repositorio fiel de las respuestas JSON brutas de la API Open-Meteo, preservando íntegramente 85 registros brutos, correspondientes a 17 rondas para cada una de las cinco ciudades, con un volumen total de aproximadamente 385 kB. Este enfoque garantizó la trazabilidad completa y la capacidad de reprocesamiento a partir de los datos originales, una ventaja significativa sobre los métodos que transforman los datos directamente en la ingesta (Armbrust et al., 2021).

En la capa silver, las respuestas brutas se expandieron en 14.280 registros horarios explícitamente tipificados por municipio, ronda de ingesta y horario, sin variaciones ni lagunas entre las localidades. Esta estructuración relacional es crucial para la identificación de patrones y tendencias (Firmani et al., 2016; Merino et al., 2016). El mantenimiento de vistas históricas, corrientes y deduplicadas en la capa silver, con 14.280, 840 y 3.000 registros respectivamente, permitió atender a diferentes finalidades analíticas. La capa gold, por su parte, consolidó los datos horarios en 595 agregaciones diarias, produciendo nueve indicadores meteorológicos esenciales para el consumo analítico, como temperatura media, precipitación total y evapotranspiración de referencia.

Calidad y completitud de los datos

El análisis de completitud de los registros en la capa silver confirmó la uniformidad absoluta entre los cinco municipios, con cada ciudad acumulando 2.856 registros horarios. La verificación de valores nulos en las ocho variables meteorológicas monitoreadas, incluyendo temperatura del aire, humedad relativa y precipitación, reveló un llenado integral en todas las rondas analizadas. Este resultado valida la correcta parametrización de las solicitudes a la API Open-Meteo y la adecuación del proceso de transformación en la capa silver (Garbanzo León et al., 2025). La ausencia de lagunas se atribuye a la confiabilidad de la API, a la parametrización precisa y a las pruebas automatizadas de calidad implementadas en dbt, que interrumpen el pipeline en caso de fallas de integridad.

La uniformidad en el recuento de registros entre capas y municipios, con 2.856 registros horarios en la capa silver y 119 agregaciones en la capa gold, demostró la consistencia operativa y la integridad del proceso de transformación. El enfoque metadata-driven, que parametrizó las ciudades a través de una variable de configuración externa, eliminó el acoplamiento entre la lógica de negocio y los parámetros operativos, permitiendo la escalabilidad y la mantenibilidad de la solución (Microsoft, n.d.b; Munappy et al., 2020). La trazabilidad integral, garantizada por el registro del identificador de la ronda en todas las capas, permite auditar el recorrido de transformación de cualquier agregación diaria hasta la respuesta JSON original, un requisito fundamental para sistemas de soporte a la decisión en dominios críticos (Taleb et al., 2021).

Orquestación y reproducibilidad computacional

La orquestación del flujo operativo por Apache Airflow 2.9.1, ejecutado en modo LocalExecutor sobre Python 3.10, garantizó la ejecución ordenada de las tareas de ingesta, transformación y pruebas de calidad sin intervención manual en las 17 rondas realizadas. La contenerización con Docker aseguró la portabilidad y consistencia del entorno, mientras que la gestión de dependencias por uv fortaleció la reproducibilidad computacional, alineándose a las buenas prácticas de investigación computacional (Alston y Rick, 2021). El mecanismo de reintento automático configurado en la DAG de Airflow, con reejecución en intervalos de cinco minutos en caso de fallo, reforzó la resiliencia a interrupciones transitorias de APIs externas, un requisito esencial en pipelines de datos de producción (Munappy et al., 2020).

A pesar de la robustez del sistema, el período de monitoreo registró 17 rondas de ingesta en 19 días de calendario, con cinco días sin ejecución debido a la operación en una estación de trabajo personal y al parámetro catchup desactivado. Esta configuración, aunque adecuada para demostración, implicó que las ejecuciones no realizadas en la fecha prevista no fueron recuperadas. Por el contrario, el día 31 de marzo concentró cuatro ejecuciones, incluyendo tres reejecuciones manuales. Estas observaciones destacan que el retry automático actúa sobre fallas dentro de una ejecución programada, pero no sustituye la disponibilidad continua del entorno de ejecución, que se alcanzaría en un servidor dedicado con catchup habilitado.

Caracterización meteorológica de los municipios e implicaciones agrícolas

El análisis comparativo de las variables meteorológicas, realizado sobre la base de datos duplicados de 25 fechas por municipio, reveló patrones consistentes con la caracterización climática regional. Presidente Prudente registró la temperatura media más alta (25,62 °C) y la máxima absoluta (34,30 °C), mientras que Campinas presentó los valores más bajos (23,58 °C y 31,40 °C, respectivamente). La diferencia de 2,04 °C en la temperatura media entre los extremos es compatible con el gradiente térmico esperado en función de la latitud y altitud, siendo Campinas la localidad de mayor altitud. Estos datos, aunque descriptivos del período, no constituyen una verificación cruzada de la clasificación climática de Köppen, que se basa en valores normales a largo plazo (Alvares et al., 2022).

En relación a la precipitación acumulada prevista para el período, Presidente Prudente (85,4 mm) y Ribeirão Preto (80,1 mm) presentaron los mayores volúmenes, mientras que Campinas registró el menor (53,0 mm). La diferencia de 32,4 mm entre los extremos representa una variación del 61,1%, evidenciando heterogeneidad espacial en las previsiones de precipitación. La evapotranspiración de referencia (ETo) acumulada varió entre 101,9 mm en São José do Rio Preto y 107,4 mm en Piracicaba, una amplitud de solo 5,5 mm (5,4%). Esta relativa homogeneidad en la demanda evapotranspirativa contrasta con la variabilidad de la precipitación, sugiriendo que el balance hídrico de los cultivos en el período analizado es más sensible a la oferta de agua por lluvia que a la demanda atmosférica.

El déficit de presión de vapor (VPD) promedio varió entre 0,846 kPa en Campinas y 0,979 kPa en Presidente Prudente. Estos valores indican condiciones previstas dentro de rangos favorables para el desarrollo vegetal en la mayoría de los municipios, aunque Presidente Prudente se acerca al umbral de 1,0 kPa, frecuentemente asociado a estrés hídrico atmosférico para cultivos sensibles (Grossiord et al., 2020). La amplitud térmica diaria promedio varió de 8,85 °C en Presidente Prudente a 11,38 °C en Piracicaba, una diferencia de 2,53 °C. Esta variación es relevante para la planificación de actividades agrícolas sensibles a oscilaciones de temperatura, como la aplicación de defensivos y la cosecha de productos perecederos (Antuniassi y Boller, 2019).

Relaciones entre variables meteorológicas

El análisis de correlación de Pearson reveló patrones de covarianza entre las variables meteorológicas. La correlación entre la radiación solar y la evapotranspiración de referencia (ETo) fue muy alta, variando entre 0,978 y 0,988 en todos los municipios. Este resultado no es un hallazgo empírico, sino una consecuencia directa de la formulación del método FAO-56, que utiliza la radiación solar como principal variable de entrada para el cálculo de la ETo (Valle Júnior et al., 2021; Ruiz-Ortega et al., 2024). La correlación entre la temperatura y la ETo varió entre 0,562 y 0,831, indicando que los días más cálidos tienden a estar asociados con una mayor demanda evaporativa, un comportamiento compatible con la formulación de Penman-Monteith.

La correlación entre precipitación y humedad relativa fue baja, variando entre 0,079 y 0,173. Este resultado sugiere una relación poco directa entre estas variables en el conjunto analizado, lo que puede ser explicado por la escala temporal de los datos y por la dinámica atmosférica, donde eventos de precipitación no siempre se traducen en aumentos proporcionales en la humedad media (Valle Júnior et al., 2021). Estos coeficientes son descriptivos del período analizado y no deben ser tratados como estimaciones estables de la relación entre las variables, dada la dispersión entre localidades y el tamaño reducido de la muestra de 25 días por municipio.

Agregación y capa gold

La capa gold consolidó los registros horarios en agregaciones diarias por ciudad y ronda de ingesta, produciendo nueve indicadores meteorológicos diarios, incluyendo temperatura media, máxima y mínima, precipitación total, punto de rocío medio, radiación solar de onda corta, velocidad media del viento, déficit de presión de vapor y evapotranspiración de referencia por el método FAO-56. Cada municipio presentó 119 agregaciones diarias, resultantes de 17 rondas y 25 fechas objetivo distintas, con una media de 4,76 predicciones por fecha objetivo. La precipitación media por agregación varió de 2,7 mm en Campinas a 3,3 mm en Piracicaba y Ribeirão Preto, y 2,9 mm en Presidente Prudente y 2,8 mm en São José do Rio Preto.

Distribución de la evapotranspiración de referencia

La distribución de la ETo diaria por rangos de magnitud, calculada sobre la base de datos duplicados, reveló que el rango moderado (3 a 5 mm por día) concentró la mayoría de las fechas en todos los municipios, representando entre el 72% y el 88% de los días analizados. Ninguna fecha alcanzó el rango de ETo muy alto (igual o superior a 7 mm por día). Esta predominancia del rango moderado indica una demanda atmosférica intermedia, favorable al manejo de riego suplementario en cultivos perennes y a la implantación de cultivos de segunda cosecha (Garbanzo León et al., 2025). La disponibilidad de esta variable ya procesada y agregada en la capa gold elimina la necesidad de cálculos intermedios por parte del usuario final, reduciendo barreras de adopción en sistemas de soporte a la decisión agrícola (El Hachimi et al., 2022).

Ocurrencia de precipitación significativa

La identificación de días con precipitación prevista superior a 5 mm es relevante para la planificación de operaciones de campo que requieren suelo seco (Antuniassi y Boller, 2019). Presidente Prudente y Ribeirão Preto presentaron el mayor número de fechas con precipitación significativa, con 7 días en 25, mientras que Campinas registró el menor, con 3 días. La precipitación media en estos días varió entre 9,5 mm y 16,0 mm, indicando eventos de intensidad moderada a fuerte, compatibles con el patrón de lluvias convectivas típicas del período de transición entre verano y otoño en la región. Estos valores describen lo que el modelo anticipó para el período, y no lluvias observadas.

Variación entre rondas de pronóstico y sus impactos

La comparación entre las predicciones emitidas en diferentes rondas para el mismo día y localidad reveló variaciones expresivas, especialmente en temperatura y precipitación. La mayor divergencia de temperatura media entre rondas se observó en Campinas el 18 de marzo de 2026, con una variación de 3,02 °C entre las cuatro rondas disponibles. En precipitación, la mayor divergencia de todo el período fue de 25,7 mm, registrada en Ribeirão Preto. La variación media de temperatura entre rondas se situó entre 0,91 °C y 1,37 °C, con casos extremos alcanzando 3,02 °C. La variación media de precipitación varió de 4,2 mm en Campinas a 6,0 mm en Ribeirão Preto, con el máximo de 25,7 mm también en Ribeirão Preto.

El caso de la previsión para Campinas el 18 de marzo de 2026 ilustra el impacto de esta incertidumbre. La ronda recopilada cuatro días antes preveía una temperatura media de 22,27 °C y ausencia de precipitación. La ronda del 16 de marzo revisó la previsión a 25,29 °C, una variación de 3,02 °C. La precipitación, prevista como nula hasta la ronda del 16 de marzo, apareció por primera vez en la ronda del día 17 (0,2 mm) y se revisó a 7,5 mm en la ronda del propio día 18. Esta magnitud de las revisiones sucesivas refuerza la necesidad de sistemas de gestión de datos climáticos que proporcionen no solo la previsión actual, sino también indicadores de fiabilidad de la información (El Hachimi et al., 2022).

Precisión de las predicciones y límites de uso

La validación de la base de datos deduplicada contra el reanálisis ERA5, para 125 pares de comparación a nivel diario, reveló un rendimiento distinto entre las variables. Para la temperatura media diaria, el sesgo del conjunto fue de +0,17 °C, el error absoluto medio (MAE) de 0,56 °C y la raíz del error cuadrático medio (RMSE) de 0,73 °C, con un 85,6% de los días presentando un error de hasta 1,0 °C. El sesgo por municipio se mantuvo entre -0,27 °C y +0,63 °C, sin tendencia sistemática común. Este rendimiento indica que la predicción de temperatura es suficientemente precisa para apoyar decisiones operativas en el horizonte analizado.

Para la precipitación diaria, el error absoluto medio del conjunto fue de 2,38 mm y la raíz del error cuadrático medio de 4,43 mm, con solo el 56,8% de los días dentro de 1,0 mm y un error máximo de 20,6 mm en un solo día. El sesgo varió entre municipios, con Campinas subestimando el acumulado del período (53,0 mm previstos contra 92,0 mm en la reanálisis), mientras que Piracicaba y Presidente Prudente sobreestimaron (73,7 mm contra 40,1 mm y 85,4 mm contra 41,8 mm, respectivamente). Esta asimetría es coherente con la literatura de predicción numérica, que señala la precipitación como la variable de más difícil predicción debido a su naturaleza discontinua (Bauer et al., 2021). Por lo tanto, la predicción de precipitación debe tratarse como un indicativo de tendencia, y no como un valor puntual confiable.

Aplicabilidad para la planificación agrícola

La distribución de la evapotranspiración de referencia por rangos de magnitud ofrece un subsidio directo para el dimensionamiento de sistemas de riego y la planificación de turnos de riego. El predominio del rango moderado (3 a 5 mm por día) indica condiciones de demanda atmosférica intermedia, compatibles con el manejo de riego suplementario en cultivos perennes. La ausencia de fechas en el rango de ETo muy alta (≥7 mm por día) en el período analizado, correspondiente al final del verano y principio del otoño, no presentó previsión de demanda evapotranspirativa extrema. La identificación de 3 a 7 días con precipitación prevista superior a 5 mm por municipio permite la planificación anticipada de operaciones de campo sensibles a las condiciones de humedad del suelo, como la cosecha mecanizada y la aplicación de herbicidas (Antuniassi y Boller, 2019).

La correlación entre la temperatura y la evapotranspiración de referencia, entre 0,562 y 0,831, sugiere que la temperatura del aire puede servir como un indicador aproximado de la demanda evapotranspirativa para fines de manejo simplificado, aunque la dispersión observada entre localidades desaconseja generalizar esta sustitución. La heterogeneidad espacial observada en las previsiones de precipitación, con una diferencia de 32,4 mm entre el municipio con mayor y el con menor acumulación prevista, refuerza la necesidad de sistemas de monitorización que operen en granularidad municipal o superior. El pipeline desarrollado atendió a este requisito al permitir la incorporación de nuevas localidades mediante parametrización externa, sin alteraciones en el código fuente, garantizando la utilidad de la información para la planificación agrícola en propiedades específicas.

En resumen, el pipeline demostró la viabilidad de una arquitectura en capas para la gestión de pronósticos meteorológicos, con trazabilidad y pruebas de calidad automatizadas. Los resultados indicaron que la temperatura media diaria posee alta Precisión/ Exactitud, siendo útil para decisiones operativas, mientras que la precipitación debe interpretarse como indicativo de tendencia. La variación expresiva entre rondas de pronóstico y la heterogeneidad espacial de la precipitación refuerzan la importancia de sistemas que preserven el historial de los pronósticos y operen en granularidad municipal, proporcionando información valiosa para la planificación agrícola.

4. Conclusión

Este trabajo tuvo como objetivo desarrollar y evaluar un pipeline automatizado para la ingesta, transformación, validación y organización analítica de pronósticos meteorológicos obtenidos vía API pública, estructurado en arquitectura en capas y aplicado a cinco municipios paulistas de relevancia agrícola. Se verificó que la arquitectura en capas, compuesta por bronce, silver y gold, demostró ser eficaz en el refinamiento progresivo de los datos, garantizando trazabilidad integral y la capacidad de reprocesamiento a partir de las respuestas brutas de la API. La orquestación con Apache Airflow y la conteinerización con Docker aseguraron la reproducibilidad computacional y la consistencia de las ejecuciones. Las pruebas automatizadas de calidad implementadas en dbt confirmaron la completitud e integridad de los registros en todas las capas. Se observó que los pronósticos de temperatura media diaria presentaron alta precisión, con error absoluto medio de 0,56 °C, mientras que la precipitación diaria reveló mayor incertidumbre, con error absoluto medio de 2,38 mm, indicando su uso como indicativo de tendencia. El análisis comparativo entre rondas de pronóstico evidenció variaciones significativas, de hasta 3,02 °C en la temperatura media y 25,7 mm en la precipitación para el mismo día y localidad, reforzando la importancia de sistemas que preserven el historial de los pronósticos. La principal contribución del estudio reside en la viabilidad de una solución de ingeniería de datos para la generación de series temporales versionadas de pronósticos meteorológicos, con trazabilidad y pruebas automatizadas de calidad, proporcionando una base robusta para la planificación agrícola.

Como limitaciones, el período de monitoreo de 17 rondas en 19 días, aunque suficiente para demostrar la operatividad del sistema, resultó restringido para análisis estacionales robustos. La discontinuidad de la serie, con cinco días sin ejecución debido a la operación en una estación de trabajo personal y al parámetro catchup desactivado, también fue un factor limitante. Además, la validación contra la reanálisis ERA5, que es un producto de modelado, implica que los errores reportados representan la discrepancia entre dos estimaciones y no un desvío respecto a una medición directa. Para estudios futuros, se sugiere ampliar el horizonte temporal de recolección, operar el pipeline en un entorno de ejecución continua en un servidor dedicado, incorporar datos observados de estaciones meteorológicas para una validación más directa y extender la cobertura geográfica a otras regiones agrícolas del país, a fin de fortalecer la aplicabilidad y la robustez de la solución.

Referencias Bibliográficas

Armbrust, M.; Ghodsi, A.; Xin, R.; Zaharia, M. 2021. Lakehouse: a new generation of open platforms that unify data warehousing and advanced analytics. In: Conference on Innovative Data Systems Research (CIDR), 2021, Online. Anais…

El Hachimi, C.; Belaqziz, S.; Khabba, S.; Sebbar, B.E.; Dhiba, D.; Chehbouni, A. 2022. Smart weather data management based on artificial intelligence and big data analytics for precision agriculture. Agriculture 13(1): 95.

Intergovernmental Panel on Climate Change [IPCC]. 2023. Climate Change 2023: Synthesis Report. IPCC, Geneva, Switzerland.

Microsoft. n.d.a. Medallion architecture. Disponível em: <https://learn.microsoft.com/en-us/azure/databricks/lakehouse/med

Open-Meteo. n.d. Open-Meteo weather forecast API documentation. Disponível em: <https://open-meteo.com/en/docs>. Acesso em: 19 mar. 2026.

Taleb, I.; Serhani, M.A.; Bouhaddioui, C.; Dssouli, R. 2021. Big data quality framework: a holistic approach to continuous quality management. Journal of Big Data 8(1): 76.

Artículo originado del Trabajo de Conclusión de Curso de la Especialización en Data Science y Analytics del MBA USP/Esalq

Para saber más sobre el curso, haz clic aquí y accede a la plataforma MBX Academy