Orquestração de Previsões Meteorológicas Via Api em Arquitetura em Camadas: Municípios Paulistas de Relevância Agrícola

Arnaldo Patrício Pinhoni Silva; Jorge Costa Silva Filho

DOI: 10.22167/2675-6528-202602686

Artigo derivado de Trabalho de Conclusão de Curso (TCC), com conteúdo baseado no trabalho original do aluno e adaptado ao formato editorial da Revista E&S com apoio da ferramenta ResumeAI, solução de inteligência artificial desenvolvida pelo Instituto Pecege para síntese e organização textual.

Resumo

Um fluxo automatizado de dados para previsões meteorológicas, obtidas via Open-Meteo, foi desenvolvido e avaliado em cinco municípios paulistas de relevância agrícola, no período de 14 de março a 01 de abril de 2026. A solução estruturou-se na abordagem Extract, Load, Transform (ELT), utilizando PostgreSQL para armazenamento bruto, dbt para transformações e Apache Airflow para orquestração diária, em ambiente conteinerizado com Docker e gerenciamento de dependências por uv. A arquitetura analítica organizou-se em camadas bronze, silver e gold, preservando dados brutos, estruturando registros horários e gerando agregações diárias. O modelo manteve o histórico das rodadas de previsão e visões deduplicadas para caracterização meteorológica. Preservaram-se 17 rodadas por cidade, totalizando 14.280 registros horários e 595 agregações diárias. A comparação entre rodadas revelou variações de até 3,02 °C na temperatura média e 25,7 mm na precipitação para o mesmo dia e localidade. A validação da base deduplicada contra a reanálise ERA5 indicou erro absoluto médio de 0,56 °C na temperatura média diária e 2,38 mm na precipitação diária, com desempenho distinto entre as variáveis. Os resultados demonstraram a viabilidade da abordagem na geração de séries temporais versionadas, com rastreabilidade e testes automatizados de qualidade, e forneceram base para estudos futuros.

Palavras-chave: Apache Airflow; Automação de dados; dbt; Engenharia de dados.

1. Introdução

A agricultura brasileira desempenha um papel estratégico na economia nacional, apresentando alta sensibilidade à variabilidade climática. Eventos extremos, irregularidades na precipitação e oscilações térmicas afetam diretamente a produtividade de culturas de relevância regional, especialmente no estado de São Paulo. A agricultura contemporânea enfrenta incertezas hidrometeorológicas crescentes, demandando soluções analíticas capazes de transformar dados brutos em informações operacionais úteis. Previsões meteorológicas organizadas de forma consistente, em contextos regionais, podem subsidiar o monitoramento ambiental, o acompanhamento de risco e o planejamento operacional, tornando-se um insumo crítico para a tomada de decisão no campo (IPCC, 2023; El Hachimi et al., 2022).

Apesar da crescente disponibilidade de dados meteorológicos por meio de interfaces de programação de aplicações (APIs) públicas, seu aproveitamento analítico efetivo não é garantido. A utilidade da informação depende de atributos como consistência, representação adequada e adequação ao uso, dimensões reconhecidas como centrais na literatura de qualidade de dados em ambientes de grande volume e alta velocidade de ingestão (Taleb et al., 2021). A ausência de processos estruturados de validação e transformação compromete a confiabilidade das análises derivadas, tornando necessária a adoção de arquiteturas que assegurem a qualidade desde a coleta até o consumo analítico.

No cenário específico das previsões meteorológicas obtidas via APIs, surgem desafios adicionais. Estes incluem o consumo recorrente de dados semiestruturados, a padronização temporal, a seleção de variáveis pertinentes e a conversão de respostas em formato JSON para estruturas tabulares reutilizáveis. A plataforma Open-Meteo, por exemplo, disponibiliza previsões horárias parametrizáveis por coordenadas geográficas, variáveis meteorológicas e fuso horário, o que favorece a integração programática, mas exige organização técnica para converter o dado bruto em uma base analítica consistente (Open-Meteo, n.d.).

Para enfrentar esses desafios, arquiteturas em camadas têm sido amplamente empregadas na engenharia de dados. Elas servem como estratégia para organizar a evolução dos dados, desde sua forma bruta até o consumo analítico. A literatura recente, que aborda conceitos como lakehouse e medallion architecture, descreve um fluxo de refinamento progressivo em camadas bronze, silver e gold. Nesse modelo, a camada inicial preserva o dado de origem, a intermediária realiza limpeza e estruturação, e a final consolida conjuntos de dados orientados ao consumo analítico (Armbrust et al., 2021; Microsoft, n.d.a). Ferramentas como Apache Airflow e dbt fortalecem esse desenho, permitindo a definição declarativa de fluxos de trabalho, transformações em SQL e testes automatizados de qualidade (Apache Airflow, n.d.; dbt Labs, n.d.).

No Brasil, a adoção de práticas de engenharia de dados voltadas ao monitoramento agrícola ainda é recente, especialmente no que se refere à automação de fluxos de ingestão e ao versionamento de séries temporais de previsões climáticas. A estruturação de pipelines reprodutíveis e auditáveis para este fim representa uma contribuição relevante. Isso se aplica tanto do ponto de vista técnico quanto da gestão da informação no agronegócio, ao viabilizar análises comparativas entre rodadas de previsão e o rastreamento da qualidade dos dados ao longo do tempo (Taleb et al., 2021).

Diante desse contexto e da necessidade de sistemas robustos para o gerenciamento de dados meteorológicos no agronegócio, este trabalho teve como objetivo desenvolver e avaliar um pipeline automatizado para ingestão, transformação, validação e organização analítica de previsões meteorológicas obtidas via API pública, estruturado em arquitetura em camadas e aplicado a cinco municípios paulistas de relevância agrícola.

2. Material e Métodos

Esta pesquisa, de natureza aplicada, teve como objetivo o desenvolvimento e a avaliação de um sistema automatizado para ingestão, transformação e organização analítica de previsões meteorológicas. Classificou-se como descritiva quanto aos objetivos, buscando caracterizar o funcionamento do artefato computacional sem manipulação de variáveis ou estabelecimento de relações causais (Gil, 2022). A abordagem metodológica foi quantitativa, com resultados expressos em variáveis numéricas mensuráveis, como temperatura e precipitação (Creswell e Creswell, 2021). O delineamento configurou-se como um estudo de caso aplicado, focado em cinco municípios paulistas de relevância agrícola.

A delimitação espacial do estudo compreendeu os municípios de Ribeirão Preto, Piracicaba, Campinas, São José do Rio Preto e Presidente Prudente, no estado de São Paulo. A seleção dessas localidades fundamentou-se em sua notória relevância socioeconômica e expressiva inserção regional no agronegócio, conforme evidenciado por indicadores de Produto Interno Bruto (PIB) e Valor Adicionado Bruto (VAB) da agropecuária (IBGE, n.d.). O período de monitoramento e coleta de dados estendeu-se de 14 de março a 01 de abril de 2026, com previsões abrangendo até 07 de abril do mesmo ano.

Os dados utilizados foram secundários, obtidos exclusivamente da API pública da plataforma Open-Meteo, sem a necessidade de coleta direta em campo ou por instrumentação própria (Marconi e Lakatos, 2022). O serviço de previsão meteorológica foi acessado pelo endpoint /v1/forecast (Open-Meteo, n.d.), que fornece previsões horárias parametrizáveis por coordenadas geográficas, variáveis meteorológicas e fuso horário. O horizonte de previsão foi mantido em sete dias, resultando em 168 valores horários por requisição e por município.

As consultas à API foram realizadas em resolução horária, com retorno em formato JSON. As variáveis coletadas incluíram temperatura do ar a 2 m, umidade relativa do ar a 2 m, precipitação, ponto de orvalho a 2 m, radiação solar de ondas curtas, velocidade do vento a 10 m, déficit de pressão de vapor e evapotranspiração de referência (ETo). A ETo foi obtida diretamente da API, calculada com base no padrão FAO-56 (Valle Júnior et al., 2021; Open-Meteo, n.d.).

O desenvolvimento do trabalho seguiu quatro etapas sequenciais. Inicialmente, identificou-se o problema e definiu-se o escopo da solução para a ingestão e organização analítica de previsões meteorológicas. Em seguida, projetou-se e desenvolveu-se o pipeline de dados em arquitetura em camadas. A terceira etapa consistiu na operação do sistema, acumulando 17 rodadas de ingestão. Por fim, avaliou-se o artefato por meio de métricas quantitativas de volume, integridade, divergência entre rodadas e acurácia (Munappy et al., 2020).

A operacionalização da coleta de dados adotou um pipeline metadata-driven, utilizando uma configuração externa via variável `OPEN_METEO_CITIES_JSON`. Essa estratégia permitiu a expansão ou substituição das localidades de interesse sem alterações diretas no código-fonte, conferindo escalabilidade e maturidade técnica à solução (Microsoft, n.d.b). Tal abordagem mitigou a rigidez estrutural e favoreceu a reutilização de processos, garantindo baixo acoplamento entre a lógica de ingestão e as definições de parâmetros.

A modelagem dos dados adotou a abordagem Extract, Load, Transform (ELT), estruturada em camadas bronze, silver e gold, alinhando-se aos referenciais de medallion architecture e lakehouse (Armbrust et al., 2021; Microsoft, n.d.a). A camada bronze preservou as respostas JSON brutas da Open-Meteo integralmente, juntamente com o registro temporal da ingestão, cumprindo função de auditoria e rastreabilidade sem transformações semânticas.

Na camada silver, as respostas brutas foram expandidas para registros atômicos horários por cidade, rodada de ingestão e horário, por meio de desnormalização dos arranjos JSON e conversão para colunas explicitamente tipadas. Os modelos foram materializados como views sobre o PostgreSQL. Uma visão histórica manteve todas as rodadas, enquanto uma visão corrente derivou do histórico para uso operacional, e uma visão deduplicada reteve uma única previsão por município e data-alvo (Firmani et al., 2016; Merino et al., 2016).

A camada gold consolidou os dados horários em agregações diárias por cidade, rodada de ingestão e dia, produzindo nove indicadores meteorológicos. Estes incluíram temperatura média, máxima e mínima diária, precipitação total, ponto de orvalho médio, radiação solar de ondas curtas média, velocidade do vento médio a 10 m, déficit de pressão de vapor médio e evapotranspiração de referência acumulada, calculada pelo método FAO-56 (Ruiz-Ortega et al., 2024). Visões históricas e correntes foram mantidas para diferentes finalidades analíticas.

As transformações analíticas e a modelagem dos dados foram executadas por meio do framework dbt (data build tool), empregando a linguagem SQL. Testes automatizados de qualidade foram implementados no dbt, verificando valores nulos e unicidade dos registros por cidade e registro temporal após cada rodada de ingestão (Firmani et al., 2016; Merino et al., 2016). Esse procedimento assegurou a confiabilidade em contextos de processamento contínuo.

Todo o fluxo operacional foi orquestrado pelo Apache Airflow 2.9.1, executado em modo LocalExecutor sobre Python 3.10, por meio de uma DAG (Directed Acyclic Graph) com agendamento diário (Apache Airflow, n.d.). A DAG coordenou a execução sequencial das tarefas de ingestão na camada bronze (`bronze_ingest`), transformação via dbt (`dbt_run`) e validação dos testes de qualidade (`dbt_test`). A conteinerização com Docker assegurou portabilidade e consistência do ambiente.

O gerenciamento de dependências Python foi realizado com `uv` e fixado pelo arquivo de trava `uv.lock`, garantindo a reprodutibilidade computacional do ambiente (Alston e Rick, 2021). A DAG foi configurada com tentativa de reexecução automática em caso de falha, com intervalo de cinco minutos, e o parâmetro `catchup` foi mantido desativado, de modo que execuções não realizadas na data prevista não foram recuperadas posteriormente (Munappy et al., 2020).

Para avaliar a acurácia das previsões armazenadas, a base deduplicada foi comparada com a reanálise ERA5, produzida pelo European Centre for Medium-Range Weather Forecasts (Hersbach et al., 2020). A reanálise foi acessada pelo serviço de arquivo da Open-Meteo para as mesmas coordenadas e datas. A comparação foi conduzida no grão diário para temperatura média e precipitação acumulada, empregando viés, erro absoluto médio (MAE) e raiz do erro quadrático médio (RMSE) como medidas de verificação (Jolliffe e Stephenson, 2012).

O código-fonte do pipeline está disponível em repositório público sob licença MIT, acessível em `https://github.com/arnaldopinhoni/tcc-climate-data-pipeline`. O repositório inclui os modelos dbt das camadas silver e gold, os testes automatizados de qualidade, as consultas que reproduzem as tabelas apresentadas e o script de validação contra a reanálise ERA5. Para a recriação do ambiente, estão versionados o arquivo de composição dos contêineres, o arquivo de trava de dependências e os modelos de configuração de variáveis de ambiente e perfil de conexão do dbt.

3. Resultados e Discussão

O pipeline automatizado para ingestão, transformação, validação e organização analítica de previsões meteorológicas operou conforme o esperado, cobrindo o período de 14 de março a 01 de abril de 2026. Durante este intervalo de 19 dias, foram acumuladas 17 rodadas de ingestão por cidade, distribuídas em 14 dias distintos, com previsões estendendo-se até 07 de abril de 2026. A camada silver histórica consolidou um total de 14.280 registros horários, enquanto a camada gold histórica gerou 595 agregações diárias, das quais 125 compuseram a base deduplicada utilizada para a caracterização meteorológica. A uniformidade na contagem de registros entre os cinco municípios monitorados demonstrou que todas as rodadas iniciadas foram processadas integralmente pelas camadas subsequentes, sem qualquer perda parcial de dados, confirmando a robustez do fluxo.

Adequação da arquitetura em camadas

A arquitetura em camadas, composta por bronze, silver e gold, mostrou-se altamente eficaz para o problema de ingestão e transformação de previsões meteorológicas, alinhando-se aos referenciais de medallion architecture e lakehouse (Armbrust et al., 2021; Microsoft, n.d.a). A camada bronze atuou como um repositório fiel das respostas JSON brutas da API Open-Meteo, preservando integralmente 85 registros brutos, correspondendo a 17 rodadas para cada uma das cinco cidades, com um volume total de aproximadamente 385 kB. Essa abordagem garantiu a rastreabilidade completa e a capacidade de reprocessamento a partir dos dados originais, uma vantagem significativa sobre métodos que transformam os dados diretamente na ingestão (Armbrust et al., 2021).

Na camada silver, as respostas brutas foram expandidas em 14.280 registros horários explicitamente tipados por município, rodada de ingestão e horário, sem variações ou lacunas entre as localidades. Essa estruturação relacional é crucial para a identificação de padrões e tendências (Firmani et al., 2016; Merino et al., 2016). A manutenção de visões históricas, correntes e deduplicadas na camada silver, com 14.280, 840 e 3.000 registros respectivamente, permitiu atender a diferentes finalidades analíticas. A camada gold, por sua vez, consolidou os dados horários em 595 agregações diárias, produzindo nove indicadores meteorológicos essenciais para o consumo analítico, como temperatura média, precipitação total e evapotranspiração de referência.

Qualidade e completude dos dados

A análise de completude dos registros na camada silver confirmou a uniformidade absoluta entre os cinco municípios, com cada cidade acumulando 2.856 registros horários. A verificação de valores nulos nas oito variáveis meteorológicas monitoradas, incluindo temperatura do ar, umidade relativa e precipitação, revelou preenchimento integral em todas as rodadas analisadas. Esse resultado valida a correta parametrização das requisições à API Open-Meteo e a adequação do processo de transformação na camada silver (Garbanzo León et al., 2025). A ausência de lacunas é atribuída à confiabilidade da API, à parametrização precisa e aos testes automatizados de qualidade implementados no dbt, que interrompem o pipeline em caso de falhas de integridade.

A uniformidade na contagem de registros entre camadas e municípios, com 2.856 registros horários na camada silver e 119 agregações na camada gold, demonstrou a consistência operacional e a integridade do processo de transformação. A abordagem metadata-driven, que parametrizou as cidades via variável de configuração externa, eliminou o acoplamento entre lógica de negócio e parâmetros operacionais, permitindo a escalabilidade e a manutenibilidade da solução (Microsoft, n.d.b; Munappy et al., 2020). A rastreabilidade integral, garantida pelo registro do identificador da rodada em todas as camadas, permite auditar o percurso de transformação de qualquer agregação diária até a resposta JSON original, um requisito fundamental para sistemas de suporte à decisão em domínios críticos (Taleb et al., 2021).

Orquestração e reprodutibilidade computacional

A orquestração do fluxo operacional pelo Apache Airflow 2.9.1, executado em modo LocalExecutor sobre Python 3.10, garantiu a execução ordenada das tarefas de ingestão, transformação e testes de qualidade sem intervenção manual em todas as 17 rodadas realizadas. A conteinerização com Docker assegurou a portabilidade e consistência do ambiente, enquanto o gerenciamento de dependências por uv fortaleceu a reprodutibilidade computacional, alinhando-se às boas práticas de pesquisa computacional (Alston e Rick, 2021). O mecanismo de retry automático configurado na DAG do Airflow, com reexecução em intervalos de cinco minutos em caso de falha, reforçou a resiliência a interrupções transitórias de APIs externas, um requisito essencial em pipelines de dados de produção (Munappy et al., 2020).

Apesar da robustez do sistema, o período de monitoramento registrou 17 rodadas de ingestão em 19 dias de calendário, com cinco dias sem execução devido à operação em estação de trabalho pessoal e ao parâmetro catchup desativado. Essa configuração, embora adequada para demonstração, implicou que execuções não realizadas na data prevista não foram recuperadas. Em contrapartida, o dia 31 de março concentrou quatro execuções, incluindo três reexecuções manuais. Essas observações destacam que o retry automático atua sobre falhas dentro de uma execução agendada, mas não substitui a disponibilidade contínua do ambiente de execução, que seria alcançada em um servidor dedicado com catchup habilitado.

Caracterização meteorológica dos municípios e implicações agrícolas

A análise comparativa das variáveis meteorológicas, realizada sobre a base deduplicada de 25 datas por município, revelou padrões consistentes com a caracterização climática regional. Presidente Prudente registrou a maior temperatura média (25,62 °C) e máxima absoluta (34,30 °C), enquanto Campinas apresentou os menores valores (23,58 °C e 31,40 °C, respectivamente). A diferença de 2,04 °C na temperatura média entre os extremos é compatível com o gradiente térmico esperado em função da latitude e altitude, sendo Campinas a localidade de maior altitude. Esses dados, embora descritivos do período, não constituem verificação cruzada da classificação climática de Köppen, que se baseia em normais de longo prazo (Alvares et al., 2022).

Em relação à precipitação acumulada prevista para o período, Presidente Prudente (85,4 mm) e Ribeirão Preto (80,1 mm) apresentaram os maiores volumes, enquanto Campinas registrou o menor (53,0 mm). A diferença de 32,4 mm entre os extremos representa uma variação de 61,1%, evidenciando heterogeneidade espacial nas previsões de precipitação. A evapotranspiração de referência (ETo) acumulada variou entre 101,9 mm em São José do Rio Preto e 107,4 mm em Piracicaba, uma amplitude de apenas 5,5 mm (5,4%). Essa relativa homogeneidade na demanda evapotranspirativa contrasta com a variabilidade da precipitação, sugerindo que o balanço hídrico das culturas no período analisado é mais sensível à oferta de água por chuva do que à demanda atmosférica.

O déficit de pressão de vapor (VPD) médio variou entre 0,846 kPa em Campinas e 0,979 kPa em Presidente Prudente. Esses valores indicam condições previstas dentro de faixas favoráveis ao desenvolvimento vegetal na maioria dos municípios, embora Presidente Prudente se aproxime do limiar de 1,0 kPa, frequentemente associado a estresse hídrico atmosférico para culturas sensíveis (Grossiord et al., 2020). A amplitude térmica diária média variou de 8,85 °C em Presidente Prudente a 11,38 °C em Piracicaba, uma diferença de 2,53 °C. Essa variação é relevante para o planejamento de atividades agrícolas sensíveis a oscilações de temperatura, como a aplicação de defensivos e a colheita de produtos perecíveis (Antuniassi e Boller, 2019).

Relações entre variáveis meteorológicas

A análise de correlação de Pearson revelou padrões de covariação entre as variáveis meteorológicas. A correlação entre radiação solar e evapotranspiração de referência (ETo) foi muito alta, variando entre 0,978 e 0,988 em todos os municípios. Este resultado não é um achado empírico, mas uma consequência direta da formulação do método FAO-56, que utiliza a radiação solar como principal variável de entrada para o cálculo da ETo (Valle Júnior et al., 2021; Ruiz-Ortega et al., 2024). A correlação entre temperatura e ETo variou entre 0,562 e 0,831, indicando que dias mais quentes tendem a estar associados a uma maior demanda evaporativa, um comportamento compatível com a formulação de Penman-Monteith.

A correlação entre precipitação e umidade relativa foi baixa, variando entre 0,079 e 0,173. Esse resultado sugere uma relação pouco direta entre essas variáveis no conjunto analisado, o que pode ser explicado pela escala temporal dos dados e pela dinâmica atmosférica, onde eventos de precipitação nem sempre se traduzem em aumentos proporcionais na umidade média (Valle Júnior et al., 2021). Esses coeficientes são descritivos do período analisado e não devem ser tratados como estimativas estáveis da relação entre as variáveis, dada a dispersão entre localidades e o tamanho reduzido da amostra de 25 dias por município.

Agregação e camada gold

A camada gold consolidou os registros horários em agregações diárias por cidade e rodada de ingestão, produzindo nove indicadores meteorológicos diários, incluindo temperatura média, máxima e mínima, precipitação total, ponto de orvalho médio, radiação solar de ondas curtas, velocidade média do vento, déficit de pressão de vapor e evapotranspiração de referência pelo método FAO-56. Cada município apresentou 119 agregações diárias, resultantes de 17 rodadas e 25 datas-alvo distintas, com uma média de 4,76 previsões por data-alvo. A precipitação média por agregação variou de 2,7 mm em Campinas a 3,3 mm em Piracicaba e Ribeirão Preto, e 2,9 mm em Presidente Prudente e 2,8 mm em São José do Rio Preto.

Distribuição da evapotranspiração de referência

A distribuição da ETo diária por faixas de magnitude, calculada sobre a base deduplicada, revelou que a faixa moderada (3 a 5 mm por dia) concentrou a maioria das datas em todos os municípios, representando entre 72% e 88% dos dias analisados. Nenhuma data atingiu a faixa de ETo muito alta (igual ou superior a 7 mm por dia). Essa predominância da faixa moderada indica uma demanda atmosférica intermediária, favorável ao manejo de irrigação suplementar em culturas perenes e à implantação de culturas de safrinha (Garbanzo León et al., 2025). A disponibilidade dessa variável já processada e agregada na camada gold elimina a necessidade de cálculos intermediários pelo usuário final, reduzindo barreiras de adoção em sistemas de suporte à decisão agrícola (El Hachimi et al., 2022).

Ocorrência de precipitação significativa

A identificação de dias com precipitação prevista acima de 5 mm é relevante para o planejamento de operações de campo que requerem solo seco (Antuniassi e Boller, 2019). Presidente Prudente e Ribeirão Preto apresentaram o maior número de datas com precipitação significativa, com 7 dias em 25, enquanto Campinas registrou o menor, com 3 dias. A precipitação média nesses dias variou entre 9,5 mm e 16,0 mm, indicando eventos de intensidade moderada a forte, compatíveis com o padrão de chuvas convectivas típicas do período de transição entre verão e outono na região. Esses valores descrevem o que o modelo antecipou para o período, e não chuvas observadas.

Variação entre rodadas de previsão e seus impactos

A comparação entre previsões emitidas em diferentes rodadas para o mesmo dia e localidade revelou variações expressivas, especialmente em temperatura e precipitação. A maior divergência de temperatura média entre rodadas foi observada em Campinas no dia 18 de março de 2026, com uma variação de 3,02 °C entre as quatro rodadas disponíveis. Em precipitação, a maior divergência de todo o período foi de 25,7 mm, registrada em Ribeirão Preto. A variação média de temperatura entre rodadas situou-se entre 0,91 °C e 1,37 °C, com casos extremos atingindo 3,02 °C. A variação média de precipitação variou de 4,2 mm em Campinas a 6,0 mm em Ribeirão Preto, com a máxima de 25,7 mm também em Ribeirão Preto.

O caso da previsão para Campinas em 18 de março de 2026 ilustra o impacto dessa incerteza. A rodada coletada quatro dias antes previa temperatura média de 22,27 °C e ausência de precipitação. A rodada do dia 16 de março revisou a previsão para 25,29 °C, uma variação de 3,02 °C. A precipitação, prevista como nula até a rodada de 16 de março, apareceu pela primeira vez na rodada do dia 17 (0,2 mm) e foi revisada para 7,5 mm na rodada do próprio dia 18. Essa magnitude das revisões sucessivas reforça a necessidade de sistemas de gerenciamento de dados climáticos que forneçam não apenas a previsão atual, mas também indicadores de confiabilidade da informação (El Hachimi et al., 2022).

Acurácia das previsões e limites de uso

A validação da base deduplicada contra a reanálise ERA5, para 125 pares de comparação no grão diário, revelou desempenho distinto entre as variáveis. Para a temperatura média diária, o viés do conjunto foi de +0,17 °C, o erro absoluto médio (MAE) de 0,56 °C e a raiz do erro quadrático médio (RMSE) de 0,73 °C, com 85,6% dos dias apresentando erro de até 1,0 °C. O viés por município manteve-se entre -0,27 °C e +0,63 °C, sem tendência sistemática comum. Esse desempenho indica que a previsão de temperatura é suficientemente precisa para apoiar decisões operacionais no horizonte analisado.

Para a precipitação diária, o erro absoluto médio do conjunto foi de 2,38 mm e a raiz do erro quadrático médio de 4,43 mm, com apenas 56,8% dos dias dentro de 1,0 mm e erro máximo de 20,6 mm em um único dia. O viés variou entre municípios, com Campinas subestimando o acumulado do período (53,0 mm previstos contra 92,0 mm na reanálise), enquanto Piracicaba e Presidente Prudente superestimaram (73,7 mm contra 40,1 mm e 85,4 mm contra 41,8 mm, respectivamente). Essa assimetria é coerente com a literatura de previsão numérica, que aponta a precipitação como a variável de mais difícil previsão devido à sua natureza descontínua (Bauer et al., 2021). Portanto, a previsão de precipitação deve ser tratada como indicativo de tendência, e não como valor pontual confiável.

Aplicabilidade para o planejamento agrícola

A distribuição da evapotranspiração de referência por faixas de magnitude oferece subsídio direto para o dimensionamento de sistemas de irrigação e o planejamento de turnos de rega. A predominância da faixa moderada (3 a 5 mm por dia) indica condições de demanda atmosférica intermediária, compatíveis com manejo de irrigação suplementar em culturas perenes. A ausência de datas na faixa de ETo muito alta (≥7 mm por dia) no período analisado, correspondente ao final do verão e início do outono, não apresentou previsão de demanda evapotranspirativa extrema. A identificação de 3 a 7 dias com precipitação prevista superior a 5 mm por município permite o planejamento antecipado de operações de campo sensíveis às condições de umidade do solo, como colheita mecanizada e aplicação de herbicidas (Antuniassi e Boller, 2019).

A correlação entre temperatura e evapotranspiração de referência, entre 0,562 e 0,831, sugere que a temperatura do ar pode servir como indicador aproximado da demanda evapotranspirativa para fins de manejo simplificado, embora a dispersão observada entre localidades desaconselhe generalizar essa substituição. A heterogeneidade espacial observada nas previsões de precipitação, com uma diferença de 32,4 mm entre o município com maior e o com menor acúmulo previsto, reforça a necessidade de sistemas de monitoramento que operem em granularidade municipal ou superior. O pipeline desenvolvido atendeu a esse requisito ao permitir a incorporação de novas localidades por meio de parametrização externa, sem alterações no código-fonte, garantindo a utilidade da informação para o planejamento agrícola em propriedades específicas.

Em síntese, o pipeline demonstrou a viabilidade de uma arquitetura em camadas para a gestão de previsões meteorológicas, com rastreabilidade e testes de qualidade automatizados. Os resultados indicaram que a temperatura média diária possui alta acurácia, sendo útil para decisões operacionais, enquanto a precipitação deve ser interpretada como indicativo de tendência. A variação expressiva entre rodadas de previsão e a heterogeneidade espacial da precipitação reforçam a importância de sistemas que preservem o histórico das previsões e operem em granularidade municipal, fornecendo informações valiosas para o planejamento agrícola.

4. Conclusão

Este trabalho teve como objetivo desenvolver e avaliar um pipeline automatizado para ingestão, transformação, validação e organização analítica de previsões meteorológicas obtidas via API pública, estruturado em arquitetura em camadas e aplicado a cinco municípios paulistas de relevância agrícola. Verificou-se que a arquitetura em camadas, composta por bronze, silver e gold, demonstrou-se eficaz no refinamento progressivo dos dados, garantindo rastreabilidade integral e a capacidade de reprocessamento a partir das respostas brutas da API. A orquestração com Apache Airflow e a conteinerização com Docker asseguraram a reprodutibilidade computacional e a consistência das execuções. Os testes automatizados de qualidade implementados no dbt confirmaram a completude e a integridade dos registros em todas as camadas. Observou-se que as previsões de temperatura média diária apresentaram alta acurácia, com erro absoluto médio de 0,56 °C, enquanto a precipitação diária revelou maior incerteza, com erro absoluto médio de 2,38 mm, indicando seu uso como indicativo de tendência. A análise comparativa entre rodadas de previsão evidenciou variações significativas, de até 3,02 °C na temperatura média e 25,7 mm na precipitação para o mesmo dia e localidade, reforçando a importância de sistemas que preservem o histórico das previsões. A principal contribuição do estudo reside na viabilidade de uma solução de engenharia de dados para a geração de séries temporais versionadas de previsões meteorológicas, com rastreabilidade e testes automatizados de qualidade, fornecendo uma base robusta para o planejamento agrícola.

Como limitações, o período de monitoramento de 17 rodadas em 19 dias, embora suficiente para demonstrar a operacionalidade do sistema, mostrou-se restrito para análises sazonais robustas. A descontinuidade da série, com cinco dias sem execução devido à operação em estação de trabalho pessoal e ao parâmetro catchup desativado, também foi um fator limitante. Além disso, a validação contra a reanálise ERA5, que é um produto de modelagem, implica que os erros reportados representam a discrepância entre duas estimativas e não um desvio em relação a uma medição direta. Para estudos futuros, sugere-se ampliar o horizonte temporal de coleta, operar o pipeline em ambiente de execução contínua em um servidor dedicado, incorporar dados observados de estações meteorológicas para uma validação mais direta e estender a cobertura geográfica para outras regiões agrícolas do país, a fim de fortalecer a aplicabilidade e a robustez da solução.

Referências Bibliográficas

Armbrust, M.; Ghodsi, A.; Xin, R.; Zaharia, M. 2021. Lakehouse: a new generation of open platforms that unify data warehousing and advanced analytics. In: Conference on Innovative Data Systems Research (CIDR), 2021, Online. Anais…

El Hachimi, C.; Belaqziz, S.; Khabba, S.; Sebbar, B.E.; Dhiba, D.; Chehbouni, A. 2022. Smart weather data management based on artificial intelligence and big data analytics for precision agriculture. Agriculture 13(1): 95.

Intergovernmental Panel on Climate Change [IPCC]. 2023. Climate Change 2023: Synthesis Report. IPCC, Geneva, Switzerland.

Microsoft. n.d.a. Medallion architecture. Disponível em: <https://learn.microsoft.com/en-us/azure/databricks/lakehouse/med

Open-Meteo. n.d. Open-Meteo weather forecast API documentation. Disponível em: <https://open-meteo.com/en/docs>. Acesso em: 19 mar. 2026.

Taleb, I.; Serhani, M.A.; Bouhaddioui, C.; Dssouli, R. 2021. Big data quality framework: a holistic approach to continuous quality management. Journal of Big Data 8(1): 76.

Artigo oriundo de Trabalho de Conclusão de Curso da Especialização em Data Science e Analytics do MBA USP/Esalq

Para saber mais sobre o curso, clique aqui e acesse a plataforma MBX Academy