Artigo

30 de setembro de 2026

Comparação de Estratégias de Otimização de Hiperparâmetros em Redes Neurais Profundas: Investigações em Múltiplos Domínios

Comparação de Estratégias de Otimização de Hiperparâmetros em Redes Neurais Profundas: Investigações em Múltiplos Domínios

Cleyner Soares Pereira; Everton Gomede

DOI: 10.22167/2675-6528-202602797

Artigo derivado de Trabalho de Conclusão de Curso (TCC), com conteúdo baseado no trabalho original do aluno e adaptado ao formato editorial da Revista E&S com apoio da ferramenta ResumeAI, solução de inteligência artificial desenvolvida pelo Instituto Pecege para síntese e organização textual.

Resumo

A crescente adoção de redes neurais profundas em diversas áreas evidenciou a importância da otimização de hiperparâmetros para a obtenção de modelos eficientes, estáveis e com boa capacidade de generalização. O estudo teve como objetivo comparar três estratégias de otimização de hiperparâmetros aplicadas a problemas representativos de classificação de imagens, análise de sentimentos e previsão de séries temporais financeiras. Para isso, a pesquisa adotou abordagem quantitativa, exploratória e experimental, com experimentos padronizados em três bases de dados distintas, associadas a arquiteturas neurais adequadas a cada domínio. O procedimento metodológico compreendeu a execução controlada das estratégias de busca (Hyperopt com TPE, Hyperband com KerasTuner e algoritmos genéticos com DEAP), o treinamento final dos melhores modelos e sua avaliação em dados independentes, considerando desempenho preditivo, estabilidade e custo computacional. Os resultados mostraram que não existiu uma estratégia universalmente superior em todos os cenários analisados, tendo cada método apresentado vantagens específicas de acordo com o domínio e o critério de avaliação considerado. Verificou-se que a escolha da estratégia de otimização dependeu do equilíbrio desejado entre qualidade preditiva, tempo de processamento e consistência dos resultados. Concluiu-se, portanto, que a otimização de hiperparâmetros deve ser tratada como uma decisão contextual, diretamente relacionada às características do problema e aos objetivos práticos da aplicação. A pesquisa ofereceu uma comparação empírica sob um pipeline padronizado, evidenciando a natureza multidimensional da efetividade da otimização de hiperparâmetros.

Palavras-chave: Eficiência computacional; Estabilidade; Generalização; Otimização de hiperparâmetros; Redes neurais profundas.

1. Introdução

A Inteligência Artificial e a Ciência de Dados têm assumido um papel cada vez mais relevante na pesquisa e em aplicações práticas, impulsionadas pela disponibilidade de grandes volumes de dados, pelo avanço do poder computacional e pelo desenvolvimento de métodos de aprendizado de máquina mais sofisticados. Nesse cenário, o aprendizado profundo consolidou-se como uma das abordagens mais expressivas da área, especialmente em tarefas como visão computacional, processamento de linguagem natural e reconhecimento de padrões. Redes neurais profundas têm se destacado pela capacidade de aprender representações complexas e hierárquicas, o que favoreceu sua adoção em diferentes domínios de aplicação (Goodfellow et al., 2016; Aggarwal, 2023).

Apesar desse avanço, o desempenho de modelos neurais profundos não depende apenas da arquitetura escolhida ou da quantidade de dados disponíveis. Um fator decisivo é a definição adequada dos hiperparâmetros, isto é, dos valores que controlam aspectos da estrutura e do treinamento do modelo, como taxa de aprendizado, número de camadas, número de unidades por camada, funções de ativação e tamanho do lote. A literatura destaca que esses hiperparâmetros influenciam diretamente a complexidade, o comportamento, a velocidade de treinamento e o desempenho final dos algoritmos de aprendizado de máquina. Consequentemente, escolhas inadequadas podem comprometer a generalização do modelo, elevar o custo computacional e reduzir a eficiência do treinamento (Liao et al., 2022; Agrawal, 2021).

A otimização de hiperparâmetros, ou Hyperparameter Optimization (HPO), surgiu para enfrentar esse problema, sendo um processo de busca por configurações que maximizem o desempenho do modelo em validação, reduzindo a dependência de tentativa e erro manual. Tal processo é desafiador, pois o espaço de busca pode ser amplo, heterogêneo e composto por variáveis contínuas, discretas e condicionais. Além disso, cada avaliação costuma ser cara em termos computacionais, uma vez que exige treinamento parcial ou completo da rede neural. Por essa razão, a HPO é frequentemente tratada como um problema de otimização de caixa-preta, para o qual foram propostas estratégias mais eficientes do que abordagens tradicionais, como busca em grade e busca aleatória (Agrawal, 2021; Bischl et al., 2023).

Nos últimos anos, diferentes trabalhos vêm discutindo os fundamentos e as aplicações da otimização de hiperparâmetros. Bischl et al. (2023) apresentam uma visão abrangente do tema, revisando desde métodos simples até abordagens mais avançadas, como estratégias evolutivas, otimização bayesiana e Hyperband, além de aspectos práticos relacionados à avaliação de desempenho, escolha do espaço de busca e paralelização. Em uma perspectiva mais específica, Raiaan et al. (2024) mostram que a otimização de hiperparâmetros em redes convolucionais é essencial para melhorar desempenho, estabilidade e eficiência, destacando que a definição manual dessas configurações é trabalhosa e intensiva em recursos computacionais. Os autores também observam que muitos estudos anteriores se concentram em algoritmos isolados, o que reforça a necessidade de análises comparativas mais amplas. De modo complementar, Victoria e Maragatham (2021) ressaltam que, em redes profundas, a sintonia de hiperparâmetros exerce papel central sobre o desempenho do treinamento e que métodos automatizados, como a otimização bayesiana, tornam-se especialmente úteis quando as avaliações são custosas. Na mesma direção, Gomede et al. (2023) discutem o uso da otimização bayesiana como estratégia de amostragem eficiente do espaço de hiperparâmetros.

Revisões recentes indicam que a otimização de hiperparâmetros evoluiu de abordagens mais simples para métodos mais sofisticados, como otimização bayesiana, Hyperband e estratégias evolutivas, mas a literatura ainda apresenta menos comparações controladas entre métodos, arquiteturas e domínios distintos (Bischl et al., 2023; Raiaan et al., 2024). Essa lacuna é relevante porque, em aplicações reais, não basta alcançar bom desempenho preditivo; também é necessário considerar eficiência de busca, custo computacional e estabilidade dos resultados. Além disso, estudos empíricos mostram que o efeito da hiperparametrização pode variar de acordo com a arquitetura do modelo, com a natureza dos dados e com as propriedades de desempenho que se pretende otimizar (Liao et al., 2022; Ali et al., 2023).

Diante disso, este trabalho teve como objetivo comparar três estratégias de otimização de hiperparâmetros em redes neurais profundas – otimização bayesiana via Hyperopt com TPE (Tree-structured Parzen Estimator), Hyperband com KerasTuner e algoritmos genéticos com DEAP em três domínios distintos de aplicação: classificação de imagens com CNN no conjunto CIFAR-10, análise de sentimentos com BILSTM no conjunto IMDB e previsão de séries temporais financeiras com GRU sobre dados da ação PETR4. Em síntese, buscou-se responder qual estratégia de otimização de hiperparâmetros apresentou maior eficiência, robustez e capacidade de generalização em diferentes domínios de aprendizagem profunda.

2. Material e Métodos

A pesquisa adotou uma abordagem exploratória e quantitativa, delineada como um estudo experimental. O objetivo central foi comparar três estratégias de otimização de hiperparâmetros em redes neurais profundas. O plano experimental foi estruturado em duas etapas principais: inicialmente, realizou-se a busca por hiperparâmetros, gerando e avaliando configurações candidatas com base no desempenho em validação. Em seguida, a melhor configuração encontrada em cada execução foi utilizada para um treinamento final mais prolongado, com avaliação em dados independentes. Essa organização permitiu diferenciar o desempenho do processo de otimização da qualidade preditiva do modelo final.

A otimização de hiperparâmetros foi tratada como um problema de otimização de caixa-preta. Uma função objetivo, que representava o desempenho do modelo em validação, foi definida para ser minimizada. Nos experimentos classificatórios, por exemplo, a otimização foi operacionalizada pela minimização do negativo da acurácia de validação, compatibilizando a maximização da acurácia com a interface de minimização da biblioteca. A complexidade desse problema decorreu da relação não linear entre hiperparâmetros e desempenho, do espaço de busca misto e da avaliação computacionalmente custosa de cada configuração.

Foram utilizados três conjuntos de dados, cada um representando um domínio distinto de aplicação. O primeiro foi o CIFAR-10, empregado na tarefa de classificação de imagens. Este conjunto é composto por imagens coloridas de 32 × 32 pixels, distribuídas em dez classes. Nos scripts do projeto, o conjunto foi carregado via TensorFlow/Keras, convertido para float32, normalizado para o intervalo [0,1] e dividido em 45.000 amostras para treinamento, 5.000 para validação e um conjunto oficial de teste para avaliação final.

O segundo conjunto de dados foi o IMDB, utilizado na tarefa de análise de sentimentos. Ele contém resenhas de filmes rotuladas por polaridade sentimental, configurando um problema de classificação binária. Os textos foram transformados em sequências inteiras, truncados ou preenchidos até um comprimento máximo fixado e, em seguida, organizados em conjuntos de treinamento, validação e teste. Procedimentos auxiliares de decodificação e tradução de exemplos textuais foram incluídos para apoiar a interpretação qualitativa das predições.

O terceiro conjunto foi formado por dados históricos da ação PETR4, obtidos do Yahoo Finance, para a tarefa de previsão de séries temporais financeiras. Os dados foram organizados cronologicamente e convertidos em um problema supervisionado de previsão temporal por meio de janelas deslizantes. Além da série de preços, foram utilizados atributos derivados e transformações como retornos logarítmicos e variáveis normalizadas. Devido à dependência temporal explícita, adotou-se validação walk-forward em vez de um particionamento aleatório.

Para o problema de classificação de imagens com o CIFAR-10, utilizou-se uma Rede Neural Convolucional (CNN). Essa arquitetura foi escolhida por sua adequação a dados com estrutura espacial, explorando a correlação local entre pixels e permitindo o aprendizado automático de filtros. A CNN empregou campos receptivos locais e compartilhamento de pesos, reduzindo o número de parâmetros. Após a convolução, aplicaram-se funções de ativação não lineares como ReLU, tanh ou sigmoid, seguidas de camadas de max pooling com janela 2 × 2. O treinamento foi realizado com o otimizador Adam e a função de perda sparse_categorical_crossentropy.

Para a análise de sentimentos no conjunto IMDB, empregou-se uma arquitetura Bidirectional Long Short-Term Memory (BiLSTM). As redes LSTM, pertencentes à família das redes neurais recorrentes, foram desenvolvidas para lidar com dependências de longo alcance em sequências, regulando o fluxo de informação por mecanismos de memória e portas de controle. A versão bidirecional processou a sequência em duas direções, combinando os estados ocultos gerados pela passagem direta e inversa, o que é vantajoso em tarefas de linguagem natural onde o contexto é crucial.

No problema de previsão de séries temporais financeiras com a ação PETR4, utilizou-se uma arquitetura Gated Recurrent Unit (GRU). A GRU, uma simplificação da LSTM, opera com portas de atualização e reset, que controlam a preservação e incorporação de novas informações. Essa estrutura simplificada reduz o número de parâmetros e torna a arquitetura computacionalmente mais leve, sendo eficiente em tarefas sequenciais e adequada para equilibrar capacidade de modelagem e custo computacional.

Os espaços de busca de hiperparâmetros foram definidos explicitamente e centralizados nos scripts, visando consistência metodológica, comparabilidade entre os métodos de otimização e viabilidade computacional. Em cada domínio, adotou-se um conjunto finito de valores candidatos, buscando equilibrar a amplitude de exploração e o custo computacional, evitando configurações inviáveis para o ambiente experimental.

No domínio CIFAR-10, os hiperparâmetros incluíram número de camadas convolucionais em {1,2,3,4}, número de filtros por camada em {8,16,32,64,128}, tamanho do kernel convolucional em {3,5,7}, função de ativação em {relu,tanh,sigmoid}, número de unidades da camada densa em {32,64,128,256}, tamanho do lote em {32,64,128} e taxa de aprendizado em {0,005, 0,001, 0,0005}. Para o IMDB, consideraram-se dimensão do embedding em {32,64,128,256}, número de unidades recorrentes em {32,64,128,256}, número de unidades da camada densa em {32,64,128,256}, função de ativação em {relu,tanh,sigmoid}, tamanho do lote em {32,64,128} e taxa de aprendizado em {0,005, 0,001, 0,0005}. Parâmetros como vocabulário máximo de 20.000 palavras e comprimento máximo das sequências de 200 tokens foram mantidos fixos.

Para a PETR4, os hiperparâmetros foram número de unidades GRU em {32,64,128,256}, número de camadas GRU em {1,2,3,4}, taxa de dropout em {0,0, 0,1, 0,2, 0,3, 0,4}, número de unidades da camada densa em {16,32,64,128,256}, função de ativação em {relu,tanh,sigmoid}, tamanho do lote em {16,32,64,128} e taxa de aprendizado em {0,001, 0,0005, 0,0001, 0,00005}. Parâmetros temporais fixos incluíram tamanho da janela igual a 10, janela de treinamento de 3 anos, janela de teste de 1 ano e avanço temporal de 1 ano entre folds.

Foram avaliadas três estratégias de otimização de hiperparâmetros, representando famílias conceitualmente distintas. A primeira foi o Hyperopt com TPE (Tree-structured Parzen Estimator), enquadrado na otimização bayesiana, que modela a relação entre hiperparâmetros e desempenho. A segunda estratégia foi o Hyperband com KerasTuner, baseada em alocação adaptativa de recursos, avaliando configurações com pequeno orçamento e alocando recursos adicionais às mais promissoras. A terceira estratégia utilizou algoritmos genéticos com DEAP (Distributed Evolutionary Algorithms in Python), onde cada indivíduo representou uma configuração de hiperparâmetros, e a evolução foi conduzida por operadores de seleção, cruzamento e mutação.

O procedimento experimental foi padronizado em nove scripts, com definição centralizada do algoritmo de HPO, dataset, arquitetura, espaço de busca, número máximo de avaliações e parâmetros de treinamento. Sementes pseudoaleatórias foram fixadas e mecanismos de determinismo foram empregados no TensorFlow para reduzir a variabilidade. Nos experimentos com CIFAR-10 e IMDB, o fluxo baseou-se em subconjuntos de treinamento, validação e teste. No caso da PETR4, adotou-se validação walk-forward, respeitando a ordem temporal das observações.

Na etapa de HPO, cada método gerou configurações candidatas, treinou o modelo correspondente e avaliou seu desempenho em validação. Durante a busca, monitorou-se o uso de CPU, memória RAM, utilização de GPU e memória da GPU. Concluída a busca, a melhor configuração de cada execução foi submetida a um treinamento final mais prolongado. Nos problemas de classificação, esse treinamento utilizou EarlyStopping com base em val_loss; na PETR4, o procedimento foi repetido em cada fold do esquema walk-forward. Os resultados foram persistidos em arquivos CSV, TXT e PNG.

Todos os scripts foram implementados em Python e executados em ambiente Kaggle. Foram realizadas 50 avaliações de hiperparâmetros por execução e 10 execuções por método para análise de estabilidade. O ambiente utilizado dispunha de CPUs x86_64 de 2 GHz, 32 GB de RAM e duas GPUs Tesla T4.

A avaliação dos experimentos foi conduzida em dois níveis complementares: o desempenho do processo de otimização de hiperparâmetros e o desempenho do modelo final selecionado. No nível da otimização, foram registradas métricas de eficiência da busca, como tempo total da busca, número de avaliações realizadas, melhor valor de acurácia de validação e tempo necessário para atingir um limiar de 95% do melhor desempenho observado para classificação. Para a PETR4, foram controlados indicadores análogos, como o melhor valor de validation MAE e o tempo para atingir 105% do melhor erro final. Essas medidas foram complementadas pelas estatísticas de uso de CPU, memória RAM, GPU e memória da GPU.

Nos experimentos com CIFAR-10 e IMDB, as métricas finais do modelo incluíram a perda final no conjunto de teste e a acurácia final em teste. Para o CIFAR-10, a avaliação foi ampliada com F1-score macro, F1-score ponderado, F1-score por classe, AUC média macro em esquema one-vs-rest, matriz de confusão absoluta e normalizada, curvas ROC multiclasse e exemplos de predições. Para o IMDB, a avaliação seguiu lógica semelhante, adaptada à classificação binária, com F1-score macro, F1-score ponderado, relatório de classificação, curva ROC binária, AUC, matrizes de confusão e exemplos interpretáveis de predições.

No problema de previsão temporal com PETR4, a avaliação foi estruturada em múltiplos níveis, com métricas de erro em preço (MAE, RMSE, MAPE, R²) e métricas análogas sobre a variável de retorno, além da acurácia direcional. As métricas foram calculadas por fold temporal e, em seguida, agregadas ao longo do processo de walk-forward validation, resultando em medidas-resumo como médias, medianas, variâncias e desvios-padrão. Análises de importância dos hiperparâmetros, como parallel coordinates plot, Random Forest feature importance, permutation importance, SHAP e hyperparameter landscape, foram realizadas para examinar a exploração do espaço de busca e a influência das variáveis no desempenho.

3. Resultados e Discussão

Os resultados obtidos nos nove experimentos conduzidos nesta pesquisa, que comparou três estratégias de otimização de hiperparâmetros (Hyperopt com TPE, Hyperband com KerasTuner e algoritmos genéticos com DEAP) em três domínios distintos de aplicação (classificação de imagens com CNN no CIFAR-10, análise de sentimentos com BiLSTM no IMDB e previsão de séries temporais financeiras com GRU na PETR4), revelaram que não existe uma estratégia universalmente superior. Cada método demonstrou vantagens específicas dependendo do domínio e do critério de avaliação considerado, o que sublinha a natureza contextual da otimização de hiperparâmetros. A análise foi realizada em dois níveis complementares: o desempenho do processo de otimização e o desempenho final dos modelos selecionados, permitindo uma compreensão abrangente da eficácia e do custo computacional de cada abordagem.

A Tabela 1, que sintetiza os principais achados, indicou que o Hyperopt apresentou um desempenho ligeiramente superior em acurácia para o CIFAR-10, enquanto o Hyperband obteve melhores resultados no IMDB e na PETR4. Os valores de perda (loss) geralmente acompanharam o comportamento da acurácia, e na previsão da PETR4, o MAE, como métrica de erro, foi menor para o Hyperband, indicando melhor desempenho. Todos os algoritmos exibiram estabilidade satisfatória, com médias consistentes e baixos desvios-padrão, sugerindo que as soluções encontradas eram robustas. O tempo total de busca variou significativamente, com o DEAP sendo mais rápido para o CIFAR-10 e PETR4, e o Hyperband superior para o IMDB. Essa variabilidade temporal divergiu parcialmente das expectativas da literatura, que frequentemente aponta o Hyperband como mais rápido, mas nem sempre o mais preciso. Tais achados reforçam a ideia de que a otimização de hiperparâmetros é um problema intrinsecamente dependente do domínio, da arquitetura do modelo e da estrutura do espaço de busca, sem uma garantia de superioridade universal para um único método.

Resultados no domínio de classificação de imagens: CIFAR-10 com CNN

No domínio de classificação de imagens, a rede neural convolucional (CNN) aplicada ao conjunto CIFAR-10 foi avaliada por meio de métricas multiclasse, incluindo perda em teste, acurácia em teste, F1-score macro e ponderado, e AUC média macro. A análise dos resultados, como ilustrado pelas curvas de treino, validação e teste do melhor modelo, indicou que o treinamento foi consistente e estável, com o uso de early stopping prevenindo o sobreajuste. A ausência de oscilações significativas durante o treinamento é um indicativo da robustez do processo, especialmente considerando a influência de hiperparâmetros como número de camadas, filtros, função de ativação, tamanho do lote e taxa de aprendizado na capacidade de representação e estabilidade da CNN.

Os resultados quantitativos para o CIFAR-10, detalhados na Tabela 2, mostraram que o Hyperopt obteve o melhor desempenho em todas as métricas avaliadas, seguido de perto pelo DEAP e, em seguida, pelo Hyperband. Essa hierarquia de desempenho em termos de eficácia, embora com diferenças sutis, sugere que os três métodos foram capazes de produzir classificadores competitivos para este domínio. Essa observação é consistente com a literatura, que reconhece que diferentes métodos de HPO podem levar a modelos com desempenhos finais semelhantes, mesmo que as estratégias de exploração do espaço de busca sejam distintas.

A análise das matrizes de confusão, tanto absoluta quanto normalizada, revelou que as classes “avião” e “automóvel” apresentaram as maiores taxas de acerto. Em contrapartida, as classes “pássaro” e “gato” concentraram os erros mais frequentes. Essa dificuldade do classificador em distinguir entre certas categorias, como gatos, cachorros, pássaros e veados, e entre pássaros e aviões, pode ser atribuída a características visuais semelhantes, baixa resolução das imagens, ambiguidade de contornos ou padrões de textura específicos. As curvas ROC multiclasse complementaram essa análise, evidenciando a capacidade discriminativa do modelo entre as dez categorias do CIFAR-10.

De modo geral, o CIFAR-10 provou ser um benchmark adequado para a avaliação proposta, permitindo a obtenção de soluções satisfatórias com um esforço de configuração relativamente reduzido, mesmo sem atingir o estado da arte. Esse achado reforça a compreensão de que, em tarefas de visão computacional, a qualidade da otimização de hiperparâmetros está intrinsecamente ligada à capacidade do método de explorar eficazmente as combinações estruturais da CNN e os parâmetros do regime de treinamento, destacando a importância de uma busca bem-estruturada.

Resultados no domínio de análise de sentimentos: IMDB com BiLSTM

No domínio de análise de sentimentos, a arquitetura Bidirectional Long Short-Term Memory (BiLSTM) foi empregada no conjunto IMDB para um problema de classificação binária. A avaliação incluiu métricas como perda em teste, acurácia, F1-score macro e ponderado, AUC, e curva ROC binária, além de matrizes de confusão e exemplos qualitativos de predições. As curvas de treino, validação e teste do melhor modelo, apresentadas na Figura 6, indicaram uma rápida convergência nas primeiras épocas, com o melhor equilíbrio entre desempenho e generalização observado na segunda época. As épocas subsequentes mostraram sinais de sobreajuste, o que validou a importância do early stopping neste cenário.

A Tabela 3, que detalha os resultados quantitativos, sugeriu que o Hyperopt obteve o melhor desempenho em todas as métricas avaliadas para o IMDB, seguido de perto pelo DEAP e, posteriormente, pelo Hyperband. A análise conjunta de acurácia, F1-score e AUC permitiu concluir que o Hyperopt demonstrou maior consistência para este tipo de problema. A capacidade discriminativa do modelo mostrou-se adequada, com um AUC substancialmente superior ao nível esperado ao acaso na distinção entre resultados positivos e negativos, conforme ilustrado pela curva ROC binária na Figura 7.

As matrizes de confusão (Figuras 8 e 9) indicaram que o classificador apresentou maior robustez nas predições da classe negativa e menor robustez na classe positiva, mantendo os falsos positivos e falsos negativos em níveis relativamente baixos. A predominância de falhas neste modelo esteve associada às instâncias positivas. A análise qualitativa das predições, exemplificada na Figura 10, revelou que o modelo tende a acertar avaliações com polaridade mais explícita, enquanto os erros se concentraram em textos que continham ambiguidades, ironias, negações ou palavras dúbias. Essa abordagem qualitativa é crucial em Processamento de Linguagem Natural (PLN), pois oferece uma compreensão mais aprofundada do comportamento do modelo do que as métricas agregadas.

Os resultados para o domínio de análise de sentimentos, embora demonstrem bom desempenho, sugerem que ainda há espaço para aprimoramentos incrementais. Em comparação com a literatura, esses achados reforçam a ideia de que o efeito da otimização de hiperparâmetros em tarefas textuais depende tanto da eficiência da busca quanto da sensibilidade da arquitetura recorrente aos hiperparâmetros de representação e memória sequencial. A escolha cuidadosa dos hiperparâmetros, como a dimensão do embedding, o número de unidades recorrentes e a taxa de aprendizado, é fundamental para o desempenho de arquiteturas bidirecionais em tarefas de linguagem natural.

Resultados no domínio de previsão temporal: PETR4 com GRU

No domínio de previsão temporal, os experimentos foram realizados com a série histórica da ação PETR4, utilizando uma arquitetura Gated Recurrent Unit (GRU) e um protocolo de validação walk-forward. A avaliação foi multifacetada, incluindo métricas em preço, em retorno e a acurácia direcional, o que foi essencial, pois o modelo operou internamente sobre retornos transformados, mas a interpretação final exigiu a escala original da série. A Tabela 4 apresenta os resultados consolidados, indicando que o Hyperband obteve o melhor desempenho na maioria das métricas, sendo o único a apresentar um R² de retorno levemente positivo. O Hyperopt teve o pior desempenho, e o DEAP um desempenho intermediário.

A interpretação desses resultados deve ser feita com cautela, dada a não estacionariedade e a variabilidade temporal da série financeira PETR4. No entanto, os achados sugerem que o Hyperband foi o método mais eficaz para modelar séries temporais neste contexto, reforçado pelo seu desempenho superior na acurácia direcional, que foi o único acima de 0,50. As curvas de treinamento, perda e MAE do melhor modelo, apresentadas na Figura 11, mostraram uma convergência rápida nas primeiras épocas e subsequente estabilização, com ganhos marginais após algumas épocas e boa generalização.

A Figura 12, que exibe os resultados por fold temporal, permitiu observar a variação do desempenho ao longo das diferentes janelas do esquema walk-forward. O fold 1 apresentou os menores erros, enquanto o fold 2 demonstrou maior dificuldade de convergência, seguido por erros mais suaves nos folds 3, 4 e 5. Apesar do comportamento crítico observado em alguns períodos, a análise indicou que os momentos de maior volatilidade da série geraram maiores erros em períodos específicos. A comparação entre valores reais e previstos ao longo do tempo, ilustrada na Figura 13, mostrou que a curva prevista acompanhou de perto a trajetória real, reproduzindo bem as oscilações do preço.

A análise dos resíduos, apresentada na Figura 14, revelou uma distribuição em torno de zero, sugerindo a ausência de viés sistemático e um erro relativamente controlado. Isso confirmou a consistência do Hyperband no conjunto de testes. Exemplos de predições por data, incluindo valores reais, previstos e erros absolutos, como na Figura 15, mostraram estimativas coerentes com as métricas obtidas. Em termos interpretativos, o Hyperband mostrou-se uma escolha adequada para este tipo de problema, mas a interpretação do desempenho em séries financeiras deve sempre considerar a não estacionariedade e a variabilidade temporal, o que torna a agregação por folds essencial para uma análise robusta.

Eficiência da busca de hiperparâmetros

Além do desempenho final dos modelos, os experimentos permitiram uma comparação da eficiência do processo de busca de hiperparâmetros. Nos domínios classificatórios, essa análise considerou o tempo total de busca, o número de avaliações, o melhor score de validação, a melhor perda de validação e o tempo para atingir 95% do melhor desempenho final. Para a PETR4, a avaliação foi adaptada para a minimização do problema, considerando o melhor validation MAE, o número de avaliações válidas e o tempo necessário para atingir um limiar equivalente a 105% do melhor erro final. Essa abordagem está alinhada às recomendações da literatura, que enfatizam a importância de critérios de eficiência na comparação de métodos de HPO.

As curvas de eficiência da busca para CIFAR-10, IMDB e PETR4 (Figuras 16, 17 e 18) revelaram comportamentos distintos. No CIFAR-10, o Hyperopt encontrou rapidamente uma região promissora, mas sua evolução foi mais gradual posteriormente, apresentando a melhor acurácia, porém com maior tempo de busca e convergência mais lenta. No IMDB, o Hyperband demonstrou convergência rápida, mas com estabilização precoce, não permitindo evoluções significativas, mostrando uma melhor relação entre desempenho final e custo total. Para a PETR4, o DEAP exibiu uma convergência expressiva no início, mas as tentativas posteriores foram oscilantes, com pouca evolução geral, alcançando o melhor validation MAE com o menor tempo de busca.

A Tabela 5 sintetiza os principais indicadores de eficiência da busca por domínio e método. Esses resultados são compatíveis com a ideia de que diferentes métodos de HPO realizam trocas distintas entre a exploração do espaço de busca, a intensificação em regiões promissoras e o custo computacional. A análise da eficiência da busca, portanto, oferece informações complementares às métricas preditivas finais, proporcionando uma compreensão mais completa do comportamento de cada método e de suas adequações a diferentes cenários e prioridades.

Uso de recursos computacionais

Os experimentos também registraram medidas de uso médio e máximo de CPU, RAM do sistema, memória do processo, GPU e memória da GPU, conforme ilustrado na Figura 19. Esses resultados são cruciais para avaliar os métodos de HPO sob a ótica do custo computacional efetivamente incorrido, e não apenas da qualidade das soluções encontradas. No CIFAR-10 e IMDB, observou-se um uso intensivo de GPU, enquanto na PETR4 o uso de GPU foi leve. No CIFAR-10, o Hyperopt e o Hyperband apresentaram uso médio semelhante de CPU e RAM, mas diferiram na GPU. O DEAP, por sua vez, registrou o maior uso médio de GPU entre todos os métodos, mas com menor memória de GPU, o que pode indicar menor dependência de grandes volumes de dados.

No domínio IMDB, os três métodos apresentaram um comportamento bastante similar em termos de uso de recursos. Já na PETR4, o comportamento foi distinto: Hyperopt e Hyperband mostraram um uso muito baixo de GPU e uso moderado de CPU e RAM. O aumento do uso de GPU ocorreu apenas no DEAP, acompanhado por uma menor demanda de CPU. Esses achados são importantes para compreender as implicações práticas da escolha de uma estratégia de HPO, especialmente em ambientes com recursos computacionais limitados, onde a eficiência e o custo são fatores determinantes para a viabilidade de uma aplicação.

Estabilidade entre execuções

A estabilidade dos resultados foi avaliada por meio de múltiplas execuções independentes e, no caso da PETR4, também pela agregação entre folds temporais. Foram consideradas medidas como média e desvio-padrão das métricas principais, permitindo examinar a consistência dos métodos diante da variabilidade inerente ao treinamento de redes neurais e aos próprios algoritmos de busca. A Tabela 6 apresenta os resumos de estabilidade para CIFAR-10, IMDB e PETR4. Os dados sugerem que a estabilidade das execuções variou de acordo com o método e o domínio, o que reforça a natureza contextual da otimização de hiperparâmetros.

No CIFAR-10, o Hyperopt apresentou os melhores resultados, mas com maior custo computacional e tempo elevado. O Hyperband e o DEAP foram mais rápidos, porém com desempenho inferior. No IMDB, o DEAP mostrou desempenho médio com baixa dispersão, enquanto o Hyperband se destacou em termos temporais, e o Hyperopt permaneceu competitivo nas métricas preditivas. Na PETR4, o Hyperopt foi claramente superior, tanto nos erros de previsão quanto na menor variabilidade. Esse resultado é de grande importância, pois um desempenho isolado elevado não garante robustez prática se não for acompanhado de consistência entre execuções. A estabilidade, portanto, reforça que a escolha do método deve considerar a qualidade, a variabilidade e a previsibilidade em dimensões distintas do problema, e não apenas o pico de desempenho.

Importância dos hiperparâmetros e interpretação da busca

As análises de importância dos hiperparâmetros, produzidas pelos scripts por meio de técnicas como parallel coordinates plot, Random Forest feature importance, permutation importance, SHAP e hyperparameter landscape, permitiram examinar como o espaço de busca foi explorado e quais variáveis exerceram maior influência sobre o desempenho. As Figuras 20a a 20e ilustram essas análises para os diferentes domínios, oferecendo uma visão detalhada da dinâmica interna da otimização. De modo geral, constatou-se que o número de filtros e a taxa de aprendizagem exerceram maior influência no domínio CIFAR-10, enquanto o tamanho do lote e a função de ativação apresentaram impacto secundário, um comportamento coerente com a natureza do problema de classificação de imagens.

No domínio IMDB, esperava-se maior sensibilidade a hiperparâmetros como a dimensão do embedding e o número de unidades recorrentes, que são cruciais para a capacidade de representação e memória sequencial em tarefas de linguagem natural. Na PETR4, os parâmetros ligados à capacidade recorrente da GRU e ao regime de treinamento, como a taxa de dropout e o número de unidades GRU, foram os mais influentes. A interpretação final, contudo, deve ser feita a partir dos padrões efetivamente observados nos gráficos experimentais, que revelam as interações complexas entre os hiperparâmetros e o desempenho do modelo. Essas visualizações são valiosas para deslocar o foco da análise da simples função objetivo para a dinâmica interna da otimização, permitindo uma compreensão mais completa do comportamento de cada método de HPO.

Discussão integrada e análise crítica

A análise conjunta dos experimentos indicou que não houve um método universalmente superior em todos os domínios avaliados. Em vez disso, os resultados mostraram que o desempenho das estratégias de otimização de hiperparâmetros depende da interação entre a arquitetura da rede neural, o tipo de dado e o critério de avaliação adotado. De forma geral, o Hyperopt demonstrou maior robustez nos cenários mais sensíveis à qualidade final da solução, como na classificação de imagens. O Hyperband apresentou um melhor equilíbrio entre desempenho e custo computacional, destacando-se na análise de sentimentos e previsão temporal. O DEAP, por sua vez, destacou-se pela rapidez em alguns contextos, embora com maior oscilação entre as execuções.

A principal contribuição desta comparação não reside em apontar um vencedor absoluto, mas em evidenciar que a escolha do método de otimização de hiperparâmetros deve ser orientada pela prioridade do problema. Isso significa que a decisão deve considerar se o objetivo é maximizar o desempenho final, reduzir o tempo de busca ou obter maior estabilidade dos resultados. Essas conclusões, entretanto, devem ser interpretadas à luz dos espaços de busca definidos e dos domínios avaliados, o que recomenda cautela em generalizações para outros cenários ou arquiteturas. A pesquisa ofereceu uma comparação empírica conduzida sob um pipeline padronizado, com controle experimental e avaliação em domínios heterogêneos, permitindo observar como desempenho, tempo de busca, uso de recursos e estabilidade compõem dimensões complementares na avaliação de métodos de HPO. Desse modo, o trabalho reforça que a efetividade da otimização de hiperparâmetros deve ser entendida de maneira multidimensional, considerando as trocas inerentes a cada estratégia.

4. Conclusão

O presente estudo buscou comparar três estratégias de otimização de hiperparâmetros – Hyperopt com TPE, Hyperband com KerasTuner e algoritmos genéticos com DEAP – em redes neurais profundas aplicadas a problemas de classificação de imagens, análise de sentimentos e previsão de séries temporais financeiras. Verificou-se que não houve uma estratégia universalmente superior em todos os cenários avaliados. Os resultados indicaram que o Hyperopt demonstrou maior robustez em domínios sensíveis à qualidade final da solução, como na classificação de imagens. O Hyperband, por sua vez, apresentou um melhor equilíbrio entre desempenho preditivo e custo computacional, destacando-se na análise de sentimentos e na previsão temporal. Os algoritmos genéticos com DEAP revelaram-se mais rápidos em alguns contextos, embora com maior oscilação entre as execuções. A principal contribuição da pesquisa reside em evidenciar que a escolha do método de otimização de hiperparâmetros deve ser orientada pela prioridade do problema, seja ela maximizar o desempenho final, reduzir o tempo de busca ou obter maior estabilidade dos resultados.

As conclusões do trabalho devem ser interpretadas à luz dos espaços de busca definidos e dos domínios específicos avaliados, o que recomenda cautela em generalizações para outros cenários ou arquiteturas. Como sugestão para estudos futuros, propõe-se a ampliação da investigação com novos espaços de busca, a inclusão de outras arquiteturas de redes neurais profundas e a avaliação em domínios de aplicação ainda mais diversificados. O estudo ofereceu uma comparação empírica sob um pipeline padronizado, com controle experimental e avaliação em domínios heterogêneos, reforçando que a efetividade da otimização de hiperparâmetros deve ser entendida de maneira multidimensional, considerando as trocas inerentes a cada estratégia em termos de desempenho, tempo de busca, uso de recursos e estabilidade.

Referências Bibliográficas

Aggarwal, C.C. 2023. Neural Networks and Deep Learning A Textbook. 2ed. Springer Nature Switzerland, Cham, Suíça.

Agrawal, T. 2021. Hyperparameter Optimization in Machine Learning. Apress, Bangalore, Índia.

Ali, Y.A.; Awwad, E.M.; Al-Razgan, M.; Maarouf, A. 2023. Hyperparameter search for machine learning algorithms for optimizing computational complexity. Processes 11: 349.

Bischl, B.; Binder, M.; Lang, M.; Pielok, T.; Richter, J.; Coors, S.; Thomas, J.; Ullmann, T.; Becker, M.; Boulesteix, A.-L.; Deng, D.; Lindauer, M. 2023. Hyperparameter optimization: Foundations, algorithms, best practices, and open challenges. WIREs Data Mining and Knowledge Discovery 13(2): e1484.

Gomede, E.; Silva, F.; Mendonça, M.; Palácios, R.H.C. 2023. Bayesian Optimization for Sampling the Hyper Parameter Space. Disponível em: <http://dx.doi.org/10.2139/ssrn.4559196>. Acesso em: 31 mar. 2026.

Goodfellow, I.; Bengio, Y.; Courville, A. 2016. Deep Learning. MIT Press, Cambridge, MA, EUA. Disponível em: <http://www.deeplearningbook.org>. Acesso em: 30 mar. 2025.

Liao, L.; Li, H.; Shang, W.; Ma, L. 2022. An empirical study of the impact of hyperparameter tuning and model optimization on the performance properties of deep neural networks. ACM Transactions on Software Engineering and Methodology 31(3): Article 53.

Raiaan, M.A.K.; Sakib, S.; Fahad, N.M.; Mamun, A.A.; Rahman, M.A.; Shatabda, S.; Mukta, M.S.H. 2024. A systematic review of hyperparameter optimization techniques in convolutional neural networks. Decision Analytics Journal 11: 100470.

Victoria, A.H.; Maragatham, G. 2021. Automatic tuning of hyperparameters using Bayesian optimization. Evolving Systems 12: 217-223.

Artigo oriundo de Trabalho de Conclusão de Curso da Especialização em Data Science e Analytics do MBA USP/Esalq

Para saber mais sobre o curso, clique aqui e acesse a plataforma MBX Academy

Você também pode gostar

22 de outubro de 2026

Jornada do Consumidor na Decisão de Compra de Infoprodutos no Ambiente Digital

A expansão do comércio eletrônico e a transformação tecnológica impulsionaram a necessidade de compreender o comportamento do consumidor de infoprodutos, cuja experiência percebida tornou-se crucial para o desenvolvimento profissional. O estudo objetivou analisar os fatores que influenciaram a decisão de compra de infoprodutos no ambiente digital, considerando as etapas da jornada do consumidor. Realizou-se uma pesquisa aplicada, quantitativa e descritiva, por meio de um levantamento de campo com 100 consumidores da Serra Gaúcha. A coleta de dados ocorreu via questionário estruturado, utilizando amostragem não probabilística. Os resultados revelaram um público qualificado e com forte comportamento “mobile-first”. Constatou-se que a disponibilidade de informações detalhadas e a aprovação social foram os principais gatilhos de atração na fase de pré-compra. Nas etapas transacionais e posteriores, a minimização de atritos operacionais, a agilidade do acesso imediato e a segurança sistêmica mostraram-se cruciais para a conversão e satisfação, embora lacunas na eficiência do suporte humano tenham sido identificadas. A retenção fundamentou-se na confiança gerada por experiências anteriores positivas, superando o fator preço. Concluiu-se que a jornada do consumidor de infoprodutos opera como um sistema integrado, exigindo alinhamento entre infraestrutura tecnológica, curadoria de conteúdo e humanização do suporte para assegurar o engajamento.

Palavras-chave: Comércio eletrônico; Comportamento do consumidor; Experiência do consumidor; Fidelização; Negócios virtuais.

22 de outubro de 2026

Observatório Digital da Amazônia: Ciência de Dados Aplicada à Análise de Indicadores Sociais, Econômicos, Ambientais e de Saúde

O estado do Amazonas enfrentou desafios históricos na consolidação do Sistema Único de Saúde (SUS), decorrentes de barreiras geográficas, desigualdades socioeconômicas e limitações estruturais. Descreveu-se, neste estudo, o desenvolvimento e a implementação de um geoportal de informações em saúde, concebido para apoiar o monitoramento, a avaliação e o planejamento no contexto amazônico. Adotou-se uma abordagem de estudo de caso descritivo, baseada em análise documental e dados secundários, abrangendo o mapeamento de funcionalidades, a infraestrutura técnica e as etapas de validação da ferramenta. O Portal foi desenvolvido com tecnologias abertas e integrou múltiplas bases de dados nacionais, oferecendo dashboards interativos, mapas temáticos e repositório digital de documentos. Entre os resultados, destacaram-se a visualização georreferenciada de indicadores-chave, a possibilidade de análises comparativas temporais e a utilização da plataforma na revisão de planos de saúde e no redirecionamento de ações estratégicas. O portal pode representar um avanço na governança digital e na gestão baseada em evidências, com potencial de replicabilidade para outros territórios de alta complexidade, desde que acompanhada de investimentos em infraestrutura tecnológica, capacitação profissional e articulação interinstitucional.

Palavras-chave: Amazônia; Avaliação em Saúde; Saúde Digital; Sistemas de Informação em Saúde.

22 de outubro de 2026

Aprendizado Contínuo como Fator de Crescimento Organizacional na Percepção dos Colaboradores

O impacto do aprendizado contínuo e da gestão do conhecimento no crescimento das organizações foi estudado em um cenário de globalização e constantes mudanças. O objetivo do estudo foi analisar a percepção dos colaboradores sobre a cultura de aprendizagem e sua importância para o desenvolvimento pessoal e profissional. Os dados foram obtidos por meio de uma pesquisa anônima, de abordagem quantitativa, utilizando um formulário com questões do tipo “survey” aplicado a 87 profissionais dos setores de tecnologia, saúde, educação, comércio e serviços. Os resultados indicaram que os colaboradores possuíam uma percepção positiva sobre a contribuição do aprendizado contínuo para o crescimento pessoal e organizacional, reconhecendo seus benefícios para o desenvolvimento de novas habilidades, inovação e competitividade. Contudo, observou-se que o incentivo à troca de conhecimento interno e a oferta de treinamentos práticos ainda apresentavam médias moderadas de concordância. Concluiu-se que o aprendizado contínuo contribui significativamente para o desenvolvimento individual e organizacional, sugerindo que as empresas devem desenvolver políticas estratégicas de aprendizado direcionado para novas habilidades, visando maior vantagem competitiva e inovação.

Palavras-chave: Aprendizagem contínua; Autodesenvolvimento; Crescimento organizacional; Gestão do conhecimento; Inovação.

22 de outubro de 2026

Previsão da Inadimplência Agregada no Sistema Financeiro Brasileiro por Modelo Sarimax com Variáveis Macroeconômicas

A inadimplência agregada no sistema financeiro brasileiro é um indicador crucial de risco de crédito, cuja previsão é regulamentada pelas Resoluções CMN n.° 4.557/2017 e 4.966/2021 para a mensuração prospectiva de perdas esperadas. Modelou-se e previu-se a inadimplência agregada por meio do modelo SARIMAX, projetando sua trajetória até dezembro de 2026 sob cenários otimista, base e pessimista. Utilizaram-se 164 observações mensais (julho/2012 a fevereiro/2026) e variáveis macroeconômicas como desemprego, Selic, IPCA, IBC-Br e endividamento das famílias. A especificação com variáveis contemporâneas foi selecionada com base em critérios de informação e estabilidade dos coeficientes, e o diagnóstico dos resíduos confirmou adequação estatística, com MAPE de 3,12%. A inadimplência histórica variou entre 4,33% e 7,64%. A estimação identificou o desemprego (β = 0,2534; p < 0,001) e a Selic (β = 0,2128; p < 0,001) como principais determinantes positivos, com forte persistência temporal (AR(1) = 0,8965). A Selic exibiu correlação crescente com a inadimplência (r = 0,62 no lag 12), enquanto o desemprego demonstrou efeito contemporâneo (r = 0,33). As projeções indicaram inadimplência entre 6,30% e 7,98% em dezembro de 2026, com uma amplitude de 1,68 ponto percentual, evidenciando implicações diretas para o dimensionamento de provisões nas instituições financeiras. Palavras-chave: Desemprego; Modelagem preditiva; Política monetária; Provisão de perdas; Séries temporais.

22 de outubro de 2026

Fatores de Engajamento das Partes Interessadas na Transferência Internacional de Tecnologia para um Hospital Público

Este estudo descreveu os fatores críticos percebidos para o engajamento das partes interessadas na transferência internacional de tecnologia em um hospital público, com foco no planejamento. O objetivo foi descrever esses fatores condicionantes, conforme a percepção de profissionais. Realizou-se um estudo de caso único, aplicando um questionário a 25 profissionais e utilizando análise de conteúdo, complementada por tabulações descritivas. Os principais obstáculos identificados foram resistência à mudança (72%), financiamento (64%), falta de comunicação (60%) e burocracia (40%). Apenas 28% dos respondentes reconheceram a existência de ferramentas adequadas para gestão de stakeholders, enquanto 48% negaram e 24% não souberam informar. Cruzamentos exploratórios indicaram variações na avaliação de influência conforme o tempo de atuação, mas não estabeleceram relações causais. A falta de engajamento foi associada a atrasos, baixa adesão, desperdício de recursos, falhas de comunicação, comprometimento da absorção de conhecimento e riscos à segurança do paciente. As conclusões restringiram-se às percepções do grupo pesquisado e fundamentaram recomendações preliminares para comunicação e coordenação intersetorial.

Palavras-chave: Estudo de caso; Gestão de projetos; Inovação em saúde; Partes interessadas; Setor público.

22 de outubro de 2026

Combate às Perdas Comerciais de Energia Elétrica Utilizando Modelo de Séries Temporais

As perdas comerciais de energia elétrica representaram um dos principais desafios para as distribuidoras, impactando diretamente a sustentabilidade econômica e a qualidade do fornecimento. Avaliou-se a eficiência de modelos de séries temporais, com foco em técnicas de suavização exponencial, na previsão do consumo faturado de unidades consumidoras, para apoiar a identificação de desvios associados a perdas não técnicas. Utilizaram-se dados históricos de consumo mensal de uma distribuidora de energia elétrica no Brasil, segmentados por perfis de comportamento (estacionariedade, tendência e sazonalidade). Aplicaram-se modelos de suavização exponencial simples, Holt e Holt-Winters (aditivo e multiplicativo), comparados a uma média móvel tradicional. O erro percentual absoluto médio (MAPE) foi o critério de avaliação. Adicionalmente, empregou-se a abordagem ETS para seleção automática do modelo e testes de diagnóstico dos resíduos, como Ljung-Box e análise da função de autocorrelação. Os resultados demonstraram que modelos mais robustos apresentaram maior capacidade de adaptação às características das séries e menor erro, com destaque para o desempenho superior em cenários com tendência. Para séries sazonais, o modelo ETS mostrou maior capacidade de adaptação a transições. Concluiu-se que a utilização de modelos de séries temporais mais estruturados contribuiu significativamente para a melhoria da acurácia das previsões e ofereceu suporte analítico relevante para a identificação de perdas comerciais e otimização de processos operacionais e comerciais no setor elétrico.

Palavras-chave: Distribuição de energia; MAPE; Otimização; Previsão de consumo; Suavização exponencial.

Inscreva-se em nossa newsletter!

Receba conteúdos e fique sempre atualizado sobre as novidades em gestão, liderança e carreira com a Revista E&S.

Ao preencher o formulário você está ciente de que podemos enviar comunicações e conteúdos da Revista E&S. Confira nossa Política de Privacidade