30 de setembro de 2026
Comparação de Estratégias de Otimização de Hiperparâmetros em Redes Neurais Profundas: Investigações em Múltiplos Domínios
Comparação de Estratégias de Otimização de Hiperparâmetros em Redes Neurais Profundas: Investigações em Múltiplos Domínios
Cleyner Soares Pereira; Everton Gomede
DOI: 10.22167/2675-6528-202602797
Artigo derivado de Trabalho de Conclusão de Curso (TCC), com conteúdo baseado no trabalho original do aluno e adaptado ao formato editorial da Revista E&S com apoio da ferramenta ResumeAI, solução de inteligência artificial desenvolvida pelo Instituto Pecege para síntese e organização textual.
Resumo
A crescente adoção de redes neurais profundas em diversas áreas evidenciou a importância da otimização de hiperparâmetros para a obtenção de modelos eficientes, estáveis e com boa capacidade de generalização. O estudo teve como objetivo comparar três estratégias de otimização de hiperparâmetros aplicadas a problemas representativos de classificação de imagens, análise de sentimentos e previsão de séries temporais financeiras. Para isso, a pesquisa adotou abordagem quantitativa, exploratória e experimental, com experimentos padronizados em três bases de dados distintas, associadas a arquiteturas neurais adequadas a cada domínio. O procedimento metodológico compreendeu a execução controlada das estratégias de busca (Hyperopt com TPE, Hyperband com KerasTuner e algoritmos genéticos com DEAP), o treinamento final dos melhores modelos e sua avaliação em dados independentes, considerando desempenho preditivo, estabilidade e custo computacional. Os resultados mostraram que não existiu uma estratégia universalmente superior em todos os cenários analisados, tendo cada método apresentado vantagens específicas de acordo com o domínio e o critério de avaliação considerado. Verificou-se que a escolha da estratégia de otimização dependeu do equilíbrio desejado entre qualidade preditiva, tempo de processamento e consistência dos resultados. Concluiu-se, portanto, que a otimização de hiperparâmetros deve ser tratada como uma decisão contextual, diretamente relacionada às características do problema e aos objetivos práticos da aplicação. A pesquisa ofereceu uma comparação empírica sob um pipeline padronizado, evidenciando a natureza multidimensional da efetividade da otimização de hiperparâmetros.
Palavras-chave: Eficiência computacional; Estabilidade; Generalização; Otimização de hiperparâmetros; Redes neurais profundas.
1. Introdução
A Inteligência Artificial e a Ciência de Dados têm assumido um papel cada vez mais relevante na pesquisa e em aplicações práticas, impulsionadas pela disponibilidade de grandes volumes de dados, pelo avanço do poder computacional e pelo desenvolvimento de métodos de aprendizado de máquina mais sofisticados. Nesse cenário, o aprendizado profundo consolidou-se como uma das abordagens mais expressivas da área, especialmente em tarefas como visão computacional, processamento de linguagem natural e reconhecimento de padrões. Redes neurais profundas têm se destacado pela capacidade de aprender representações complexas e hierárquicas, o que favoreceu sua adoção em diferentes domínios de aplicação (Goodfellow et al., 2016; Aggarwal, 2023).
Apesar desse avanço, o desempenho de modelos neurais profundos não depende apenas da arquitetura escolhida ou da quantidade de dados disponíveis. Um fator decisivo é a definição adequada dos hiperparâmetros, isto é, dos valores que controlam aspectos da estrutura e do treinamento do modelo, como taxa de aprendizado, número de camadas, número de unidades por camada, funções de ativação e tamanho do lote. A literatura destaca que esses hiperparâmetros influenciam diretamente a complexidade, o comportamento, a velocidade de treinamento e o desempenho final dos algoritmos de aprendizado de máquina. Consequentemente, escolhas inadequadas podem comprometer a generalização do modelo, elevar o custo computacional e reduzir a eficiência do treinamento (Liao et al., 2022; Agrawal, 2021).
A otimização de hiperparâmetros, ou Hyperparameter Optimization (HPO), surgiu para enfrentar esse problema, sendo um processo de busca por configurações que maximizem o desempenho do modelo em validação, reduzindo a dependência de tentativa e erro manual. Tal processo é desafiador, pois o espaço de busca pode ser amplo, heterogêneo e composto por variáveis contínuas, discretas e condicionais. Além disso, cada avaliação costuma ser cara em termos computacionais, uma vez que exige treinamento parcial ou completo da rede neural. Por essa razão, a HPO é frequentemente tratada como um problema de otimização de caixa-preta, para o qual foram propostas estratégias mais eficientes do que abordagens tradicionais, como busca em grade e busca aleatória (Agrawal, 2021; Bischl et al., 2023).
Nos últimos anos, diferentes trabalhos vêm discutindo os fundamentos e as aplicações da otimização de hiperparâmetros. Bischl et al. (2023) apresentam uma visão abrangente do tema, revisando desde métodos simples até abordagens mais avançadas, como estratégias evolutivas, otimização bayesiana e Hyperband, além de aspectos práticos relacionados à avaliação de desempenho, escolha do espaço de busca e paralelização. Em uma perspectiva mais específica, Raiaan et al. (2024) mostram que a otimização de hiperparâmetros em redes convolucionais é essencial para melhorar desempenho, estabilidade e eficiência, destacando que a definição manual dessas configurações é trabalhosa e intensiva em recursos computacionais. Os autores também observam que muitos estudos anteriores se concentram em algoritmos isolados, o que reforça a necessidade de análises comparativas mais amplas. De modo complementar, Victoria e Maragatham (2021) ressaltam que, em redes profundas, a sintonia de hiperparâmetros exerce papel central sobre o desempenho do treinamento e que métodos automatizados, como a otimização bayesiana, tornam-se especialmente úteis quando as avaliações são custosas. Na mesma direção, Gomede et al. (2023) discutem o uso da otimização bayesiana como estratégia de amostragem eficiente do espaço de hiperparâmetros.
Revisões recentes indicam que a otimização de hiperparâmetros evoluiu de abordagens mais simples para métodos mais sofisticados, como otimização bayesiana, Hyperband e estratégias evolutivas, mas a literatura ainda apresenta menos comparações controladas entre métodos, arquiteturas e domínios distintos (Bischl et al., 2023; Raiaan et al., 2024). Essa lacuna é relevante porque, em aplicações reais, não basta alcançar bom desempenho preditivo; também é necessário considerar eficiência de busca, custo computacional e estabilidade dos resultados. Além disso, estudos empíricos mostram que o efeito da hiperparametrização pode variar de acordo com a arquitetura do modelo, com a natureza dos dados e com as propriedades de desempenho que se pretende otimizar (Liao et al., 2022; Ali et al., 2023).
Diante disso, este trabalho teve como objetivo comparar três estratégias de otimização de hiperparâmetros em redes neurais profundas – otimização bayesiana via Hyperopt com TPE (Tree-structured Parzen Estimator), Hyperband com KerasTuner e algoritmos genéticos com DEAP em três domínios distintos de aplicação: classificação de imagens com CNN no conjunto CIFAR-10, análise de sentimentos com BILSTM no conjunto IMDB e previsão de séries temporais financeiras com GRU sobre dados da ação PETR4. Em síntese, buscou-se responder qual estratégia de otimização de hiperparâmetros apresentou maior eficiência, robustez e capacidade de generalização em diferentes domínios de aprendizagem profunda.
2. Material e Métodos
A pesquisa adotou uma abordagem exploratória e quantitativa, delineada como um estudo experimental. O objetivo central foi comparar três estratégias de otimização de hiperparâmetros em redes neurais profundas. O plano experimental foi estruturado em duas etapas principais: inicialmente, realizou-se a busca por hiperparâmetros, gerando e avaliando configurações candidatas com base no desempenho em validação. Em seguida, a melhor configuração encontrada em cada execução foi utilizada para um treinamento final mais prolongado, com avaliação em dados independentes. Essa organização permitiu diferenciar o desempenho do processo de otimização da qualidade preditiva do modelo final.
A otimização de hiperparâmetros foi tratada como um problema de otimização de caixa-preta. Uma função objetivo, que representava o desempenho do modelo em validação, foi definida para ser minimizada. Nos experimentos classificatórios, por exemplo, a otimização foi operacionalizada pela minimização do negativo da acurácia de validação, compatibilizando a maximização da acurácia com a interface de minimização da biblioteca. A complexidade desse problema decorreu da relação não linear entre hiperparâmetros e desempenho, do espaço de busca misto e da avaliação computacionalmente custosa de cada configuração.
Foram utilizados três conjuntos de dados, cada um representando um domínio distinto de aplicação. O primeiro foi o CIFAR-10, empregado na tarefa de classificação de imagens. Este conjunto é composto por imagens coloridas de 32 × 32 pixels, distribuídas em dez classes. Nos scripts do projeto, o conjunto foi carregado via TensorFlow/Keras, convertido para float32, normalizado para o intervalo [0,1] e dividido em 45.000 amostras para treinamento, 5.000 para validação e um conjunto oficial de teste para avaliação final.
O segundo conjunto de dados foi o IMDB, utilizado na tarefa de análise de sentimentos. Ele contém resenhas de filmes rotuladas por polaridade sentimental, configurando um problema de classificação binária. Os textos foram transformados em sequências inteiras, truncados ou preenchidos até um comprimento máximo fixado e, em seguida, organizados em conjuntos de treinamento, validação e teste. Procedimentos auxiliares de decodificação e tradução de exemplos textuais foram incluídos para apoiar a interpretação qualitativa das predições.
O terceiro conjunto foi formado por dados históricos da ação PETR4, obtidos do Yahoo Finance, para a tarefa de previsão de séries temporais financeiras. Os dados foram organizados cronologicamente e convertidos em um problema supervisionado de previsão temporal por meio de janelas deslizantes. Além da série de preços, foram utilizados atributos derivados e transformações como retornos logarítmicos e variáveis normalizadas. Devido à dependência temporal explícita, adotou-se validação walk-forward em vez de um particionamento aleatório.
Para o problema de classificação de imagens com o CIFAR-10, utilizou-se uma Rede Neural Convolucional (CNN). Essa arquitetura foi escolhida por sua adequação a dados com estrutura espacial, explorando a correlação local entre pixels e permitindo o aprendizado automático de filtros. A CNN empregou campos receptivos locais e compartilhamento de pesos, reduzindo o número de parâmetros. Após a convolução, aplicaram-se funções de ativação não lineares como ReLU, tanh ou sigmoid, seguidas de camadas de max pooling com janela 2 × 2. O treinamento foi realizado com o otimizador Adam e a função de perda sparse_categorical_crossentropy.
Para a análise de sentimentos no conjunto IMDB, empregou-se uma arquitetura Bidirectional Long Short-Term Memory (BiLSTM). As redes LSTM, pertencentes à família das redes neurais recorrentes, foram desenvolvidas para lidar com dependências de longo alcance em sequências, regulando o fluxo de informação por mecanismos de memória e portas de controle. A versão bidirecional processou a sequência em duas direções, combinando os estados ocultos gerados pela passagem direta e inversa, o que é vantajoso em tarefas de linguagem natural onde o contexto é crucial.
No problema de previsão de séries temporais financeiras com a ação PETR4, utilizou-se uma arquitetura Gated Recurrent Unit (GRU). A GRU, uma simplificação da LSTM, opera com portas de atualização e reset, que controlam a preservação e incorporação de novas informações. Essa estrutura simplificada reduz o número de parâmetros e torna a arquitetura computacionalmente mais leve, sendo eficiente em tarefas sequenciais e adequada para equilibrar capacidade de modelagem e custo computacional.
Os espaços de busca de hiperparâmetros foram definidos explicitamente e centralizados nos scripts, visando consistência metodológica, comparabilidade entre os métodos de otimização e viabilidade computacional. Em cada domínio, adotou-se um conjunto finito de valores candidatos, buscando equilibrar a amplitude de exploração e o custo computacional, evitando configurações inviáveis para o ambiente experimental.
No domínio CIFAR-10, os hiperparâmetros incluíram número de camadas convolucionais em {1,2,3,4}, número de filtros por camada em {8,16,32,64,128}, tamanho do kernel convolucional em {3,5,7}, função de ativação em {relu,tanh,sigmoid}, número de unidades da camada densa em {32,64,128,256}, tamanho do lote em {32,64,128} e taxa de aprendizado em {0,005, 0,001, 0,0005}. Para o IMDB, consideraram-se dimensão do embedding em {32,64,128,256}, número de unidades recorrentes em {32,64,128,256}, número de unidades da camada densa em {32,64,128,256}, função de ativação em {relu,tanh,sigmoid}, tamanho do lote em {32,64,128} e taxa de aprendizado em {0,005, 0,001, 0,0005}. Parâmetros como vocabulário máximo de 20.000 palavras e comprimento máximo das sequências de 200 tokens foram mantidos fixos.
Para a PETR4, os hiperparâmetros foram número de unidades GRU em {32,64,128,256}, número de camadas GRU em {1,2,3,4}, taxa de dropout em {0,0, 0,1, 0,2, 0,3, 0,4}, número de unidades da camada densa em {16,32,64,128,256}, função de ativação em {relu,tanh,sigmoid}, tamanho do lote em {16,32,64,128} e taxa de aprendizado em {0,001, 0,0005, 0,0001, 0,00005}. Parâmetros temporais fixos incluíram tamanho da janela igual a 10, janela de treinamento de 3 anos, janela de teste de 1 ano e avanço temporal de 1 ano entre folds.
Foram avaliadas três estratégias de otimização de hiperparâmetros, representando famílias conceitualmente distintas. A primeira foi o Hyperopt com TPE (Tree-structured Parzen Estimator), enquadrado na otimização bayesiana, que modela a relação entre hiperparâmetros e desempenho. A segunda estratégia foi o Hyperband com KerasTuner, baseada em alocação adaptativa de recursos, avaliando configurações com pequeno orçamento e alocando recursos adicionais às mais promissoras. A terceira estratégia utilizou algoritmos genéticos com DEAP (Distributed Evolutionary Algorithms in Python), onde cada indivíduo representou uma configuração de hiperparâmetros, e a evolução foi conduzida por operadores de seleção, cruzamento e mutação.
O procedimento experimental foi padronizado em nove scripts, com definição centralizada do algoritmo de HPO, dataset, arquitetura, espaço de busca, número máximo de avaliações e parâmetros de treinamento. Sementes pseudoaleatórias foram fixadas e mecanismos de determinismo foram empregados no TensorFlow para reduzir a variabilidade. Nos experimentos com CIFAR-10 e IMDB, o fluxo baseou-se em subconjuntos de treinamento, validação e teste. No caso da PETR4, adotou-se validação walk-forward, respeitando a ordem temporal das observações.
Na etapa de HPO, cada método gerou configurações candidatas, treinou o modelo correspondente e avaliou seu desempenho em validação. Durante a busca, monitorou-se o uso de CPU, memória RAM, utilização de GPU e memória da GPU. Concluída a busca, a melhor configuração de cada execução foi submetida a um treinamento final mais prolongado. Nos problemas de classificação, esse treinamento utilizou EarlyStopping com base em val_loss; na PETR4, o procedimento foi repetido em cada fold do esquema walk-forward. Os resultados foram persistidos em arquivos CSV, TXT e PNG.
Todos os scripts foram implementados em Python e executados em ambiente Kaggle. Foram realizadas 50 avaliações de hiperparâmetros por execução e 10 execuções por método para análise de estabilidade. O ambiente utilizado dispunha de CPUs x86_64 de 2 GHz, 32 GB de RAM e duas GPUs Tesla T4.
A avaliação dos experimentos foi conduzida em dois níveis complementares: o desempenho do processo de otimização de hiperparâmetros e o desempenho do modelo final selecionado. No nível da otimização, foram registradas métricas de eficiência da busca, como tempo total da busca, número de avaliações realizadas, melhor valor de acurácia de validação e tempo necessário para atingir um limiar de 95% do melhor desempenho observado para classificação. Para a PETR4, foram controlados indicadores análogos, como o melhor valor de validation MAE e o tempo para atingir 105% do melhor erro final. Essas medidas foram complementadas pelas estatísticas de uso de CPU, memória RAM, GPU e memória da GPU.
Nos experimentos com CIFAR-10 e IMDB, as métricas finais do modelo incluíram a perda final no conjunto de teste e a acurácia final em teste. Para o CIFAR-10, a avaliação foi ampliada com F1-score macro, F1-score ponderado, F1-score por classe, AUC média macro em esquema one-vs-rest, matriz de confusão absoluta e normalizada, curvas ROC multiclasse e exemplos de predições. Para o IMDB, a avaliação seguiu lógica semelhante, adaptada à classificação binária, com F1-score macro, F1-score ponderado, relatório de classificação, curva ROC binária, AUC, matrizes de confusão e exemplos interpretáveis de predições.
No problema de previsão temporal com PETR4, a avaliação foi estruturada em múltiplos níveis, com métricas de erro em preço (MAE, RMSE, MAPE, R²) e métricas análogas sobre a variável de retorno, além da acurácia direcional. As métricas foram calculadas por fold temporal e, em seguida, agregadas ao longo do processo de walk-forward validation, resultando em medidas-resumo como médias, medianas, variâncias e desvios-padrão. Análises de importância dos hiperparâmetros, como parallel coordinates plot, Random Forest feature importance, permutation importance, SHAP e hyperparameter landscape, foram realizadas para examinar a exploração do espaço de busca e a influência das variáveis no desempenho.
3. Resultados e Discussão
Os resultados obtidos nos nove experimentos conduzidos nesta pesquisa, que comparou três estratégias de otimização de hiperparâmetros (Hyperopt com TPE, Hyperband com KerasTuner e algoritmos genéticos com DEAP) em três domínios distintos de aplicação (classificação de imagens com CNN no CIFAR-10, análise de sentimentos com BiLSTM no IMDB e previsão de séries temporais financeiras com GRU na PETR4), revelaram que não existe uma estratégia universalmente superior. Cada método demonstrou vantagens específicas dependendo do domínio e do critério de avaliação considerado, o que sublinha a natureza contextual da otimização de hiperparâmetros. A análise foi realizada em dois níveis complementares: o desempenho do processo de otimização e o desempenho final dos modelos selecionados, permitindo uma compreensão abrangente da eficácia e do custo computacional de cada abordagem.
A Tabela 1, que sintetiza os principais achados, indicou que o Hyperopt apresentou um desempenho ligeiramente superior em acurácia para o CIFAR-10, enquanto o Hyperband obteve melhores resultados no IMDB e na PETR4. Os valores de perda (loss) geralmente acompanharam o comportamento da acurácia, e na previsão da PETR4, o MAE, como métrica de erro, foi menor para o Hyperband, indicando melhor desempenho. Todos os algoritmos exibiram estabilidade satisfatória, com médias consistentes e baixos desvios-padrão, sugerindo que as soluções encontradas eram robustas. O tempo total de busca variou significativamente, com o DEAP sendo mais rápido para o CIFAR-10 e PETR4, e o Hyperband superior para o IMDB. Essa variabilidade temporal divergiu parcialmente das expectativas da literatura, que frequentemente aponta o Hyperband como mais rápido, mas nem sempre o mais preciso. Tais achados reforçam a ideia de que a otimização de hiperparâmetros é um problema intrinsecamente dependente do domínio, da arquitetura do modelo e da estrutura do espaço de busca, sem uma garantia de superioridade universal para um único método.
Resultados no domínio de classificação de imagens: CIFAR-10 com CNN
No domínio de classificação de imagens, a rede neural convolucional (CNN) aplicada ao conjunto CIFAR-10 foi avaliada por meio de métricas multiclasse, incluindo perda em teste, acurácia em teste, F1-score macro e ponderado, e AUC média macro. A análise dos resultados, como ilustrado pelas curvas de treino, validação e teste do melhor modelo, indicou que o treinamento foi consistente e estável, com o uso de early stopping prevenindo o sobreajuste. A ausência de oscilações significativas durante o treinamento é um indicativo da robustez do processo, especialmente considerando a influência de hiperparâmetros como número de camadas, filtros, função de ativação, tamanho do lote e taxa de aprendizado na capacidade de representação e estabilidade da CNN.
Os resultados quantitativos para o CIFAR-10, detalhados na Tabela 2, mostraram que o Hyperopt obteve o melhor desempenho em todas as métricas avaliadas, seguido de perto pelo DEAP e, em seguida, pelo Hyperband. Essa hierarquia de desempenho em termos de eficácia, embora com diferenças sutis, sugere que os três métodos foram capazes de produzir classificadores competitivos para este domínio. Essa observação é consistente com a literatura, que reconhece que diferentes métodos de HPO podem levar a modelos com desempenhos finais semelhantes, mesmo que as estratégias de exploração do espaço de busca sejam distintas.
A análise das matrizes de confusão, tanto absoluta quanto normalizada, revelou que as classes “avião” e “automóvel” apresentaram as maiores taxas de acerto. Em contrapartida, as classes “pássaro” e “gato” concentraram os erros mais frequentes. Essa dificuldade do classificador em distinguir entre certas categorias, como gatos, cachorros, pássaros e veados, e entre pássaros e aviões, pode ser atribuída a características visuais semelhantes, baixa resolução das imagens, ambiguidade de contornos ou padrões de textura específicos. As curvas ROC multiclasse complementaram essa análise, evidenciando a capacidade discriminativa do modelo entre as dez categorias do CIFAR-10.
De modo geral, o CIFAR-10 provou ser um benchmark adequado para a avaliação proposta, permitindo a obtenção de soluções satisfatórias com um esforço de configuração relativamente reduzido, mesmo sem atingir o estado da arte. Esse achado reforça a compreensão de que, em tarefas de visão computacional, a qualidade da otimização de hiperparâmetros está intrinsecamente ligada à capacidade do método de explorar eficazmente as combinações estruturais da CNN e os parâmetros do regime de treinamento, destacando a importância de uma busca bem-estruturada.
Resultados no domínio de análise de sentimentos: IMDB com BiLSTM
No domínio de análise de sentimentos, a arquitetura Bidirectional Long Short-Term Memory (BiLSTM) foi empregada no conjunto IMDB para um problema de classificação binária. A avaliação incluiu métricas como perda em teste, acurácia, F1-score macro e ponderado, AUC, e curva ROC binária, além de matrizes de confusão e exemplos qualitativos de predições. As curvas de treino, validação e teste do melhor modelo, apresentadas na Figura 6, indicaram uma rápida convergência nas primeiras épocas, com o melhor equilíbrio entre desempenho e generalização observado na segunda época. As épocas subsequentes mostraram sinais de sobreajuste, o que validou a importância do early stopping neste cenário.
A Tabela 3, que detalha os resultados quantitativos, sugeriu que o Hyperopt obteve o melhor desempenho em todas as métricas avaliadas para o IMDB, seguido de perto pelo DEAP e, posteriormente, pelo Hyperband. A análise conjunta de acurácia, F1-score e AUC permitiu concluir que o Hyperopt demonstrou maior consistência para este tipo de problema. A capacidade discriminativa do modelo mostrou-se adequada, com um AUC substancialmente superior ao nível esperado ao acaso na distinção entre resultados positivos e negativos, conforme ilustrado pela curva ROC binária na Figura 7.
As matrizes de confusão (Figuras 8 e 9) indicaram que o classificador apresentou maior robustez nas predições da classe negativa e menor robustez na classe positiva, mantendo os falsos positivos e falsos negativos em níveis relativamente baixos. A predominância de falhas neste modelo esteve associada às instâncias positivas. A análise qualitativa das predições, exemplificada na Figura 10, revelou que o modelo tende a acertar avaliações com polaridade mais explícita, enquanto os erros se concentraram em textos que continham ambiguidades, ironias, negações ou palavras dúbias. Essa abordagem qualitativa é crucial em Processamento de Linguagem Natural (PLN), pois oferece uma compreensão mais aprofundada do comportamento do modelo do que as métricas agregadas.
Os resultados para o domínio de análise de sentimentos, embora demonstrem bom desempenho, sugerem que ainda há espaço para aprimoramentos incrementais. Em comparação com a literatura, esses achados reforçam a ideia de que o efeito da otimização de hiperparâmetros em tarefas textuais depende tanto da eficiência da busca quanto da sensibilidade da arquitetura recorrente aos hiperparâmetros de representação e memória sequencial. A escolha cuidadosa dos hiperparâmetros, como a dimensão do embedding, o número de unidades recorrentes e a taxa de aprendizado, é fundamental para o desempenho de arquiteturas bidirecionais em tarefas de linguagem natural.
Resultados no domínio de previsão temporal: PETR4 com GRU
No domínio de previsão temporal, os experimentos foram realizados com a série histórica da ação PETR4, utilizando uma arquitetura Gated Recurrent Unit (GRU) e um protocolo de validação walk-forward. A avaliação foi multifacetada, incluindo métricas em preço, em retorno e a acurácia direcional, o que foi essencial, pois o modelo operou internamente sobre retornos transformados, mas a interpretação final exigiu a escala original da série. A Tabela 4 apresenta os resultados consolidados, indicando que o Hyperband obteve o melhor desempenho na maioria das métricas, sendo o único a apresentar um R² de retorno levemente positivo. O Hyperopt teve o pior desempenho, e o DEAP um desempenho intermediário.
A interpretação desses resultados deve ser feita com cautela, dada a não estacionariedade e a variabilidade temporal da série financeira PETR4. No entanto, os achados sugerem que o Hyperband foi o método mais eficaz para modelar séries temporais neste contexto, reforçado pelo seu desempenho superior na acurácia direcional, que foi o único acima de 0,50. As curvas de treinamento, perda e MAE do melhor modelo, apresentadas na Figura 11, mostraram uma convergência rápida nas primeiras épocas e subsequente estabilização, com ganhos marginais após algumas épocas e boa generalização.
A Figura 12, que exibe os resultados por fold temporal, permitiu observar a variação do desempenho ao longo das diferentes janelas do esquema walk-forward. O fold 1 apresentou os menores erros, enquanto o fold 2 demonstrou maior dificuldade de convergência, seguido por erros mais suaves nos folds 3, 4 e 5. Apesar do comportamento crítico observado em alguns períodos, a análise indicou que os momentos de maior volatilidade da série geraram maiores erros em períodos específicos. A comparação entre valores reais e previstos ao longo do tempo, ilustrada na Figura 13, mostrou que a curva prevista acompanhou de perto a trajetória real, reproduzindo bem as oscilações do preço.
A análise dos resíduos, apresentada na Figura 14, revelou uma distribuição em torno de zero, sugerindo a ausência de viés sistemático e um erro relativamente controlado. Isso confirmou a consistência do Hyperband no conjunto de testes. Exemplos de predições por data, incluindo valores reais, previstos e erros absolutos, como na Figura 15, mostraram estimativas coerentes com as métricas obtidas. Em termos interpretativos, o Hyperband mostrou-se uma escolha adequada para este tipo de problema, mas a interpretação do desempenho em séries financeiras deve sempre considerar a não estacionariedade e a variabilidade temporal, o que torna a agregação por folds essencial para uma análise robusta.
Eficiência da busca de hiperparâmetros
Além do desempenho final dos modelos, os experimentos permitiram uma comparação da eficiência do processo de busca de hiperparâmetros. Nos domínios classificatórios, essa análise considerou o tempo total de busca, o número de avaliações, o melhor score de validação, a melhor perda de validação e o tempo para atingir 95% do melhor desempenho final. Para a PETR4, a avaliação foi adaptada para a minimização do problema, considerando o melhor validation MAE, o número de avaliações válidas e o tempo necessário para atingir um limiar equivalente a 105% do melhor erro final. Essa abordagem está alinhada às recomendações da literatura, que enfatizam a importância de critérios de eficiência na comparação de métodos de HPO.
As curvas de eficiência da busca para CIFAR-10, IMDB e PETR4 (Figuras 16, 17 e 18) revelaram comportamentos distintos. No CIFAR-10, o Hyperopt encontrou rapidamente uma região promissora, mas sua evolução foi mais gradual posteriormente, apresentando a melhor acurácia, porém com maior tempo de busca e convergência mais lenta. No IMDB, o Hyperband demonstrou convergência rápida, mas com estabilização precoce, não permitindo evoluções significativas, mostrando uma melhor relação entre desempenho final e custo total. Para a PETR4, o DEAP exibiu uma convergência expressiva no início, mas as tentativas posteriores foram oscilantes, com pouca evolução geral, alcançando o melhor validation MAE com o menor tempo de busca.
A Tabela 5 sintetiza os principais indicadores de eficiência da busca por domínio e método. Esses resultados são compatíveis com a ideia de que diferentes métodos de HPO realizam trocas distintas entre a exploração do espaço de busca, a intensificação em regiões promissoras e o custo computacional. A análise da eficiência da busca, portanto, oferece informações complementares às métricas preditivas finais, proporcionando uma compreensão mais completa do comportamento de cada método e de suas adequações a diferentes cenários e prioridades.
Uso de recursos computacionais
Os experimentos também registraram medidas de uso médio e máximo de CPU, RAM do sistema, memória do processo, GPU e memória da GPU, conforme ilustrado na Figura 19. Esses resultados são cruciais para avaliar os métodos de HPO sob a ótica do custo computacional efetivamente incorrido, e não apenas da qualidade das soluções encontradas. No CIFAR-10 e IMDB, observou-se um uso intensivo de GPU, enquanto na PETR4 o uso de GPU foi leve. No CIFAR-10, o Hyperopt e o Hyperband apresentaram uso médio semelhante de CPU e RAM, mas diferiram na GPU. O DEAP, por sua vez, registrou o maior uso médio de GPU entre todos os métodos, mas com menor memória de GPU, o que pode indicar menor dependência de grandes volumes de dados.
No domínio IMDB, os três métodos apresentaram um comportamento bastante similar em termos de uso de recursos. Já na PETR4, o comportamento foi distinto: Hyperopt e Hyperband mostraram um uso muito baixo de GPU e uso moderado de CPU e RAM. O aumento do uso de GPU ocorreu apenas no DEAP, acompanhado por uma menor demanda de CPU. Esses achados são importantes para compreender as implicações práticas da escolha de uma estratégia de HPO, especialmente em ambientes com recursos computacionais limitados, onde a eficiência e o custo são fatores determinantes para a viabilidade de uma aplicação.
Estabilidade entre execuções
A estabilidade dos resultados foi avaliada por meio de múltiplas execuções independentes e, no caso da PETR4, também pela agregação entre folds temporais. Foram consideradas medidas como média e desvio-padrão das métricas principais, permitindo examinar a consistência dos métodos diante da variabilidade inerente ao treinamento de redes neurais e aos próprios algoritmos de busca. A Tabela 6 apresenta os resumos de estabilidade para CIFAR-10, IMDB e PETR4. Os dados sugerem que a estabilidade das execuções variou de acordo com o método e o domínio, o que reforça a natureza contextual da otimização de hiperparâmetros.
No CIFAR-10, o Hyperopt apresentou os melhores resultados, mas com maior custo computacional e tempo elevado. O Hyperband e o DEAP foram mais rápidos, porém com desempenho inferior. No IMDB, o DEAP mostrou desempenho médio com baixa dispersão, enquanto o Hyperband se destacou em termos temporais, e o Hyperopt permaneceu competitivo nas métricas preditivas. Na PETR4, o Hyperopt foi claramente superior, tanto nos erros de previsão quanto na menor variabilidade. Esse resultado é de grande importância, pois um desempenho isolado elevado não garante robustez prática se não for acompanhado de consistência entre execuções. A estabilidade, portanto, reforça que a escolha do método deve considerar a qualidade, a variabilidade e a previsibilidade em dimensões distintas do problema, e não apenas o pico de desempenho.
Importância dos hiperparâmetros e interpretação da busca
As análises de importância dos hiperparâmetros, produzidas pelos scripts por meio de técnicas como parallel coordinates plot, Random Forest feature importance, permutation importance, SHAP e hyperparameter landscape, permitiram examinar como o espaço de busca foi explorado e quais variáveis exerceram maior influência sobre o desempenho. As Figuras 20a a 20e ilustram essas análises para os diferentes domínios, oferecendo uma visão detalhada da dinâmica interna da otimização. De modo geral, constatou-se que o número de filtros e a taxa de aprendizagem exerceram maior influência no domínio CIFAR-10, enquanto o tamanho do lote e a função de ativação apresentaram impacto secundário, um comportamento coerente com a natureza do problema de classificação de imagens.
No domínio IMDB, esperava-se maior sensibilidade a hiperparâmetros como a dimensão do embedding e o número de unidades recorrentes, que são cruciais para a capacidade de representação e memória sequencial em tarefas de linguagem natural. Na PETR4, os parâmetros ligados à capacidade recorrente da GRU e ao regime de treinamento, como a taxa de dropout e o número de unidades GRU, foram os mais influentes. A interpretação final, contudo, deve ser feita a partir dos padrões efetivamente observados nos gráficos experimentais, que revelam as interações complexas entre os hiperparâmetros e o desempenho do modelo. Essas visualizações são valiosas para deslocar o foco da análise da simples função objetivo para a dinâmica interna da otimização, permitindo uma compreensão mais completa do comportamento de cada método de HPO.
Discussão integrada e análise crítica
A análise conjunta dos experimentos indicou que não houve um método universalmente superior em todos os domínios avaliados. Em vez disso, os resultados mostraram que o desempenho das estratégias de otimização de hiperparâmetros depende da interação entre a arquitetura da rede neural, o tipo de dado e o critério de avaliação adotado. De forma geral, o Hyperopt demonstrou maior robustez nos cenários mais sensíveis à qualidade final da solução, como na classificação de imagens. O Hyperband apresentou um melhor equilíbrio entre desempenho e custo computacional, destacando-se na análise de sentimentos e previsão temporal. O DEAP, por sua vez, destacou-se pela rapidez em alguns contextos, embora com maior oscilação entre as execuções.
A principal contribuição desta comparação não reside em apontar um vencedor absoluto, mas em evidenciar que a escolha do método de otimização de hiperparâmetros deve ser orientada pela prioridade do problema. Isso significa que a decisão deve considerar se o objetivo é maximizar o desempenho final, reduzir o tempo de busca ou obter maior estabilidade dos resultados. Essas conclusões, entretanto, devem ser interpretadas à luz dos espaços de busca definidos e dos domínios avaliados, o que recomenda cautela em generalizações para outros cenários ou arquiteturas. A pesquisa ofereceu uma comparação empírica conduzida sob um pipeline padronizado, com controle experimental e avaliação em domínios heterogêneos, permitindo observar como desempenho, tempo de busca, uso de recursos e estabilidade compõem dimensões complementares na avaliação de métodos de HPO. Desse modo, o trabalho reforça que a efetividade da otimização de hiperparâmetros deve ser entendida de maneira multidimensional, considerando as trocas inerentes a cada estratégia.
4. Conclusão
O presente estudo buscou comparar três estratégias de otimização de hiperparâmetros – Hyperopt com TPE, Hyperband com KerasTuner e algoritmos genéticos com DEAP – em redes neurais profundas aplicadas a problemas de classificação de imagens, análise de sentimentos e previsão de séries temporais financeiras. Verificou-se que não houve uma estratégia universalmente superior em todos os cenários avaliados. Os resultados indicaram que o Hyperopt demonstrou maior robustez em domínios sensíveis à qualidade final da solução, como na classificação de imagens. O Hyperband, por sua vez, apresentou um melhor equilíbrio entre desempenho preditivo e custo computacional, destacando-se na análise de sentimentos e na previsão temporal. Os algoritmos genéticos com DEAP revelaram-se mais rápidos em alguns contextos, embora com maior oscilação entre as execuções. A principal contribuição da pesquisa reside em evidenciar que a escolha do método de otimização de hiperparâmetros deve ser orientada pela prioridade do problema, seja ela maximizar o desempenho final, reduzir o tempo de busca ou obter maior estabilidade dos resultados.
As conclusões do trabalho devem ser interpretadas à luz dos espaços de busca definidos e dos domínios específicos avaliados, o que recomenda cautela em generalizações para outros cenários ou arquiteturas. Como sugestão para estudos futuros, propõe-se a ampliação da investigação com novos espaços de busca, a inclusão de outras arquiteturas de redes neurais profundas e a avaliação em domínios de aplicação ainda mais diversificados. O estudo ofereceu uma comparação empírica sob um pipeline padronizado, com controle experimental e avaliação em domínios heterogêneos, reforçando que a efetividade da otimização de hiperparâmetros deve ser entendida de maneira multidimensional, considerando as trocas inerentes a cada estratégia em termos de desempenho, tempo de busca, uso de recursos e estabilidade.
Referências Bibliográficas
Aggarwal, C.C. 2023. Neural Networks and Deep Learning A Textbook. 2ed. Springer Nature Switzerland, Cham, Suíça.
Agrawal, T. 2021. Hyperparameter Optimization in Machine Learning. Apress, Bangalore, Índia.
Ali, Y.A.; Awwad, E.M.; Al-Razgan, M.; Maarouf, A. 2023. Hyperparameter search for machine learning algorithms for optimizing computational complexity. Processes 11: 349.
Bischl, B.; Binder, M.; Lang, M.; Pielok, T.; Richter, J.; Coors, S.; Thomas, J.; Ullmann, T.; Becker, M.; Boulesteix, A.-L.; Deng, D.; Lindauer, M. 2023. Hyperparameter optimization: Foundations, algorithms, best practices, and open challenges. WIREs Data Mining and Knowledge Discovery 13(2): e1484.
Gomede, E.; Silva, F.; Mendonça, M.; Palácios, R.H.C. 2023. Bayesian Optimization for Sampling the Hyper Parameter Space. Disponível em: <http://dx.doi.org/10.2139/ssrn.4559196>. Acesso em: 31 mar. 2026.
Goodfellow, I.; Bengio, Y.; Courville, A. 2016. Deep Learning. MIT Press, Cambridge, MA, EUA. Disponível em: <http://www.deeplearningbook.org>. Acesso em: 30 mar. 2025.
Liao, L.; Li, H.; Shang, W.; Ma, L. 2022. An empirical study of the impact of hyperparameter tuning and model optimization on the performance properties of deep neural networks. ACM Transactions on Software Engineering and Methodology 31(3): Article 53.
Raiaan, M.A.K.; Sakib, S.; Fahad, N.M.; Mamun, A.A.; Rahman, M.A.; Shatabda, S.; Mukta, M.S.H. 2024. A systematic review of hyperparameter optimization techniques in convolutional neural networks. Decision Analytics Journal 11: 100470.
Victoria, A.H.; Maragatham, G. 2021. Automatic tuning of hyperparameters using Bayesian optimization. Evolving Systems 12: 217-223.
Artigo oriundo de Trabalho de Conclusão de Curso da Especialização em Data Science e Analytics do MBA USP/Esalq
Para saber mais sobre o curso, clique aqui e acesse a plataforma MBX Academy

