30 de septiembre de 2026
Comparación de Estrategias de Optimización de Hiperparámetros en Redes Neuronales Profundas: Investigaciones en Múltiples Dominios
Comparación de Estrategias de Optimización de Hiperparámetros en Redes Neuronales Profundas: Investigaciones en Múltiples Dominios
Cleyner Soares Pereira; Everton Gomede
DOI: 10.22167/2675-6528-202602797
Artículo derivado de Trabajo de Fin de Curso (TCC), con contenido basado en el trabajo original del estudiante y adaptado al formato editorial de la Revista E&S con el apoyo de la herramienta ResumeAI, una solución de inteligencia artificial desarrollada por el Instituto Pecege para la síntesis y organización textual.
Resumen
La creciente adopción de redes neuronales profundas en diversas áreas ha puesto de manifiesto la importancia de la optimización de hiperparámetros para la obtención de modelos eficientes, estables y con buena capacidad de generalización. El estudio tuvo como objetivo comparar tres estrategias de optimización de hiperparámetros aplicadas a problemas representativos de clasificación de imágenes, análisis de sentimientos y predicción de series temporales financieras. Para ello, la investigación adoptó un enfoque cuantitativo, exploratorio y experimental, con experimentos estandarizados en tres bases de datos distintas, asociadas a arquitecturas neuronales adecuadas a cada dominio. El procedimiento metodológico comprendió la ejecución controlada de las estrategias de búsqueda (Hyperopt con TPE, Hyperband con KerasTuner y algoritmos genéticos con DEAP), el entrenamiento final de los mejores modelos y su evaluación en datos independientes, considerando el rendimiento predictivo, la estabilidad y el costo computacional. Los resultados mostraron que no existió una estrategia universalmente superior en todos los escenarios analizados, presentando cada método ventajas específicas de acuerdo con el dominio y el criterio de evaluación considerado. Se verificó que la elección de la estrategia de optimización dependió del equilibrio deseado entre calidad predictiva, tiempo de procesamiento y consistencia de los resultados. Se concluyó, por lo tanto, que la optimización de hiperparámetros debe ser tratada como una decisión contextual, directamente relacionada con las características del problema y los objetivos prácticos de la aplicación. La investigación ofreció una comparación empírica bajo un pipeline estandarizado, evidenciando la naturaleza multidimensional de la efectividad de la optimización de hiperparámetros.
Palabras clave: Eficiencia computacional; Estabilidad; Generalización; Optimización de hiperparámetros; Redes neuronales profundas.
1. Introducción
La Inteligencia Artificial y la Ciencia de Datos han asumido un papel cada vez más relevante en la investigación y en aplicaciones prácticas, impulsadas por la disponibilidad de grandes volúmenes de datos, por el avance del poder computacional y por el desarrollo de métodos de aprendizaje automático más sofisticados. En este escenario, el aprendizaje profundo se ha consolidado como una de las aproximaciones más expresivas del área, especialmente en tareas como visión computacional, procesamiento de lenguaje natural y reconocimiento de patrones. Las redes neuronales profundas se han destacado por la capacidad de aprender representaciones complejas y jerárquicas, lo que ha favorecido su adopción en diferentes dominios de aplicación (Goodfellow et al., 2016; Aggarwal, 2023).
A pesar de este avance, el rendimiento de los modelos neuronales profundos no depende únicamente de la arquitectura elegida o de la cantidad de datos disponibles. Un factor decisivo es la definición adecuada de los hiperparámetros, es decir, de los valores que controlan aspectos de la estructura y del entrenamiento del modelo, como la tasa de aprendizaje, el número de capas, el número de unidades por capa, las funciones de activación y el tamaño del lote. La literatura destaca que estos hiperparámetros influyen directamente en la complejidad, el comportamiento, la velocidad de entrenamiento y el rendimiento final de los algoritmos de aprendizaje automático. En consecuencia, elecciones inadecuadas pueden comprometer la generalización del modelo, elevar el costo computacional y reducir la eficiencia del entrenamiento (Liao et al., 2022; Agrawal, 2021).
La optimización de hiperparámetros, o Hyperparameter Optimization (HPO), surgió para enfrentar este problema, siendo un proceso de búsqueda de configuraciones que maximicen el rendimiento del modelo en validación, reduciendo la dependencia de prueba y error manual. Dicho proceso es desafiante, ya que el espacio de búsqueda puede ser amplio, heterogéneo y compuesto por variables continuas, discretas y condicionales. Además, cada evaluación suele ser costosa en términos computacionales, puesto que exige entrenamiento parcial o completo de la red neuronal. Por esta razón, la HPO se trata frecuentemente como un problema de optimización de caja negra, para el cual se han propuesto estrategias más eficientes que enfoques tradicionales, como la búsqueda en cuadrícula y la búsqueda aleatoria (Agrawal, 2021; Bischl et al., 2023).
En los últimos años, diferentes trabajos han estado discutiendo los fundamentos y las aplicaciones de la optimización de hiperparámetros. Bischl et al. (2023) presentan una visión integral del tema, revisando desde métodos simples hasta enfoques más avanzados, como estrategias evolutivas, optimización bayesiana y Hyperband, además de aspectos prácticos relacionados con la evaluación del rendimiento, la elección del espacio de búsqueda y la paralelización. Desde una perspectiva más específica, Raiaan et al. (2024) demuestran que la optimización de hiperparámetros en redes convolucionales es esencial para mejorar el rendimiento, la estabilidad y la eficiencia, destacando que la definición manual de estas configuraciones es laboriosa y consume muchos recursos computacionales. Los autores también observan que muchos estudios anteriores se centran en algoritmos aislados, lo que refuerza la necesidad de análisis comparativos más amplios. De manera complementaria, Victoria y Maragatham (2021) resaltan que, en redes profundas, la sintonización de hiperparámetros juega un papel central en el rendimiento del entrenamiento y que los métodos automatizados, como la optimización bayesiana, se vuelven especialmente útiles cuando las evaluaciones son costosas. En la misma dirección, Gomede et al. (2023) discuten el uso de la optimización bayesiana como estrategia de muestreo eficiente del espacio de hiperparámetros.
Revisiones recientes indican que la optimización de hiperparámetros ha evolucionado de enfoques más simples a métodos más sofisticados, como la optimización bayesiana, Hyperband y estrategias evolutivas, pero la literatura aún presenta menos comparaciones controladas entre métodos, arquitecturas y dominios distintos (Bischl et al., 2023; Raiaan et al., 2024). Esta brecha es relevante porque, en aplicaciones reales, no basta con lograr un buen rendimiento predictivo; también es necesario considerar la eficiencia de la búsqueda, el costo computacional y la estabilidad de los resultados. Además, estudios empíricos muestran que el efecto de la hiperparametrización puede variar según la arquitectura del modelo, la naturaleza de los datos y las propiedades de rendimiento que se pretenden optimizar (Liao et al., 2022; Ali et al., 2023).
Ante esto, este trabajo tuvo como objetivo comparar tres estrategias de optimización de hiperparámetros en redes neuronales profundas – optimización bayesiana vía Hyperopt con TPE (Tree-structured Parzen Estimator), Hyperband con KerasTuner y algoritmos genéticos con DEAP en tres dominios distintos de aplicación: clasificación de imágenes con CNN en el conjunto CIFAR-10, análisis de sentimientos con BILSTM en el conjunto IMDB y predicción de series temporales financieras con GRU sobre datos de la acción PETR4. En síntesis, se buscó responder qué estrategia de optimización de hiperparámetros presentó mayor eficiencia, robustez y capacidad de generalización en diferentes dominios de aprendizaje profundo.
2. Material y Métodos
La investigación adoptó un enfoque exploratorio y cuantitativo, delineado como un estudio experimental. El objetivo central fue comparar tres estrategias de optimización de hiperparámetros en redes neuronales profundas. El plan experimental se estructuró en dos etapas principales: inicialmente, se realizó la búsqueda de hiperparámetros, generando y evaluando configuraciones candidatas con base en el desempeño en validación. Luego, la mejor configuración encontrada en cada ejecución se utilizó para un entrenamiento final más prolongado, con evaluación en datos independientes. Esta organización permitió diferenciar el desempeño del proceso de optimización de la calidad predictiva del modelo final.
La optimización de hiperparámetros se trató como un problema de optimización de caja negra. Se definió una función objetivo, que representaba el rendimiento del modelo en validación, para ser minimizada. En los experimentos clasificatorios, por ejemplo, la optimización se operacionalizó minimizando el negativo de la precisión de validación, haciendo coincidir la maximización de la precisión con la interfaz de minimización de la biblioteca. La complejidad de este problema provino de la relación no lineal entre hiperparámetros y rendimiento, del espacio de búsqueda mixto y de la evaluación computacionalmente costosa de cada configuración.
Se utilizaron tres conjuntos de datos, cada uno representando un dominio de aplicación distinto. El primero fue CIFAR-10, empleado en la tarea de clasificación de imágenes. Este conjunto se compone de imágenes a color de 32 × 32 píxeles, distribuidas en diez clases. En los scripts del proyecto, el conjunto se cargó a través de TensorFlow/Keras, se convirtió a float32, se normalizó al intervalo [0,1] y se dividió en 45.000 muestras para entrenamiento, 5.000 para validación y un conjunto oficial de prueba para evaluación final.
El segundo conjunto de datos fue IMDB, utilizado en la tarea de análisis de sentimientos. Contiene reseñas de películas etiquetadas por polaridad sentimental, configurando un problema de clasificación binaria. Los textos se transformaron en secuencias enteras, se truncaron o rellenaron hasta una longitud máxima fija y luego se organizaron en conjuntos de entrenamiento, validación y prueba. Se incluyeron procedimientos auxiliares de decodificación y traducción de ejemplos textuales para apoyar la interpretación cualitativa de las predicciones.
El tercer conjunto se formó con datos históricos de la acción PETR4, obtenidos de Yahoo Finance, para la tarea de predicción de series temporales financieras. Los datos se organizaron cronológicamente y se convirtieron en un problema supervisado de predicción temporal mediante ventanas deslizantes. Además de la serie de precios, se utilizaron atributos derivados y transformaciones como retornos logarítmicos y variables normalizadas. Debido a la dependencia temporal explícita, se adoptó la validación walk-forward en lugar de un particionamiento aleatorio.
Para el problema de clasificación de imágenes con CIFAR-10, se utilizó una Red Neuronal Convolucional (CNN). Esta arquitectura fue elegida por su adecuación a datos con estructura espacial, explorando la correlación local entre píxeles y permitiendo el aprendizaje automático de filtros. La CNN empleó campos receptivos locales y compartición de pesos, reduciendo el número de parámetros. Tras la convolución, se aplicaron funciones de activación no lineales como ReLU, tanh o sigmoid, seguidas de capas de max pooling con ventana 2 × 2. El entrenamiento se realizó con el optimizador Adam y la función de pérdida sparse_categorical_crossentropy.
Para el análisis de sentimientos en el conjunto IMDB, se empleó una arquitectura Bidirectional Long Short-Term Memory (BiLSTM). Las redes LSTM, pertenecientes a la familia de las redes neuronales recurrentes, fueron desarrolladas para manejar dependencias de largo alcance en secuencias, regulando el flujo de información mediante mecanismos de memoria y puertas de control. La versión bidireccional procesó la secuencia en dos direcciones, combinando los estados ocultos generados por el paso directo e inverso, lo cual es ventajoso en tareas de lenguaje natural donde el contexto es crucial.
En el problema de predicción de series temporales financieras con la acción PETR4, se utilizó una arquitectura Gated Recurrent Unit (GRU). La GRU, una simplificación de la LSTM, opera con puertas de actualización y reinicio, que controlan la preservación e incorporación de nueva información. Esta estructura simplificada reduce el número de parámetros y hace que la arquitectura sea computacionalmente más ligera, siendo eficiente en tareas secuenciales y adecuada para equilibrar la capacidad de modelado y el costo computacional.
Los espacios de búsqueda de hiperparámetros se definieron explícitamente y se centralizaron en los scripts, con el objetivo de lograr consistencia metodológica, comparabilidad entre los métodos de optimización y viabilidad computacional. En cada dominio, se adoptó un conjunto finito de valores candidatos, buscando equilibrar la amplitud de exploración y el costo computacional, evitando configuraciones inviables para el entorno experimental.
En el dominio CIFAR-10, los hiperparámetros incluyeron el número de capas convolucionales en {1,2,3,4}, el número de filtros por capa en {8,16,32,64,128}, el tamaño del kernel convolucional en {3,5,7}, la función de activación en {relu,tanh,sigmoid}, el número de unidades de la capa densa en {32,64,128,256}, el tamaño del lote en {32,64,128} y la tasa de aprendizaje en {0,005, 0,001, 0,0005}. Para IMDB, se consideraron la dimensión del embedding en {32,64,128,256}, el número de unidades recurrentes en {32,64,128,256}, el número de unidades de la capa densa en {32,64,128,256}, la función de activación en {relu,tanh,sigmoid}, el tamaño del lote en {32,64,128} y la tasa de aprendizaje en {0,005, 0,001, 0,0005}. Parámetros como el vocabulario máximo de 20.000 palabras y la longitud máxima de las secuencias de 200 tokens se mantuvieron fijos.
Para la PETR4, los hiperparámetros fueron número de unidades GRU en {32,64,128,256}, número de capas GRU en {1,2,3,4}, tasa de dropout en {0,0, 0,1, 0,2, 0,3, 0,4}, número de unidades de la capa densa en {16,32,64,128,256}, función de activación en {relu,tanh,sigmoid}, tamaño del lote en {16,32,64,128} y tasa de aprendizaje en {0,001, 0,0005, 0,0001, 0,00005}. Parámetros temporales fijos incluyeron tamaño de ventana igual a 10, ventana de entrenamiento de 3 años, ventana de prueba de 1 año y avance temporal de 1 año entre folds.
Se evaluaron tres estrategias de optimización de hiperparámetros, que representan familias conceptualmente distintas. La primera fue Hyperopt con TPE (Tree-structured Parzen Estimator), encuadrada en la optimización bayesiana, que modela la relación entre hiperparámetros y rendimiento. La segunda estrategia fue Hyperband con KerasTuner, basada en la asignación adaptativa de recursos, evaluando configuraciones con un presupuesto pequeño y asignando recursos adicionales a las más prometedoras. La tercera estrategia utilizó algoritmos genéticos con DEAP (Distributed Evolutionary Algorithms in Python), donde cada individuo representó una configuración de hiperparámetros, y la evolución fue conducida por operadores de selección, cruce y mutación.
El procedimiento experimental se estandarizó en nueve scripts, con definición centralizada del algoritmo de HPO, dataset, arquitectura, espacio de búsqueda, número máximo de evaluaciones y parámetros de entrenamiento. Se fijaron semillas pseudoaleatorias y se emplearon mecanismos de determinismo en TensorFlow para reducir la variabilidad. En los experimentos con CIFAR-10 e IMDB, el flujo se basó en subconjuntos de entrenamiento, validación y prueba. En el caso de PETR4, se adoptó la validación walk-forward, respetando el orden temporal de las observaciones.
En la etapa de HPO, cada método generó configuraciones candidatas, entrenó el modelo correspondiente y evaluó su desempeño en validación. Durante la búsqueda, se monitorizó el uso de CPU, memoria RAM, utilización de GPU y memoria de la GPU. Una vez completada la búsqueda, la mejor configuración de cada ejecución se sometió a un entrenamiento final más prolongado. En los problemas de clasificación, este entrenamiento utilizó EarlyStopping basado en val_loss; en PETR4, el procedimiento se repitió en cada fold del esquema walk-forward. Los resultados se persistieron en archivos CSV, TXT y PNG.
Todos los scripts se implementaron en Python y se ejecutaron en un entorno Kaggle. Se realizaron 50 evaluaciones de hiperparámetros por ejecución y 10 ejecuciones por método para el análisis de estabilidad. El entorno utilizado disponía de CPUs x86_64 de 2 GHz, 32 GB de RAM y dos GPUs Tesla T4.
La evaluación de los experimentos se llevó a cabo en dos niveles complementarios: el rendimiento del proceso de optimización de hiperparámetros y el rendimiento del modelo final seleccionado. En el nivel de optimización, se registraron métricas de eficiencia de búsqueda, como el tiempo total de búsqueda, el número de evaluaciones realizadas, el mejor valor de precisión de validación y el tiempo necesario para alcanzar un umbral del 95% del mejor rendimiento observado para la clasificación. Para PETR4, se controlaron indicadores análogos, como el mejor valor de MAE de validación y el tiempo para alcanzar el 105% del mejor error final. Estas medidas se complementaron con estadísticas de uso de CPU, memoria RAM, GPU y memoria de GPU.
En los experimentos con CIFAR-10 e IMDB, las métricas finales del modelo incluyeron la pérdida final en el conjunto de prueba y la precisión final en prueba. Para CIFAR-10, la evaluación se amplió con F1-score macro, F1-score ponderado, F1-score por clase, AUC media macro en esquema one-vs-rest, matriz de confusión absoluta y normalizada, curvas ROC multiclase y ejemplos de predicciones. Para IMDB, la evaluación siguió una lógica similar, adaptada a la clasificación binaria, con F1-score macro, F1-score ponderado, informe de clasificación, curva ROC binaria, AUC, matrices de confusión y ejemplos interpretables de predicciones.
En el problema de pronóstico temporal con PETR4, la evaluación se estructuró en múltiples niveles, con métricas de error en precio (MAE, RMSE, MAPE, R²) y métricas análogas sobre la variable de retorno, además de la precisión direccional. Las métricas se calcularon por fold temporal y, a continuación, se agregaron a lo largo del proceso de validación walk-forward, resultando en medidas resumen como medias, medianas, varianzas y desviaciones estándar. Se realizaron análisis de importancia de los hiperparámetros, como parallel coordinates plot, Random Forest feature importance, permutation importance, SHAP y hyperparameter landscape, para examinar la exploración del espacio de búsqueda y la influencia de las variables en el rendimiento.
3. Resultados y Discusión
Los resultados obtenidos en los nueve experimentos realizados en esta investigación, que comparó tres estrategias de optimización de hiperparámetros (Hyperopt con TPE, Hyperband con KerasTuner y algoritmos genéticos con DEAP) en tres dominios distintos de aplicación (clasificación de imágenes con CNN en CIFAR-10, análisis de sentimientos con BiLSTM en IMDB y predicción de series temporales financieras con GRU en PETR4), revelaron que no existe una estrategia universalmente superior. Cada método demostró ventajas específicas dependiendo del dominio y del criterio de evaluación considerado, lo que subraya la naturaleza contextual de la optimización de hiperparámetros. El análisis se realizó en dos niveles complementarios: el rendimiento del proceso de optimización y el rendimiento final de los modelos seleccionados, permitiendo una comprensión abarcadora de la eficacia y el costo computacional de cada enfoque.
La Tabla 1, que resume los principales hallazgos, indicó que Hyperopt presentó un rendimiento ligeramente superior en precisión para CIFAR-10, mientras que Hyperband obtuvo mejores resultados en IMDB y PETR4. Los valores de pérdida (loss) generalmente siguieron el comportamiento de la precisión, y en la predicción de PETR4, el MAE, como métrica de error, fue menor para Hyperband, indicando un mejor rendimiento. Todos los algoritmos exhibieron una estabilidad satisfactoria, con promedios consistentes y bajos desvíos estándar, sugiriendo que las soluciones encontradas eran robustas. El tiempo total de búsqueda varió significativamente, siendo DEAP más rápido para CIFAR-10 y PETR4, y Hyperband superior para IMDB. Esta variabilidad temporal divergió parcialmente de las expectativas de la literatura, que frecuentemente señala a Hyperband como más rápido, pero no siempre el más preciso. Tales hallazgos refuerzan la idea de que la optimización de hiperparámetros es un problema intrínsecamente dependiente del dominio, de la arquitectura del modelo y de la estructura del espacio de búsqueda, sin una garantía de superioridad universal para un único método.
Resultados en el dominio de clasificación de imágenes: CIFAR-10 con CNN
En el dominio de la clasificación de imágenes, la Red Neuronal Convolucional (CNN) aplicada al conjunto CIFAR-10 fue evaluada mediante métricas multiclase, incluyendo pérdida en prueba, precisión en prueba, F1-score macro y ponderado, y AUC promedio macro. El análisis de los resultados, como se ilustra en las curvas de entrenamiento, validación y prueba del mejor modelo, indicó que el entrenamiento fue consistente y estable, con el uso de parada temprana previniendo el sobreajuste. La ausencia de oscilaciones significativas durante el entrenamiento es un indicativo de la robustez del proceso, especialmente considerando la influencia de hiperparámetros como el número de capas, filtros, función de activación, tamaño del lote y tasa de aprendizaje en la capacidad de representación y estabilidad de la CNN.
Los resultados cuantitativos para CIFAR-10, detallados en la Tabla 2, mostraron que Hyperopt obtuvo el mejor rendimiento en todas las métricas evaluadas, seguido de cerca por DEAP y, luego, por Hyperband. Esta jerarquía de rendimiento en términos de eficacia, aunque con diferencias sutiles, sugiere que los tres métodos fueron capaces de producir clasificadores competitivos para este dominio. Esta observación es consistente con la literatura, que reconoce que diferentes métodos de HPO pueden conducir a modelos con rendimientos finales similares, incluso si las estrategias de exploración del espacio de búsqueda son distintas.
El análisis de las matrices de confusión, tanto absoluta como normalizada, reveló que las clases “avión” y “automóvil” presentaron las mayores tasas de acierto. En contrapartida, las clases “pájaro” y “gato” concentraron los errores más frecuentes. Esta dificultad del clasificador para distinguir entre ciertas categorías, como gatos, perros, pájaros y ciervos, y entre pájaros y aviones, puede atribuirse a características visuales similares, baja resolución de las imágenes, ambigüedad de contornos o patrones de textura específicos. Las curvas ROC multiclase complementaron este análisis, evidenciando la capacidad discriminatoria del modelo entre las diez categorías del CIFAR-10.
En términos generales, CIFAR-10 demostró ser un benchmark adecuado para la evaluación propuesta, permitiendo la obtención de soluciones satisfactorias con un esfuerzo de configuración relativamente reducido, incluso sin alcanzar el estado del arte. Este hallazgo refuerza la comprensión de que, en tareas de visión computacional, la calidad de la optimización de hiperparámetros está intrínsecamente ligada a la capacidad del método para explorar eficazmente las combinaciones estructurales de la CNN y los parámetros del régimen de entrenamiento, destacando la importancia de una búsqueda bien estructurada.
Resultados en el dominio de análisis de sentimientos: IMDB con BiLSTM
En el dominio del análisis de sentimientos, la arquitectura Bidirectional Long Short-Term Memory (BiLSTM) se empleó en el conjunto IMDB para un problema de clasificación binaria. La evaluación incluyó métricas como pérdida en prueba, precisión, F1-score macro y ponderado, AUC y curva ROC binaria, además de matrices de confusión y ejemplos cualitativos de predicciones. Las curvas de entrenamiento, validación y prueba del mejor modelo, presentadas en la Figura 6, indicaron una rápida convergencia en las primeras épocas, con el mejor equilibrio entre rendimiento y generalización observado en la segunda época. Las épocas subsiguientes mostraron signos de sobreajuste, lo que validó la importancia del “early stopping” en este escenario.
La Tabla 3, que detalla los resultados cuantitativos, sugirió que Hyperopt obtuvo el mejor rendimiento en todas las métricas evaluadas para IMDB, seguido de cerca por DEAP y, posteriormente, por Hyperband. El análisis conjunto de precisión, F1-score y AUC permitió concluir que Hyperopt demostró mayor consistencia para este tipo de problema. La capacidad discriminatoria del modelo resultó adecuada, con un AUC sustancialmente superior al nivel esperado al azar en la distinción entre resultados positivos y negativos, como se ilustra en la Figura 7.
Las matrices de confusión (Figuras 8 y 9) indicaron que el clasificador presentó mayor robustez en las predicciones de la clase negativa y menor robustez en la clase positiva, manteniendo los falsos positivos y falsos negativos en niveles relativamente bajos. La predominancia de fallos en este modelo estuvo asociada a las instancias positivas. El análisis cualitativo de las predicciones, ejemplificado en la Figura 10, reveló que el modelo tiende a acertar evaluaciones con polaridad más explícita, mientras que los errores se concentraron en textos que contenían ambigüedades, ironías, negaciones o palabras dudosas. Este enfoque cualitativo es crucial en Procesamiento de Lenguaje Natural (PLN), ya que ofrece una comprensión más profunda del comportamiento del modelo que las métricas agregadas.
Los resultados para el dominio de análisis de sentimientos, aunque demuestran un buen rendimiento, sugieren que todavía hay espacio para mejoras incrementales. En comparación con la literatura, estos hallazgos refuerzan la idea de que el efecto de la optimización de hiperparámetros en tareas textuales depende tanto de la eficiencia de la búsqueda como de la sensibilidad de la arquitectura recurrente a los hiperparámetros de representación y memoria secuencial. La elección cuidadosa de los hiperparámetros, como la dimensión del embedding, el número de unidades recurrentes y la tasa de aprendizaje, es fundamental para el rendimiento de arquitecturas bidireccionales en tareas de lenguaje natural.
Resultados en el dominio de predicción temporal: PETR4 con GRU
En el dominio de la predicción temporal, los experimentos se realizaron con la serie histórica de la acción PETR4, utilizando una arquitectura Gated Recurrent Unit (GRU) y un protocolo de validación walk-forward. La evaluación fue multifacética, incluyendo métricas de precio, de retorno y precisión direccional, lo cual fue esencial, ya que el modelo operó internamente sobre retornos transformados, pero la interpretación final requirió la escala original de la serie. La Tabla 4 presenta los resultados consolidados, indicando que Hyperband obtuvo el mejor rendimiento en la mayoría de las métricas, siendo el único en presentar un R² de retorno ligeramente positivo. Hyperopt tuvo el peor rendimiento, y DEAP un rendimiento intermedio.
La interpretación de estos resultados debe hacerse con cautela, dada la no estacionariedad y la variabilidad temporal de la serie financiera PETR4. Sin embargo, los hallazgos sugieren que Hyperband fue el método más eficaz para modelar series temporales en este contexto, reforzado por su rendimiento superior en la precisión direccional, que fue el único por encima de 0,50. Las curvas de entrenamiento, pérdida y MAE del mejor modelo, presentadas en la Figura 11, mostraron una convergencia rápida en las primeras épocas y posterior estabilización, con ganancias marginales después de algunas épocas y buena generalización.
La Figura 12, que muestra los resultados por fold temporal, permitió observar la variación del rendimiento a lo largo de las diferentes ventanas del esquema walk-forward. El fold 1 presentó los menores errores, mientras que el fold 2 demostró mayor dificultad de convergencia, seguido por errores más suaves en los folds 3, 4 y 5. A pesar del comportamiento crítico observado en algunos períodos, el análisis indicó que los momentos de mayor volatilidad de la serie generaron mayores errores en períodos específicos. La comparación entre valores reales y previstos a lo largo del tiempo, ilustrada en la Figura 13, mostró que la curva prevista siguió de cerca la trayectoria real, reproduciendo bien las oscilaciones del precio.
El análisis de los residuos, presentado en la Figura 14, reveló una distribución alrededor de cero, sugiriendo la ausencia de sesgo sistemático y un error relativamente controlado. Esto confirmó la consistencia de Hyperband en el conjunto de pruebas. Ejemplos de predicciones por fecha, incluyendo valores reales, previstos y errores absolutos, como en la Figura 15, mostraron estimaciones coherentes con las métricas obtenidas. En términos interpretativos, Hyperband demostró ser una elección adecuada para este tipo de problema, pero la interpretación del rendimiento en series financieras debe considerar siempre la no estacionariedad y la variabilidad temporal, lo que hace que la agregación por folds sea esencial para un análisis robusto.
Eficiencia de la búsqueda de hiperparámetros
Además del rendimiento final de los modelos, los experimentos permitieron una comparación de la eficiencia del proceso de búsqueda de hiperparámetros. En los dominios clasificatorios, este análisis consideró el tiempo total de búsqueda, el número de evaluaciones, la mejor puntuación de validación, la mejor pérdida de validación y el tiempo para alcanzar el 95% del mejor rendimiento final. Para PETR4, la evaluación se adaptó a la minimización del problema, considerando el mejor MAE de validación, el número de evaluaciones válidas y el tiempo necesario para alcanzar un umbral equivalente al 105% del mejor error final. Este enfoque está alineado con las recomendaciones de la literatura, que enfatizan la importancia de los criterios de eficiencia en la comparación de métodos de HPO.
Las curvas de eficiencia de búsqueda para CIFAR-10, IMDB y PETR4 (Figuras 16, 17 y 18) revelaron comportamientos distintos. En CIFAR-10, Hyperopt encontró rápidamente una región prometedora, pero su evolución fue más gradual posteriormente, presentando la mejor precisión, aunque con mayor tiempo de búsqueda y convergencia más lenta. En IMDB, Hyperband demostró convergencia rápida, pero con estabilización precoz, no permitiendo evoluciones significativas, mostrando una mejor relación entre rendimiento final y costo total. Para PETR4, DEAP exhibió una convergencia expresiva al principio, pero los intentos posteriores fueron oscilantes, con poca evolución general, alcanzando la mejor validación MAE con el menor tiempo de búsqueda.
La Tabla 5 resume los principales indicadores de eficiencia de la búsqueda por dominio y método. Estos resultados son compatibles con la idea de que diferentes métodos de HPO realizan intercambios distintos entre la exploración del espacio de búsqueda, la intensificación en regiones prometedoras y el costo computacional. El análisis de la eficiencia de la búsqueda, por lo tanto, ofrece información complementaria a las métricas predictivas finales, proporcionando una comprensión más completa del comportamiento de cada método y de sus adecuaciones a diferentes escenarios y prioridades.
Uso de recursos computacionales
Los experimentos también registraron medidas de uso medio y máximo de CPU, RAM del sistema, memoria del proceso, GPU y memoria de la GPU, como se ilustra en la Figura 19. Estos resultados son cruciales para evaluar los métodos de HPO desde la perspectiva del costo computacional efectivamente incurrido, y no solo de la calidad de las soluciones encontradas. En CIFAR-10 e IMDB, se observó un uso intensivo de GPU, mientras que en PETR4 el uso de GPU fue ligero. En CIFAR-10, Hyperopt y Hyperband presentaron un uso medio similar de CPU y RAM, pero difirieron en la GPU. DEAP, por su parte, registró el mayor uso medio de GPU entre todos los métodos, pero con menor memoria de GPU, lo que puede indicar una menor dependencia de grandes volúmenes de datos.
En el dominio IMDB, los tres métodos presentaron un comportamiento bastante similar en términos de uso de recursos. Ya en PETR4, el comportamiento fue distinto: Hyperopt e Hyperband mostraron un uso muy bajo de GPU y un uso moderado de CPU y RAM. El aumento del uso de GPU ocurrió solo en DEAP, acompañado por una menor demanda de CPU. Estos hallazgos son importantes para comprender las implicaciones prácticas de la elección de una estrategia de HPO, especialmente en entornos con recursos computacionales limitados, donde la eficiencia y el costo son factores determinantes para la viabilidad de una aplicación.
Estabilidad entre ejecuciones
La estabilidad de los resultados se evaluó mediante múltiples ejecuciones independientes y, en el caso de PETR4, también por la agregación entre pliegues temporales. Se consideraron medidas como la media y la desviación estándar de las métricas principales, lo que permitió examinar la consistencia de los métodos ante la variabilidad inherente al entrenamiento de redes neuronales y a los propios algoritmos de búsqueda. La Tabla 6 presenta los resúmenes de estabilidad para CIFAR-10, IMDB y PETR4. Los datos sugieren que la estabilidad de las ejecuciones varió según el método y el dominio, lo que refuerza la naturaleza contextual de la optimización de hiperparámetros.
En CIFAR-10, Hyperopt presentó los mejores resultados, pero con mayor costo computacional y tiempo elevado. Hyperband y DEAP fueron más rápidos, pero con un rendimiento inferior. En IMDB, DEAP mostró un rendimiento medio con baja dispersión, mientras que Hyperband destacó en términos temporales, y Hyperopt se mantuvo competitivo en las métricas predictivas. En PETR4, Hyperopt fue claramente superior, tanto en los errores de predicción como en la menor variabilidad. Este resultado es de gran importancia, ya que un rendimiento aislado elevado no garantiza robustez práctica si no va acompañado de consistencia entre ejecuciones. La estabilidad, por lo tanto, refuerza que la elección del método debe considerar la calidad, la variabilidad y la previsibilidad en dimensiones distintas del problema, y no solo el pico de rendimiento.
Importancia de los hiperparámetros e interpretación de la búsqueda
Los análisis de importancia de los hiperparámetros, producidos por los scripts mediante técnicas como parallel coordinates plot, Random Forest feature importance, permutation importance, SHAP y hyperparameter landscape, permitieron examinar cómo se exploró el espacio de búsqueda y qué variables ejercieron mayor influencia en el rendimiento. Las Figuras 20a a 20e ilustran estos análisis para los diferentes dominios, ofreciendo una visión detallada de la dinámica interna de la optimización. En general, se constató que el número de filtros y la tasa de aprendizaje ejercieron mayor influencia en el dominio CIFAR-10, mientras que el tamaño del lote y la función de activación presentaron un impacto secundario, un comportamiento coherente con la naturaleza del problema de clasificación de imágenes.
En el dominio IMDB, se esperaba mayor sensibilidad a hiperparámetros como la dimensión del embedding y el número de unidades recurrentes, que son cruciales para la capacidad de representación y memoria secuencial en tareas de lenguaje natural. En PETR4, los parámetros ligados a la capacidad recurrente de la GRU y al régimen de entrenamiento, como la tasa de dropout y el número de unidades GRU, fueron los más influyentes. La interpretación final, sin embargo, debe hacerse a partir de los patrones efectivamente observados en los gráficos experimentales, que revelan las interacciones complejas entre los hiperparámetros y el rendimiento del modelo. Estas visualizaciones son valiosas para desplazar el foco del análisis de la simple función objetivo a la dinámica interna de la optimización, permitiendo una comprensión más completa del comportamiento de cada método de HPO.
Discusión integrada y análisis crítico
El análisis conjunto de los experimentos indicó que no hubo un método universalmente superior en todos los dominios evaluados. En cambio, los resultados mostraron que el rendimiento de las estrategias de optimización de hiperparámetros depende de la interacción entre la arquitectura de la red neuronal, el tipo de dato y el criterio de evaluación adoptado. En general, Hyperopt demostró mayor robustez en los escenarios más sensibles a la calidad final de la solución, como en la clasificación de imágenes. Hyperband presentó un mejor equilibrio entre rendimiento y costo computacional, destacándose en el análisis de sentimientos y predicción temporal. DEAP, por su parte, se destacó por su rapidez en algunos contextos, aunque con mayor oscilación entre las ejecuciones.
La principal contribución de esta comparación no reside en señalar un ganador absoluto, sino en evidenciar que la elección del método de optimización de hiperparámetros debe estar orientada por la prioridad del problema. Esto significa que la decisión debe considerar si el objetivo es maximizar el rendimiento final, reducir el tiempo de búsqueda u obtener mayor estabilidad de los resultados. Estas conclusiones, sin embargo, deben interpretarse a la luz de los espacios de búsqueda definidos y los dominios evaluados, lo que recomienda cautela en generalizaciones para otros escenarios o arquitecturas. La investigación ofreció una comparación empírica conducida bajo un pipeline estandarizado, con control experimental y evaluación en dominios heterogéneos, permitiendo observar cómo el rendimiento, el tiempo de búsqueda, el uso de recursos y la estabilidad componen dimensiones complementarias en la evaluación de métodos de HPO. De este modo, el trabajo refuerza que la efectividad de la optimización de hiperparámetros debe entenderse de manera multidimensional, considerando los intercambios inherentes a cada estrategia.
4. Conclusión
El presente estudio buscó comparar tres estrategias de optimización de hiperparámetros – Hyperopt con TPE, Hyperband con KerasTuner y algoritmos genéticos con DEAP – en redes neuronales profundas aplicadas a problemas de clasificación de imágenes, análisis de sentimientos y predicción de series temporales financieras. Se verificó que no hubo una estrategia universalmente superior en todos los escenarios evaluados. Los resultados indicaron que Hyperopt demostró mayor robustez en dominios sensibles a la calidad final de la solución, como en la clasificación de imágenes. Hyperband, por su parte, presentó un mejor equilibrio entre rendimiento predictivo y costo computacional, destacándose en el análisis de sentimientos y en la predicción temporal. Los algoritmos genéticos con DEAP se revelaron más rápidos en algunos contextos, aunque con mayor oscilación entre las ejecuciones. La principal contribución de la investigación reside en evidenciar que la elección del método de optimización de hiperparámetros debe ser orientada por la prioridad del problema, ya sea maximizar el rendimiento final, reducir el tiempo de búsqueda u obtener mayor estabilidad de los resultados.
Las conclusiones del trabajo deben interpretarse a la luz de los espacios de búsqueda definidos y los dominios específicos evaluados, lo que recomienda cautela en generalizaciones para otros escenarios o arquitecturas. Como sugerencia para estudios futuros, se propone la ampliación de la investigación con nuevos espacios de búsqueda, la inclusión de otras arquitecturas de redes neuronales profundas y la evaluación en dominios de aplicación aún más diversificados. El estudio ofreció una comparación empírica bajo un pipeline estandarizado, con control experimental y evaluación en dominios heterogéneos, reforzando que la efectividad de la optimización de hiperparámetros debe entenderse de manera multidimensional, considerando los intercambios inherentes a cada estrategia en términos de rendimiento, tiempo de búsqueda, uso de recursos y estabilidad.
Referencias Bibliográficas
Aggarwal, C.C. 2023. Neural Networks and Deep Learning A Textbook. 2ed. Springer Nature Switzerland, Cham, Suíça.
Agrawal, T. 2021. Hyperparameter Optimization in Machine Learning. Apress, Bangalore, Índia.
Ali, Y.A.; Awwad, E.M.; Al-Razgan, M.; Maarouf, A. 2023. Hyperparameter search for machine learning algorithms for optimizing computational complexity. Processes 11: 349.
Bischl, B.; Binder, M.; Lang, M.; Pielok, T.; Richter, J.; Coors, S.; Thomas, J.; Ullmann, T.; Becker, M.; Boulesteix, A.-L.; Deng, D.; Lindauer, M. 2023. Hyperparameter optimization: Foundations, algorithms, best practices, and open challenges. WIREs Data Mining and Knowledge Discovery 13(2): e1484.
Gomede, E.; Silva, F.; Mendonça, M.; Palácios, R.H.C. 2023. Bayesian Optimization for Sampling the Hyper Parameter Space. Disponível em: <http://dx.doi.org/10.2139/ssrn.4559196>. Acesso em: 31 mar. 2026.
Goodfellow, I.; Bengio, Y.; Courville, A. 2016. Deep Learning. MIT Press, Cambridge, MA, EUA. Disponível em: <http://www.deeplearningbook.org>. Acesso em: 30 mar. 2025.
Liao, L.; Li, H.; Shang, W.; Ma, L. 2022. An empirical study of the impact of hyperparameter tuning and model optimization on the performance properties of deep neural networks. ACM Transactions on Software Engineering and Methodology 31(3): Article 53.
Raiaan, M.A.K.; Sakib, S.; Fahad, N.M.; Mamun, A.A.; Rahman, M.A.; Shatabda, S.; Mukta, M.S.H. 2024. A systematic review of hyperparameter optimization techniques in convolutional neural networks. Decision Analytics Journal 11: 100470.
Victoria, A.H.; Maragatham, G. 2021. Automatic tuning of hyperparameters using Bayesian optimization. Evolving Systems 12: 217-223.
Artículo originario del Trabajo de Conclusión de Curso de la Especialización en Data Science y Analytics del MBA USP/Esalq
Para saber más sobre el curso, haz clic aquí y accede a la plataforma MBX Academy