11 de noviembre de 2025
La IA y la ética en sectores sensibles
Potencial de transformación, riesgos y directrices para el uso responsable de sistemas inteligentes en la salud, seguridad y demás áreas críticas

La inteligencia artificial (IA) ya se ha consolidado como una de las fuerzas transformadoras más destacadas de nuestro tiempo. Con la capacidad de procesar volúmenes inmensos de datos, identificar patrones y generar predicciones en tiempo real, está remodelando cadenas productivas, decisiones estratégicas e incluso modelos de negocio completos. Sin embargo, este avance no está exento de riesgos.
Imagine un sistema de selección de enfermeros que, de forma consistente, apruebe solo a mujeres blancas. O un examen moderno para el diagnóstico de cáncer de piel que falla con frecuencia en pacientes negros. O aún un algoritmo que destina a personas de bajos ingresos a unidades de internación prolongada, mientras que pacientes más ricos reciben el alta para casa. Casos así muestran cómo la IA, cuando no es supervisada, puede cristalizar e incluso ampliar prejuicios existentes (Nelson, 2019).
En este sentido, la aplicación de esta tecnología en áreas sensibles exige atención redoblada y una base sólida de principios éticos y reglas claras. Temas como sesgo algorítmico, transparencia e impacto social deben estar en el centro de la discusión para que el avance tecnológico camine de la mano con justicia y responsabilidad (Kim; Kim; Lee, 2025). Comprender tanto el potencial como los riesgos de la IA es esencial para que gobiernos, empresas y sociedad construyan juntos los límites y condiciones para su uso.
IA en la salud
En el campo de la salud, la IA ya desempeña funciones que van desde el análisis de exámenes de imagen hasta el soporte a diagnósticos clínicos complejos. Herramientas basadas en aprendizaje profundo pueden identificar enfermedades en estadios iniciales, aumentando la eficacia de tratamientos y reduciendo costos hospitalarios. Sin embargo, la integración de estos sistemas exige cuidados en cuanto a la privacidad de los pacientes, la confiabilidad de las bases de datos y la explicabilidad de los algoritmos utilizados. Fallos o sesgos en modelos predictivos pueden resultar en diagnósticos incorrectos o tratamientos inadecuados, con implicaciones éticas y jurídicas relevantes. Es necesario que la innovación sea acompañada por protocolos de validación clínica rigurosos y mecanismos de auditoría continua.
Uno de los casos más emblemáticos sobre riesgos éticos y técnicos en la aplicación de sistemas computacionales en sectores sensibles ocurrió en la década de 1980, con la serie de accidentes que involucraron a la máquina de radioterapia Therac-25. El equipo, desarrollado para tratar pacientes con cáncer mediante haces de electrones y radiación, presentaba una falla de software que, en determinadas condiciones, provocaba que se aplicaran dosis extremadamente elevadas. A diferencia de incidentes causados por fallas mecánicas, en el Therac-25 el error estaba en el código de control, que no poseía salvaguardas adecuadas y se manifestaba solo en situaciones operativas muy específicas, lo que dificultaba su detección. Como resultado, diversos pacientes sufrieron quemaduras graves, daños neurológicos irreversibles e incluso fallecimientos (Leveon; Turner, 1993).
El análisis posterior reveló no solo problemas de programación y ausencia de pruebas rigurosas, sino también fallos en el proceso de ingeniería de software y en la gobernanza del producto, como falta de documentación clara, riesgos subestimados y ausencia de protocolos de auditoría externa. El caso se convirtió en un hito en la historia de la seguridad de sistemas críticos, evidenciando que, en entornos como salud, transporte y energía, los errores tecnológicos no son solo fallos técnicos, sino eventos con profundas implicaciones éticas, jurídicas y sociales, reforzando la necesidad de validación rigurosa, supervisión continua y responsabilidad compartida entre desarrolladores, fabricantes y operadores (Leveon; Turner, 1993).
IA en la seguridad pública
Si en la salud los riesgos implican la vida y la integridad física, en la seguridad pública el debate se centra en los derechos fundamentales y la igualdad de trato. En seguridad, la IA se aplica en reconocimiento facial, monitoreo de áreas de riesgo y análisis predictivo de criminalidad. Estas soluciones prometen mayor eficiencia en el empleo de recursos policiales y prevención de delitos. Sin embargo, el uso de tecnologías de vigilancia a gran escala suscita preocupaciones sobre el derecho a la privacidad y el riesgo de discriminación algorítmica. Estudios muestran que los sistemas de reconocimiento facial pueden presentar tasas de error más elevadas para determinados grupos raciales o de género, reforzando desigualdades. De esta forma, es imprescindible la existencia de marcos legales claros, garantizando que la aplicación de estas herramientas respete los derechos fundamentales y sea sometida a auditorías independientes.
En 2016, una investigación realizada por el sitio ProPublica reveló que el sistema Compas (Correctional Offender Management Profiling for Alternative Sanctions), utilizado en varios estados de EE. UU. para evaluar el riesgo de reincidencia criminal, presentaba un sesgo racial significativo. El algoritmo asignaba puntuaciones de riesgo más altas a acusados negros en comparación con acusados blancos en situaciones similares, sobreestimando la probabilidad de reincidencia para los primeros y subestimando para los segundos. Dado que el Compas era empleado por jueces para fundamentar decisiones sobre fianzas, libertad condicional y sentencias, este sesgo tuvo un impacto directo en la libertad y los derechos de los individuos, perpetuando desigualdades en el sistema de justicia penal. El análisis reveló no solo fallas técnicas en el modelo y en la elección de las variables, sino también falta de transparencia, ya que el algoritmo era propietario y no podía ser auditado públicamente. El caso se convirtió en emblemático en el debate sobre ética en inteligencia artificial en la seguridad pública, destacando la necesidad de auditorías independientes, explicabilidad de los modelos y supervisión constante para evitar la discriminación sistémica (Angwin et al., 2016).
IA en la justicia
En el campo jurídico, los dilemas adquieren otra dimensión: la preservación de la imparcialidad, la autonomía y las garantías procesales. Además de la salud y la seguridad, sectores como el jurídico también se enfrentan a dilemas éticos en el uso de la IA. Un ejemplo emblemático del uso de inteligencia artificial es el sistema chino conocido como Smart Court, implementado en algunas provincias desde 2017. Integrando procesamiento de lenguaje natural, análisis de datos y reconocimiento de voz, la plataforma auxilia a los magistrados en la redacción de sentencias, en la selección de procesos y en la gestión de pruebas digitales. Aunque presenta ganancias de celeridad y estandarización, el sistema suscita preocupaciones en cuanto a la autonomía de la decisión judicial y a la posibilidad de refuerzo de sesgos ya presentes en el historial de juicios.
Los críticos señalan que, al entrenar el algoritmo con datos de decisiones pasadas, se corre el riesgo de perpetuar patrones discriminatorios o interpretaciones restrictivas de la ley. Además, la opacidad de los criterios utilizados y la ausencia de mecanismos robustos de auditoría externa dificultan la impugnación de las decisiones sugeridas o influenciadas por la IA. Este caso ilustra que, en la Justicia, el desafío no es solo técnico, sino que implica la preservación de garantías procesales y el mantenimiento del control humano sobre la decisión final (Wang et al., 2021).
Uso responsable
La adopción ética y responsable de la IA requiere no solo principios generales, sino también prácticas concretas que garanticen la conciliación entre innovación tecnológica y protección social. Experiencias internacionales demuestran que el uso indiscriminado o mal regulado de la IA puede generar impactos significativos en derechos fundamentales, reforzando desigualdades y minando la confianza pública. Por ello, organismos como la Unesco, la OCDE y la Unión Europea han publicado frameworks de gobernanza que enfatizan valores como transparencia, justicia, seguridad, privacidad y responsabilidad. Estas orientaciones parten del presupuesto de que la tecnología debe ser diseñada de forma centrada en el ser humano (human-centered design), asegurando que las decisiones críticas permanezcan bajo control humano efectivo y que cualquier impacto negativo sea identificado y mitigado de forma tempestiva. La protección de datos y la seguridad cibernética, a su vez, deben ser incorporadas desde la concepción (privacy by design y security by design), evitando que sean solo correcciones posteriores ante incidentes.
En este contexto, directrices detalladas se muestran fundamentales para operacionalizar estos principios. La transparencia implica que tanto los criterios de decisión como las limitaciones de la IA sean comunicados de forma clara, permitiendo auditoría externa y participación social. La responsabilización demanda que desarrolladores, proveedores y usuarios asuman obligaciones específicas, con mecanismos para atribuir y cobrar responsabilidades en caso de fallos o abusos. La no discriminación exige la detección y mitigación de sesgos en los datos y algoritmos, especialmente en aplicaciones que afectan derechos, como salud, justicia y seguridad pública.
La supervisión humana continua es imprescindible para revertir decisiones automatizadas injustas o incorrectas, preservando garantías procesales. Además, la educación digital y la alfabetización algorítmica deben ser fomentadas para que ciudadanos, profesionales y autoridades comprendan el funcionamiento, las limitaciones y los riesgos de la IA, pudiendo interactuar críticamente con estas herramientas. Por último, la seguridad y resiliencia de los sistemas debe ser priorizada, garantizando robustez contra ataques cibernéticos y fallos operacionales, de modo que la confianza social en la tecnología sea preservada. Algunas sugerencias pueden ayudar a guiar el uso ético y responsable de la inteligencia artificial:
- Transparencia y explicabilidad: hacer visibles las lógicas de decisión y las limitaciones del sistema;
- Supervisión humana efectiva: mantener personas aptas a intervenir y revertir decisiones automatizadas;
- Auditorías independientes periódicas: verificar sesgos, rendimiento y cumplimiento normativo;
- Responsabilización clara: asignar deberes y consecuencias a todos los actores involucrados en el ciclo de vida de la IA;
- Protección de datos y seguridad desde el diseño (by design): prevenir fugas y ataques;
- Mitigación activa de sesgos: asegurar que grupos vulnerables no sean perjudicados;
- Educación digital y alfabetización algorítmica: capacitar a la sociedad para comprender y cuestionar la tecnología;
- Robustez y resiliencia operativa: asegurar que los sistemas funcionen de forma fiable, incluso en escenarios adversos.
La IA representa un punto de inflexión en la evolución tecnológica global, con el potencial de transformar radicalmente sectores como la salud, la seguridad, la justicia, la educación y la economía. Su capacidad para procesar grandes volúmenes de datos, identificar patrones complejos y ofrecer soluciones en tiempo real ya se traduce en ganancias significativas de eficiencia, precisión y calidad. Sin embargo, la misma tecnología que puede generar avances sin precedentes también conlleva el riesgo de ampliar desigualdades estructurales, comprometer derechos fundamentales y provocar impactos sociales y económicos de gran magnitud, especialmente cuando se utiliza de forma indiscriminada o sin la debida regulación.
Para que la IA sea una aliada del progreso y no un vector de exclusión o injusticia, es indispensable que su desarrollo y aplicación estén anclados en un compromiso ético sólido, con reglas claras, mecanismos de fiscalización independientes y gobernanza participativa. Esto implica crear estructuras institucionalescapaces de auditar algoritmos, prevenir sesgos, garantizar la protección de datos y asegurar que la toma de decisión permanezca, en última instancia, bajo control humano. La participación activa de la sociedad —por medio de consulta pública, educación digital y debate abierto— es fundamental para que las soluciones tecnológicas reflejen valores democráticos y atiendan al interés colectivo. Solamente por medio de esta combinación de innovación responsable, supervisión continua y involucramiento social será posible cosechar, de forma equitativa y sostenible, los beneficios de esta revolución tecnológica. El futuro de la IA no será definido solo por su capacidad técnica, sino por la forma en que sociedades, gobiernos y empresas elijan utilizarla, equilibrando eficiencia y justicia, velocidad y prudencia, potencial transformador y responsabilidad ética.
| Para tener acceso a las referencias de este texto haga clic aquí. |
Quién publicó esta columna
Renato Máximo Sátiro








