Cumplimiento Digital y Sesgos Algorítmicos: Estudio de Caso sobre Gobernanza Ética de la IA Conversacional.

Marina Saraiva Pezolito Sanchez; Carlos Alberto Santos Silva

DOI: 10.22167/2675-6528-202603258

Artículo derivado del Trabajo de Conclusión de Curso (TCC), con contenido basado en el trabajo original del alumno y adaptado al formato editorial de la Revista E&S con el apoyo de la herramienta ResumeAI, solución de inteligencia artificial desarrollada por el Instituto Pecege para síntesis y organización textual.

Resumen

La creciente adopción de herramientas de Inteligencia Artificial (IA) conversacional en servicios financieros ha ampliado las ganancias de eficiencia, pero ha introducido riesgos éticos relacionados con sesgos algorítmicos y la opacidad de los procesos de toma de decisiones automatizados. Se investigó, a partir de un estudio de caso único, de qué manera los mecanismos de cumplimiento digital pueden identificar, prevenir y mitigar sesgos algorítmicos en herramientas de IA conversacional aplicadas a la adquisición digital de productos financieros. Se adoptó un enfoque cualitativo y de naturaleza aplicada, fundamentado en análisis documental de una solución de IA utilizada por una institución financiera de actuación nacional. Se confrontó la herramienta con marcos internacionales de gobernanza ética, incluyendo los principios del Al4People, de la OCDE, de la UNESCO, del Consejo de Europa, del AI Act y de la LGPD. Los resultados indicaron que, aunque la herramienta presentaba rastreabilidad y supervisión humana parciales, persistieron brechas significativas en la formalización de controles de cumplimiento orientados a la mitigación de riesgos algorítmicos. Estas brechas incluyeron la ausencia de métricas de equidad, de políticas de auditoría algorítmica y de evaluaciones de impacto ético. Se concluyó que la conformidad regulatoria y los controles técnicos, aisladamente, no son suficientes para una gobernanza responsable, siendo necesario un modelo de cumplimiento digital con evaluación continua de riesgo algorítmico, rendición de cuentas formalizada y gobernanza ética institucionalizada para lidiar con la complejidad de estos sistemas.

Palabras clave: Responsabilidad corporativa; Auditoría algorítmica; Equidad en sistemas automatizados; LGPD; Protección de datos personales.

1. Introducción

La expansión acelerada de la Inteligencia Artificial (IA) ha provocado transformaciones significativas en los procesos de toma de decisiones y en los modelos de negocio adoptados por organizaciones en diversos sectores, incluyendo servicios financieros, marketing digital, reclutamiento y atención al consumidor. Herramientas basadas en IA, especialmente aquellas de naturaleza conversacional, han pasado a desempeñar un papel relevante en la automatización de viajes de adquisición y soporte, prometiendo mayor eficiencia operativa, reducción de costos y mejora de la experiencia del usuario (Organisation for Economic Co-operation and Development, 2019a).

Sin embargo, la aplicación de modelos de aprendizaje automático en servicios financieros exige una supervisión proporcional al grado de autonomía y al impacto de las decisiones automatizadas, particularmente cuando estas decisiones afectan directamente el acceso de los individuos a productos y servicios (Financial Stability Board, 2017; Organisation for Economic Co-operation and Development, 2019a).

La doctrina especializada discute los riesgos éticos y sociales asociados con la adopción de estas tecnologías, especialmente en lo que se refiere a los sesgos algorítmicos y la opacidad de los procesos de toma de decisiones. Pasquale (2015) describió el fenómeno de la “sociedad de la caja negra”, en la que los procesos automatizados que afectan el crédito, el empleo y la información operan fuera del alcance del escrutinio público y de la impugnación por parte de los individuos afectados, propiciando una fuerte asimetría de la información entre los usuarios y los desarrolladores de tecnología.

O’Neil (2016) evidenció que los sistemas algorítmicos, al aprender de datos históricos, pueden reproducir o intensificar desigualdades preexistentes, operando como lo que denominó “weapons of math destruction”: modelos opacos, escalables y dañinos, cuyos efectos discriminatorios se amplían por la propia lógica de retroalimentación de los datos. Eubanks (2017) demostró cómo herramientas tecnológicas aplicadas a servicios públicos y financieros profundizaron la exclusión de poblaciones vulnerables al incorporar sesgos estructurales en sus mecanismos de decisión.

En este escenario, los programas tradicionales de compliance, históricamente orientados a la conformidad normativa y a la mitigación de riesgos financieros, han demostrado ser insuficientes para afrontar los nuevos desafíos impuestos por la IA. Surge así la necesidad de evolucionar hacia modelos de compliance digital, capaces de incorporar principios de ética, transparencia, explicabilidad y responsabilidad algorítmica.

En el plano internacional, múltiples directrices reforzaron la importancia de estos elementos. Floridi et al. (2018), en el marco del proyecto Al4People, propusieron un framework ético unificado estructurado en torno a cinco principios: beneficencia, no maleficencia, autonomía, justicia y explicabilidad. Este último principio fue concebido como condición de posibilidad de los demás, dado que sin inteligibilidad sobre cómo opera el sistema y sin la debida responsabilización, no sería viable asegurar que la IA fuera efectivamente beneficiosa, justa y respetuosa de la autonomía humana.

Los Principios de la OCDE sobre Inteligencia Artificial (Organisation for Economic Co-operation and Development, 2019b) establecieron pilares para una IA confiable, incluyendo valores centrados en el ser humano y equidad, transparencia y explicabilidad, robustez y seguridad, y rendición de cuentas. La Recomendación de la UNESCO sobre la Ética de la IA (United Nations Educational, Scientific and Cultural Organization, 2021) añadió la necesidad de evaluaciones de impacto ético y de mecanismos de gobernanza proporcionales al riesgo. Sin embargo, Kleinberg et al. (2016) demostraron formalmente que tres criterios de justicia para la asignación de puntajes de riesgo no pueden ser satisfechos simultáneamente, evidenciando que la mitigación de sesgos involucra elecciones normativas que necesitan ser explicitadas y justificadas en el ámbito de la gobernanza.

El estudio del Consejo de Europa sobre algoritmos y derechos humanos (Consejo de Europa, 2018) articuló las dimensiones de juicio justo, privacidad, prohibición de discriminación y remedio efectivo, alertando que los procesos de toma de decisiones automatizados pueden operar sin suficiente transparencia. La Ley de Inteligencia Artificial de la Unión Europea (Unión Europea, 2024) consolidó un enfoque regulatorio basado en el riesgo, previendo obligaciones reforzadas para sistemas calificados como de alto riesgo. En el contexto brasileño, la Ley General de Protección de Datos Personales (Brasil, 2018) representó un avance relevante al establecer principios de transparencia y no discriminación y derechos relacionados con decisiones automatizadas, aunque el ordenamiento jurídico aún no contaba con una regulación general específica sobre sistemas de IA en el recorte adoptado por esta investigación.

Ante este contexto, la conformidad regulatoria y los controles técnicos, aisladamente, no son suficientes para una gobernabilidad responsable de IA conversacional, siendo necesaria la institucionalización de evaluación continua de riesgo algorítmico, accountability formalizada y gobernanza ética. Así, el presente estudio objetiva analizar cómo mecanismos de compliance digital pueden identificar, prevenir y mitigar sesgos algorítmicos en una herramienta de IA conversacional aplicada a la adquisición digital de productos financieros, buscando proponer controles de gobernanza ética y responsable aplicables al contexto corporativo.

2. Material y Métodos

La investigación se caracterizó por ser aplicada, de enfoque cualitativo, y adoptó el estudio de caso único como método de investigación. Esta elección se fundamentó en la necesidad de examinar, en profundidad y en su contexto real, un fenómeno contemporáneo de gobernanza: la utilización de Inteligencia Artificial (IA) conversacional en flujos de adquisición de productos financieros. El estudio no buscó generalización estadística, sino la comprensión analítica de las prácticas, controles y lagunas de gobernanza observados en el caso seleccionado.

La unidad de análisis consistió en una herramienta de IA conversacional, desarrollada por la empresa Blue Ventures (nombre ficticio), que fue implementada en asociación con una institución financiera de actuación nacional. Esta herramienta operó como agente autónomo en la jornada de ventas y atención al cliente, con capacidad de formalizar propuestas y resolver tickets. El análisis se centró en los mecanismos decisorios y en los controles técnicos existentes en la solución.

El material analizado se dividió en dos conjuntos documentales. El primero reunió documentos técnicos referentes a la herramienta estudiada, incluyendo presentaciones de arquitectura del sistema, descripciones funcionales de los flujos de venta, registros del proceso de desarrollo de la solución y datos operativos agregados y anonimizados de rendimiento en ambiente de producción. Estos documentos fueron seleccionados por permitir la comprensión del funcionamiento de la herramienta y sus mecanismos decisorios.

El segundo conjunto documental, de naturaleza normativo-académica, comprendió los marcos internacionales de gobernanza ética y regulatorios utilizados como parámetros analíticos. Se consideraron los cinco principios éticos de AI4People (Floridi et al., 2018), los Principios de la OCDE sobre IA (Organisation for Economic Co-operation and Development, 2019a; 2019b), la Recomendación de la UNESCO sobre la Ética de la IA (United Nations Educational, Scientific and Cultural Organization, 2021), el estudio del Consejo de Europa sobre algoritmos y derechos humanos (Council of Europe, 2018), el Artificial Intelligence Act (Unión Europea, 2024) y la Ley General de Protección de Datos Personales (Brasil, 2018).

Complementariamente, se incorporaron contribuciones de la literatura sobre sesgos algorítmicos (O’Neil, 2016; Eubanks, 2017; Pasquale, 2015) y sobre compensaciones de equidad algorítmica (Kleinberg et al., 2016). El período temporal del análisis abarcó el período de desarrollo y operación de la herramienta hasta agosto de 2025. Los marcos normativos considerados estuvieron en vigor hasta la fecha de conclusión de la investigación.

La técnica de recolección consistió en una investigación documental, mediante un levantamiento intencional de los documentos técnicos y datos operacionales disponibles sobre la solución. La investigación no involucró recolección de datos primarios ni interacción con individuos, basándose íntegramente en fuentes secundarias y documentos técnicos con información agregada y anonimizada. No hubo acceso a datos que permitieran la identificación individual de los usuarios, lo cual fue considerado en la definición de los límites del análisis.

El análisis cualitativo se organizó en cinco categorías, derivadas de los marcos de referencia. Las categorías fueron: (i) transparencia y explicabilidad, relativa a la posibilidad de comprender y auditar los procesos decisorios del sistema; (ii) supervisión humana, referente a la existencia de mecanismos de intervención humana proporcionales al riesgo; (iii) equidad y no discriminación, atinente a la presencia de controles para la prevención de sesgos algorítmicos; (iv) accountability y gobernanza, relativa a la formalización de responsabilidades y políticas de compliance; y (v) evaluación de impacto, referente a la existencia de procesos de evaluación de riesgos éticos.

La técnica de análisis empleada fue el análisis cualitativo de contenido, guiado por las categorías previamente definidas. El procedimiento se llevó a cabo en tres etapas reproducibles. En primer lugar, se realizó la lectura y codificación de los documentos técnicos en las cinco categorías analíticas. A continuación, se procedió a la comparación sistemática de los hallazgos con los criterios extraídos de los referentes teóricos y normativos. Finalmente, se sintetizaron los riesgos y lagunas identificados para derivar recomendaciones de compliance digital.

No se inferieron características demográficas individuales ni se realizó medición estadística de discriminación, ya que la base disponible contenía datos agregados y anonimizados. Esta limitación restringió la investigación a la identificación de riesgos estructurales y lagunas de gobernanza, y no a la comprobación empírica de discriminación algorítmica. El estudio se concentró en el análisis cualitativo de los procedimientos y controles.

3. Resultados y Discusión

El análisis de la herramienta de Inteligencia Artificial conversacional, aplicada a la adquisición digital de productos financieros, reveló un escenario complejo donde la eficiencia operativa y la escalabilidad se contraponen a lagunas significativas en la gobernanza ética y en la mitigación de sesgos algorítmicos. Los resultados fueron examinados a la luz de los objetivos de la investigación, interpretando cada hallazgo como evidencia de la presencia, ausencia o madurez de mecanismos de compliance digital. Este enfoque permitió distinguir los controles existentes, identificar las lagunas de gobernanza y derivar recomendaciones aplicables, confrontando las evidencias con la literatura y los frameworks internacionales de gobernanza ética y regulatorios previamente seleccionados.

La herramienta estudiada consistió en un sistema de IA conversacional diseñado para actuar como agente autónomo en el viaje de ventas y atención al cliente, ofreciendo disponibilidad continua e integración con sistemas internos. Su arquitectura técnica se basó en la combinación de “prompting”, “Retrieval Augmented Generation” (RAG) y “fine tuning”. El “prompting” fue crucial para definir las directrices de comportamiento de la IA y las entradas de los usuarios, mientras que el RAG permitió la recuperación de información de bases internas estructuradas, aumentando la consistencia de las respuestas y reduciendo la dependencia de inferencias genéricas del modelo. El sistema condujo 21 flujos de venta distintos, demostrando alta personalización.

En términos de rendimiento comercial, la solución demostró un impacto expresivo. La aplicación conversacional, entrenada con 133 materiales distintos, realizó aproximadamente 65.000 conversaciones en un entorno de producción hasta agosto de 2025. Este volumen de interacciones resultó en un aumento aproximado del 53% en la tasa de agendamiento de reuniones con potenciales clientes en la primera semana de operación, en comparación con enfoques tradicionales. Además, la herramienta estuvo asociada a la captación de R$ 4.377.640,16 en recursos financieros y al envío de 2.566 enlaces para apertura de cuenta, evidenciando su participación activa y relevante en las etapas del viaje de conversión y su capacidad para escalar operaciones.

A pesar de la eficiencia, el análisis del “fine tuning” reveló que, si bien su objetivo era ajustar la forma de comunicación sin alterar el contenido factual, la distinción entre forma y contenido no es absoluta. La manera en que se presenta la información puede influir significativamente en la decisión del usuario. Ejemplos observados incluyeron mensajes más cortos y el uso sistemático de llamadas a la acción, técnicas persuasivas que orientan el comportamiento del consumidor. Floridi et al. (2018) destacaron que la no maleficencia exige atención no solo a los daños intencionales, sino también a los efectos de los mecanismos de inducción conductual, lo que se alinea con los principios de la OCDE (2019b) sobre transparencia y gestión continua de riesgos. Sin embargo, no se identificaron políticas formales para evaluar el impacto persuasivo de estas técnicas de comunicación en las decisiones de los consumidores, lo que indica una brecha en la gobernanza que debería abarcar la arquitectura de interacción y los mecanismos de influencia, y no solo el contenido factual.

La arquitectura multiagente de la herramienta, coordinada por un orquestador, demostró sofisticación. El orquestador clasificaba la etapa del usuario en el embudo de conversión (Presentación, Convicción, Resolución, Conclusión o Redireccionamiento Humano) y activaba el flujo adecuado, garantizando respuestas concisas y dirigidas. Además, un agente de “tracking” recopilaba y registraba datos de usuarios, lo que, desde la óptica de la Ley General de Protección de Datos Personales (Brasil, 2018), configuró tratamiento de datos personales y exigió atención específica en cuanto a bases legales, finalidades y derechos de los titulares. Esta segmentación funcional favoreció la rastreabilidad y la auditabilidad de las interacciones, elementos cruciales para la supervisión humana en un contexto de alto riesgo financiero, según lo enfatizado por el Financial Stability Board (2017).

La documentación técnica reveló dos modos de operación: autónomo y copiloto. En el modo autónomo, la IA condujo las interacciones de forma integral, sin intervención humana directa, mientras que en el modo copiloto, la IA actuó como soporte para un asistente humano, que podía revisar y modificar las respuestas sugeridas. Durante el período analizado, la asociación con la institución financiera operó predominantemente en modo autónomo. Esta prevalencia del modo autónomo tiene implicaciones directas para la gobernanza ética, ya que la supervisión humana ocurrió solo a posteriori, a través de registros de conversación, sin intervención en tiempo real. Este escenario contrasta con el concepto de meta-autonomía de Floridi et al. (2018), que preconiza la preservación de la capacidad humana de decidir qué decisiones delegar a la máquina. El enfoque basado en el riesgo, presente en los marcos de referencia internacionales, refuerza la necesidad de controles proporcionales y mecanismos claros de supervisión para sistemas con mayor autonomía.

El Consejo de Europa (2018) advirtió que, incluso con participación humana formal, puede ocurrir una mera ratificación de recomendaciones algorítmicas debido a la falta de tiempo o competencia. En el caso de la herramienta, la ausencia de supervisión humana en tiempo real en la mayoría de los flujos de venta autónomos reforzó la necesidad de formalizar criterios de riesgo y disparadores de desbordamiento vinculados a cuestiones éticas, y no solo a fallas operacionales. La Ley de IA de la Unión Europea (Unión Europea, 2024) exige sistemas de gestión de riesgos y procesos de supervisión humana para sistemas de alto riesgo, un requisito que no se encontraba formalmente documentado como política de cumplimiento en la herramienta analizada, evidenciando una brecha significativa.

Los datos operativos consolidados hasta agosto de 2025 demostraron que el monitoreo de la herramienta se orientó exclusivamente a métricas de desempeño comercial, como tasas de conversión, volumen de captación y resolución automática de tickets. Sin embargo, no se incorporaron indicadores de impacto ético, distribución de resultados por perfil demográfico o monitoreo de tratamientos diferenciados. Esta asimetría entre la sofisticación de las métricas comerciales y la ausencia de indicadores éticos constituyó uno de los principales hallazgos del estudio. Los referenciales de la OCDE (2019b) enfatizan la rendición de cuentas, robustez, seguridad y gestión continua de riesgos como componentes esenciales de una IA confiable. La operación a gran escala de la herramienta, con aproximadamente 65.000 conversaciones y captación superior a R$ 4 millones, no fue acompañada por métricas destinadas a detectar patrones de tratamiento diferenciado, lo que representa una brecha de gobernanza que impide la identificación temprana de resultados potencialmente asimétricos, incluso sin comprobar discriminación.

El análisis conjunto de la arquitectura técnica, los flujos de venta y los datos operativos permitió identificar cinco vectores de riesgo de sesgos algorítmicos. El primer vector se refirió a la base de conocimiento del RAG, compuesta por 133 materiales seleccionados en base a criterios comerciales y operativos, sin evaluación documentada de potenciales sesgos. Materiales que reflejaran visiones parciales o priorizaran ciertos productos podrían influir sistemáticamente en las respuestas de la IA. El segundo vector estaba ligado a la lógica de orquestación, donde la clasificación del usuario en etapas del embudo de conversión implicaba decisiones automatizadas sobre calificación comercial, con potencial de tratamiento diferenciado. Usuarios clasificados como más cercanos a la conversión podrían recibir enfoques más incisivos, mientras que otros podrían ser objeto de menor inversión interaccional. Si se correlacionaran con variables sociodemográficas no controladas, estas clasificaciones podrían reproducir patrones discriminatorios históricos, según alertó O’Neil (2016).

El tercer vector de riesgo involucró al agente de “tracking”, que recopiló y registró datos de usuarios. La recopilación sistemática de datos conductuales y contextuales crea potencial para la formación de perfiles que pueden servir como “proxies” para categorías protegidas, como raza, género o edad, según lo destacado por el Council of Europe (2018). El cuarto vector se relacionó con el “fine tuning” del lenguaje, donde técnicas persuasivas estandarizadas podrían tener un impacto diferenciado en segmentos poblacionales con distintos niveles de alfabetización financiera, configurando un riesgo de no maleficencia, de acuerdo con Floridi et al. (2018). Finalmente, el quinto vector de riesgo radicó en la retroalimentación del sistema: la optimización exclusiva para métricas comerciales podría amplificar sesgos preexistentes en los datos, perpetuando patrones discriminatorios históricos, un mecanismo característico de las “weapons of math destruction” descritas por O’Neil (2016).

La herramienta incorporó elementos técnicos que favorecen la trazabilidad, como la separación funcional entre agentes, la documentación de flujos y la utilización de bases de conocimiento controladas. Estos aspectos representaron una adherencia parcial al principio de transparencia y explicabilidad de la OCDE (2019b), que preconiza la divulgación responsable para que los usuarios comprendan y cuestionen los resultados. Sin embargo, la trazabilidad identificada se refirió predominantemente al registro de las interacciones, y no a la explicabilidad sustancial de los criterios decisorios. El riesgo de la “sociedad de la caja negra” (Pasquale, 2015) persiste cuando los criterios que estructuran decisiones relevantes permanecen poco accesibles al escrutinio. Floridi et al. (2018) y el Consejo de Europa (2018) destacaron que la explicabilidad es esencial para la inteligibilidad, la rendición de cuentas y la impugnación efectiva. En el caso analizado, no se identificaron políticas institucionales que definieran niveles de transparencia y explicación proporcionales al impacto de cada flujo, lo que limita la capacidad de auditoría y impugnación formal.

La arquitectura multiagente de la herramienta incluyó mecanismos de “human-in-the-loop”, con posibilidad de desbordamiento automático a atención humana en situaciones específicas, lo que demuestra adherencia al principio de supervisión humana de la OCDE (2019b) y a la recomendación de la UNESCO (2021) sobre revisión humana de decisiones automatizadas de impacto significativo. Sin embargo, el análisis reveló que los criterios de activación del desbordamiento estaban vinculados predominantemente a fallas técnicas o a demandas fuera del alcance operacional, y no a disparadores de riesgo ético o discriminatorio. Floridi et al. (2018) argumentaron que el principio de autonomía exige un modelo de meta-autonomía, en el cual el ser humano debe retener el poder de decidir qué decisiones pueden ser delegadas a la máquina. En el caso analizado, no se identificaron criterios formales que definieran qué decisiones de la jornada de venta serían consideradas de alto riesgo y, por lo tanto, sujetas a revisión humana obligatoria. La AI Act (Unión Europea, 2024) exige sistemas de gestión de riesgos y procesos de supervisión humana para sistemas de alto riesgo, requisito que no se encontraba formalmente documentado como política de compliance de la herramienta.

El análisis no identificó métricas explícitas de evaluación de impactos éticos, monitoreo de sesgos algorítmicos o seguimiento de efectos discriminatorios. Esta ausencia constituyó el hallazgo más relevante desde la perspectiva del compliance digital, especialmente considerando la operación a gran escala del sistema y su influencia directa sobre el acceso a productos financieros. O’Neil (2016) advirtió que los algoritmos frecuentemente codifican opiniones y prejuicios, perpetuando desigualdades. Eubanks (2017) demostró cómo la automatización de decisiones financieras puede profundizar la exclusión de poblaciones vulnerables. El Council of Europe (2018) enfatizó que los algoritmos pueden contener sesgos intrínsecos difíciles de detectar, especialmente cuando variables individuales funcionan como “proxies” para categorías protegidas como raza, género o edad. En el caso analizado, la combinación de múltiples flujos de venta, gran volumen de interacciones y utilización de datos históricos configuró un escenario propicio a la ocurrencia de tratamientos diferenciados indirectos.

Desde la perspectiva técnica, Kleinberg et al. (2016) demostraron formalmente que tres criterios de justicia algorítmica – calibración por grupo, equilibrio para la clase positiva y equilibrio para la clase negativa – son inherentemente incompatibles cuando las tasas base difieren entre grupos. Este resultado formalizó un dilema que trasciende la ingeniería, evidenciando que la elección de qué criterios de fairness priorizar es una decisión normativa que exige la participación del liderazgo corporativo, del equipo de compliance y gobernanza, y, idealmente, de los propios afectados. En el contexto de la herramienta analizada, la ausencia de cualquier definición formal sobre qué criterios de equidad deberían perseguirse evidenció una brecha crítica de gobernanza. La Ley General de Protección de Datos Personales (Brasil, 2018) estableció, entre sus principios, la no discriminación y la transparencia, mientras que la Ley de Inteligencia Artificial (Unión Europea, 2024) adoptó un enfoque regulatorio basado en el riesgo, previendo obligaciones reforzadas para sistemas clasificados como de alto riesgo. Conjuntamente con los marcos éticos analizados, estas normas refuerzan la necesidad de que las organizaciones documenten criterios, monitoreen riesgos y establezcan controles proporcionales al impacto del sistema. En la herramienta estudiada, la inexistencia de métricas de equidad y de criterios formalizados de fairness constituyó, por lo tanto, un punto relevante de atención para la gobernanza.

El análisis reveló que la herramienta incorporó elementos técnicos alineados a principios de gobernanza, como trazabilidad, supervisión humana y control de la base de conocimiento. Sin embargo, estos mecanismos se presentaron predominantemente orientados a la ganancia de eficiencia operacional y comercial, sin formalización como políticas de cumplimiento. La OCDE (2019b) atribuyó accountability a las organizaciones y a los individuos que desarrollan, implantan u operan sistemas de IA, exigiendo responsabilización compatible con los principios de IA confiable. El Council of Europe (2018) destacó la complejidad de la asignación de responsabilidades en sistemas algorítmicos, especialmente cuando el control se encuentra fragmentado entre diferentes actores. En el caso analizado, no se identificaron políticas formales de accountability algorítmica: no había designación específica de responsabilidades por el funcionamiento ético del sistema, procedimientos documentados de auditoría algorítmica periódica o canales específicos de impugnación relacionados con las decisiones automatizadas. Esta fragmentación de responsabilidades entre la empresa desarrolladora, la institución financiera asociada y los proveedores de infraestructura de IA es un desafío para la accountability algorítmica, ya que ningún actor tiene una visión completa de los riesgos, y la ausencia de designación formal de responsabilidades puede resultar en lagunas de gobernanza.

Floridi et al. (2018) asociaron la explicabilidad no solo con la inteligibilidad de los sistemas, sino también con la rendición de cuentas por sus resultados. Desde esta perspectiva, los registros técnicos son necesarios, pero insuficientes si no van acompañados de procesos capaces de identificar responsables, investigar ocurrencias y definir medidas correctivas. El análisis identificó que el sistema de visualización de logs (“Overwatch”), aunque permitía el acceso al historial de interacciones y a la configuración de los prompts, operó como una herramienta de monitoreo operacional, y no como un instrumento formal de auditoría algorítmica. La distinción es relevante: mientras el monitoreo operacional busca la eficiencia y la identificación de fallas técnicas, la auditoría ética investiga sistemáticamente patrones de tratamiento diferenciado, la adherencia a principios de gobernanza y la adecuación de los criterios decisorios. La evolución del primero al segundo requeriría, como mínimo, protocolos de auditoría, revisiones periódicas documentadas, definición de responsables y registro de hallazgos y acciones correctivas, lo cual no se observó.

El análisis de los hallazgos desde la perspectiva regulatoria brasileña reveló que, incluso sin un marco general específico de IA en el recorte considerado por la investigación, las disposiciones de la LGPD (Brasil, 2018) ya eran relevantes para la operación de herramientas como la estudiada. El artículo 20 prevé el derecho a solicitar la revisión de decisiones tomadas únicamente con base en el tratamiento automatizado de datos personales que afecten los intereses del titular, incluidas las decisiones destinadas a definir perfiles personales, profesionales, de consumo y de crédito. En el contexto analizado, la conducción autónoma de flujos de venta, la clasificación de usuarios por el orquestador y la orientación hacia etapas de apertura de cuenta evidenciaron la necesidad de evaluar, en cada flujo, la incidencia de estas garantías. El artículo 6º, IX, de la LGPD consagró el principio de no discriminación, mientras que el artículo 6º, VI, estableció el principio de transparencia. En el caso analizado, la combinación entre la recopilación automatizada de datos por el agente de rastreo, la clasificación de usuarios por el orquestador y la conducción autónoma de flujos de venta demandó atención específica a la finalidad del tratamiento, a la transparencia ante los titulares y a la prevención de resultados discriminatorios. Estos elementos acercan la protección de datos a la gobernanza algorítmica y demuestran que el cumplimiento digital debe integrar controles jurídicos, técnicos y éticos.

La lectura conjunta de la LGPD y los referenciales internacionales analizados indicó que la ausencia de una ley general específica de IA no elimina la necesidad de controles internos. Al contrario, principios de transparencia, no discriminación, accountability, supervisión humana y evaluación de impacto ofrecen parámetros para que las estructuras de compliance traduzcan obligaciones y expectativas normativas en procedimientos concretos de gobernanza. Este análisis reforzó la tesis central del trabajo: el compliance digital debe actuar de forma proactiva, anticipando riesgos e incorporando la gobernanza ética como componente estructural del ciclo de vida de la herramienta, en lugar de funcionar solo como respuesta posterior a incidentes o cuestionamientos regulatorios. La conformidad regulatoria y los controles técnicos, aisladamente, no son suficientes para una gobernanza responsable de IA conversacional, siendo necesaria la institucionalización de evaluación continua de riesgo algorítmico, accountability y gobernanza ética.

Finalmente, el análisis evidenció la relevancia de evaluaciones periódicas de impacto para verificar la adherencia de la herramienta a los principios éticos adoptados e identificar consecuencias indeseadas, especialmente en flujos automatizados capaces de influir en decisiones de consumidores. La UNESCO (2021) recomendó que las organizaciones realicen evaluaciones de impacto ético previamente a la implementación y a lo largo del ciclo de vida de sistemas de IA, con proporcionalidad al riesgo involucrado. El AI Act (Unión Europea, 2024) exigió de sistemas de alto riesgo la implementación de sistemas de gestión de riesgos y documentación técnica comprensiva. El Council of Europe (2018) sugirió que las empresas ejerzan “due diligence” de derechos humanos por medio de evaluaciones de impacto que investiguen efectos concretos y potenciales sobre individuos. En la herramienta analizada, no se identificaron procesos formales de evaluación de impacto ético o algorítmico, ya sea previamente a la introducción de nuevos flujos de venta, ya sea como rutina de monitoreo continuo. Esta laguna se mostró especialmente relevante ante la escala de utilización del sistema y su participación en etapas de la jornada de adquisición de productos financieros.

La ausencia de evaluación de impacto adquirió especial gravedad cuando se consideró junto con la dinámica de evolución del sistema. La documentación técnica indicó que los prompts, las bases de RAG y los parámetros de “fine tuning” fueron objeto de ajustes continuos a lo largo del período de operación, motivados por objetivos de optimización del rendimiento comercial. Cada alteración en estos componentes tuvo el potencial de modificar el comportamiento decisorio del sistema, introduciendo nuevos riesgos o amplificando riesgos existentes. La ausencia de un proceso formal de evaluación de impacto previo a estas alteraciones significó que modificaciones con potencial de afectar el acceso de los consumidores a productos financieros se implementaron sin un análisis documentado de sus efectos sobre la equidad y la no discriminación. Floridi et al. (2018) recomendaron que la evaluación de impacto se lleve a cabo no solo como un ejercicio puntual, sino como un proceso continuo integrado al ciclo de vida del sistema, lo que los autores denominaron enfoque de “ethics by design”. Esta perspectiva convergió con el requisito de la AI Act (Unión Europea, 2024) de que los sistemas de alto riesgo mantengan sistemas de gestión de riesgos actualizados a lo largo de todo el ciclo de vida. En el caso analizado, la implementación de evaluaciones de impacto periódicas podría, por ejemplo, haber identificado proactivamente los cinco vectores de riesgo mapeados en el análisis, permitiendo la adopción de medidas mitigadoras antes de que eventuales efectos discriminatorios se consolidaran a escala.

La confrontación de los hallazgos del estudio de caso con los referentes teóricos y normativos permitió sugerir cuatro ejes de recomendación para el perfeccionamiento de la gobernanza ética de la herramienta. El primer eje consistió en la creación de métricas de monitoreo de equidad y no discriminación, con definición explícita de los criterios de fairness priorizados y de los trade-offs aceptados, conforme a la contribución de Kleinberg et al. (2016). Esta recomendación se derivó directamente de la ausencia de indicadores éticos identificada en el caso y busca ampliar la capacidad de detección de tratamientos potencialmente diferenciados. El segundo eje comprendió la formalización de políticas de auditoría algorítmica periódica, con documentación de criterios decisorios, registro de alteraciones y definición de responsables, en consonancia con el principio de accountability de la OCDE (2019b). El tercero trató de la implementación de evaluaciones de impacto algorítmico antes de la introducción de nuevos flujos o de alteraciones sustanciales en la base de conocimiento y en los prompts, alineándose a las recomendaciones de evaluación de impacto y gestión de riesgos presentes en los referentes de la UNESCO (2021), del Council of Europe (2018) y del AI Act (Unión Europea, 2024). El cuarto eje involucró la designación de responsabilidades específicas de compliance algorítmico dentro de la estructura de gobernanza corporativa, incorporando canales de impugnación y remedio efectivo para usuarios afectados, en consonancia con el Council of Europe (2018) y el principio de explicabilidad del Al4People (Floridi et al., 2018).

Con base en los hallazgos de esta investigación, se propuso un modelo de cumplimiento digital estructurado en tres capas complementarias para la IA conversacional. La primera capa, denominada controles de diseño, comprendió la incorporación de requisitos éticos desde la fase de concepción del sistema. Esto incluyó la definición documentada de los criterios de fairness priorizados, con explicitación de los trade-offs aceptados, la evaluación de sesgos en los materiales que componen la base de RAG, el análisis del impacto persuasivo de las técnicas de comunicación incorporadas vía fine tuning, y la clasificación de riesgo de los flujos de venta conforme al grado de autonomía y el impacto sobre el acceso del consumidor a productos financieros. Estos controles buscan prevenir riesgos en el origen del desarrollo.

La segunda capa, denominada de controles operacionales, abarcó los mecanismos de monitoreo continuo durante el ciclo de vida del sistema en producción. Esto incluyó métricas de equidad segmentadas por perfil de usuario, haciendo seguimiento a la distribución de resultados, tasas de conversión y patrones de redireccionamiento por segmento, además de auditoría periódica de las decisiones del orquestador para detectar patrones discriminatorios. También se incluyeron la revisión de los cambios en la base de conocimiento y en los prompts con registro de impacto, y la definición de disparadores de transbordo vinculados a riesgos éticos, y no solo operacionales, asegurando que decisiones de alto impacto sobre el consumidor puedan ser revisadas por un ser humano. Estos controles son esenciales para identificar desviaciones y garantizar la intervención oportuna.

La tercera capa, denominada controles de accountability, se refirió a la estructura institucional de rendición de cuentas. Esto implicó la designación de un responsable de cumplimiento algorítmico en la estructura de gobernanza corporativa, procedimientos de evaluación de impacto algorítmico previos a la introducción de nuevos flujos, canales de impugnación y remedio efectivo para usuarios que se consideren afectados por decisiones automatizadas, e informes periódicos de gobernanza algorítmica dirigidos a la alta dirección. Este modelo de tres capas buscó responder a la necesidad, identificada a lo largo de la investigación, de que el cumplimiento digital trascienda la dimensión de conformidad normativa para alcanzar una gobernanza ética sustancial, capaz de lidiar con la complejidad y la escala de los sistemas de IA conversacional contemporáneos. Los resultados evidenciaron que la herramienta estudiada incorporó soluciones técnicas favorables al control y la trazabilidad, como la separación funcional de agentes, bases de conocimiento controladas, registros de interacción y posibilidades de supervisión humana. Sin embargo, se identificaron lagunas relevantes: ausencia de métricas de equidad y no discriminación, inexistencia de políticas formales de auditoría algorítmica, falta de evaluaciones periódicas de impacto ético y ausencia de responsabilidades específicas de accountability algorítmica. En razón de las limitaciones de los datos disponibles, estos hallazgos no demuestran la ocurrencia de discriminación, pero evidencian la insuficiencia de mecanismos destinados a detectarla y prevenirla de forma sistemática. El análisis permitió concluir que la conformidad regulatoria y los controles técnicos, aisladamente, no son suficientes para una gobernanza responsable de IA conversacional. La contribución de Kleinberg et al. (2016) demostró que diferentes criterios de fairness pueden implicar trade-offs incompatibles, haciendo necesaria la explicitación de las elecciones normativas adoptadas. Floridi et al. (2018), por su parte, reforzaron la centralidad de la explicabilidad y la accountability, mientras que OCDE, UNESCO y Council of Europe convergieron en cuanto a la necesidad de transparencia, gestión de riesgos, supervisión y responsabilización. La confrontación de estos referentes con el caso sustentó la propuesta de un modelo de cumplimiento digital en tres capas: controles de diseño, controles operacionales y controles de accountability. En este escenario, el cumplimiento digital se mostró como un instrumento de mediación entre la innovación tecnológica, la protección de derechos y la gobernanza corporativa. La conexión con la agenda ESG también se reveló pertinente: en la dimensión social, la prevención de discriminación y la protección de los consumidores se ven directamente afectadas por la forma en que los sistemas automatizados interactúan con los usuarios; en la dimensión de gobernanza, la transparencia, la accountability y los controles internos deben adaptarse a la complejidad de los sistemas de IA. Así, el modelo de tres capas propuesto en este trabajo representa una contribución práctica para incorporar riesgos algorítmicos a las estructuras de cumplimiento y gobernanza, sin pretender constituir un modelo universal ni probar, por sí solo, la existencia de sesgos en la herramienta estudiada.

En síntesis, la investigación demostró que, si bien la herramienta de IA conversacional analizada presentaba avances técnicos relevantes para la trazabilidad y la supervisión humana parcial, persistieron brechas significativas en la formalización de controles de cumplimiento digital orientados a la mitigación de riesgos algorítmicos. La ausencia de métricas de equidad, políticas de auditoría algorítmica y evaluaciones de impacto ético, sumada a la falta de formalización de la accountability, indicó que la conformidad regulatoria y los controles técnicos, aisladamente, no son suficientes para una gobernanza responsable. El modelo de cumplimiento digital propuesto, con sus tres capas de controles de diseño, operacionales y de accountability, ofrece un camino para institucionalizar la evaluación continua de riesgo algorítmico, la responsabilización formalizada y una gobernanza ética que responda a la complejidad y al impacto de estos sistemas en la adquisición digital de productos financieros, alineando la innovación tecnológica con la protección de derechos y la sostenibilidad corporativa.

4. Conclusión

El presente estudio analizó cómo los mecanismos de cumplimiento digital pueden identificar, prevenir y mitigar sesgos algorítmicos en una herramienta de Inteligencia Artificial conversacional aplicada a la adquisición digital de productos financieros. Se verificó que, si bien la solución técnica presentaba elementos favorables a la trazabilidad y a la supervisión humana parcial, persistieron lagunas significativas en la formalización de controles de cumplimiento digital orientados a la mitigación de riesgos algorítmicos. Se identificó la ausencia de métricas de equidad y no discriminación, la inexistencia de políticas formales de auditoría algorítmica, la falta de evaluaciones periódicas de impacto ético y la no formalización de responsabilidades específicas de rendición de cuentas algorítmica. Los datos operativos revelaron que el monitoreo de la herramienta estaba predominantemente orientado a métricas comerciales, sin la incorporación de indicadores éticos. Se mapearon cinco vectores de riesgo de sesgos algorítmicos, derivados de la base de conocimiento, de la lógica de orquestación, del agente de seguimiento, del ajuste fino del lenguaje y de la retroalimentación del sistema. Estos hallazgos, aunque no comprobaron la ocurrencia de discriminación, evidenciaron la insuficiencia de mecanismos sistemáticos para su detección y prevención. Se concluyó que la conformidad regulatoria y los controles técnicos, aisladamente, no son suficientes para una gobernanza responsable de IA conversacional.

A partir de este análisis, el trabajo propuso un modelo de compliance digital estructurado en tres capas complementarias: controles de diseño, controles operacionales y controles de accountability. Este modelo tiene como objetivo institucionalizar la evaluación continua de riesgo algorítmico, la responsabilización formalizada y una gobernanza ética que responda a la complejidad y al impacto de estos sistemas en la adquisición digital de productos financieros, alineando la innovación tecnológica con la protección de derechos y la sostenibilidad corporativa. La investigación, sin embargo, se vio limitada por haber sido conducida exclusivamente a partir de fuentes documentales y técnicas, sin entrevistas, pruebas directas del algoritmo o acceso a datos de entrenamiento desagregados, lo que impidió la medición cuantitativa de disparidades y restringió la generalización de los hallazgos a un único caso. Se sugiere para estudios futuros la realización de auditorías algorítmicas cuantitativas, con pruebas de disparidad entre perfiles de usuarios, y estudios comparativos entre soluciones de IA conversacional en servicios financieros. También se muestran relevantes investigaciones sobre modelos de evaluación de impacto algorítmico en el contexto regulatorio brasileño y pesquisas que incorporen la perspectiva de los consumidores en cuanto a la transparencia y al ejercicio de los derechos previstos en la LGPD, a fin de probar y perfeccionar el modelo de compliance digital propuesto.

Referencias Bibliográficas

Brasil. 2018. Lei nº 13.709, de 14 de agosto de 2018. Dispõe sobre a proteção de dados pessoais e altera a Lei nº 12.965, de 23 de abril de 2014 (Marco Civil da Internet). Diário Oficial da União, Brasília, 15 ago. 2018. Seção 1, p. 59.

Council of Europe. 2018. Algorithms and Human Rights: Study on the Human Rights Dimensions of Automated Data Processing Techniques and Possible Regulatory Implications. DGI(2017)12. Council of Europe, Strasbourg, France.

Eubanks, V. 2017. Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. St. Martin’s Press, New York, USA.

Financial Stability Board [FSB]. 2017. Artificial Intelligence and Machine Learning in Financial Services: Market Developments and Financial Stability Implications. FSB, Basel, Switzerland. Disponível em: <https://www.fsb.org/2017/11/artificial-intelligence-and-machine-learning-in-financial-service/>. Acesso em: 03 fev. 2026.

Floridi, L.; Cowls, J.; Beltrametti, M.; Chatila, R.; Chazerand, P.; Dignum, V.; Luetge, C.; Madelin, R.; Pagallo, U.; Rossi, F.; Schafer, B.; Valcke, P.; Vayena, E. 2018. Al4People: An ethical framework for a good Al society: Opportunities, risks, principles, and recommendations. Minds and Machines 28(4): 689-707.

Kleinberg, J.; Mullainathan, S.; Raghavan, M. 2016. Inherent Trade-Offs in the Fair Determination of Risk Scores. arXiv:1609.05807v2 [cs.LG]. Cornell University, Ithaca, USA.

O’Neil, C. 2016. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Crown Publishing Group, New York, USA.

Organisation for Economic Co-operation and Development [OECD]. 2019a. Artificial Intelligence in Society. OECD Publishing, Paris, France. DOI: https://doi.org/10.1787/eedfee77-en.

Organisation for Economic Co-operation and Development [OECD]. 2019b. OECD Principles on Artificial Intelligence. OECD, Paris, France. Disponível em: <https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449>. Acesso em: 03 fev. 2026.

Pasquale, F. 2015. The Black Box Society: The Secret Algorithms That Control Money and Information. Harvard University Press, Cambridge, USA.

United Nations Educational, Scientific and Cultural Organization [UNESCO]. 2021. Recommendation on the Ethics of Artificial Intelligence. UNESCO, Paris, France.

Unión Europea. 2024. Ley de Inteligencia Artificial (Ley de IA). Parlamento Europeo y Consejo de la Unión Europea, Bruselas, Bélgica.

Artículo originado del Trabajo de Conclusión de Curso de la Especialización en Compliance y ESG del MBA USP/Esalq

Para saber más sobre el curso, haga clic aquí y acceda a la plataforma MBX Academy