Compliance Digital e Vieses Algorítmicos: Estudo de Caso sobre Governança Ética da Ia Conversacional.

Marina Saraiva Pezolito Sanchez; Carlos Alberto Santos Silva

DOI: 10.22167/2675-6528-202603258

Artigo derivado de Trabalho de Conclusão de Curso (TCC), com conteúdo baseado no trabalho original do aluno e adaptado ao formato editorial da Revista E&S com apoio da ferramenta ResumeAI, solução de inteligência artificial desenvolvida pelo Instituto Pecege para síntese e organização textual.

Resumo

A crescente adoção de ferramentas de Inteligência Artificial (IA) conversacional em serviços financeiros ampliou ganhos de eficiência, mas introduziu riscos éticos relacionados a vieses algorítmicos e à opacidade dos processos decisórios automatizados. Investigou-se, a partir de um estudo de caso único, de que forma mecanismos de compliance digital podem identificar, prevenir e mitigar vieses algorítmicos em ferramentas de IA conversacional aplicadas à aquisição digital de produtos financeiros. Adotou-se abordagem qualitativa e natureza aplicada, fundamentada em análise documental de uma solução de IA utilizada por instituição financeira de atuação nacional. Confrontou-se a ferramenta com frameworks internacionais de governança ética, incluindo os princípios do Al4People, da OCDE, da UNESCO, do Conselho da Europa, do AI Act e da LGPD. Os resultados indicaram que, embora a ferramenta apresentasse rastreabilidade e supervisão humana parciais, persistiram lacunas significativas na formalização de controles de compliance voltados à mitigação de riscos algorítmicos. Essas lacunas incluíram a ausência de métricas de equidade, de políticas de auditoria algorítmica e de avaliações de impacto ético. Concluiu-se que a conformidade regulatória e os controles técnicos, isoladamente, não bastam para uma governança responsável, sendo necessário um modelo de compliance digital com avaliação contínua de risco algorítmico, accountability formalizada e governança ética institucionalizada para lidar com a complexidade desses sistemas.

Palavras-chave: Accountability corporativa; Auditoria algorítmica; Equidade em sistemas automatizados; LGPD; Proteção de dados pessoais.

1. Introdução

A expansão acelerada da Inteligência Artificial (IA) tem provocado transformações significativas nos processos decisórios e nos modelos de negócio adotados por organizações em diversos setores, incluindo serviços financeiros, marketing digital, recrutamento e atendimento ao consumidor. Ferramentas baseadas em IA, especialmente aquelas de natureza conversacional, passaram a desempenhar papel relevante na automação de jornadas de aquisição e suporte, prometendo maior eficiência operacional, redução de custos e melhoria da experiência do usuário (Organisation for Economic Co-operation and Development, 2019a).

Entretanto, a aplicação de modelos de aprendizado de máquina em serviços financeiros exige supervisão proporcional ao grau de autonomia e ao impacto das decisões automatizadas, particularmente quando essas decisões afetam diretamente o acesso de indivíduos a produtos e serviços (Financial Stability Board, 2017; Organisation for Economic Co-operation and Development, 2019a).

A doutrina especializada discute riscos éticos e sociais associados à adoção dessas tecnologias, especialmente no que se refere aos vieses algorítmicos e à opacidade dos processos decisórios. Pasquale (2015) descreveu o fenômeno da “black box society”, no qual processos automatizados que afetam crédito, emprego e informação operam fora do alcance de escrutínio público e de contestação pelos indivíduos afetados, propiciando forte assimetria da informação entre os usuários e desenvolvedores de tecnologia.

O’Neil (2016) evidenciou que sistemas algorítmicos, ao aprenderem a partir de dados históricos, podem reproduzir ou intensificar desigualdades pré-existentes, operando como o que denominou “weapons of math destruction”: modelos opacos, escaláveis e danosos, cujos efeitos discriminatórios se ampliam pela própria lógica de retroalimentação dos dados. Eubanks (2017) demonstrou como ferramentas tecnológicas aplicadas a serviços públicos e financeiros aprofundaram a exclusão de populações vulneráveis ao incorporar vieses estruturais nos seus mecanismos de decisão.

Nesse cenário, os programas tradicionais de compliance, historicamente voltados à conformidade normativa e à mitigação de riscos financeiros, mostraram-se insuficientes para lidar com os novos desafios impostos pela IA. Surge, assim, a necessidade de evolução para modelos de compliance digital, capazes de incorporar princípios de ética, transparência, explicabilidade e responsabilização algorítmica.

No plano internacional, múltiplas diretrizes reforçaram a importância desses elementos. Floridi et al. (2018), no âmbito do projeto Al4People, propuseram um framework ético unificado estruturado em torno de cinco princípios: beneficência, não maleficência, autonomia, justiça e explicabilidade. Este último princípio foi concebido como condição de possibilidade dos demais, visto que sem inteligibilidade sobre como o sistema opera e sem a devida responsabilização, não seria viável assegurar que a IA fosse efetivamente benéfica, justa e respeitosa da autonomia humana.

Os Princípios da OCDE sobre Inteligência Artificial (Organisation for Economic Co-operation and Development, 2019b) estabeleceram pilares para uma IA confiável, incluindo valores centrados no ser humano e equidade, transparência e explicabilidade, robustez e segurança, e accountability. A Recomendação da UNESCO sobre a Ética da IA (United Nations Educational, Scientific and Cultural Organization, 2021) acrescentou a necessidade de avaliações de impacto ético e de mecanismos de governança proporcionais ao risco. Contudo, Kleinberg et al. (2016) demonstraram formalmente que três critérios de justiça para atribuição de escores de risco não podem ser satisfeitos simultaneamente, evidenciando que a mitigação de vieses envolve escolhas normativas que precisam ser explicitadas e justificadas no âmbito da governança.

O estudo do Conselho da Europa sobre algoritmos e direitos humanos (Council of Europe, 2018) articulou as dimensões de julgamento justo, privacidade, proibição de discriminação e remédio efetivo, alertando que processos decisórios automatizados podem operar sem transparência suficiente. O Artificial Intelligence Act da União Europeia (União Europeia, 2024) consolidou uma abordagem regulatória baseada em risco, prevendo obrigações reforçadas para sistemas enquadrados como de alto risco. No contexto brasileiro, a Lei Geral de Proteção de Dados Pessoais (Brasil, 2018) representou avanço relevante ao estabelecer princípios de transparência e não discriminação e direitos relacionados a decisões automatizadas, embora o ordenamento jurídico ainda não dispusesse de regulamentação geral específica sobre sistemas de IA no recorte adotado por esta pesquisa.

Diante desse contexto, a conformidade regulatória e os controles técnicos, isoladamente, não são suficientes para uma governança responsável de IA conversacional, sendo necessária a institucionalização de avaliação contínua de risco algorítmico, accountability formalizada e governança ética. Assim, o presente estudo objetiva analisar como mecanismos de compliance digital podem identificar, prevenir e mitigar vieses algorítmicos em uma ferramenta de IA conversacional aplicada à aquisição digital de produtos financeiros, buscando propor controles de governança ética e responsável aplicáveis ao contexto corporativo.

2. Material e Métodos

A pesquisa caracterizou-se como aplicada, de abordagem qualitativa, e adotou o estudo de caso único como método de investigação. Essa escolha fundamentou-se na necessidade de examinar, em profundidade e em seu contexto real, um fenômeno contemporâneo de governança: a utilização de Inteligência Artificial (IA) conversacional em fluxos de aquisição de produtos financeiros. O estudo não buscou generalização estatística, mas a compreensão analítica das práticas, controles e lacunas de governança observados no caso selecionado.

A unidade de análise consistiu em uma ferramenta de IA conversacional, desenvolvida pela empresa Blue Ventures (nome fictício), que foi implementada em parceria com uma instituição financeira de atuação nacional. Essa ferramenta operou como agente autônomo na jornada de vendas e atendimento ao cliente, com capacidade de formalizar propostas e resolver tickets. A análise concentrou-se nos mecanismos decisórios e nos controles técnicos existentes na solução.

O material analisado foi dividido em dois conjuntos documentais. O primeiro reuniu documentos técnicos referentes à ferramenta estudada, incluindo apresentações de arquitetura do sistema, descrições funcionais dos fluxos de venda, registros do processo de desenvolvimento da solução e dados operacionais agregados e anonimizados de desempenho em ambiente de produção. Esses documentos foram selecionados por permitirem a compreensão do funcionamento da ferramenta e seus mecanismos decisórios.

O segundo conjunto documental, de natureza normativo-acadêmica, compreendeu os frameworks internacionais de governança ética e regulatórios utilizados como parâmetros analíticos. Foram considerados os cinco princípios éticos do AI4People (Floridi et al., 2018), os Princípios da OCDE sobre IA (Organisation for Economic Co-operation and Development, 2019a; 2019b), a Recomendação da UNESCO sobre a Ética da IA (United Nations Educational, Scientific and Cultural Organization, 2021), o estudo do Conselho da Europa sobre algoritmos e direitos humanos (Council of Europe, 2018), o Artificial Intelligence Act (União Europeia, 2024) e a Lei Geral de Proteção de Dados Pessoais (Brasil, 2018).

Complementarmente, incorporaram-se contribuições da literatura sobre vieses algorítmicos (O’Neil, 2016; Eubanks, 2017; Pasquale, 2015) e sobre trade-offs de equidade algorítmica (Kleinberg et al., 2016). O recorte temporal da análise abrangeu o período de desenvolvimento e operação da ferramenta até agosto de 2025. Os frameworks normativos considerados estavam em vigor até a data de conclusão da pesquisa.

A técnica de coleta consistiu em pesquisa documental, mediante levantamento intencional dos documentos técnicos e dados operacionais disponíveis sobre a solução. A pesquisa não envolveu coleta de dados primários nem interação com indivíduos, sendo integralmente baseada em fontes secundárias e documentos técnicos com informações agregadas e anonimizadas. Não houve acesso a dados que permitissem a identificação individual dos usuários, o que foi considerado na definição dos limites da análise.

A análise qualitativa foi organizada em cinco categorias, derivadas dos frameworks de referência. As categorias foram: (i) transparência e explicabilidade, relativa à possibilidade de compreender e auditar os processos decisórios do sistema; (ii) supervisão humana, referente à existência de mecanismos de intervenção humana proporcionais ao risco; (iii) equidade e não discriminação, atinente à presença de controles para prevenção de vieses algorítmicos; (iv) accountability e governança, relativa à formalização de responsabilidades e políticas de compliance; e (v) avaliação de impacto, referente à existência de processos de avaliação de riscos éticos.

A técnica de análise empregada foi a análise qualitativa de conteúdo, orientada pelas categorias previamente definidas. O procedimento ocorreu em três etapas reprodutíveis. Primeiramente, realizou-se a leitura e codificação dos documentos técnicos nas cinco categorias analíticas. Em seguida, procedeu-se à comparação sistemática dos achados com os critérios extraídos dos referenciais teóricos e normativos. Por fim, sintetizaram-se os riscos e lacunas identificados para derivar recomendações de compliance digital.

Não foram inferidas características demográficas individuais nem realizada mensuração estatística de discriminação, pois a base disponível continha dados agregados e anonimizados. Essa limitação restringiu a pesquisa à identificação de riscos estruturais e lacunas de governança, e não à comprovação empírica de discriminação algorítmica. O estudo concentrou-se na análise qualitativa dos procedimentos e controles.

3. Resultados e Discussão

A análise da ferramenta de Inteligência Artificial conversacional, aplicada à aquisição digital de produtos financeiros, revelou um cenário complexo onde a eficiência operacional e a escalabilidade se contrapõem a lacunas significativas na governança ética e na mitigação de vieses algorítmicos. Os resultados foram examinados à luz dos objetivos da pesquisa, interpretando cada achado como evidência da presença, ausência ou maturidade de mecanismos de compliance digital. Essa abordagem permitiu distinguir os controles existentes, identificar as lacunas de governança e derivar recomendações aplicáveis, confrontando as evidências com a literatura e os frameworks internacionais de governança ética e regulatórios previamente selecionados.

A ferramenta estudada consistiu em um sistema de IA conversacional projetado para atuar como agente autônomo na jornada de vendas e atendimento ao cliente, oferecendo disponibilidade contínua e integração com sistemas internos. Sua arquitetura técnica baseou-se na combinação de “prompting”, “Retrieval Augmented Generation” (RAG) e “fine tuning”. O “prompting” foi crucial para definir as diretrizes de comportamento da IA e as entradas dos usuários, enquanto o RAG permitiu a recuperação de informações de bases internas estruturadas, aumentando a consistência das respostas e reduzindo a dependência de inferências genéricas do modelo. O sistema conduziu 21 fluxos de venda distintos, demonstrando alta customização.

Em termos de desempenho comercial, a solução demonstrou um impacto expressivo. A aplicação conversacional, treinada com 133 materiais distintos, realizou aproximadamente 65.000 conversas em ambiente de produção até agosto de 2025. Esse volume de interações resultou em um aumento aproximado de 53% na taxa de agendamento de reuniões com potenciais clientes na primeira semana de operação, em comparação com abordagens tradicionais. Além disso, a ferramenta esteve associada à captação de R$ 4.377.640,16 em recursos financeiros e ao envio de 2.566 links para abertura de conta, evidenciando sua participação ativa e relevante nas etapas da jornada de conversão e sua capacidade de escalar operações.

Apesar da eficiência, a análise do “fine tuning” revelou que, embora seu objetivo fosse ajustar a forma de comunicação sem alterar o conteúdo factual, a distinção entre forma e conteúdo não é absoluta. A maneira como a informação é apresentada pode influenciar significativamente a decisão do usuário. Exemplos observados incluíram mensagens mais curtas e o uso sistemático de chamadas para ação, técnicas persuasivas que orientam o comportamento do consumidor. Floridi et al. (2018) salientaram que a não maleficência exige atenção não apenas a danos intencionais, mas também aos efeitos de mecanismos de indução comportamental, o que se alinha aos princípios da OCDE (2019b) sobre transparência e gestão contínua de riscos. Contudo, não foram identificadas políticas formais para avaliar o impacto persuasivo dessas técnicas de comunicação sobre as decisões dos consumidores, indicando uma lacuna na governança que deveria abranger a arquitetura de interação e os mecanismos de influência, e não apenas o conteúdo factual.

A arquitetura multiagente da ferramenta, coordenada por um orquestrador, demonstrou sofisticação. O orquestrador classificava a etapa do usuário no funil de conversão (Apresentação, Convencimento, Resolução, Conclusão ou Redirecionamento Humano) e acionava o fluxo adequado, garantindo respostas concisas e direcionadas. Além disso, um agente de “tracking” coletava e registrava dados de usuários, o que, sob a ótica da Lei Geral de Proteção de Dados Pessoais (Brasil, 2018), configurou tratamento de dados pessoais e exigiu atenção específica quanto a bases legais, finalidades e direitos dos titulares. Essa segmentação funcional favoreceu a rastreabilidade e a auditabilidade das interações, elementos cruciais para a supervisão humana em um contexto de alto risco financeiro, conforme enfatizado pelo Financial Stability Board (2017).

A documentação técnica revelou dois modos de operação: autônomo e copiloto. No modo autônomo, a IA conduziu as interações integralmente, sem intervenção humana direta, enquanto no modo copiloto, a IA atuou como suporte a um atendente humano, que podia revisar e modificar as respostas sugeridas. Durante o período analisado, a parceria com a instituição financeira operou predominantemente no modo autônomo. Essa prevalência do modo autônomo tem implicações diretas para a governança ética, pois a supervisão humana ocorreu apenas a posteriori, por meio de registros de conversa, sem intervenção em tempo real. Este cenário contrasta com o conceito de meta-autonomia de Floridi et al. (2018), que preconiza a preservação da capacidade humana de decidir quais decisões delegar à máquina. A abordagem baseada em risco, presente nos referenciais internacionais, reforça a necessidade de controles proporcionais e mecanismos claros de supervisão para sistemas com maior autonomia.

O Council of Europe (2018) alertou que, mesmo com participação humana formal, pode ocorrer mera ratificação de recomendações algorítmicas devido à falta de tempo ou competência. No caso da ferramenta, a ausência de supervisão humana em tempo real na maioria dos fluxos de venda autônomos reforçou a necessidade de formalizar critérios de risco e gatilhos de transbordo vinculados a questões éticas, e não apenas a falhas operacionais. O AI Act da União Europeia (União Europeia, 2024) exige sistemas de gestão de riscos e processos de supervisão humana para sistemas de alto risco, um requisito que não se encontrava formalmente documentado como política de compliance na ferramenta analisada, evidenciando uma lacuna significativa.

Os dados operacionais consolidados até agosto de 2025 demonstraram que o monitoramento da ferramenta foi orientado exclusivamente a métricas de desempenho comercial, como taxas de conversão, volume de captação e resolução automática de tickets. Contudo, não foram incorporados indicadores de impacto ético, distribuição de resultados por perfil demográfico ou monitoramento de tratamentos diferenciados. Essa assimetria entre a sofisticação das métricas comerciais e a ausência de indicadores éticos constituiu um dos principais achados do estudo. Os referenciais da OCDE (2019b) enfatizam a accountability, robustez, segurança e gestão contínua de riscos como componentes essenciais de uma IA confiável. A operação em larga escala da ferramenta, com aproximadamente 65.000 conversas e captação superior a R$ 4 milhões, não foi acompanhada por métricas destinadas a detectar padrões de tratamento diferenciado, o que representa uma lacuna de governança que impede a identificação precoce de resultados potencialmente assimétricos, mesmo sem comprovar discriminação.

A análise conjunta da arquitetura técnica, dos fluxos de venda e dos dados operacionais permitiu identificar cinco vetores de risco de vieses algorítmicos. O primeiro vetor referiu-se à base de conhecimento do RAG, composta por 133 materiais selecionados com base em critérios comerciais e operacionais, sem avaliação documentada de potenciais vieses. Materiais que refletissem visões parciais ou priorizassem certos produtos poderiam influenciar sistematicamente as respostas da IA. O segundo vetor estava ligado à lógica de orquestração, onde a classificação do usuário em etapas do funil de conversão implicava decisões automatizadas sobre qualificação comercial, com potencial de tratamento diferenciado. Usuários classificados como mais próximos da conversão poderiam receber abordagens mais incisivas, enquanto outros poderiam ser objeto de menor investimento interacional. Se correlacionadas a variáveis sociodemográficas não controladas, essas classificações poderiam reproduzir padrões discriminatórios históricos, conforme alertado por O’Neil (2016).

O terceiro vetor de risco envolveu o agente de “tracking”, que coletou e registrou dados de usuários. A coleta sistemática de dados comportamentais e contextuais cria potencial para a formação de perfis que podem servir como “proxies” para categorias protegidas, como raça, gênero ou idade, conforme destacado pelo Council of Europe (2018). O quarto vetor relacionou-se ao “fine tuning” da linguagem, onde técnicas persuasivas padronizadas poderiam ter impacto diferenciado sobre segmentos populacionais com distintos níveis de letramento financeiro, configurando um risco de não maleficência, de acordo com Floridi et al. (2018). Por fim, o quinto vetor de risco estava na retroalimentação do sistema: a otimização exclusiva para métricas comerciais poderia amplificar vieses pré-existentes nos dados, perpetuando padrões discriminatórios históricos, um mecanismo característico das “weapons of math destruction” descritas por O’Neil (2016).

A ferramenta incorporou elementos técnicos que favorecem a rastreabilidade, como a separação funcional entre agentes, a documentação de fluxos e a utilização de bases de conhecimento controladas. Esses aspectos representaram uma aderência parcial ao princípio de transparência e explicabilidade da OCDE (2019b), que preconiza a divulgação responsável para que os usuários compreendam e contestem os resultados. Contudo, a rastreabilidade identificada referiu-se predominantemente ao registro das interações, e não à explicabilidade substancial dos critérios decisórios. O risco da “black box society” (Pasquale, 2015) persiste quando os critérios que estruturam decisões relevantes permanecem pouco acessíveis ao escrutínio. Floridi et al. (2018) e o Council of Europe (2018) destacaram que a explicabilidade é essencial para a inteligibilidade, accountability e contestação efetiva. No caso analisado, não foram identificadas políticas institucionais que definissem níveis de transparência e explicação proporcionais ao impacto de cada fluxo, o que limita a capacidade de auditoria e contestação formal.

A arquitetura multiagente da ferramenta incluiu mecanismos de “human-in-the-loop”, com possibilidade de transbordo automático para atendimento humano em situações específicas, o que demonstra aderência ao princípio de supervisão humana da OCDE (2019b) e à recomendação da UNESCO (2021) sobre revisão humana de decisões automatizadas de impacto significativo. Entretanto, a análise revelou que os critérios de acionamento do transbordo estavam vinculados predominantemente a falhas técnicas ou a demandas fora do escopo operacional, e não a gatilhos de risco ético ou discriminatório. Floridi et al. (2018) argumentaram que o princípio de autonomia exige um modelo de meta-autonomia, no qual o ser humano deve reter o poder de decidir quais decisões podem ser delegadas à máquina. No caso analisado, não foram identificados critérios formais que definissem quais decisões da jornada de venda seriam consideradas de alto risco e, portanto, sujeitas a revisão humana obrigatória. O AI Act (União Europeia, 2024) exige sistemas de gestão de riscos e processos de supervisão humana para sistemas de alto risco, requisito que não se encontrava formalmente documentado como política de compliance da ferramenta.

A análise não identificou métricas explícitas de avaliação de impactos éticos, monitoramento de vieses algorítmicos ou acompanhamento de efeitos discriminatórios. Essa ausência constituiu o achado mais relevante sob a perspectiva do compliance digital, especialmente considerando a operação em larga escala do sistema e sua influência direta sobre o acesso a produtos financeiros. O’Neil (2016) alertou que algoritmos frequentemente codificam opiniões e preconceitos, perpetuando desigualdades. Eubanks (2017) demonstrou como a automação de decisões financeiras pode aprofundar a exclusão de populações vulneráveis. O Council of Europe (2018) enfatizou que algoritmos podem conter vieses intrínsecos difíceis de detectar, especialmente quando variáveis individuais funcionam como “proxies” para categorias protegidas como raça, gênero ou idade. No caso analisado, a combinação de múltiplos fluxos de venda, grande volume de interações e utilização de dados históricos configurou um cenário propício à ocorrência de tratamentos diferenciados indiretos.

Sob a perspectiva técnica, Kleinberg et al. (2016) demonstraram formalmente que três critérios de justiça algorítmica – calibração por grupo, equilíbrio para a classe positiva e equilíbrio para a classe negativa – são inerentemente incompatíveis quando as taxas base diferem entre grupos. Esse resultado formalizou um dilema que transcende a engenharia, evidenciando que a escolha de quais critérios de fairness priorizar é uma decisão normativa que exige participação da liderança corporativa, do time de compliance e governança, e idealmente, dos próprios afetados. No contexto da ferramenta analisada, a ausência de qualquer definição formal sobre quais critérios de equidade deveriam ser perseguidos evidenciou uma lacuna crítica de governança. A Lei Geral de Proteção de Dados Pessoais (Brasil, 2018) estabeleceu, entre seus princípios, a não discriminação e a transparência, enquanto o AI Act (União Europeia, 2024) adotou uma abordagem regulatória baseada em risco, prevendo obrigações reforçadas para sistemas enquadrados como de alto risco. Em conjunto com os referenciais éticos analisados, essas normas reforçam a necessidade de que organizações documentem critérios, monitorem riscos e estabeleçam controles proporcionais ao impacto do sistema. Na ferramenta estudada, a inexistência de métricas de equidade e de critérios formalizados de fairness constituiu, portanto, um ponto relevante de atenção para a governança.

A análise revelou que a ferramenta incorporou elementos técnicos alinhados a princípios de governança, como rastreabilidade, supervisão humana e controle da base de conhecimento. Contudo, esses mecanismos apresentaram-se predominantemente orientados ao ganho de eficiência operacional e comercial, sem formalização como políticas de compliance. A OCDE (2019b) atribuiu accountability às organizações e aos indivíduos que desenvolvem, implantam ou operam sistemas de IA, exigindo responsabilização compatível com os princípios de IA confiável. O Council of Europe (2018) destacou a complexidade da alocação de responsabilidades em sistemas algorítmicos, especialmente quando o controle se encontra fragmentado entre diferentes atores. No caso analisado, não foram identificadas políticas formais de accountability algorítmica: não havia designação específica de responsabilidades pelo funcionamento ético do sistema, procedimentos documentados de auditoria algorítmica periódica ou canais específicos de contestação relacionados às decisões automatizadas. Essa fragmentação de responsabilidades entre a empresa desenvolvedora, a instituição financeira parceira e os fornecedores de infraestrutura de IA é um desafio para a accountability algorítmica, pois nenhum ator tem visão completa dos riscos, e a ausência de designação formal de responsabilidades pode resultar em lacunas de governança.

Floridi et al. (2018) associaram explicabilidade não apenas à inteligibilidade dos sistemas, mas também à responsabilização por seus resultados. Nessa perspectiva, registros técnicos são necessários, porém insuficientes se não estiverem acompanhados de processos capazes de identificar responsáveis, investigar ocorrências e definir medidas corretivas. A análise identificou que o sistema de visualização de logs (“Overwatch”), embora permitisse acesso ao histórico de interações e à configuração dos prompts, operou como ferramenta de monitoramento operacional, e não como instrumento formal de auditoria algorítmica. A distinção é relevante: enquanto o monitoramento operacional busca eficiência e identificação de falhas técnicas, a auditoria ética investiga sistematicamente padrões de tratamento diferenciado, aderência a princípios de governança e adequação dos critérios decisórios. A evolução do primeiro para o segundo exigiria, no mínimo, protocolos de auditoria, revisões periódicas documentadas, definição de responsáveis e registro de achados e ações corretivas, o que não foi observado.

A análise dos achados sob a perspectiva regulatória brasileira revelou que, mesmo sem um marco geral específico de IA no recorte considerado pela pesquisa, disposições da LGPD (Brasil, 2018) já eram relevantes para a operação de ferramentas como a estudada. O artigo 20 prevê o direito de solicitar revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem os interesses do titular, incluindo decisões destinadas a definir perfis pessoal, profissional, de consumo e de crédito. No contexto analisado, a condução autônoma de fluxos de venda, a classificação de usuários pelo orquestrador e o direcionamento para etapas de abertura de conta evidenciaram a necessidade de avaliar, em cada fluxo, a incidência dessas garantias. O artigo 6º, IX, da LGPD consagrou o princípio da não discriminação, enquanto o artigo 6°, VI, estabeleceu o princípio da transparência. No caso analisado, a combinação entre coleta automatizada de dados pelo agente de tracking, classificação de usuários pelo orquestrador e condução autônoma de fluxos de venda demandou atenção específica à finalidade do tratamento, à transparência perante os titulares e à prevenção de resultados discriminatórios. Esses elementos aproximam a proteção de dados da governança algorítmica e demonstram que o compliance digital deve integrar controles jurídicos, técnicos e éticos.

A leitura conjunta da LGPD e dos referenciais internacionais analisados indicou que a ausência de uma lei geral específica de IA não elimina a necessidade de controles internos. Ao contrário, princípios de transparência, não discriminação, accountability, supervisão humana e avaliação de impacto oferecem parâmetros para que as estruturas de compliance traduzam obrigações e expectativas normativas em procedimentos concretos de governança. Essa análise reforçou a tese central do trabalho: o compliance digital deve atuar de forma proativa, antecipando riscos e incorporando a governança ética como componente estrutural do ciclo de vida da ferramenta, em vez de funcionar apenas como resposta posterior a incidentes ou questionamentos regulatórios. A conformidade regulatória e os controles técnicos, isoladamente, não são suficientes para uma governança responsável de IA conversacional, sendo necessária a institucionalização de avaliação contínua de risco algorítmico, accountability e governança ética.

Por fim, a análise evidenciou a relevância de avaliações periódicas de impacto para verificar a aderência da ferramenta aos princípios éticos adotados e identificar consequências indesejadas, especialmente em fluxos automatizados capazes de influenciar decisões de consumidores. A UNESCO (2021) recomendou que organizações realizem avaliações de impacto ético previamente à implementação e ao longo do ciclo de vida de sistemas de IA, com proporcionalidade ao risco envolvido. O AI Act (União Europeia, 2024) exigiu de sistemas de alto risco a implementação de sistemas de gestão de riscos e documentação técnica compreensiva. O Council of Europe (2018) sugeriu que empresas exerçam “due diligence” de direitos humanos por meio de avaliações de impacto que investiguem efeitos concretos e potenciais sobre indivíduos. Na ferramenta analisada, não foram identificados processos formais de avaliação de impacto ético ou algorítmico, seja previamente à introdução de novos fluxos de venda, seja como rotina de monitoramento contínuo. Essa lacuna mostrou-se especialmente relevante diante da escala de utilização do sistema e de sua participação em etapas da jornada de aquisição de produtos financeiros.

A ausência de avaliação de impacto adquiriu especial gravidade quando considerada em conjunto com a dinâmica de evolução do sistema. A documentação técnica indicou que os prompts, as bases de RAG e os parâmetros de “fine tuning” foram objeto de ajustes contínuos ao longo do período de operação, motivados por objetivos de otimização de desempenho comercial. Cada alteração nesses componentes teve potencial de modificar o comportamento decisório do sistema, introduzindo novos riscos ou amplificando riscos existentes. A ausência de um processo formal de avaliação de impacto previamente a essas alterações significou que modificações com potencial de afetar o acesso de consumidores a produtos financeiros foram implementadas sem análise documentada de seus efeitos sobre equidade e não discriminação. Floridi et al. (2018) recomendaram que a avaliação de impacto seja conduzida não apenas como exercício pontual, mas como processo contínuo integrado ao ciclo de vida do sistema, o que os autores denominaram abordagem de “ethics by design”. Essa perspectiva convergiu com a exigência do AI Act (União Europeia, 2024) de que sistemas de alto risco mantenham sistemas de gestão de riscos atualizados ao longo de todo o ciclo de vida. No caso analisado, a implementação de avaliações de impacto periódicas poderia, por exemplo, ter identificado proativamente os cinco vetores de risco mapeados na análise, permitindo a adoção de medidas mitigatórias antes que eventuais efeitos discriminatórios se consolidassem em escala.

A confrontação dos achados do estudo de caso com os referenciais teóricos e normativos permitiu sugerir quatro eixos de recomendação para o aprimoramento da governança ética da ferramenta. O primeiro eixo consistiu na criação de métricas de monitoramento de equidade e não discriminação, com definição explícita dos critérios de fairness priorizados e dos trade-offs aceitos, conforme a contribuição de Kleinberg et al. (2016). Essa recomendação decorreu diretamente da ausência de indicadores éticos identificada no caso e busca ampliar a capacidade de detecção de tratamentos potencialmente diferenciados. O segundo eixo compreendeu a formalização de políticas de auditoria algorítmica periódica, com documentação de critérios decisórios, registro de alterações e definição de responsáveis, em consonância com o princípio de accountability da OCDE (2019b). O terceiro tratou da implementação de avaliações de impacto algorítmico antes da introdução de novos fluxos ou de alterações substanciais na base de conhecimento e nos prompts, alinhando-se às recomendações de avaliação de impacto e gestão de riscos presentes nos referenciais da UNESCO (2021), do Council of Europe (2018) e do AI Act (União Europeia, 2024). O quarto eixo envolveu a designação de responsabilidades específicas de compliance algorítmico dentro da estrutura de governança corporativa, incorporando canais de contestação e remédio efetivo para usuários afetados, em consonância com o Council of Europe (2018) e o princípio de explicabilidade do Al4People (Floridi et al., 2018).

Com base nos achados desta pesquisa, propôs-se um modelo de compliance digital estruturado em três camadas complementares para a IA conversacional. A primeira camada, denominada de controles de design, compreendeu a incorporação de requisitos éticos desde a fase de concepção do sistema. Isso incluiu a definição documentada dos critérios de fairness priorizados, com explicitação dos trade-offs aceitos, a avaliação de vieses nos materiais que compõem a base de RAG, a análise do impacto persuasivo das técnicas de comunicação incorporadas via fine tuning, e a classificação de risco dos fluxos de venda conforme o grau de autonomia e o impacto sobre o acesso do consumidor a produtos financeiros. Esses controles visam prevenir riscos na origem do desenvolvimento.

A segunda camada, denominada de controles operacionais, abrangeu os mecanismos de monitoramento contínuo durante o ciclo de vida do sistema em produção. Isso incluiu métricas de equidade segmentadas por perfil de usuário, acompanhando a distribuição de resultados, taxas de conversão e padrões de redirecionamento por segmento, além de auditoria periódica das decisões do orquestrador para detectar padrões discriminatórios. Também foram incluídas a revisão das alterações na base de conhecimento e nos prompts com registro de impacto, e a definição de gatilhos de transbordo vinculados a riscos éticos, e não apenas operacionais, assegurando que decisões de alto impacto sobre o consumidor possam ser revisadas por um ser humano. Esses controles são essenciais para identificar desvios e garantir a intervenção oportuna.

A terceira camada, denominada de controles de accountability, referiu-se à estrutura institucional de responsabilização. Isso envolveu a designação de um responsável por compliance algorítmico na estrutura de governança corporativa, procedimentos de avaliação de impacto algorítmico previamente à introdução de novos fluxos, canais de contestação e remédio efetivo para usuários que se considerem afetados por decisões automatizadas, e relatórios periódicos de governança algorítmica direcionados à alta administração. Esse modelo em três camadas buscou responder à necessidade, identificada ao longo da pesquisa, de que o compliance digital ultrapasse a dimensão de conformidade normativa para alcançar uma governança ética substancial, capaz de lidar com a complexidade e a escala dos sistemas de IA conversacional contemporâneos. Os resultados evidenciaram que a ferramenta estudada incorporou soluções técnicas favoráveis ao controle e à rastreabilidade, como separação funcional de agentes, bases de conhecimento controladas, registros de interação e possibilidades de supervisão humana. Entretanto, foram identificadas lacunas relevantes: ausência de métricas de equidade e não discriminação, inexistência de políticas formais de auditoria algorítmica, falta de avaliações periódicas de impacto ético e ausência de responsabilidades específicas de accountability algorítmica. Em razão das limitações dos dados disponíveis, esses achados não demonstram a ocorrência de discriminação, mas evidenciam insuficiência de mecanismos destinados a detectá-la e preveni-la de forma sistemática. A análise permitiu concluir que a conformidade regulatória e os controles técnicos, isoladamente, não são suficientes para uma governança responsável de IA conversacional. A contribuição de Kleinberg et al. (2016) demonstrou que diferentes critérios de fairness podem envolver trade-offs incompatíveis, tornando necessária a explicitação das escolhas normativas adotadas. Floridi et al. (2018), por sua vez, reforçaram a centralidade da explicabilidade e da accountability, enquanto OCDE, UNESCO e Council of Europe convergiram quanto à necessidade de transparência, gestão de riscos, supervisão e responsabilização. A confrontação desses referenciais com o caso sustentou a proposta de um modelo de compliance digital em três camadas: controles de design, controles operacionais e controles de accountability. Nesse cenário, o compliance digital mostrou-se instrumento de mediação entre inovação tecnológica, proteção de direitos e governança corporativa. A conexão com a agenda ESG também se revelou pertinente: na dimensão social, a prevenção de discriminação e a proteção dos consumidores são diretamente afetadas pela forma como sistemas automatizados interagem com usuários; na dimensão de governança, transparência, accountability e controles internos precisam ser adaptados à complexidade dos sistemas de IA. Assim, o modelo em três camadas proposto neste trabalho representa uma contribuição prática para incorporar riscos algorítmicos às estruturas de compliance e governança, sem pretender constituir modelo universal ou comprovar, por si só, a existência de vieses na ferramenta estudada.

Em síntese, a pesquisa demonstrou que, embora a ferramenta de IA conversacional analisada apresentasse avanços técnicos relevantes para a rastreabilidade e a supervisão humana parcial, persistiram lacunas significativas na formalização de controles de compliance digital voltados à mitigação de riscos algorítmicos. A ausência de métricas de equidade, políticas de auditoria algorítmica e avaliações de impacto ético, aliada à falta de formalização da accountability, indicou que a conformidade regulatória e os controles técnicos, isoladamente, não bastam para uma governança responsável. O modelo de compliance digital proposto, com suas três camadas de controles de design, operacionais e de accountability, oferece um caminho para institucionalizar a avaliação contínua de risco algorítmico, a responsabilização formalizada e uma governança ética que responda à complexidade e ao impacto desses sistemas na aquisição digital de produtos financeiros, alinhando a inovação tecnológica com a proteção de direitos e a sustentabilidade corporativa.

4. Conclusão

O presente estudo analisou como mecanismos de compliance digital podem identificar, prevenir e mitigar vieses algorítmicos em uma ferramenta de Inteligência Artificial conversacional aplicada à aquisição digital de produtos financeiros. Verificou-se que, embora a solução técnica apresentasse elementos favoráveis à rastreabilidade e à supervisão humana parcial, persistiram lacunas significativas na formalização de controles de compliance digital voltados à mitigação de riscos algorítmicos. Identificou-se a ausência de métricas de equidade e não discriminação, a inexistência de políticas formais de auditoria algorítmica, a falta de avaliações periódicas de impacto ético e a não formalização de responsabilidades específicas de accountability algorítmica. Os dados operacionais revelaram que o monitoramento da ferramenta era predominantemente orientado a métricas comerciais, sem a incorporação de indicadores éticos. Mapearam-se cinco vetores de risco de vieses algorítmicos, decorrentes da base de conhecimento, da lógica de orquestração, do agente de tracking, do fine-tuning da linguagem e da retroalimentação do sistema. Esses achados, embora não comprovassem a ocorrência de discriminação, evidenciaram a insuficiência de mecanismos sistemáticos para sua detecção e prevenção. Concluiu-se que a conformidade regulatória e os controles técnicos, isoladamente, não bastam para uma governança responsável de IA conversacional.

A partir dessa análise, o trabalho propôs um modelo de compliance digital estruturado em três camadas complementares: controles de design, controles operacionais e controles de accountability. Este modelo visa institucionalizar a avaliação contínua de risco algorítmico, a responsabilização formalizada e uma governança ética que responda à complexidade e ao impacto desses sistemas na aquisição digital de produtos financeiros, alinhando a inovação tecnológica com a proteção de direitos e a sustentabilidade corporativa. A pesquisa, contudo, foi limitada por ter sido conduzida exclusivamente a partir de fontes documentais e técnicas, sem entrevistas, testes diretos do algoritmo ou acesso a dados de treinamento desagregados, o que impediu a mensuração quantitativa de disparidades e restringiu a generalização dos achados a um único caso. Sugere-se para estudos futuros a realização de auditorias algorítmicas quantitativas, com testes de disparidade entre perfis de usuários, e estudos comparativos entre soluções de IA conversacional em serviços financeiros. Também se mostram relevantes investigações sobre modelos de avaliação de impacto algorítmico no contexto regulatório brasileiro e pesquisas que incorporem a perspectiva dos consumidores quanto à transparência e ao exercício dos direitos previstos na LGPD, a fim de testar e aperfeiçoar o modelo de compliance digital proposto.

Referências Bibliográficas

Brasil. 2018. Lei nº 13.709, de 14 de agosto de 2018. Dispõe sobre a proteção de dados pessoais e altera a Lei nº 12.965, de 23 de abril de 2014 (Marco Civil da Internet). Diário Oficial da União, Brasília, 15 ago. 2018. Seção 1, p. 59.

Council of Europe. 2018. Algorithms and Human Rights: Study on the Human Rights Dimensions of Automated Data Processing Techniques and Possible Regulatory Implications. DGI(2017)12. Council of Europe, Strasbourg, France.

Eubanks, V. 2017. Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. St. Martin’s Press, New York, USA.

Financial Stability Board [FSB]. 2017. Artificial Intelligence and Machine Learning in Financial Services: Market Developments and Financial Stability Implications. FSB, Basel, Switzerland. Disponível em: <https://www.fsb.org/2017/11/artificial-intelligence-and-machine-learning-in-financial-service/>. Acesso em: 03 fev. 2026.

Floridi, L.; Cowls, J.; Beltrametti, M.; Chatila, R.; Chazerand, P.; Dignum, V.; Luetge, C.; Madelin, R.; Pagallo, U.; Rossi, F.; Schafer, B.; Valcke, P.; Vayena, E. 2018. Al4People: An ethical framework for a good Al society: Opportunities, risks, principles, and recommendations. Minds and Machines 28(4): 689-707.

Kleinberg, J.; Mullainathan, S.; Raghavan, M. 2016. Inherent Trade-Offs in the Fair Determination of Risk Scores. arXiv:1609.05807v2 [cs.LG]. Cornell University, Ithaca, USA.

O’Neil, C. 2016. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Crown Publishing Group, New York, USA.

Organisation for Economic Co-operation and Development [OECD]. 2019a. Artificial Intelligence in Society. OECD Publishing, Paris, France. DOI: https://doi.org/10.1787/eedfee77-en.

Organisation for Economic Co-operation and Development [OECD]. 2019b. OECD Principles on Artificial Intelligence. OECD, Paris, France. Disponível em: <https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449>. Acesso em: 03 fev. 2026.

Pasquale, F. 2015. The Black Box Society: The Secret Algorithms That Control Money and Information. Harvard University Press, Cambridge, USA.

United Nations Educational, Scientific and Cultural Organization [UNESCO]. 2021. Recommendation on the Ethics of Artificial Intelligence. UNESCO, Paris, France.

União Europeia. 2024. Artificial Intelligence Act (Al Act). Parlamento Europeu e Conselho da União Europeia, Bruxelas, Bélgica.

Artigo oriundo de Trabalho de Conclusão de Curso da Especialização em Compliance e ESG do MBA USP/Esalq

Para saber mais sobre o curso, clique aqui e acesse a plataforma MBX Academy