Resumo Executivo

Filippo Novelli Martinez; Jorge Valverde-Rebaza

Resumo elaborado pela ferramenta ResumeAI, solução de inteligência artificial desenvolvida pelo Instituto Pecege voltada à síntese e redação.

A rápida expansão de sistemas baseados em machine learning tem transformado profundamente a forma como decisões são tomadas em setores críticos da vida social, como saúde, educação, emprego e serviços públicos (Chen et al., 2021). Embora frequentemente apresentados como neutros e objetivos, esses sistemas incorporam, muitas vezes de forma invisível, preconceitos estruturais presentes nos dados de treinamento, nas arquiteturas de modelo e nos próprios processos de design (Hupffer et al., 2023). Entre os grupos mais vulneráveis a essas discriminações automatizadas estão as pessoas transsexuais, cujas identidades desafiam as categorias binárias de gênero que ainda predominam na construção algorítmica (Bomfim et al., 2023). Tecnologias como reconhecimento facial, triagem de currículos e sistemas de autenticação biométrica frequentemente falham em reconhecer corpos, nomes e expressões de gênero não conformes, resultando em exclusão material, como a negação de acesso a contas bancárias ou serviços de saúde, e violência simbólica, ao invalidar identidades legítimas (Kerrigan & Barry, 2023). Plataformas de recrutamento baseadas em inteligência artificial reproduzem estereótipos de gênero, excluindo sistematicamente candidatas e candidatos trans de processos seletivos, mesmo quando qualificados (Sharma, 2024). Essas falhas não são meros erros técnicos, mas sim manifestações de uma lógica de abjeção de mercado, na qual corpos dissidentes são tratados como desviantes ou inválidos pelos sistemas digitais (Bomfim et al., 2023).

Apesar do crescente reconhecimento desses riscos, a literatura ainda carece de estudos que integrem, de forma prática e metodologicamente robusta, soluções técnicas de mitigação de viés com fundamentos éticos e políticos voltados especificamente para a população trans. Enquanto princípios da inteligência artificial ética e desafios regulatórios no Sul Global são discutidos amplamente, poucos trabalhos oferecem protocolos aplicáveis para auditar, corrigir e co-projetar sistemas com comunidades trans (Chen et al., 2021; Hupffer et al., 2023). A necessidade de regulação estatal frente aos danos digitais é evidente, mas faltam modelos concretos de governança que incluam a participação direta dessas populações na definição de critérios de justiça algorítmica (Fieker & Almeida, 2023). A equidade não pode ser reduzida a uma métrica matemática isolada; ela precisa ser entendida como um princípio orientador que atravessa todo o ciclo de vida do modelo, desde a coleta de dados até a avaliação de impacto social. A ausência de conjuntos de dados representativos e a padronização de categorias rígidas, como o binarismo de gênero, são fontes estruturais de injustiça algorítmica (Le Quy et al., 2022). Quando os dados não contemplam a diversidade de corpos, expressões e identidades, o próprio conceito de desempenho justo torna-se uma ilusão técnica, pois o modelo é treinado para otimizar resultados em uma realidade parcial e excludente.

Essa distorção é particularmente crítica em sistemas que lidam com reconhecimento facial, autenticação biométrica ou triagem de currículos, onde a falha em identificar corretamente uma pessoa trans não é um erro de margem, mas uma violência material que nega acesso a direitos fundamentais. A equidade em inteligência artificial exige mais do que a aplicação de restrições de justiça durante o treinamento, demandando uma revisão profunda dos pressupostos que guiam a construção dos dados, a definição das variáveis sensíveis e os próprios critérios de sucesso do modelo (Venkatasubbu & Krishnamoorthy, 2022). Maximizar a acurácia geral pode mascarar disparidades gritantes entre subgrupos, onde um sistema pode apresentar elevada precisão global, mas falhar sistematicamente com pessoas trans não-binárias. Métricas que comparam desempenho entre grupos tornam-se indispensáveis para revelar essas assimetrias ocultas. Além disso, a equidade algorítmica precisa ser pensada de forma contextual e interseccional, considerando como raça, classe, deficiência e localização geográfica interagem com a identidade de gênero para produzir formas específicas de vulnerabilidade. Muitos dos conjuntos de dados disponíveis publicamente, mesmo os que se propõem a ser justos, carecem dessa complexidade, reproduzindo uma visão homogeneizada e frequentemente ocidentalizada das identidades (Le Quy et al., 2022).

A equidade não é um estado final, mas um processo contínuo de escuta, adaptação e responsabilização. Modelos justos exigem governança ética, protocolos de auditoria periódica, canais de reclamação acessíveis aos usuários afetados e mecanismos de reparação quando danos ocorrem (Venkatasubbu & Krishnamoorthy, 2022). No caso das tecnologias que impactam pessoas trans, isso significa ir além do código, envolvendo ativistas, pesquisadores das ciências sociais e usuários reais nas decisões de design. A equidade deve ser o alicerce sobre o qual toda a arquitetura da inteligência artificial é construída, alinhando-se à premissa de que justiça algorítmica é justiça social traduzida em código. O objetivo é investigar como os sistemas de machine learning reproduzem ou amplificam discriminações contra pessoas transsexuais, analisando criticamente os mecanismos técnicos, éticos e sociais envolvidos, e propor diretrizes práticas para a construção de tecnologias mais inclusivas e equitativas.

A abordagem metodológica adotada é interdisciplinar, iterativa e alinhada aos princípios de pesquisa-ação e design participativo. A investigação estruturou-se em cinco etapas sequenciais e interdependentes, iniciando com um processo rigoroso de identificação e seleção de casos reais de discriminação algorítmica contra pessoas transsexuais. Priorizaram-se situações em que a falha algorítmica resultou em danos materiais concretos, como a negação de acesso a serviços de saúde, recusa em processos seletivos ou bloqueio de autenticação digital, configurando o que se denomina discriminação por design (Santos Botelho, 2023). Esses casos manifestam uma lógica estrutural que opera sob o paradigma da abjeção de mercado, excluindo corpos dissidentes do circuito de reconhecimento técnico e social (Bomfim et al., 2023). A escolha por contextos variados, como reconhecimento facial, triagem em recursos humanos e saúde digital, permitiu mapear como diferentes domínios tecnológicos reproduzem mecanismos semelhantes de exclusão, reforçando a tese de que o viés não é acidental, mas sistêmico (Bagatini, 2022).

Para garantir a robustez da análise, cada caso foi avaliado quanto à disponibilidade de dados técnicos, incluindo acesso ao código-fonte, documentação de falhas e conjuntos de dados de treinamento. Esse critério metodológico alinha-se à necessidade de transparência em sistemas de alto risco, viabilizando não apenas a descrição qualitativa dos danos, mas também a replicação controlada dos erros em ambiente experimental (Marinho et al., 2025). As fontes primárias incluíram relatórios técnicos de institutos especializados e denúncias coletadas em fóruns digitais, onde usuários trans relatam as violências cotidianas impostas por interfaces digitais. Esses relatos foram tratados como dados válidos e estruturantes, especialmente no contexto do Sul Global, onde a ausência de regulação efetiva exige maior escuta das comunidades afetadas (Hupffer et al., 2023). Paralelamente, realizou-se uma revisão sistemática da literatura seguindo protocolos estabelecidos para mapear soluções técnicas e lacunas conceituais no campo da inteligência artificial inclusiva (Silva, 2021). A análise revelou que menos de 7% dos estudos abordam explicitamente identidades trans ou não-binárias, o que configura uma cegueira epistemológica que perpetua a invisibilidade técnica (Le Quy et al., 2022; Venkatasubbu & Krishnamoorthy, 2022).

A rigidez binária dos conjuntos de dados não é neutra, mas uma escolha política que naturaliza categorias normativas e exclui identidades dissidentes (Costa & Kremer, 2022). Para aprofundar a análise técnica, examinaram-se modelos de código aberto cujas arquiteturas e metadados permitiram identificar pontos críticos de falha, como a ausência de rótulos não-binários ou a sub-representação de expressões de gênero trans. Intervenções intencionais na fase de pré-processamento são necessárias para mitigar esses problemas (Loganathan, 2025). A metodologia incorporou uma perspectiva crítica sobre as ferramentas de auditoria algorítmica, reconhecendo que mesmo bibliotecas avançadas exigem que seus usuários desenvolvam modelos mentais estruturais para interpretar corretamente as métricas de equidade (Thompson, 2021). A responsabilidade algorítmica não pode ser delegada a ferramentas automatizadas; exige formação ética, diversidade de perspectivas e compromisso político (Baeza-Yates & Fayyad, 2024).

O processo sistemático de identificação de casos focou em três domínios: reconhecimento facial, triagem automatizada em recursos humanos e plataformas de saúde digital. A seleção baseou-se em impacto social significativo, diversidade de contextos técnicos e disponibilidade de documentação ou código-fonte (Bomfim et al., 2023). Para a coleta de dados técnicos, aplicaram-se estratégias de análise de código aberto de modelos em repositórios públicos, com foco em redes neurais convolucionais, e extração de metadados de bases públicas para avaliação da representatividade de gênero (Silva, 2021). A análise técnica detalhada do pipeline algorítmico contemplou a origem e qualidade dos dados de treinamento, a arquitetura do modelo e as métricas de avaliação, contrastando o desempenho geral com métricas de equidade. Adotaram-se métricas específicas de justiça, como a comparação das taxas de verdadeiros positivos e falsos positivos entre grupos cis e trans, a avaliação da distribuição proporcional de decisões positivas e a razão entre a taxa de aprovação do grupo desfavorecido e do grupo privilegiado, utilizando o limiar de 0,8 como referência de equidade.

A identificação dos vieses seguiu uma taxonomia que distingue viés de amostragem, viés de rotulagem e viés de interpretação (Costa & Kremer, 2022). Com base no diagnóstico, desenvolveram-se intervenções técnicas e processuais orientadas por metodologias ágeis e princípios de ética digital (Gomes, 2022; Biondi & Cernev, 2023). As ações incluíram a geração de dados sintéticos representativos utilizando redes generativas adversárias, criando 5.000 imagens faciais de pessoas trans não-binárias, transmasculinas e transfemininas, com variação controlada de idade, tom de pele e expressão. Esse volume foi definido com base em estudos de potência estatística para detecção de diferenças significativas em métricas de equidade, considerando parâmetros de significância de 0,05 e poder estatístico de 0,8. Além disso, realizou-se a revisão e expansão de rótulos em bases de dados para incluir categorias como não-binário, transmasculino e transfeminino, fundamentadas em diretrizes de autodeterminação de gênero (Butler, 1990).

Durante o treinamento, implementaram-se restrições de equidade para minimizar disparidades entre grupos. A auditoria algorítmica participativa utilizou ferramentas especializadas para realizar auditorias iterativas com foco em métricas de impacto díspar e erro por subgrupo. Os resultados foram validados em grupos focais com 12 pessoas trans, recrutadas por amostragem por conveniência e técnica de bola de neve, seguindo protocolos éticos de consentimento informado e anonimização. As intervenções foram ancoradas em um referencial teórico interdisciplinar, utilizando a noção de performatividade para questionar a naturalização de categorias binárias e o framework de justiça no design para garantir que as soluções priorizassem as necessidades das comunidades marginalizadas (Butler, 1990; Costanza-Chock, 2020). As propostas foram alinhadas aos princípios da Lei Geral de Proteção de Dados e do Regulamento de Inteligência Artificial da União Europeia, especialmente no que tange à transparência e ao direito à explicação (Fieker & Almeida, 2023).

A validação combinou abordagens quantitativas e qualitativas, comparando o desempenho de modelos de referência sem intervenção com modelos mitigados. Utilizaram-se conjuntos de teste balanceados com 2.000 imagens por grupo e simulações de cenários reais. Na avaliação qualitativa, aplicou-se um questionário de satisfação com escala Likert de cinco pontos para mensurar a percepção de inclusão e respeito à identidade de gênero (Yin, 2016). Realizou-se também um benchmarking com modelos comerciais para contextualizar os resultados no estado da arte industrial. O mapeamento do pipeline algorítmico revelou padrões estruturais de exclusão que vão além de falhas pontuais, sendo a ausência de representatividade uma consequência direta de escolhas técnicas e políticas que naturalizam categorias normativas (Le Quy et al., 2022).

A constatação mais crítica foi a presença sistêmica de três tipos de viés. O viés de amostragem manifestou-se na sub-representação ou total ausência de corpos trans e não-binários em bases de dados amplamente utilizadas para modelos industriais de reconhecimento facial. Esse apagamento técnico opera como uma forma de discriminação por dados, onde a invisibilidade estatística se traduz em exclusão funcional (Bagatini, 2022). O viés de rotulagem revelou-se na imposição de categorias binárias que ignoram a autodeterminação de gênero, um processo de biologização algorítmica que reinscreve no código as hierarquias que marginalizam identidades dissidentes (Lockhart, 2023). O viés de interpretação evidenciou-se na incapacidade dos sistemas de reconhecer nomes sociais ou expressões de gênero não conformes, resultando em falhas classificadas como algoritmos discriminatórios por design (Santos Botelho, 2023).

Os resultados quantitativos foram alarmantes: em modelos sem intervenção, a taxa de erro para pessoas trans chegou a ser 4,3 vezes maior do que para pessoas cisgêneras, com disparidades críticas em métricas de falso negativo, o que significa negação de acesso a serviços essenciais. No Sul Global, onde a regulação de inteligência artificial ainda é incipiente, os danos causados por esses vieses são amplificados por estruturas institucionais frágeis (Hupffer et al., 2023). A geração de 5.000 imagens sintéticas visou não apenas balancear os conjuntos de dados, mas desestabilizar a hegemonia das categorias binárias no treinamento (Loganathan, 2025). A revisão crítica de bases de dados públicas propôs a inclusão de rótulos plurais com base em diretrizes de autodeterminação e justiça no design (Butler, 1990; Costanza-Chock, 2020).

Para garantir que as intervenções não fossem superficiais, implementaram-se restrições de equidade durante o treinamento e utilizaram-se ferramentas de auditoria. Contudo, essas ferramentas só são eficazes se os usuários desenvolverem modelos mentais estruturais capazes de interpretar criticamente as métricas (Thompson, 2021). Realizaram-se sessões de capacitação focando na distinção entre acurácia geral e equidade por subgrupo (Le Quy et al., 2022). A participação ativa de pessoas trans no processo de design, por meio de grupos focais, permitiu iterações rápidas baseadas em feedback qualitativo, essencial para alinhar inovação técnica e responsabilidade social (Gomes, 2022; Biondi & Cernev, 2023). Os participantes foram tratados como co-projetistas, incorporando conhecimento situado às decisões técnicas (Costanza-Chock, 2020).

As propostas foram ancoradas em marcos regulatórios e no conceito de Avaliação de Impacto Algorítmico, que exige transparência e mecanismos de contestação em sistemas de alto risco (Fieker & Almeida, 2023; Marinho et al., 2025). A responsabilidade algorítmica exige governança humana, diversa e interdisciplinar (Baeza-Yates & Fayyad, 2024). As simulações de cenários reais demonstraram uma redução de 78% na taxa de erro para o grupo trans após as intervenções, além de um aumento significativo na razão de paridade demográfica, que subiu de 0,64 para 0,92. Na avaliação qualitativa, houve uma melhora de 89% na percepção de respeito à identidade de gênero. A mitigação de vieses exige uma reconfiguração ética, política e metodológica do processo de desenvolvimento (Hupffer et al., 2023). A discriminação é um produto estrutural de escolhas técnicas que naturalizam categorias normativas, configurando discriminação por design (Santos Botelho, 2023).

Colocar as necessidades e direitos das pessoas trans no centro do desenvolvimento permite transformar a inteligência artificial em uma ferramenta de justiça social (Chen et al., 2021; Perilo & Valença, 2024). Isso exige que técnicas de justiça sejam combinadas com processos participativos e responsabilização institucional. A perspectiva das pessoas afetadas deve ser incorporada desde a coleta de dados, seguindo recomendações para a mitigação de viés como prática contínua (Costanza-Chock, 2020; Loganathan, 2025). A equidade algorítmica mede-se pela capacidade do sistema de reconhecer e respeitar identidades historicamente apagadas (Venkatasubbu & Krishnamoorthy, 2022). Desenvolvedores devem superar modelos mentais reducionistas para compreender os vieses sociais incorporados aos dados (Thompson, 2021). A neutralidade do código é uma ilusão perigosa.

O viés de amostragem não é

Referências Bibliográficas:

Baeza-Yates, R., & Fayyad, U. M. (2024). Responsible AI: An urgent mandate. IEEE Intelligent Systems, 39(1), 12-17.

Bagatini, José Augusto. (2022). Discriminação por dados: uma análise a partir da literatura científica internacional. Universidade Estadual Paulista (Unesp), 2022.

Bomfim, R., Januzzi, G., & MáximoTeodoro, M. C. (2023). Abjeção de mercado: uma análise acerca da discriminação algorítmica de pessoas trans. Revista Videre, 15(32), 285-303.

Chen, I. Y., Pierson, E., Rose, S., Joshi, S., Ferryman, K., & Ghassemi, M. (2021). Ethical machine learning in healthcare. Annual review of biomedical data science, 4(1), 123-144.

Costa, R. S., & Kremer, B. (2022). Inteligência artificial e discriminação: desafios e perspectivas para a proteção de grupos vulneráveis frente às tecnologias de reconhecimento facial. Revista Brasileira de Direitos Fundamentais & Justiça, 16(1).

Fieker, S. J. S., & de Almeida, D. A. L. (2023). O papel do estado na proteção da liberdade e a regulação do discurso de ódio na internet. Revista Ibero-Americana de Humanidades, Ciências e Educação, 9(11), 819-836.

Hupffer, H. M., Engelmann, W., & Blauth, T. F. (Orgs.). (2023). Inteligência artificial no sul global: regulação, riscos discriminatórios, governança e responsabilidades [recurso eletrônico]. Casa Leiria. http://www.guaritadigital.com.br/casaleiria/acervo/direito/ianosulglobal/index.html

Kerrigan, P., & Barry, M. (2023). Automating vulnerability: Algorithms, artificial intelligence and machine learning for gender and sexual minorities. In Routledge Handbook of Sexuality, Gender, Health and Rights (pp. 164-173). Routledge.

Le Quy, T., Roy, A., Iosifidis, V., Zhang, W., & Ntoutsi, E. (2022). A survey on datasets for fairness‐aware machine learning. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 12(3), e1452.

Loganathan, M. (2025). Improving fairness in AI systems: A framework for bias mitigation (Unpublished document submitted in partial fulfilment of the requirements for the degree of Master of Applied Technologies (Computing)). Unitec, Te Pūkenga – New Zealand Institute of Skills and Technology https://hdl.handle.net/10652/6948

Marinho, M. E., Caldas, C. O., & de Aguiar, T. C. L. (2025). O PAPEL DO RELATÓRIO DE AVALIAÇÃO DE IMPACTO ALGORITIMICO PARA O FOMENTO DE SISTEMAS DE IA ÉTICOS BY DESIGN. Novos Estudos Jurídicos, 30(1), 103-129.

Santos Botelho, Catarina. Algoritmos discriminatórios (Discriminatory Algorithms). In: I Congresso Almedina Inteligência Artificial e Direito, Almedina. 2023. p. 27-35.

Sharma, P. (2024, December). Artificial Intelligence and Transgender People Friendly Hiring Practices: Opportunities and Challenges. In 2024 IEEE 4th International Conference on ICT in Business Industry & Government (ICTBIG) (pp. 1-4). IEEE.

Silva, R. M. (2021). Desenvolvimento de aplicativos móveis: Boas práticas e tendências. Editora Senac.

Thompson, J. (2021). Mental Models and Interpretability in AI Fairness Tools and Code Environments. In: Stephanidis, C., et al. HCI International 2021 – Late Breaking Papers: Multimodality, eXtended Reality, and Artificial Intelligence. HCII 2021. Lecture Notes in Computer Science(), vol 13095. Springer, Cham. https://doi.org/10.1007/978-3-030-90963-5_43

Venkatasubbu, S., & Krishnamoorthy, G. (2022). Ethical considerations in AI addressing bias and fairness in machine learning models. Journal of Knowledge Learning and Science Technology ISSN: 2959-6386 (online), 1(1), 130-138.

Resumo executivo oriundo de Trabalho de Conclusão de Curso da Especialização em Engenharia de Software do MBA USP/Esalq

Para saber mais sobre o curso, clique aqui e acesse a plataforma MBX Academy