Resumo Executivo

Rodrigo Matiolli Pavloff; Henrique Raymundo Gioia

Resumo elaborado pela ferramenta ResumeAI, solução de inteligência artificial desenvolvida pelo Instituto Pecege voltada à síntese e redação.

Este estudo investiga a aplicação de técnicas de mitigação de viés algorítmico para promover decisões mais justas em sistemas de machine learning, usando como caso a base de dados COMPAS (Correctional Offender Management Profiling for Alternative Sanctions). A pesquisa demonstra como intervenções técnicas podem reduzir disparidades discriminatórias nas previsões de risco de reincidência criminal, com a raça como atributo sensível, propondo um protocolo replicável que articula métricas de equidade e desempenho preditivo. A crescente automação de decisões em setores críticos, como o judiciário, levanta preocupações sobre a perpetuação de desigualdades, pois modelos de machine learning podem apresentar viés algorítmico e gerar decisões discriminatórias contra grupos marginalizados (Barocas et al., 2019).

O viés algorítmico origina-se de fatores complexos, como vieses históricos nos dados de treinamento, seleção de variáveis e a arquitetura dos modelos (Mitchell et al., 2021). O software COMPAS, usado nos EUA para prever reincidência criminal, é um caso emblemático. Uma investigação da ProPublica revelou que o modelo exibia vieses raciais significativos, classificando réus negros como de alto risco com frequência desproporcionalmente maior que réus brancos, mesmo quando não reincidiam (Angwin et al., 2016). Em contrapartida, réus brancos eram frequentemente subestimados, recebendo classificações de baixo risco mesmo quando cometiam novos crimes.

Este cenário revela um paradoxo. Enquanto estudos como o de Brennan et al. (2009) validaram a capacidade preditiva agregada do COMPAS com métricas como AUC-ROC, análises focadas em equidade expuseram discriminações estruturais. A análise das taxas de falsos positivos e falsos negativos por grupo racial demonstrou que o custo do erro do modelo não era distribuído de forma equitativa, penalizando sistematicamente a população negra (Mehrabi et al., 2021). Esse descompasso entre acurácia geral e equidade para subgrupos mostra a insuficiência de métricas de desempenho convencionais para avaliar sistemas em contextos socialmente sensíveis.

Casos como o do COMPAS ilustram como modelos preditivos, mesmo tecnicamente precisos em nível macro, podem reforçar desigualdades ao operar sobre dados históricos contaminados por disparidades estruturais (O’Neil, 2016; Noble, 2018). Essa realidade impulsionou a pesquisa para avaliar e mitigar o viés algorítmico. A literatura propõe diversas abordagens, aplicáveis em diferentes estágios do ciclo de vida do modelo: técnicas de pré-processamento, que ajustam os dados antes do treinamento (Kamiran et al., 2012); técnicas de in-processamento, que modificam os algoritmos para incorporar restrições de equidade (Zemel et al., 2013); e técnicas de pós-processamento, que ajustam as previsões do modelo para garantir resultados mais equitativos (Hardt et al., 2016).

Este estudo oferece uma análise prática sobre os mecanismos de discriminação algorítmica. A crítica ao uso de modelos de “caixa-preta” em decisões de alto impacto (Rudin et al., 2022) reforça a necessidade de modelos interpretáveis e de uma reavaliação sobre como sistemas preditivos são implementados em domínios sensíveis (Barocas e Selbst, 2016). Ao focar na base de dados COMPAS, este trabalho não apenas replica análises de viés, mas avança ao testar e comparar sistematicamente diferentes estratégias de mitigação, com o objetivo de fornecer um framework metodológico adaptável para outros contextos.

A metodologia utilizou a base de dados COMPAS Two-Year Recidivism Dataset (Kaggle, 2023; Angwin et al., 2016), que contém informações de mais de 7.000 indivíduos do condado de Broward, Flórida, incluindo variáveis demográficas, criminais e o indicador de reincidência em dois anos. A seleção e tratamento das variáveis foram guiados por estudos anteriores que alertam para os riscos da automação de decisões sensíveis. Trabalhos como o de Dressel e Farid (2018) corroboraram os achados da ProPublica, enquanto Barrocas e Selbst (2016) destacaram como dados desbalanceados e variáveis sensíveis podem amplificar vieses.

O processo metodológico iniciou-se com uma análise exploratória de dados e pré-processamento. Foram utilizados histogramas, gráficos de dispersão e mapas de calor de correlação para compreender as distribuições e relações entre as variáveis. Registros com valores ausentes em colunas essenciais foram removidos, assim como variáveis com baixa correlação com o alvo (ex: juvmisdcount, vscoretext). Variáveis categóricas, como sexo e grau da acusação, foram transformadas utilizando one-hot encoding, prática recomendada para evitar a imposição de uma ordem artificial em categorias nominais (Kamiran e Calders, 2012).

Uma decisão metodológica crucial foi não remover a variável sensível “raça”. Embora pareça uma solução intuitiva, a literatura demonstra que tal abordagem é ineficaz, pois outras variáveis (ex: bairro, histórico criminal) podem funcionar como proxies, carregando indiretamente a informação racial e perpetuando a discriminação (Williams et al., 2018). A exclusão de atributos pode, ainda, reduzir a performance preditiva sem eliminar o viés. Portanto, optou-se pela aplicação explícita de técnicas de mitigação que permitem um controle direto sobre o equilíbrio entre acurácia e justiça. A implementação foi realizada em Python, com as bibliotecas Pandas, NumPy, Scikit-learn e Fairlearn para análise e mitigação de viés (Bird et al., 2020).

Na modelagem, foram selecionados três algoritmos: Regressão Logística, como modelo de base (Hastie et al., 2009); Random Forest, por sua capacidade de capturar interações não-lineares (Breiman, 2001); e Gradient Boosting (XGBoost), por seu alto poder preditivo, embora seja um modelo “caixa-preta” (Chen & Guestrin, 2016; Molnar, 2020). Os modelos foram avaliados com validação cruzada k-fold e um conjunto de métricas de desempenho (acurácia, F1-score, AUC-ROC) e de justiça (Paridade Demográfica, Igualdade de Oportunidade) (Hardt et al., 2016). As estratégias de mitigação testadas foram Exponentiated Gradient e Grid Search (in-processamento) e Threshold Optimizer (pós-processamento), implementadas via Fairlearn.

Os resultados iniciais, sem mitigação, confirmaram a presença de viés algorítmico. Os modelos alcançaram acurácias gerais entre 64,3% e 69,2%, mas esses valores mascaravam disparidades raciais. A métrica de Paridade Demográfica, que mede a diferença nas taxas de previsão positiva entre grupos, variou de 0,173 a 0,249, indicando viés moderado a elevado. O modelo de Regressão Logística, com a maior acurácia (69,2%), também exibiu o maior viés (0,249), ilustrando o trade-off entre performance e equidade (Kleinberg et al., 2018).

Este padrão reforça conclusões de estudos anteriores sobre o COMPAS. As análises de precisão, sensibilidade e F1-score também revelaram desequilíbrios, mostrando que os erros de classificação não eram distribuídos uniformemente. Especificamente, os modelos geraram uma taxa de falsos positivos desproporcionalmente maior para réus negros. Este achado corrobora a investigação da ProPublica, que identificou que réus negros tinham 45% mais chances de serem falsamente classificados como de alto risco em comparação com réus brancos com perfis similares (Angwin et al., 2016). Os resultados brutos serviram como linha de base para justificar as intervenções de mitigação.

Na segunda fase, foram aplicadas as técnicas de mitigação Exponentiated Gradient, Grid Search e Threshold Optimizer. Todas reduziram o viés, mas com impactos variados na acurácia. O Exponentiated Gradient foi eficaz na redução da disparidade: no modelo de Regressão Logística, a Paridade Demográfica caiu de 0,249 para 0,032. Contudo, a acurácia geral diminuiu para 53,3%, e o F1-score para 0,420, um desempenho preditivo muito baixo para aplicação prática.

A abordagem de Grid Search apresentou um desempenho mais equilibrado. No modelo de Gradient Boosting, a Paridade Demográfica foi reduzida para 0,096, um nível aceitável, enquanto a acurácia se manteve em 60,5%. No entanto, os valores de F1-score para todos os modelos com Grid Search permaneceram abaixo de 0,61, indicando uma capacidade preditiva marginalmente superior a uma classificação aleatória, inadequada para sistemas de apoio à decisão judicial.

A técnica de Threshold Optimizer, uma abordagem de pós-processamento, emergiu como a estratégia mais promissora. Este método ajusta os limiares de decisão de forma independente para cada grupo sensível, buscando equilibrar as taxas de erro. Sua vantagem é atuar na fase final, sem modificar o modelo ou os dados. Os resultados foram notáveis: o Threshold Optimizer reduziu a Paridade Demográfica para valores próximos de zero em todos os modelos (0,002 para Regressão Logística, 0,011 para Random Forest e 0,005 para Gradient Boosting), alcançando equidade quase perfeita. Essa redução drástica do viés foi obtida com impacto mínimo na acurácia, que se manteve em torno de 67%, e com os maiores valores de F1-score entre as abordagens mitigadas, chegando a 0,643 no modelo de Gradient Boosting.

A análise comparativa final, focada no F1-score, consolidou o Threshold Optimizer como a abordagem superior. Enquanto os modelos brutos apresentavam os maiores F1-scores (até 0,675) ao custo de um viés inaceitável, o Exponentiated Gradient sacrificou o desempenho preditivo. O Threshold Optimizer conseguiu uma redução de viés comparável à do Exponentiated Gradient, mas preservando um nível de desempenho próximo ao dos modelos originais, alinhado com a literatura que sugere que técnicas de pós-processamento podem oferecer um excelente equilíbrio entre justiça e performance (Bird et al., 2020).

A análise das variáveis mais importantes nos modelos de árvore (Random Forest e Gradient Boosting) revelou que o número de condenações anteriores (priors_count) e a idade foram os preditores mais influentes. Este achado é consistente com o trabalho de Dressel e Farid (2018). No entanto, isso destaca um problema central: essas variáveis, embora aparentemente neutras, podem atuar como proxies para desigualdades raciais sistêmicas. Se um grupo racial é historicamente mais policiado, o uso do histórico criminal como principal preditor inevitavelmente reproduzirá esse viés.

Apesar do sucesso do Threshold Optimizer, uma limitação crítica persiste. Mesmo o melhor modelo mitigado alcançou um F1-score de apenas 0,643 e uma acurácia de 67,2%. Embora ligeiramente superior à acurácia do sistema COMPAS original (cerca de 65%), este desempenho é insuficiente para justificar a implantação de um sistema automatizado em decisões de alto impacto, como sentenças ou liberdade condicional. Um modelo que erra em um terço dos casos representa um risco inaceitável. Os achados corroboram que a mitigação técnica é uma ferramenta necessária, mas não suficiente, para garantir a justiça algorítmica.

Os resultados deste estudo confirmam que modelos de machine learning treinados em dados socialmente sensíveis tendem a reproduzir vieses estruturais, mesmo com alta acurácia agregada. A análise da base COMPAS demonstrou que algoritmos padrão geram previsões de reincidência com disparidades raciais significativas. A aplicação de técnicas de mitigação, via biblioteca Fairlearn, provou ser eficaz para reduzir essas desigualdades. A abordagem de pós-processamento Threshold Optimizer destacou-se por alcançar um equilíbrio notável entre justiça e desempenho, reduzindo a paridade demográfica para perto de zero com perdas mínimas de acurácia. No entanto, a capacidade preditiva dos modelos mitigados, com F1-score não superior a 0,65, permanece insuficiente para aplicações de alto impacto.

Este estudo reforça a inadequação da simples exclusão de variáveis sensíveis, pois atributos correlacionados (proxies) podem perpetuar a discriminação. A aplicação de métodos explícitos de fairness permite um enfrentamento mais transparente do problema. A escolha da estratégia de mitigação deve considerar o contexto da aplicação e o impacto social dos erros. Os achados sublinham a importância de avaliar modelos não apenas por métricas de desempenho, mas também pela ótica da justiça algorítmica. Conclui-se que o objetivo foi atingido: demonstrou-se que a aplicação de técnicas de mitigação, especialmente o Threshold Optimizer, pode reduzir drasticamente o viés racial em modelos preditivos de reincidência criminal, embora a performance preditiva resultante ainda seja insuficiente para uma implementação segura em cenários de alto impacto.

Referências:
Agarwal, A.; Beygelzimer, A.; Dudík, M.; Langford, J.; Wallach, H. 2018. A reductions approach to fair classification. Proceedings of the 35th International Conference on Machine Learning 80: 60-69.
Angwin, J.; Larson, J.; Mattu, S.; Kirchner, L. 2016. Machine bias: There’s software used across the country to predict future criminals. And it’s biased against blacks. ProPublica. Nova York, NY, EUA. Disponível em: https://www. propublica. org/article/machine-bias-risk-assessments-in-criminal-sentencing. Acesso em 12 março 2025
Barocas, S.; Hardt, M.; Narayanan, A. 2019. Fairness and machine learning: Limitations and opportunities. Disponível em: https://fairmlbook. org/. Acesso em 14 março 2025
Barocas, S.; Selbst, A. D. 2016. Big data’s disparate impact. California Law Review 104(3): 671-732.
Bellamy, R. K. E. et al. 2018. AI fairness 360: An extensible toolkit for detecting and mitigating algorithmic bias. IBM Journal of Research and Development 63(4/5): 4:1-4:15.
Binns, R. 2018. Fairness in machine learning: Lessons from political philosophy. Proceedings of the 2018 Conference on Fairness, Accountability and Transparency (FAT): 149–159.
Bird, S.; Hutchinson, B.; Kenthapadi, K. Fairlearn: A toolkit for assessing and improving fairness in AI. Microsoft Research, 2020. Disponível em: https://fairlearn. org. Acesso em: 04 jun. 2025.
Breinan, L. Random Forests. Machine Learning, v. 45, n. 1, p. 5-32, 2001.
Brennan, T.; Dieterich, W.; Ehret, B. 2009. Evaluating the predictive validity of the COMPAS risk and needs assessment system. Criminal Justice and Behavior 36(1): 21-40.
Chen, T.; Guestrin, C. XGBoost: A scalable tree boosting system. In: PROCEEDINGS OF THE 22ND ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING. San Francisco, CA: ACM, 2016. p. 785-794.
Cowgill, B.; Dell’Acqua, F.; Deng, S. 2021. Biased programmers? Or biased data? A field experiment in operationalizing AI ethics. Proceedings of the 2021 ACM Conference on Economics and Computation: 679–681.
Dressel, J.; Farid, H. The accuracy, fairness, and limits of predicting recidivism. Science Advances, v. 4, n. 1, 2018.
Friedman, J. H. Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, v. 29, n. 5, p. 1189–1232, 2001
Hardt, M.; Price, E.; Srinivasan, N. 2016. Equality of opportunity in supervised learning. Advances in Neural Information Processing Systems 29: 1-9.
Hastie, T.; Tibshirani, R.; Friedman, J. The Elements of Statistical Learning. 2nd ed. New York: Springer, 2009.
Holstein, K.; Wortman Vaughan, J.; Daumé III, H.; Dudik, M.; Wallach, H. 2019. Improving fairness in machine learning systems: What do industry practitioners need? Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems: 1–16.
Howmes, D. W.; Lemeshow, S.; Sturdivant, R. X. Applied Logistic Regression. 3rd ed. Wiley, 2013.
Kaggle. COMPAS Dataset. Kaggle, 2023. Disponível em: https://www. kaggle. com/datasets/danofer/compas-scores-two-years. Acesso em: 25 maio. 2025.
Kamiran, F.; Calders, T. 2012. Data preprocessing techniques for classification without discrimination. Knowledge and Information Systems 33(1): 1-33.
Mehrabi, N.; Morstatter, F.; Saxena, N.; Lerman, K.; Galstyan, A. 2021. A survey on bias and fairness in machine learning. ACM Computing Surveys 54(6): 1-35.
Mitchell, S.; Koo, B.; Rich, J.; Doss, C.; Zhao, X. 2021. Algorithmic fairness: Choices, assumptions, and definitions. Annual Review of Statistics and Its Application 8: 1-19.
Mittelstadt, B. D.; Allain, P. The ethics of algorithms: Mapping the debate. Big Data & Society, v. 3, n. 2, p. 1–21, 2016.
Molnar, C. Interpretable Machine Learning. 2020. Disponível em: https://christophm. github. io/interpretable-ml-book/. Acesso em: 30 maio 2025.

Resumo executivo oriundo de Trabalho de Conclusão de Curso de Especialização em Data Science e Analytics do MBA USP/Esalq

_{Saiba mais sobre o curso; clique aqui:}