20 de agosto de 2026
Deep Learning e o Paradoxo da Percepção Artificial: Comparação de Modelos na Detecção de Deepfakes
Ariane Hayana Thomé de Farias; Lucas Augusto Vieira Brito
DOI: 10.22167/2675-6528-202601726
Artigo derivado de Trabalho de Conclusão de Curso (TCC), com conteúdo baseado no trabalho original do aluno e adaptado ao formato editorial da Revista E&S com apoio da ferramenta ResumeAI, solução de inteligência artificial desenvolvida pelo Instituto Pecege para síntese e organização textual.
Resumo
A crescente disseminação de deepfakes, conteúdos manipulados por inteligência artificial, tornou-se um desafio significativo, dificultando a identificação humana e criando um paradoxo onde a própria IA é a principal ferramenta de detecção. Investigou-se e comparou-se três arquiteturas de aprendizado profundo – EfficientNet-B3, Xception e ViT-B/16 – para a detecção automática de deepfakes em vídeos. A metodologia seguiu as seis etapas do CRISP-DM, utilizando as bases de dados FaceForensics++ e Deep Fake Detection para treinamento, totalizando 166.896 faces extraídas de aproximadamente 16.000 vídeos com o detector MTCNN. A avaliação incluiu um conjunto hold-out isolado e a base Celeb-DF v2 para teste de generalização com dados externos. O EfficientNet-B3 obteve o melhor desempenho geral, com AUC de 0,9531 no hold-out e 0,9119 por vídeo no Celeb-DF v2. O Xception apresentou resultado equivalente, com AUC de 0,9319 e 0,9097, respectivamente. O modelo ViT-B/16 não convergiu adequadamente nas condições adotadas. As arquiteturas convolucionais avaliadas demonstraram elevada capacidade de detecção de deepfakes, mas apresentaram limitações na generalização para domínios não vistos durante o treinamento, como observado no Celeb-DF v2.
Palavras-chave: Análise de vídeos; Generalização entre bases; Redes convolucionais; Visão computacional.
1. Introdução
Nos últimos anos, a sociedade tem testemunhado avanços notáveis no campo da Inteligência Artificial (IA), marcando uma era de transformações industriais impulsionadas pelo desenvolvimento de tecnologias de ponta. O aprendizado de máquina, em particular, tem sido um motor fundamental para esse progresso (Ludermir, 2021). Tais inovações se manifestam em diversas aplicações, que vão desde o suporte ao diagnóstico de doenças na área da saúde e a operação de carros autônomos, até a identificação de pessoas em imagens e a crescente popularidade de assistentes virtuais baseados em IA.
A rápida expansão das tecnologias digitais resultou em uma constante inundação de informações, gerando desafios significativos relacionados à credibilidade e autenticidade dos conteúdos. Nesse cenário, a desinformação se propaga em larga escala, ameaçando a segurança digital e a capacidade humana de discernir entre o verdadeiro e o falso. O avanço tecnológico potencializou esse fenômeno, especialmente com a criação de conteúdos manipulados conhecidos como deepfakes. Estes atingem níveis crescentes de sofisticação, tornando sua detecção um desafio até mesmo para modelos tradicionais de IA.
O termo deepfake, uma fusão de deep learning e fake, refere-se à criação de conteúdos falsos por meio da sobreposição ou substituição do rosto de uma pessoa-alvo com características de uma pessoa-fonte. Essa manipulação é comumente denominada face-swap. Além disso, outras categorias de deepfakes incluem lip-sync, que sincroniza movimentos labiais em um vídeo com gravações de áudio falsas, e puppet-master, onde o vídeo de uma pessoa é manipulado para replicar movimentos e expressões de outra (Nguyen et al., 2022).
Diante da crescente sofisticação das técnicas de criação de deepfakes, a identificação desses conteúdos torna-se cada vez mais complexa e desafiadora (Rafique et al., 2023). Surge, então, o paradoxo da percepção artificial: a inteligência artificial, que aprimora a criação desses conteúdos, também se estabelece como um dos principais recursos para sua detecção e combate. A percepção humana, baseada no reconhecimento visual e sonoro de mídias digitais, já não é suficiente para identificar falsificações realistas.
Os efeitos adversos da disseminação de deepfakes são amplamente discutidos na literatura, com especial atenção aos cenários eleitorais, onde representam um alto risco para a democracia e a formação da opinião pública. No Brasil, o Tribunal Superior Eleitoral (TSE) atualizou a Resolução nº 23.610/2019 (Brasil, 2024), proibindo explicitamente o uso de conteúdos digitais manipulados, como deepfakes, em propagandas eleitorais. A Resolução nº 23.755/2026 (Brasil, 2026) reforçou essas diretrizes, exigindo a identificação de conteúdos gerados por IA. Essa regulamentação sublinha a urgência de métodos de detecção robustos.
Considerando a complexidade inerente ao tema e a necessidade de avaliar diferentes classificadores para essa tarefa, questiona-se quais modelos de deep learning demonstram maior eficácia na detecção de deepfakes. Assim, este trabalho tem como objetivo investigar e comparar três arquiteturas de aprendizado profundo para a detecção automática de deepfakes em vídeos: EfficientNet-B3 (Tan e Le, 2019), Xception (Chollet, 2017) e ViT-B/16 (Dosovitskiy et al., 2021).
2. Material e Métodos
A metodologia adotada neste estudo seguiu o “Cross Industry Standard Process for Data Mining” (CRISP-DM), um processo iterativo composto por seis fases: entendimento do negócio, compreensão dos dados, preparação dos dados, modelagem, avaliação e implantação (Wirth e Hipp, 2000). A pesquisa caracteriza-se como exploratória e comparativa, com abordagem quantitativa, visando investigar e comparar a eficácia de diferentes arquiteturas de aprendizado profundo na detecção de deepfakes. As etapas foram executadas na plataforma de computação em nuvem Google Colaboratory Pro+, utilizando uma máquina virtual equipada com GPU NVIDIA A100 de 80 GB de VRAM e a linguagem Python.
Entendimento do Negócio
A primeira fase concentrou-se na definição do problema de pesquisa, que se estendeu além da revisão da literatura para abordar a necessidade de um detector de deepfakes capaz de generalizar para domínios não vistos. Identificou-se o “implicit identity leakage” como um fator que compromete a generalização (Dong et al., 2023). Três cenários foram estabelecidos para avaliação: (1) capacidade de distinguir faces reais de manipuladas nos domínios de treinamento; (2) generalização para vídeos não vistos do mesmo conjunto de dados; e (3) detecção de deepfakes de métodos e domínios distintos dos utilizados no treinamento.
Nesta etapa, foram definidas as bases de dados a serem utilizadas. Os conjuntos FaceForensics++ (FFPP) (Rössler et al., 2019) e Deep Fake Detection (DFD) (Dolhansky et al., 2019) foram destinados ao treinamento e validação. Adicionalmente, o Celeb-DF v2 (CDFv2) (Li et al., 2020) foi empregado exclusivamente para a avaliação de generalização, permitindo verificar a capacidade dos modelos em lidar com deepfakes gerados por diferentes domínios e métodos, conforme detalhado na Tabela 1.
Tabela 1. Bases de dados utilizadas
| Base de dados | Referência | Descrição |
|---|---|---|
| FaceForensics++ (FFPP) | Rössler et al. (2019) | Conjunto de dados amplamente utilizado na literatura para detecção de “deepfakes”, composto por vídeos autênticos coletados do YouTube e por vídeos manipulados por diferentes técnicas de manipulação. Neste trabalho, utilizaram-se os dados disponibilizados pelo repositório² FaceForensics++, acessados mediante solicitação prévia de credenciais de uso. |
| Deep Fake Detection (DFD) | Dolhansky et al. (2019) | Esse conjunto consiste em uma base de dados desenvolvida pelo Facebook em parceria com outras instituições, composta por vídeos reais de atores profissionais e por suas respectivas versões manipuladas. Neste trabalho, os dados foram obtidos por meio do repositório² oficial disponibilizado por Rössler et al. (2019). |
| Celeb-DF v2 (CDFv2) | Li et al. (2020) | Trata-se de um conjunto de dados de alta qualidade, composto por vídeos reais de celebridades e por vídeos manipulados gerados com técnicas mais avançadas em comparação às utilizadas no FFPP. A base de dados foi obtida por meio da plataforma Kaggle³, sendo derivada do conjunto original proposto por Li et al. (2020). |
Fonte: Dados originais da pesquisa
A Tabela 1 descreve as três bases de dados utilizadas, destacando suas referências e características principais. O FFPP é um conjunto amplamente utilizado na literatura, composto por vídeos autênticos e manipulados por diversas técnicas. O DFD foi desenvolvido pelo Facebook em parceria com outras instituições, contendo vídeos reais de atores profissionais e suas versões manipuladas. O CDFv2, por sua vez, é um conjunto de alta qualidade com vídeos de celebridades reais e manipulados por técnicas avançadas, servindo como base para o teste de generalização.
Preparação dos Dados
Esta fase envolveu a preparação dos dados para otimizar o desempenho dos modelos. Inicialmente, 20% dos vídeos dos conjuntos FFPP e DFD foram isolados para compor um conjunto de avaliação final (hold-out), garantindo que uma parcela dos dados permanecesse inédita para o teste. A separação dos dados foi realizada por vídeo, e a divisão seguiu conforme apresentado na Tabela 2. Foram utilizados exclusivamente vídeos com compressão c23, padrão adotado na literatura para comparação entre modelos (Rössler et al., 2019).
Tabela 2. Divisão dos dados no estudo
| Base de dados | Reais | Falsos | Total | Razão falso/real | Formato |
|---|---|---|---|---|---|
| FFPP | 1.005 | 5.000 | 6.005 | 4,98 | .mp4 |
| DFD | 363 | 3.068 | 3.431 | 8,45 | .mp4 |
| CDFv2 | 890 | 5.639 | 6.529 | 6,34 | .mp4 |
| Total | 2.258 | 13.707 | 15.965 | 6,07 |
Fonte: Dados originais da pesquisa
A Tabela 2 ilustra a divisão dos dados em três conjuntos principais: Treino/Validação, Hold-Out e Generalização. O conjunto de Treino/Validação, composto por 89.076 faces de 7.548 vídeos do FFPP e DFD, foi utilizado para o treinamento e validação cruzada. O Hold-Out, com 22.073 faces de 1.888 vídeos, serviu para avaliação final. O conjunto de Generalização, com 55.747 faces de 6.529 vídeos do CDFv2, foi empregado para testar a capacidade de generalização dos modelos em dados externos.
A extração das regiões faciais dos vídeos foi realizada utilizando o “Multi-task Cascaded Convolutional Networks” (MTCNN) (Zhang et al., 2016), por meio da biblioteca facenet-pytorch (versão 2.5.3). Essa abordagem focou na análise de faces, em vez de quadros completos, para evitar ruídos e informações irrelevantes que poderiam comprometer o aprendizado (Rössler et al., 2019). Cada vídeo foi representado por um conjunto de 8 a 24 faces, obtidas por amostragem uniforme de 2% dos quadros, com um mínimo de 8 e máximo de 24 faces por vídeo. A Tabela 3 apresenta o total de faces extraídas por rótulo e base de dados.
Tabela 3. Total de faces extraídas por rótulo e base de dados
| Base | Etiqueta | Média | Desvio Padrão | Mín. | P25% | Mediana | P75% | P95% | Máx. |
|---|---|---|---|---|---|---|---|---|---|
| CDFv2 | Fake | 375 | 84 | 165 | 319 | 347 | 456 | 504 | 611 |
| CDFv2 | Real | 386 | 88 | 1 | 318 | 376 | 462 | 502 | 611 |
| DFD | Fake | 718 | 319 | 134 | 467 | 688 | 878 | 1.309 | 1.590 |
| DFD | Real | 890 | 285 | 273 | 732 | 865 | 1.032 | 1.427 | 1.620 |
| FFPP | Fake | 465 | 184 | 287 | 337 | 413 | 528 | 777 | 1.421 |
| FFPP | Real | 500 | 191 | 287 | 358 | 456 | 572 | 905 | 1.385 |
Fonte: Dados originais da pesquisa
A Tabela 3 detalha a quantidade de faces reais e falsas extraídas de cada base de dados. No total, foram extraídas 166.896 faces, sendo 24.529 reais e 142.367 falsas. Essa distribuição evidencia um desbalanceamento significativo entre as classes, o que demandou estratégias específicas de balanceamento para o treinamento dos modelos. A predominância de faces falsas reflete a natureza dos conjuntos de dados, que visam aprimorar a detecção de manipulações.
Para lidar com o desbalanceamento de classes, adotou-se uma estratégia de subamostragem das faces falsas por método de manipulação, limitando a 2.000 faces por método por “fold”. As faces reais disponíveis em cada “fold” foram utilizadas integralmente, sem remoção, para evitar prejuízos ao aprendizado, dado que a classe real já se encontrava em menor quantidade. A Tabela 4 apresenta a distribuição das faces falsas disponíveis e utilizadas por método de manipulação no conjunto de treino.
Tabela 4. Faces falsas disponíveis e utilizadas por método de manipulação no conjunto de treino
| Conjunto | Base | Faces | Vídeos | Utilização |
|---|---|---|---|---|
| Treino/Validação | FFPP + DFD | 89.076 | 7.548 | “K-Fold” estratificado por vídeo (80%) |
| “Hold-Out” | FFPP + DFD | 22.073 | 1.888 | Avaliação final (isolado antes do treino) |
| Generalização | CDFv2 | 55.747 | 6.529 | Teste |
Fonte: Dados originais da pesquisa
A Tabela 4 demonstra como o balanceamento de classes foi aplicado, mostrando as faces falsas disponíveis e as que foram efetivamente utilizadas no treinamento por método de manipulação. Essa configuração resultou em uma distribuição próxima ao equilíbrio entre as classes, preservando a representatividade dos diferentes métodos de manipulação. Além disso, a técnica de data augmentation foi aplicada exclusivamente durante o treinamento para simular as degradações que os deepfakes sofrem, conforme as configurações apresentadas na Tabela 5.
Tabela 5. Transformações de “augmentation”
| Base | Reais | Falsos | Total |
|---|---|---|---|
| FFPP | 10.587 | 49.329 | 59.916 |
| DFD | 6.152 | 45.081 | 51.233 |
| CDFv2 | 7.790 | 47.957 | 55.747 |
| Total | 24.529 | 142.367 | 166.896 |
Fonte: Dados originais da pesquisa com base em Rössler et al. (2019), Shorten e Khoshgoftaar (2019)
A Tabela 5 descreve as transformações de data augmentation aplicadas, incluindo recompressão JPEG, blur gaussiano, ruído gaussiano, flip horizontal, brilho/contraste e random crop, cada uma com sua respectiva probabilidade de aplicação e justificativa. Essas transformações são independentes, permitindo que uma mesma imagem seja submetida a múltiplas alterações ou nenhuma, simulando condições reais de degradação de vídeos manipulados e aprimorando a robustez dos modelos.
Modelagem
A quarta etapa envolveu a seleção e configuração das arquiteturas de aprendizado profundo. Foram escolhidos três modelos: EfficientNet-B3 (Tan e Le, 2019), Xception (Chollet, 2017) e ViT-B/16 (Dosovitskiy et al., 2021), para comparar arquiteturas convolucionais e baseadas em transformers. Todos os modelos foram inicializados com pesos pré-treinados no ImageNet (Deng et al., 2009), utilizando aprendizado por transferência para iniciar o treinamento com representações visuais já aprendidas. A Figura 1 ilustra a arquitetura geral do modelo para detecção de deepfakes.
Figura 1. Arquitetura do modelo para detecção de “deepfakes”
Fonte: Dados originais da pesquisa, com face extraída do conjunto FFPP (Rössler et al., 2019)
A Figura 1 apresenta o fluxo da arquitetura do modelo, que inicia com a entrada de uma face extraída pelo MTCNN. Essa face é processada por um modelo base pré-treinado para extrair padrões relevantes. Em seguida, as representações são agregadas pelo Global Average Pooling (GAP), que reduz a dimensionalidade. Uma camada de dropout (taxa de 0,3) é aplicada para reduzir o overfitting, seguida por uma camada linear que gera um valor numérico, convertido em probabilidade pela função de ativação sigmoid, indicando a probabilidade de a face ser classificada como deepfake. O ViT-B/16 difere ao usar mecanismos de self-attention sobre patches da imagem e um token de classificação [CLS] como representação agregada.
O treinamento foi realizado com validação cruzada de cinco partições, estratificadas em nível de vídeo, com cinco épocas de treinamento por partição. A semente aleatória foi fixada em 42 para garantir a reprodutibilidade dos experimentos. O otimizador AdamW foi utilizado, com taxa de aprendizado inicial de 2×10-4, weight decay de 1×10-4, scheduler OneCycleLR, função de perda BCEWithLogitsLoss e grad clip de 1,0. O treinamento foi conduzido em precisão mista bfloat16, e os tamanhos de lote foram ajustados conforme a arquitetura para otimizar o uso de memória e resolução de entrada.
Avaliação
A quinta etapa foi dedicada à definição das métricas de avaliação e à validação dos resultados. O desempenho dos modelos foi analisado com base nas métricas de acurácia, precisão, recall, F1-Score e AUC-ROC, conforme proposto por Fawcett (2006). A escolha dessas métricas considerou o desbalanceamento entre as classes, um fator relevante na detecção de deepfakes. A Tabela 6 apresenta as métricas utilizadas e suas descrições.
Tabela 6. Métricas de avaliação utilizadas
| Método | Base | Faces disponíveis no treino (80%) | Usadas/”fold” |
|---|---|---|---|
| Deepfakes | FFPP | 8.412 | 2.000 |
| Face2Face | FFPP | 8.394 | 2.000 |
| FaceShifter | FFPP | 8.265 | 2.000 |
| FaceSwap | FFPP | 7.210 | 2.000 |
| NeuralTextures | FFPP | 7.013 | 2.000 |
| DeepFakeDetection | DFD | 36.428 | 2.000 |
| Total “fakes/fold” | – | 75.722 | 12.000 |
| Total reais/”fold” | – | 13.354 | 13.354 |
Fonte: Dados originais da pesquisa adaptado de Fawcett (2006)
A Tabela 6 detalha as métricas empregadas para avaliar o desempenho dos modelos, fornecendo uma compreensão clara de como cada aspecto da detecção foi mensurado. A acurácia mede a proporção de classificações corretas, a precisão indica a proporção de falsos positivos, e o recall avalia a capacidade de identificar corretamente as amostras falsas. O F1-Score é a média harmônica entre precisão e recall, e a AUC-ROC mede a capacidade do modelo em distinguir entre as classes. O limiar de decisão (τ*) foi definido com base no melhor valor de F1 durante a validação. Adicionalmente, foram analisadas as matrizes de confusão e calculada a AUC em nível de vídeo, agregando os scores dos frames por meio da mediana.
Implantação
A sexta e última etapa do CRISP-DM consistiu na organização e disponibilização dos resultados em formato utilizável. Os modelos treinados, os pesos correspondentes aos “folds”, os limiares operacionais τ* e os arquivos de métricas em formato CSV foram armazenados na nuvem do Google Drive. Os valores de τ*, definidos durante a validação cruzada, foram utilizados diretamente na avaliação dos conjuntos de “hold-out” e CDFv2, sem ajustes adicionais.
3. Resultados e Discussão
A avaliação do desempenho dos modelos de detecção de “deepfakes” foi estruturada em três cenários distintos, considerando o contexto de desbalanceamento entre as classes e os impactos diferenciados dos tipos de erro. Essa abordagem permitiu uma análise abrangente da capacidade dos modelos em aprender a distinguir faces reais de manipuladas, generalizar para dados não vistos do mesmo domínio e, finalmente, para domínios completamente novos, simulando condições de aplicação prática mais desafiadoras.
O primeiro cenário focou na capacidade dos modelos de aprender a discriminar entre faces reais e manipuladas dentro dos domínios de treinamento (FaceForensics++ e Deep Fake Detection). O segundo cenário avaliou a generalização para vídeos dos mesmos conjuntos de dados, mas que não foram utilizados no treinamento. Por fim, o terceiro cenário, com o conjunto Celeb-DF v2, testou a generalização para um domínio distinto, verificando a eficácia na detecção de “deepfakes” gerados por métodos diferentes dos empregados no treinamento.
Cenário 1 – Validação cruzada “k-fold”
A validação cruzada “k-fold” revelou as métricas médias dos cinco “folds”, calculadas na época de melhor AUC-ROC para cada um. Os resultados, apresentados na Tabela 7, indicam que o EfficientNet-B3 demonstrou o melhor desempenho médio, com um AUC de 0,9386 e um baixo desvio padrão de ±0,0060, o que sugere alta consistência no processo de aprendizado. O modelo Xception obteve um desempenho comparável, com AUC de 0,9254 e desvio padrão de ±0,0071, além de um “F1-score” de 0,9469 e “recall” de 0,9705.Tabela 7. Métricas médias da validação “k-fold”
| Transformação | Probabilidade | Justificativa |
|---|---|---|
| Recompressão “JPEG” | 70% | Simula imagens sendo reenviadas ou comprimidas |
| “Blur” gaussiano | 40% | Simula perda de nitidez |
| Ruído gaussiano | 30% | Simula qualidade baixa de câmera |
| “Flip” horizontal | 50% | Simula imagens espelhadas |
| Brilho/contraste | 40% | Simula mudanças de iluminação |
| “Random crop” | 30% | Simula enquadramento diferente da face |
Fonte: Resultados originais da pesquisa
Ambos os modelos convolucionais, EfficientNet-B3 e Xception, exibiram uma elevada capacidade de discriminação entre faces reais e falsas. O “recall” superior a 97% para ambos os modelos é um indicativo de que mais de 97 em cada 100 faces manipuladas foram corretamente identificadas. Este achado sublinha a robustez dessas arquiteturas para a tarefa de detecção de “deepfakes” em um ambiente de dados conhecido e validado internamente.
Em contraste, o modelo ViT-B/16 apresentou resultados inferiores e maior instabilidade, com um AUC-ROC de 0,6963 e um desvio padrão elevado de ±0,1115, o que evidencia uma variação significativa entre as partições de treinamento. Embora o ViT-B/16 tenha alcançado um “recall” elevado de 0,9938, indicando alta sensibilidade na detecção de “fakes”, sua precisão foi menor (0,8576) e a acurácia de 0,8544, sugerindo uma maior incidência de falsos positivos.
A Tabela 8 detalha o comportamento do ViT-B/16 por partição e época, revelando que a AUC apresentou crescimento contínuo ao longo das épocas em todas as partições. Esse padrão sugere que o modelo ainda estava em processo de convergência quando o treinamento foi finalizado, indicando que as cinco épocas de treinamento adotadas podem não ter sido suficientes para a completa otimização do ViT-B/16 nas condições estabelecidas neste estudo.Tabela 8. Evolução da AUC-ROC do ViT-B/16 por partição e época
| Métrica | Descrição |
|---|---|
| Acurácia | Proporção de classificações corretas em relação ao total de amostras. |
| Precisão | Entre as amostras classificadas como falsas, indica quantas são realmente falsas. |
| “Recall” | Entre todas as amostras falsas, indica quantas foram corretamente identificadas. |
| “F1-Score” | Média harmônica entre precisão e “recall”. |
| AUC-ROC | Área sob a curva ROC, utilizada para medir a capacidade do modelo em distinguir entre as classes. |
| Limiar de decisão [τ*] | Se a probabilidade prevista for maior ou igual a t*, a amostra é classificada como falsa. O valor de t* é definido com base no melhor F1 durante a validação. |
Fonte: Resultados originais da pesquisa
Este comportamento do ViT-B/16 sugere que arquiteturas baseadas em “transformers” podem demandar um maior número de épocas de treinamento e ajustes mais refinados de “fine-tuning” para alcançar a convergência adequada. Em contrapartida, as redes convolucionais (CNNs), como EfficientNet-B3 e Xception, demonstraram uma adaptação mais rápida à tarefa de detecção de “deepfakes”, apresentando AUC estável acima de 0,90 desde a primeira época, o que é consistente com a literatura (Dosovitskiy et al., 2021).
Cenário 2 – Avaliação no “hold-out”
Após a validação em “k-fold”, os modelos foram avaliados em um conjunto “hold-out” previamente separado, composto por 22.073 faces extraídas de 1.888 vídeos dos conjuntos FFPP e DFD. Este conjunto foi mantido isolado de qualquer etapa de treinamento ou validação, permitindo que os resultados obtidos refletissem a capacidade de generalização dos modelos em dados nunca vistos. A Tabela 9 apresenta os resultados detalhados dessa avaliação.Tabela 9. Resultados no “hold-out”
| Modelo | AUC-ROC | F1 | Acurácia | Precisão | “Recall” | τ* |
|---|---|---|---|---|---|---|
| EfficientNet-B3 | 0,9386 ± 0,0060 | 0,9507 ± 0,0016 | 0,9143 ± 0,0030 | 0,9301 ± 0,0044 | 0,9722 ± 0,0047 | 0,052 |
| Xception | 0,9254 ± 0,0071 | 0,9469 ± 0,0019 | 0,9076 ± 0,0034 | 0,9245 ± 0,0051 | 0,9705 ± 0,0046 | 0,038 |
| VIT-B/16 | 0,6963 ± 0,1115 | 0,9206 ± 0,0016 | 0,8544 ± 0,0032 | 0,8576 ± 0,0049 | 0,9938 ± 0,0045 | 0,048 |
Fonte: Resultados originais da pesquisa
Na avaliação do “hold-out”, o EfficientNet-B3 manteve o melhor desempenho geral, alcançando um AUC de 0,9531, com precisão de 0,9138 e “recall” de 0,9914. Este resultado demonstra uma alta capacidade de discriminação e um baixo número de erros, especialmente em relação aos falsos negativos (161), indicando que apenas uma pequena parcela dos “deepfakes” não foi identificada entre as 22.073 faces avaliadas. O Xception apresentou um desempenho próximo, com AUC de 0,9319 e precisão de 0,9026, ligeiramente inferior ao EfficientNet-B3, mas com um número menor de falsos negativos (154), embora tenha apresentado um maior número de falsos positivos (1.999).
O ViT-B/16, por sua vez, manteve o padrão de desempenho inferior observado na etapa de validação, com um AUC de 0,7238. Apesar de um “recall” de 1,0000, o modelo identificou corretamente todas as faces falsas, mas classificou também todas as faces reais como “fake”. Isso resultou na ausência de falsos negativos e verdadeiros negativos, indicando que o modelo não conseguiu distinguir adequadamente as classes, classificando a maioria das amostras como falsas, o que compromete sua utilidade prática.
Cenário 3 – Generalização com CDFv2
A avaliação no conjunto Celeb-DF v2 (CDFv2) representou o cenário mais desafiador, pois envolveu dados de um domínio distinto daqueles utilizados no treinamento. Diferentemente do cenário “hold-out”, o CDFv2 apresenta um “domain shift”, ou seja, os dados de teste possuem distribuições e artefatos de manipulação diferentes dos utilizados no treinamento, o que dificulta a generalização dos modelos. Essa diferença entre domínios impacta diretamente o desempenho, uma vez que os modelos tendem a aprender padrões específicos dos métodos de manipulação presentes nos dados de treino (Li et al., 2020).
Quando expostos a novos tipos de “deepfakes” com características distintas do treinamento, os padrões aprendidos podem não ser suficientes para uma detecção eficaz. Esse fenômeno é conhecido como “cross-dataset generalization gap” (Li et al., 2020) e evidencia a dependência dos modelos ao domínio de origem, resultando em uma acentuada redução de desempenho em avaliações externas. A Tabela 10 apresenta os resultados obtidos no CDFv2, um conjunto de dados externo que não foi utilizado em nenhuma etapa do treinamento ou validação.Tabela 10. Generalização com CDFv2
| Partição | Época 1 | Época 2 | Época 3 | Época 4 | Época 5 | Melhor AUC |
|---|---|---|---|---|---|---|
| 1 | 0,4949 | 0,4464 | 0,4359 | 0,4856 | 0,4996 | 0,4996 |
| 2 | 0,5254 | 0,5952 | 0,6642 | 0,7073 | 0,7335 | 0,7335 |
| 3 | 0,5583 | 0,5916 | 0,6898 | 0,7504 | 0,7701 | 0,7701 |
| 4 | 0,5369 | 0,6375 | 0,7174 | 0,7437 | 0,7552 | 0,7552 |
| 5 | 0,5186 | 0,5698 | 0,6594 | 0,7121 | 0,7230 | 0,7230 |
Fonte: Resultados originais da pesquisa
A análise geral dos resultados de generalização no CDFv2, apresentados na Tabela 10, mostra que os modelos baseados em redes convolucionais (EfficientNet-B3 e Xception) mantiveram um desempenho superior e mais estável em comparação ao modelo ViT-B/16. Essa consistência reflete o padrão de desempenho observado nos cenários anteriores, reforçando a robustez das CNNs para a detecção de “deepfakes” mesmo em domínios não vistos durante o treinamento.
O EfficientNet-B3 obteve os melhores resultados globais, com AUC de 0,8683 em nível de “frame” e 0,9119 em nível de vídeo, além de um “F1-score” de 0,9362 e acurácia de 0,8835. O Xception apresentou desempenho ligeiramente inferior, destacando-se pela menor quantidade de falsos negativos (198 contra 272). Esses resultados indicam que ambos os modelos CNN são mais consistentes na detecção das classes, mesmo em um domínio distinto daquele utilizado no treinamento.
Por outro lado, o ViT-B/16 apresentou desempenho inferior em praticamente todas as métricas avaliadas, com AUC de vídeo reduzida de 0,8786 e acurácia de 0,8603. A métrica “Gap HO”, que quantifica a variação de desempenho entre o “hold-out” e o CDFv2, revelou valores positivos para EfficientNet-B3 (+0,085) e Xception (+0,067), indicando uma queda de desempenho esperada devido à mudança de domínio. Em contraste, o ViT-B/16 apresentou um “gap” negativo (-0,121), sugerindo uma melhora artificial na AUC do CDFv2 devido à alta proporção de faces falsas (86,4%) na base, o que favorece modelos com viés para a classe positiva, levando o modelo a classificar quase todas as amostras como falsas.
Em síntese, os resultados obtidos neste estudo demonstram que as arquiteturas baseadas em redes convolucionais, EfficientNet-B3 e Xception, apresentaram desempenho superior e mais estável na detecção de “deepfakes” em todos os cenários avaliados, incluindo a generalização para domínios não vistos. Embora o ViT-B/16 tenha mostrado potencial, sua falta de convergência adequada nas condições de treinamento adotadas limitou sua eficácia, sugerindo a necessidade de estratégias de “fine-tuning” mais específicas para modelos baseados em “transformers”.
4. Conclusão
Este trabalho investigou e comparou a eficácia de três arquiteturas de aprendizado profundo – EfficientNet-B3, Xception e ViT-B/16 – na detecção automática de deepfakes em vídeos. Verificou-se que as arquiteturas baseadas em redes convolucionais, EfficientNet-B3 e Xception, apresentaram desempenho superior e mais estável em todos os cenários avaliados. O EfficientNet-B3 obteve o melhor desempenho geral, com uma Área sob a Curva ROC (AUC) de 0,9531 no conjunto hold-out e 0,9119 por vídeo na base Celeb-DF v2. O modelo Xception demonstrou resultados equivalentes, com AUC de 0,9319 e 0,9097, respectivamente, destacando-se pela menor quantidade de falsos negativos em alguns cenários. Em contraste, o modelo ViT-B/16 não convergiu adequadamente nas condições de treinamento adotadas, exibindo instabilidade e desempenho inferior, o que sugeriu a necessidade de um maior número de épocas e ajustes mais refinados para modelos baseados em transformers.
A principal contribuição deste estudo reside na demonstração da elevada capacidade das redes convolucionais para a detecção de deepfakes, mesmo em domínios não vistos durante o treinamento, o que é crucial para o combate à desinformação em ambientes digitais. Contudo, observou-se que, embora EfficientNet-B3 e Xception tenham sido robustos, apresentaram limitações na generalização para domínios completamente distintos, como evidenciado no Celeb-DF v2, um fenômeno conhecido como “cross-dataset generalization gap”. A não convergência do ViT-B/16, por sua vez, aponta para a demanda por estratégias de treinamento mais específicas para arquiteturas transformer, além do elevado custo computacional envolvido na extração e classificação de aproximadamente 166 mil faces, que se configura como uma limitação prática. Para estudos futuros, sugere-se aumentar o número de épocas de treinamento para modelos transformer, incluir bases de dados mais diversas para aprimorar a generalização entre domínios e expandir a análise para avaliar o desempenho em diferentes níveis de compressão de vídeo, aproximando o estudo das condições reais de uso.
Referências Bibliográficas
Brasil. Tribunal Superior Eleitoral. 2024. Resolução n° 23.732, de 27 de fevereiro de 2024. Altera a Res.-TSE n° 23.610, de 18 de dezembro de 2019, dispondo sobre a propaganda eleitoral. Diário da Justiça Eletrônico do Tribunal Superior Eleitoral, Brasília, 4 mar. 2024. n. 29, p. 133-148.
Brasil. Tribunal Superior Eleitoral. 2026. Resolução nº 23.755, de 2 de março de 2026. Altera a Resolução n° 23.610/TSE, de 18 de dezembro de 2019, que dispõe sobre propaganda eleitoral. Diário da Justiça Eletrônico do Tribunal Superior Eleitoral, Brasília, 4 mar. 2026. n. 30, p. 93-102.
Chollet, F. 2017. Xception: deep learning with depthwise separable convolutions. In: IEEE Conference on Computer Vision and Pattern Recognition, 2017, Honolulu, HI, EUA. Anais… p. 1251-1258.
Dong, S.; Wang, J.; Ji, R.; Liang, J.; Fan, H.; Ge, Z. 2023. Implicit identity leakage: the stumbling block to improving deepfake detection generalization. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, Vancouver, BC, Canadá. Anais… p. 3994-4004.
Dosovitskiy, A.; Beyer, L.; Kolesnikov, A.; Weissenborn, D.; Zhai, X.; Unterthiner, T.; Dehghani, M.; Minderer, M.; Heigold, G.; Gelly, S.; Uszkoreit, J.; Houlsby, N. 2021. An image is worth 16×16 words: transformers for image recognition at scale. In: International Conference on Learning Representations, 2021, Virtual Event, Áustria. Anais… Disponível em: . Acesso em: 16 mar. 2025.
Ludermir, T.B. 2021. Inteligência artificial e aprendizado de máquina: estado atual e tendências. Estudos Avançados 35(101): 85-94.
Nguyen, T.T.; Nguyen, Q.V.H.; Nguyen, D.T.; Nguyen, D.T.; Huynh-the, T.; Nahavandi, S.; Nguyen, T.T.; Pham, Q.-V.; Nguyen, C.M. 2022. Deep learning for deepfakes creation and detection: a survey. Computer Vision and Image Understanding 223: 103525.
Rafique, R.; Gantassi, R.; Amin, R.; Frnda, J.; Mustapha, A.; Alshehri, A.H. 2023. Deep fake detection and classification using error-level analysis and deep learning. Scientific Reports 13: 7422.
Rössler, A.; Cozzolino, D.; Verdoliva, L.; Riess, C.; Thies, J.; Niessner, M. 2019. Faceforensics++: learning to detect manipulated facial images. Disponível em: . Acesso em: 16 mar. 2025.
Tan, M.; Le, Q.V. 2019. EfficientNet: rethinking model scaling for convolutional neural networks. In: International Conference on Machine Learning, 2019, Long Beach, CA, EUA. Anais… p. 6105-6114.
Wirth, R.; Hipp, J. 2000. CRISP-DM: towards a standard process model for data mining. In: International Conference on the Practical Applications of Knowledge Discovery and Data Mining, 2000, Manchester, Reino Unido. Anais… p. 29-39.
Artigo oriundo de Trabalho de Conclusão de Curso da Especialização em Data Science e Analytics do MBA USP/Esalq
Para saber mais sobre o curso, clique aqui e acesse a plataforma MBX Academy
