28 de janeiro de 2026
Avaliação de métodos de PLN para análise de sentimento em comentários de redes sociais
Beatriz Veneroso Rodrigues; Lilian da Silveira
Resumo elaborado pela ferramenta ResumeAI, solução de inteligência artificial desenvolvida pelo Instituto Pecege voltada à síntese e redação.
O crescimento exponencial das redes sociais transformou essas plataformas em canais de comunicação cruciais entre empresas e clientes (Felix et al., 2017). A análise automatizada de sentimentos, impulsionada pelo Processamento de Linguagem Natural (PLN), surge como uma solução para extrair percepções valiosas de grandes volumes de comentários (Caseli; Nunes, 2023). Este estudo comparou diferentes abordagens de PLN aplicadas a comentários de redes sociais de uma instituição financeira, incluindo um método baseado em regras (Regex), um modelo supervisionado (BERTimbau) e um modelo de linguagem de grande porte (GPT-40) (OpenAI, 2023). O objetivo foi avaliar a eficácia e os trade-offs de cada abordagem na análise de feedback digital. A metodologia envolveu a coleta de 3.685 comentários do Instagram (Meta Platforms, Inc., 2021) de nove publicações de uma empresa do setor bancário. Os dados foram pré-processados em Python, removendo informações pessoais e padronizando o texto (Python Software Foundation, 2023). Após a depuração, 2.325 comentários válidos foram classificados manualmente em positivos, negativos ou neutros, servindo como o “gold standard” para avaliar os modelos (Barz et al., 2025). A base de dados foi dividida em conjuntos de treino (70%), validação (15%) e teste (15%) para garantir uma avaliação justa (Christen et al., 2023). A técnica Regex utilizou expressões regulares para identificar padrões lexicais predefinidos (IV et al., 2023). O BERTimbau, uma adaptação do BERT para o português (Souza et al., 2020), foi ajustado para classificar os comentários. O GPT-40 foi utilizado via API da OpenAI, explorando o paradigma de “in-context learning” (Brown et al., 2020). As métricas de avaliação incluíram precisão, recall, acurácia e F1-score ponderado (Christen et al., 2023). Os resultados mostraram que a Regex teve desempenho limitado (F1 ponderado = 0,66), com dificuldades em classes ambíguas. O BERTimbau apresentou desempenho superior (F1 ponderado = 0,86), com robustez na detecção de comentários positivos e negativos. O GPT-40 teve performance competitiva (F1 ponderado = 0,86), demonstrando elevado poder de generalização mesmo sem treinamento supervisionado específico. A Regex apresentou alta precisão na identificação de comentários negativos, mas baixo recall, indicando que muitos comentários negativos não foram capturados. A classe “Neutro” foi inflada pelo uso de “fallback”, resultando em baixa precisão (Erwig e Gopinath, 2012). O BERTimbau mostrou-se robusto para distinguir comentários positivos e negativos, mas manteve limitações na neutralidade. O GPT-40 demonstrou ser uma alternativa prática, eliminando a necessidade de treino e infraestrutura robusta. A matriz de confusão revelou que a maioria dos erros se concentrou na atribuição incorreta de instâncias negativas e positivas à classe neutra. O treinamento do BERTimbau em CPU levou cerca de 6 horas, enquanto em GPU foi reduzido para aproximadamente 7 minutos. O processamento das três bases via API do GPT-40 levou cerca de 24 minutos. A interpretabilidade foi uma vantagem da Regex, permitindo rastrear cada decisão ao padrão lexical correspondente. O BERTimbau e o GPT-40 operam como “caixas-pretas” estatísticas, dificultando a governança e a rastreabilidade de decisões individuais (Guidotti et al., 2018). A escolha do melhor método depende do contexto e dos objetivos da análise. A Regex é útil como baseline de baixo custo, mas limitada em recall e manutenção. O BERTimbau oferece o melhor equilíbrio entre precisão e acurácia, desde que haja infraestrutura e dados rotulados. O GPT-40 se destaca pela versatilidade e pela capacidade de realizar classificações sem necessidade de treinamento adicional (Radford e Narasimhan, 2018). Os resultados desta pesquisa evidenciam a superioridade dos modelos baseados em aprendizado de máquina, especialmente os Transformers, na tarefa de classificação de sentimentos em comentários de redes sociais (Vaswani et al., 2017). A classificação automática de sentimentos permite acompanhar em tempo quase real a percepção dos usuários em relação a campanhas, produtos e serviços (Stieglitz et al., 2018). Essa capacidade viabiliza identificar quais conteúdos despertam reações predominantemente positivas ou negativas, mapear tópicos de maior engajamento e detectar padrões de insatisfação recorrente (Kenyon-Dean et al., 2018). Os modelos de PLN testados neste estudo oferecem às organizações não apenas ganhos técnicos de desempenho, mas também benefícios estratégicos tangíveis: maior satisfação e retenção de clientes, comunicação mais alinhada às expectativas do público e maior capacidade de gestão de riscos reputacionais em ambientes digitais dinâmicos (Dwivedi et al., 2021). A análise de sentimentos em redes sociais é uma ferramenta poderosa para empresas que buscam entender melhor seus clientes e otimizar suas estratégias de comunicação e marketing (Kannan e Li, 2017). A escolha do modelo mais adequado depende das necessidades específicas de cada organização, considerando fatores como custo, precisão, interpretabilidade e disponibilidade de dados rotulados. Estudos futuros poderiam explorar técnicas de engenharia de prompt mais avançadas para o GPT-40, como “few-shot learning” e “self-reflection” (OpenAl, 2024), e investigar abordagens híbridas que combinem as vantagens de diferentes modelos. Conclui-se que o objetivo foi atingido: demonstrou-se que modelos de aprendizado profundo, como BERTimbau e GPT-40, superam abordagens tradicionais na análise de sentimentos em redes sociais, oferecendo insights valiosos para empresas do setor financeiro.
Referências Bibliográficas:
Anderson, C.; Wolff, M. 2010. The web is dead. Long live the internet. Wired. Disponível em: http://www.wired.com/magazine/2010/08/ff_webrip/all/1. Acesso em: 18 set. 2025.
Barz, C.; Siegel, M.; Hanss, D.; Wiegand, M. 2025. Understanding disagreement: an annotation study of sentiment and emotional language in environmental communication. Em: Peng, S.; Rehbein, I. (Org.). Proceedings of the 19th Linguistic Annotation Workshop (LAW-XIX-2025). Stroudsburg, PA, EUA: Association for Computational Linguistics. p. 1-20. https://doi.org/10.18653/v1/2025.law-1.1
Brown, T. B.; Mann, B.; Ryder, N.; Subbiah, M.; Kaplan, J.; Dhariwal, P.; Neelakantan, A.; Shyam, P.; Sastry, G.; Askell, A.; Agarwal, S.; Herbert-Voss, A.; Krueger, G.; Henighan, T.; Child, R.; Ramesh, A.; Ziegler, D. M.; Wu, J.; Winter, C.; … Amodei, D. 2020. Language models are few-shot learners. arXiv preprint arXiv:2005.14165. https://doi.org/10.48550/arXiv.2005.14165
Caseli, H. M.; Nunes, M. G. V. 2023. Processamento de linguagem natural: conceitos, técnicas e aplicações em português. Revista Brasileira de Computação Aplicada, 12(2): 4–25.
Christen, P.; Hand, D. J.; Kirielle, N. 2023. A review of the F-measure: its history, properties, criticism, and alternatives. ACM Computing Surveys, 56(3): 73:1-73:24. https://doi.org/10.1145/3606367
DataReportal. 2025. Digital 2025 global overview report. Disponível em: https://datareportal.com/reports/digital-2025-global-overview-report. Acesso em: 05 abr. 2025.
Devlin, J.; Chang, M. W.; Lee, K.; Toutanova, K. 2019. BERT: pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805. https://doi.org/10.48550/arXiv.1810.04805
Dwivedi, Y. K.; Ismagilova, E.; Hughes, D. L.; Carlson, J.; Filieri, R.; Jacobson, J.; Jain, V.; Karjaluoto, H.; Kefi, H.; Krishen, A. S.; Kumar, V.; Rahman, M. M.; Raman, R.; Rauschnabel, P. A.; Rowley, J.; Salo, J.; Tran, G. A.; Wang, Y. 2021. Setting the future of digital and social media marketing research: perspectives and research propositions. International Journal of Information Management, 59(C). https://doi.org/10.1016/j.ijinfomgt.2020.102168
Erwig, M.; Gopinath, R. 2012. Explanations for regular expressions. Em: de Lara, J.; Zisman, A. (Org.). Fundamental Approaches to Software Engineering. Berlin, Alemanha: Springer. p. 394–408. https://doi.org/10.1007/978-3-642-28872-2_27
Felix, R.; Rauschnabel, P. A.; Hinsch, C. 2017. Elements of strategic social media marketing: a holistic framework. Journal of Business Research, 70: 118-126. https://doi.org/10.1016/j.jbusres.2016.05.001
Guidotti, R.; Monreale, A.; Ruggieri, S.; Turini, F.; Pedreschi, D.; Giannotti, F. 2018. A survey of methods for explaining black box models. arXiv preprint arXiv:1802.01933. https://doi.org/10.48550/arXiv.1802.01933
Kannan, P. K.; Li, H. A. 2017. Digital marketing: a framework, review and research agenda. International Journal of Research in Marketing, 34(1): 22-45. https://doi.org/10.1016/j.ijresmar.2016.11.006
Kenyon-Dean, K.; Ahmed, E.; Fujimoto, S.; Georges-Filteau, J.; Glasz, C.; Kaur, B.; Lalande, A.; Bhanderi, S.; Belfer, R.; Kanagasabai, N.; Sarrazingendron, R.; Verma, R.; Ruths, D. 2018. Sentiment analysis: it’s complicated! Em: Walker, M.; Ji, H.; Stent, A. (Org.). Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2018). Stroudsburg, PA, EUA: Association for Computational Linguistics. p. 1886–1895. https://doi.org/10.18653/v1/N18-1171
Meta Platforms, Inc. Instagram. 2021. Disponível em: https://www.instagram.com. Acesso em: 01 abr. 2025.
OpenAl. 2024. Improving In-Context Learning with Retrieval. arXiv preprint arXiv:2410.21276. https://doi.org/10.48550/arXiv.2410.21276
OpenAl; Achiam, J.; Adler, S.; Agarwal, S.; Ahmad, L.; Akkaya, I.; Aleman, F. L.; Almeida, D.; Altenschmidt, J.; Altman, S.; Anadkat, S.; Avila, R.; Babuschkin, I.; Balaji, S.; Balcom, V.; Baltescu, P.; Bao, H.; Bavarian, M.; Belgum, J.; … Zoph, B. 2023. GPT-4 technical report. arXiv preprint arXiv:2303.08774. https://doi.org/10.48550/arXiv.2303.08774
Python Software Foundation, 2023.
Radford, A.; Narasimhan, K. 2018. Improving language understanding by generative pre-training. Disponível em: https://www.semanticscholar.org/paper/Improving-Language-Understanding-by-Generative-Radford-Narasimhan/cd18800a0fe0b668a1cc19f2ec95b5003d0a5035.
Souza, F.; Nogueira, R.; Lotufo, R. 2020. BERTimbau: pretrained BERT models for Brazilian Portuguese. Em: Cerri, R.; Prati, R. C. (Org.). Intelligent Systems. Cham, Suíça: Springer. p. 403-417. https://doi.org/10.1007/978-3-030-61377-8_28
Stieglitz, S.; Mirbabaie, M.; Ross, B.; Neuberger, C. 2018. Social media analytics – challenges in topic discovery, data collection, and data preparation. International Journal of Information Management, 39: 156–168. https://doi.org/10.1016/j.ijinfomgt.2017.12.002
Vaswani, A.; Shazeer, N.; Parmar, N.; Uszkoreit, J.; Jones, L.; Gomez, A. N.; Kaiser, L.; Polosukhin, I. 2017. Attention is all you need. arXiv preprint arXiv:1706.03762. https://doi.org/10.48550/arXiv.1706.03762
IV, L. G. M.; Donohue, J.; Davis, J. C.; Lee, D.; Servant, F. 2023. Regexes are hard: decision-making, difficulties, and risks in programming regular expressions. arXiv preprint arXiv:2303.02555. https://doi.org/10.48550/arXiv.2303.02555
Resumo executivo oriundo de Trabalho de Conclusão de Curso de Especialização Data Science e Analytics do MBA USP/Esalq
Saiba mais sobre o curso; clique aqui:
