Competências em Dados: uma Análise Quantitativa das Demandas do Mercado Via Mineração de Texto no Linkedin

Diego Garcia Acedo; Daniela Cristina Silva Oliveira

DOI: 10.22167/2675-6528-202602845

Artigo derivado de Trabalho de Conclusão de Curso (TCC), com conteúdo baseado no trabalho original do aluno e adaptado ao formato editorial da Revista E&S com apoio da ferramenta ResumeAI, solução de inteligência artificial desenvolvida pelo Instituto Pecege para síntese e organização textual.

Resumo

O avanço da digitalização e o crescimento exponencial da produção de dados transformaram o mercado de trabalho, ampliando a demanda por profissionais das áreas de Engenharia de Dados, Ciência de Dados e Inteligência de Negócios, cujas atribuições e competências apresentavam fronteiras pouco definidas. Nesse contexto, o estudo objetivou identificar e analisar as competências técnicas e comportamentais mais demandadas em vagas de trabalho em dados publicadas na plataforma LinkedIn, buscando mapear padrões, características recorrentes e diferenças entre perfis ocupacionais e níveis de senioridade. Adotou-se uma abordagem quantitativa e descritiva, utilizando técnicas de web scraping para a coleta automatizada de informações públicas das vagas. Em seguida, organizaram-se, categorizaram-se e analisaram-se os dados por meio de estatística descritiva e mineração de texto, com destaque para a análise de n-grams. Os resultados revelaram que SQL (47%), Python (42%), computação em nuvem (40%) e comunicação (38%) foram as competências mais recorrentes. Observou-se que o perfil de Data Engineer concentrou-se em infraestrutura e processamento de dados, Data Scientist em competências analíticas, estatísticas e computacionais, e Business Intelligence em visualização, análise descritiva e interface com o negócio. A complexidade das habilidades e a senioridade exigida variaram significativamente entre os perfis. Concluiu-se que os achados contribuem para a compreensão das transformações do trabalho na área de dados, oferecendo subsídios para a formação profissional e o alinhamento das práticas de recrutamento e desenvolvimento de talentos às demandas efetivas do mercado.

Palavras-chave: Competências profissionais; Habilidades técnicas e comportamentais; Mercado de trabalho em dados; Mineração de texto; Web scraping.

1. Introdução

O avanço da digitalização e o crescimento exponencial da produção de dados têm transformado o cenário global, gerando uma quantidade de informações sem precedentes. Nesse contexto, a capacidade de gerenciar e processar esses dados de forma estratégica tornou-se um fator crucial para a vantagem competitiva no ambiente corporativo (VICARIO; COLEMAN, 2019).

Esse processo impulsionou uma profunda transformação no mundo do trabalho, com a crescente demanda por profissionais nas áreas de tecnologia e dados. Contudo, surgiram novas ocupações cujas definições e fronteiras ainda são ambíguas. Observa-se uma dificuldade recorrente em delimitar as funções e responsabilidades desses especialistas, com alguns focando em aprendizado de máquina, outros em engenharia de infraestrutura de dados e uma terceira vertente atuando de forma mais estratégica, próxima da gestão e da inteligência de negócios (Davenport e Patil, 2012; Fayyad e Hamutcu, 2020; WING, 2021).

Para compreender essas dinâmicas, é fundamental distinguir os conceitos de trabalho, ocupação e emprego, que, embora relacionados, possuem significados distintos nas análises econômicas e sociológicas (ANTUNES, 2009; CASTEL, 1998; POCHMANN, 2012). O trabalho refere-se à atividade humana de produção de bens, serviços e conhecimento (MARX, 2013; ANTUNES, 2009). A ocupação, por sua vez, designa o tipo de atividade exercida, como cientista de dados ou engenheiro de dados (MENEGASSO, 2000). Já o emprego representa a forma institucionalizada das relações de trabalho, que, segundo Castel (1998), tem visto suas modalidades de inserção profissional se ampliarem, combinando flexibilidade e especialização técnica (POCHMANN, 2012). Essa compreensão é essencial para analisar a configuração das ocupações no setor de dados e a evolução das competências exigidas (ANTUNES, 2018; CASTEL, 2009).

O mercado de trabalho tecnológico no Brasil demonstrou um crescimento significativo de 95% entre 2012 e 2022, conforme dados da Relação Anual de Informações Sociais (RAIS) analisados pela Federação do Comércio de Bens, Serviços e Turismo do Estado de São Paulo (FecomercioSP) (AGÊNCIA BRASIL, 2024). Esse período foi marcado por transformações tecnológicas profundas, como a expansão da internet, a evolução da computação em nuvem, a inteligência artificial e o uso intensivo de big data, que redefiniram modelos de negócio e impulsionaram a criação de novas ocupações digitais (DAVENPORT; HARRIS, 2017; FAYYAD; HAMUTCU, 2020). Apesar de oscilações econômicas e da pandemia de COVID-19 (ANTUNES, 2020), o crescimento acumulado evidencia a consolidação desse campo como vetor estratégico para a competitividade e inovação.

Com a inserção da internet e dos dispositivos digitais em diversos setores, os profissionais da área de dados precisam demonstrar não apenas proficiência em competências técnicas, mas também um conjunto diversificado de habilidades interpessoais e cognitivas para lidar com a complexidade da análise de dados moderna. A natureza interdisciplinar da ciência de dados exige a integração de conhecimentos em estatística, programação, aprendizado de máquina e gestão de dados, combinados com competências socioemocionais como comunicação, pensamento crítico, colaboração e adaptabilidade (DUBEY; GUNASEKARAN, 2015; CIMATTI, 2016; FAYYAD; HAMUTCU, 2020). As competências técnicas, ou hard skills, correspondem a conhecimentos práticos e específicos, enquanto as competências socioemocionais, ou soft skills, abrangem aspectos comportamentais e interpessoais (OECD, 2019; WORLD ECONOMIC FORUM, 2020; LAKER; POWELL, 2011; CIMATTI, 2016). A valorização dessas competências interpessoais tem sido reforçada em diversos estudos, especialmente nas áreas de educação e negócios (ANDREWS; HIGSON, 2008; SUCCI; CANOVI, 2020).

A proficiência técnica é um fator essencial para o desempenho em ciência de dados, demandando o domínio de linguagens de programação como Python e R, além de técnicas de modelagem estatística, manipulação e visualização de dados (SMITH et al., 2018). Python, uma linguagem de alto nível, é valorizada por sua sintaxe simples e bibliotecas para manipulação de dados e aprendizado de máquina (MCKINNEY, 2018; VAN ROSSUM; DRAKE, 2009). R, por sua vez, é concebida para análise estatística e visualização, com um ecossistema de pacotes para modelagem e regressão (WICKHAM; GROLEMUND, 2017). Ambas são ferramentas fundamentais para cientistas e analistas de dados, sendo pré-requisitos para o desempenho técnico nessas ocupações (SMITH et al., 2018; FAYYAD; HAMUTCU, 2020; ZAHARIA et al., 2016).

A ambiguidade no mercado de dados não se restringe apenas a quais habilidades um profissional deve possuir, mas também ao nível de conhecimento exigido para cada função. Essa discussão sobre a necessidade de diplomas avançados ou certificações especializadas, e a própria definição de um “cientista sênior”, reforça a importância de compreender como as competências técnicas e socioemocionais são distribuídas e valorizadas nas diversas ocupações de dados (FAYYAD; HAMUTCU, 2020). Diante dessa lacuna, este estudo se justifica pela necessidade de oferecer subsídios para a formação profissional e para o alinhamento das práticas de recrutamento e desenvolvimento de talentos às demandas efetivas do mercado, e tem como objetivo identificar e analisar as competências técnicas e comportamentais mais demandadas nas vagas de trabalho em dados publicadas na plataforma LinkedIn, buscando mapear padrões, características recorrentes e diferenças entre perfis ocupacionais e níveis de senioridade.

2. Material e Métodos

A pesquisa adotou uma abordagem quantitativa e descritiva, com o objetivo de identificar e analisar as competências técnicas e comportamentais demandadas em vagas de trabalho na área de dados. Para tanto, foram empregados quatro procedimentos metodológicos principais: web scraping para coleta de dados, análise descritiva, avaliação da associação entre habilidades e mineração de texto.

A unidade de análise consistiu em 2.621 anúncios de vagas de trabalho em dados, publicados na plataforma LinkedIn Jobs. A coleta de dados foi realizada na última semana de março de 2026, focando em oportunidades para os perfis de Engenheiro de Dados, Cientista de Dados e Inteligência de Negócios, com filtro de localização para o Brasil.

A extração de dados foi realizada por meio da técnica de web scraping, que consiste na coleta automatizada de informações públicas da internet (BOEGERSHAUSEN, 2022). Para isso, desenvolveu-se um script em Python, configurado para navegar página a página e extrair informações como nome da vaga, empresa, localização e modalidade de trabalho (presencial, remoto ou híbrido).

O ambiente de desenvolvimento foi configurado utilizando a distribuição Anaconda, garantindo a execução reprodutível do código. As bibliotecas Python empregadas incluíram Selenium, para automação da navegação web, Chromedriver-autoinstaller, para gerenciar o driver do navegador, e BeautifulSoup (bs4), para converter o conteúdo HTML das descrições das vagas em texto estruturado.

Adicionalmente, a biblioteca Pandas foi utilizada para estruturar os dados coletados em formato tabular e para a exportação em arquivos Excel. Bibliotecas auxiliares como re, urllib.parse, pickle, datetime, time e random foram empregadas para tratamento de texto, manipulação de URLs e controle de pausas aleatórias, integrando automação web, processamento textual e organização de dados.

A lógica do script envolveu a autenticação na plataforma LinkedIn com persistência de sessão via cookies e a construção dinâmica de URLs de busca. Os resultados foram carregados de forma incremental, simulando a rolagem da página para exibir novas vagas. Cada vaga identificada foi acessada individualmente para extração de informações estruturais e da descrição completa, que foi convertida de HTML para texto e segmentada.

Para contornar as limitações da plataforma LinkedIn, como carregamento dinâmico e detecção de automação, implementaram-se pausas aleatórias entre as ações do script. Também se utilizou múltiplos seletores alternativos para localizar elementos da página, tratamento de exceções para falhas de carregamento e checkpoints periódicos para salvar os dados coletados, assegurando a robustez do processo.

A análise descritiva dos dados foi realizada para organizar, sintetizar e comparar os conjuntos de dados coletados (REIS; REIS, 2002). Essa etapa permitiu observar a distribuição das vagas por localização, empresas e qualificações, além de identificar padrões em diferentes vagas de um mesmo verbete.

A delimitação do conjunto de habilidades a serem consideradas na análise teve como objetivo identificar as competências mais recorrentes nas descrições das vagas. Essas competências foram organizadas em categorias temáticas, incluindo Banco de Dados, Visualização e Relatórios, Big Data, Programação, Estatística e Modelagem, Computação em Nuvem e Competências Comportamentais (Soft Skills).

A mineração de texto (text mining) foi aplicada para interpretar o conteúdo textual e identificar termos e expressões recorrentes nas descrições das vagas. Essa abordagem transformou o conteúdo textual em variáveis quantitativas, que foram analisadas por meio de métodos estatísticos e computacionais, com destaque para a análise de n-grams (SCHONLAU et al., 2017).

Durante o desenvolvimento do trabalho, a Inteligência Artificial (IA) foi utilizada como ferramenta de apoio para organização, revisão textual e aprimoramento linguístico do conteúdo. O assistente de linguagem ChatGPT (versão GPT-5, OpenAI, 2025) foi empregado exclusivamente para revisão bibliográfica e textual, padronização da linguagem e formatação de citações, além de apoiar na elaboração dos códigos Python para extração e tratamento dos dados. O uso da IA foi conduzido sob supervisão e validação do autor, conforme o Manual de Boas Práticas para o Uso de Inteligência Artificial da USP/ESALQ (2024), preservando a autoria intelectual e a responsabilidade integral do pesquisador.

3. Resultados e Discussão

A análise dos resultados foi conduzida a partir de uma amostra de 2.621 vagas relacionadas às áreas de Engenharia de Dados, Ciência de Dados e Inteligência de Negócios, coletadas na plataforma LinkedIn. O tratamento inicial dos dados incluiu a padronização textual, a remoção de termos irrelevantes e a normalização de expressões, visando reduzir ruídos e garantir maior consistência analítica. Esse processo permitiu uma caracterização detalhada das demandas do mercado de trabalho em dados, alinhando-se ao objetivo de identificar as competências mais requeridas.

A distribuição dos termos profissionais na amostra revelou um equilíbrio notável entre os perfis analisados. Aproximadamente 35% das vagas foram concentradas no perfil de Cientista de Dados, 33% corresponderam a posições de Business Intelligence e 32% ao perfil de Engenheiro de Dados. Essa distribuição homogênea sugere que o mercado de trabalho em dados no Brasil demanda igualmente os três eixos profissionais, indicando uma diversidade de funções e especializações dentro do ecossistema de dados.

As informações geográficas, após padronização e associação às unidades federativas, evidenciaram uma forte concentração de vagas no estado de São Paulo, que representou aproximadamente 55% da amostra. Essa centralidade de São Paulo no mercado de dados brasileiro reflete sua posição como polo econômico e tecnológico. Adicionalmente, a análise incorporou vagas classificadas como “Brasil (Remoto)” e “América Latina (Remoto)”, que, embora não vinculadas a uma localidade específica, ampliaram significativamente o volume de oportunidades, com cerca de 875 vagas para Brasil remoto e 69 para América Latina remota, destacando a relevância do trabalho remoto no setor.

Ao analisar a distribuição geográfica por município, desconsiderando as vagas totalmente remotas, observou-se uma concentração de oportunidades em grandes centros urbanos. São Paulo se destacou com 1.247 vagas, muito acima das demais cidades. Em seguida, apareceram Barueri com 72 vagas, Osasco com 69, Rio de Janeiro com 63, Campinas com 44 e Belo Horizonte com 41. Esse padrão reforça a centralidade da capital paulista e seu entorno imediato no ecossistema de dados, ao mesmo tempo em que revela a presença de outros centros relevantes em diferentes estados brasileiros.

A distribuição das modalidades de trabalho por cidade revelou padrões distintos. Em São Paulo, o modelo híbrido predominou, seguido pelo presencial, com uma participação menor do remoto. Em cidades como Barueri, Osasco, Campinas e Rio de Janeiro, a concentração em vagas híbridas e presenciais foi ainda mais acentuada, sugerindo que, fora da capital, as empresas tendem a exigir maior interação física. Esse comportamento pode estar associado a estruturas corporativas mais centralizadas ou dependentes de operação local.

Em contraste, cidades como Belo Horizonte, Recife, Curitiba, Salvador, Guarulhos e Joinville, embora com menor volume de vagas, apresentaram uma distribuição mais heterogênea entre as modalidades de trabalho. Essa flexibilidade ou estágio de desenvolvimento menos homogêneo no ecossistema de dados sugere que, nesses mercados, não há um padrão dominante consolidado. A diversidade de formatos de trabalho nesses centros pode indicar uma maior adaptabilidade das empresas ou uma fase de transição nas práticas de contratação.

A frequência geral de competências revelou que SQL foi a mais recorrente, presente em aproximadamente 47% das vagas, consolidando-se como uma habilidade técnica transversal fundamental para extração, manipulação e consulta de dados. Python apareceu em cerca de 42% das vagas, reforçando seu papel como base para automação, modelagem e análise. Conhecimentos em computação em nuvem (cloud computing) surgiram em aproximadamente 40% das vagas, evidenciando a crescente relevância de infraestruturas escaláveis e ambientes distribuídos.

A competência comunicação também apresentou alta incidência, sendo mencionada em cerca de 38% das vagas. Isso evidencia que, mesmo em funções predominantemente técnicas, há uma forte valorização da capacidade de traduzir análises em insights compreensíveis e de interagir com áreas de negócio. Competências como organização (25%), AWS (22%) e Power BI (21%) indicaram a importância de habilidades relacionadas à estruturação do trabalho e à aplicação prática de ferramentas no contexto corporativo.

Em níveis intermediários de frequência, destacaram-se R, Azure, Git e Excel, situadas na faixa de aproximadamente 15% a 20%. Embora relevantes, essas habilidades não são universalmente exigidas, variando conforme o perfil da vaga. Tecnologias mais específicas, como Databricks, GCP e Airflow, apresentaram menor incidência relativa, em torno de 10% ou menos, indicando que o mercado tende a priorizar competências amplamente aplicáveis e transferíveis antes de demandar especializações tecnológicas mais avançadas.

De forma geral, os resultados evidenciaram um padrão em que o mercado de dados valoriza simultaneamente fundamentos técnicos consolidados, como SQL e Python, infraestrutura moderna, como a computação em nuvem, e competências comportamentais, como comunicação e organização. Essa combinação reflete a natureza interdisciplinar e aplicada das funções analisadas, conforme discutido por Cimatti (2016) e Fayyad e Hamutcu (2020), que ressaltam a integração de hard e soft skills.

Na amostra de Cientista de Dados, as competências técnicas assumiram papel central, com Python presente em aproximadamente 52% das vagas, consolidando-se como a principal ferramenta para análise, modelagem e desenvolvimento de soluções baseadas em dados. SQL apareceu em cerca de 47%, reforçando sua importância na extração e manipulação de dados de diferentes fontes. Conhecimentos em computação em nuvem surgiram em aproximadamente 38%, evidenciando a necessidade de operar em ambientes escaláveis e distribuídos.

No campo das competências comportamentais para Cientista de Dados, comunicação apresentou elevada incidência, próxima de 37%, indicando o papel relevante do profissional na tradução de análises complexas em insights compreensíveis para o negócio. Organização apareceu em cerca de 27%, sugerindo a importância da estruturação de projetos analíticos, gestão de experimentos e reprodutibilidade dos processos, conforme a visão de Dubey e Gunasekaran (2015) sobre a necessidade de habilidades analíticas e estratégicas.

Em níveis intermediários para Cientista de Dados, destacaram-se AWS e R com 21%, além de Power BI com 19% e Azure com 18%, indicando a diversidade de ambientes e tecnologias utilizadas. Habilidades como liderança, Excel, Git e autonomia situaram-se na faixa de aproximadamente 14% a 17%, refletindo competências complementares que, embora relevantes, não são universalmente exigidas. Relacionamento (10%) e trabalho em equipe (7%) apresentaram menor incidência relativa, o que não necessariamente indica baixa importância, mas sim menor explicitação nos anúncios de vagas.

Para Engenheiro de Dados, as competências foram fortemente concentradas em infraestrutura e engenharia de dados, com destaque para computação em nuvem, presente em aproximadamente 68% das vagas, configurando-se como a principal exigência técnica. Esse resultado evidencia que o papel do engenheiro de dados está profundamente associado à construção e operação de ambientes escaláveis e distribuídos, como apontam Vicario e Coleman (2019) sobre a importância da gestão estratégica de dados.

SQL (53%) e Python (52%) apareceram com frequências muito próximas para Engenheiros de Dados, reforçando seu papel fundamental na manipulação, transformação e processamento de dados em larga escala. AWS (40%) destacou-se como principal plataforma de nuvem específica, seguida por Azure (31%) e GCP (20%), indicando a relevância do domínio de provedores de nuvem no desenvolvimento de arquiteturas modernas de dados. Essas competências são cruciais para a construção de pipelines e arquiteturas de dados eficazes (Zaharia et al., 2016).

Entre as ferramentas e práticas de engenharia, observou-se a presença relevante de Git (35%), CI/CD (30%), Spark (26%) e ETL (25%), evidenciando a importância de versionamento, automação de pipelines e processamento distribuído. Tecnologias como Databricks, Airflow, Data Lake e ELT, situadas na faixa de aproximadamente 15% a 20%, reforçaram o foco do Engenheiro de Dados em orquestração, armazenamento e estruturação de dados em ambientes complexos.

No campo das competências comportamentais para Engenheiro de Dados, comunicação apareceu em cerca de 32% das vagas. Embora o foco seja predominantemente técnico, essa incidência demonstra a necessidade de interação com outras áreas, como ciência de dados e analytics, especialmente em contextos de integração de sistemas e entrega de soluções. Os resultados indicam que o mercado para engenheiros de dados é fortemente orientado por competências técnicas ligadas à infraestrutura, cloud e engenharia de pipelines, com menor ênfase relativa em habilidades comportamentais quando comparado ao perfil de Cientista de Dados, refletindo a natureza mais operacional e arquitetural da função.

Na amostra de Business Intelligence, as competências comportamentais e de interface com o negócio assumiram papel central, com destaque para comunicação, presente em aproximadamente 45% das vagas. Essa foi a principal habilidade demandada, reforçando o papel do profissional de BI como elo entre dados e tomada de decisão, responsável por traduzir informações analíticas em insights compreensíveis para áreas de negócio, conforme ressaltado por Davenport e Harris (2017).

SQL (41%) apareceu como a principal competência técnica para Business Intelligence, evidenciando a necessidade de manipulação e consulta de dados para construção de análises e relatórios. Complementarmente, ferramentas de visualização e análise descritiva, como Power BI (33%) e Excel (31%), apresentaram elevada incidência, confirmando a centralidade dessas tecnologias no desenvolvimento de dashboards e acompanhamento de indicadores, conforme a literatura sobre a importância da visualização de dados (Wickham e Grolemund, 2017).

Ainda no campo das competências organizacionais, organização (30%) surgiu como uma das habilidades mais relevantes para Business Intelligence, refletindo a importância da estruturação de métricas, governança de dados e consistência na produção de relatórios. Em níveis intermediários, destacaram-se Python (24%) e R (21%), indicando que, embora não sejam o foco principal do perfil, competências analíticas mais avançadas começam a ganhar espaço dentro do contexto de BI.

Competências relacionadas à infraestrutura e engenharia, como cloud (17%) e ETL (7%), apresentaram menor incidência relativa para Business Intelligence quando comparadas aos perfis de Cientista de Dados e Engenheiro de Dados, sugerindo que essas habilidades são menos centrais para o papel. Em contrapartida, habilidades como liderança (18%), autonomia (16%), relacionamento (15%) e trabalho em equipe (9%) reforçaram o caráter colaborativo e orientado ao negócio da função, alinhando-se à visão de Cimatti (2016) sobre soft skills.

De forma geral, os resultados indicam que o mercado de trabalho para profissionais de Business Intelligence é fortemente orientado por competências de comunicação, organização e domínio de ferramentas de visualização, com menor ênfase relativa em infraestrutura técnica. Isso reflete a natureza do papel como suporte direto à tomada de decisão e geração de valor para o negócio, exigindo uma forte capacidade de interface e tradução de dados para stakeholders não técnicos.

A distribuição de senioridade por perfil revelou que, em Engenheiro de Dados, houve forte concentração nos níveis mais elevados, com predominância de posições sênior e de liderança, que juntas representaram a maior parcela das vagas. Esse padrão indica que a função está fortemente associada a atividades de maior complexidade técnica e responsabilidade, como a construção e gestão de arquiteturas de dados, exigindo profissionais mais experientes.

Para Cientista de Dados, a distribuição de senioridade apresentou-se mais equilibrada, embora ainda com peso relevante em níveis intermediários e avançados. Notou-se uma participação significativa de posições júnior e pleno, acompanhadas por uma presença expressiva de níveis sênior e liderança. Isso sugere um mercado que combina tanto oportunidades de desenvolvimento quanto demanda por profissionais mais consolidados, refletindo a diversidade de caminhos de entrada na área.

Em Business Intelligence, observou-se uma concentração ainda mais acentuada em posições de liderança, que representaram a maior parcela das vagas nesse grupo, seguidas por níveis sênior e pleno. Esse comportamento sugere que o papel de BI está frequentemente associado a funções estratégicas dentro das organizações, com forte envolvimento em gestão de indicadores, suporte à decisão e interface com áreas de negócio, o que demanda experiência e visão estratégica.

De forma geral, os resultados evidenciaram que as três áreas apresentam estruturas distintas de senioridade. Enquanto Engenheiro de Dados e Business Intelligence são mais orientadas a perfis experientes e estratégicos, Cientista de Dados apresenta uma distribuição mais balanceada, refletindo diferentes níveis de maturidade e caminhos de entrada dentro do ecossistema de dados. Essa diferenciação é crucial para compreender as expectativas do mercado em cada especialidade.

A análise da quantidade de skills por termo, utilizando boxplots, revelou que as vagas de Engenheiro de Dados apresentaram a maior mediana e a maior variabilidade na quantidade de skills requeridas. Isso indica que esse perfil demanda um conjunto mais amplo e diversificado de competências técnicas, frequentemente associadas à construção de pipelines, arquiteturas de dados e ambientes de processamento distribuído, o que reforça a complexidade inerente à função.

Em contraste, as vagas de Cientista de Dados apresentaram uma mediana significativamente menor, concentrando-se em um número mais restrito de competências, embora com a presença de diversos valores extremos. Isso sugere a existência de posições que exigem alto grau de especialização técnica, coexistindo com vagas de perfil mais focado. Já as posições de Business Intelligence apresentaram uma distribuição mais concentrada, com menor dispersão e mediana intermediária, indicando um perfil de competências mais padronizado, fortemente orientado ao uso de ferramentas específicas de análise e visualização de dados.

A distribuição da quantidade de skills por senioridade, também por boxplots, mostrou que os níveis júnior, pleno e sênior apresentaram medianas bastante próximas, em torno de 4 skills por vaga. Isso indica uma relativa estabilidade na quantidade típica de competências exigidas entre esses níveis. No entanto, a dispersão aumentou à medida que a senioridade evoluiu, especialmente nos níveis pleno e sênior, com intervalos interquartis mais amplos e presença mais significativa de valores extremos.

Esse comportamento sugere que, embora o número médio de skills não aumente de forma expressiva com a senioridade, a variabilidade das exigências cresce, refletindo maior diversidade de papéis e responsabilidades em níveis mais altos. No caso das posições de liderança, observou-se uma mediana inferior, próxima de 3 skills, acompanhada de uma distribuição mais concentrada. Isso indica que vagas desse nível tendem a exigir um conjunto mais enxuto de competências explicitamente descritas, possivelmente porque há maior ênfase em habilidades estratégicas, de gestão e tomada de decisão, que nem sempre são detalhadas da mesma forma que competências técnicas nos anúncios.

A análise por empresas evidenciou a concentração de vagas em organizações de maior porte e presença digital. Mercado Livre (68 vagas), Itaú Unibanco (58) e Shopee (53) se destacaram, seguidas por Life (52) e Tata Consultancy Services (48). Esse volume mais elevado sugere maior intensidade de contratação e maturidade em dados nessas empresas, o que se reflete diretamente na complexidade e especificidade das demandas por competências.

A distribuição de senioridade por empresa mostrou um predomínio claro de perfis mais experientes. Empresas como BairesDev apresentaram 97,6% das vagas em níveis de liderança, enquanto Tata Consultancy Services (85,7%) e Vivo (Telefônica Brasil) (73,7%) seguiram a mesma tendência. Por outro lado, organizações como EY apresentaram maior equilíbrio, com 63,0% em nível pleno e 25,9% sênior. Esse padrão indica que, independentemente do volume de vagas, o mercado analisado tende a demandar profissionais com maior experiência, o que se conecta com a complexidade das stacks identificadas.

A especialização por empresa também foi observada na distribuição dos termos. BairesDev concentrou 60,0% das vagas em Engenheiro de Dados, enquanto EY teve predominância em Cientista de Dados (55,3%). Já Vivo (Telefônica Brasil) apresentou maior foco em Business Intelligence (55,2%). Empresas como Foursys (61,8% Engenheiro de Dados) e Bradesco (45,5% BI) reforçaram essa segmentação, evidenciando que o volume de vagas está diretamente associado ao tipo de especialização demandada por cada organização.

O boxplot da quantidade de skills por empresa complementou essa análise, evidenciando a complexidade técnica das vagas. Empresas como Vivo (Telefônica Brasil) apresentaram a maior média de skills (7,07) e também a maior variabilidade (máximo de 21), indicando vagas mais exigentes e heterogêneas. Em contraste, BairesDev apresentou média mais baixa (2,73), sugerindo maior foco ou especialização. Empresas como EY (média 6,94) e Tata Consultancy Services (6,25) mostraram um padrão intermediário, reforçando a relação entre senioridade elevada e maior número de competências exigidas.

O heatmap de média de skills por empresa por termo sintetizou essas relações, evidenciando diferenças claras entre perfis. Vivo (Telefônica Brasil) destacou-se em Engenheiro de Dados com média de 10,25 skills, muito acima das demais, enquanto EY apresentou maior média em Cientista de Dados (7,73). No campo de Business Intelligence, empresas como Foursys (6,60) e Vivo (Telefônica Brasil) (6,44) se sobressaíram. Esses resultados reforçam que não apenas a quantidade de vagas, mas também o nível de senioridade e o tipo de termo estão diretamente associados à complexidade e profundidade das competências exigidas, evidenciando a existência de diferentes estratégias de contratação e maturidade analítica entre as empresas analisadas.

O mapa SVD1 vs SVD2 (skills x termos) apresentou a projeção bidimensional obtida a partir da aplicação da Decomposição em Valores Singulares (SVD) sobre a matriz de associação entre skills e termos profissionais. Observou-se que Engenheiro de Dados ocupa uma posição mais isolada no extremo positivo de SVD1 e negativo de SVD2, sugerindo um conjunto de competências relativamente distinto. Próximas a esse perfil apareceram skills como SQL, Python, AWS, Azure, Spark, Airflow e Databricks, indicando forte associação com tecnologias ligadas à infraestrutura, processamento distribuído, cloud e engenharia de pipelines. Esse posicionamento reforça o caráter mais técnico e arquitetural do termo, com ênfase em competências voltadas à sustentação e operacionalização do ecossistema de dados.

Business Intelligence apresentou posição mais isolada no quadrante superior, principalmente em relação ao eixo SVD2. Embora competências como Excel e Power BI se encontrassem na mesma direção relativa dessa dimensão, a distância observada indica que o perfil de Business Intelligence não é explicado pela proximidade com uma única competência, mas por uma combinação específica de habilidades. Esse posicionamento reforça sua diferenciação em relação aos demais perfis, especialmente pela maior presença relativa de ferramentas de visualização, análise descritiva e competências orientadas ao negócio, conforme a literatura sobre Business Intelligence (Davenport e Harris, 2017).

Cientista de Dados ocupou uma posição intermediária entre os dois polos, embora mais próxima do eixo técnico do que do eixo de visualização. Sua localização sugere um perfil híbrido, que compartilha competências com a engenharia de dados, como Python e SQL, mas sem a mesma ênfase nas tecnologias infraestruturais. Ao mesmo tempo, não se aproximou tanto das ferramentas mais típicas de BI, o que reforça sua posição intermediária entre modelagem analítica, programação e aplicação prática dos dados, conforme a descrição de Fayyad e Hamutcu (2020) sobre a versatilidade do cientista de dados.

De forma geral, o mapa confirmou empiricamente a diferenciação entre os três termos analisados. Embora exista um núcleo comum de competências compartilhadas, a distribuição espacial das skills e dos termos evidenciou que Engenheiro de Dados se associa mais fortemente à infraestrutura e engenharia, Business Intelligence à visualização e suporte ao negócio, e Cientista de Dados a uma posição intermediária, combinando competências analíticas e técnicas dentro do ecossistema de dados. Essa segmentação funcional é um achado central do estudo.

Os gráficos de associação entre skills (MCC/Phi) revelaram a formação de um bloco técnico fortemente inter-relacionado, composto principalmente por competências ligadas à infraestrutura, cloud e engenharia de dados. Entre as associações mais intensas destacaram-se Cloud-AWS (0,660), Cloud-Azure (0,583), AWS–GCP (0,483), Azure–GCP (0,480) e Cloud–GCP (0,470), indicando que essas tecnologias aparecem com frequência em conjunto, refletindo um padrão de vagas mais orientado à construção de pipelines, integração e operação de ambientes escaláveis.

De modo semelhante, a associação entre Spark–Databricks (0,464), Spark–Airflow (0,418), ELT–Data Lake (0,451) e CI/CD–Docker (0,403) reforça a existência de um núcleo ligado à engenharia de dados moderna, no qual processamento distribuído, orquestração, automação e armazenamento aparecem como competências complementarmente demandadas. Essas associações evidenciam a complexidade e a interdependência das ferramentas e plataformas no ambiente de dados, conforme a literatura sobre big data (Zaharia et al., 2016).

Também se observaram associações relevantes entre competências mais transversais. O par SQL-Python (0,418) sugere que essas duas habilidades funcionam como base técnica conjunta em grande parte das vagas, articulando manipulação de dados e programação. Da mesma forma, Power BI-Tableau (0,418) indica proximidade entre ferramentas de visualização e análise aplicada, ainda que esse bloco se mostre menos conectado ao núcleo mais infraestrutural. Em contraste, habilidades como Comunicação, Organização, Liderança e Autonomia apresentaram associações mais difusas e, em geral, de menor intensidade, sugerindo que, embora apareçam com frequência nas vagas, não se vinculam de forma tão rígida a combinações técnicas específicas.

De forma geral, a matriz de associação mostrou que o mercado de trabalho em dados não demanda competências de modo isolado, mas sim em combinações recorrentes, organizadas em subconjuntos relativamente coerentes. O principal deles é o cluster de engenharia/cloud, enquanto um segundo agrupamento envolve ferramentas de análise e visualização. Esse resultado reforça a interpretação de que a formação profissional em dados tende a ser estruturada em ecossistemas de competências, nos quais determinadas skills ganham valor precisamente por sua capacidade de operar em conjunto com outras tecnologias e práticas.

Os gráficos de log-odds, que medem a especificidade relativa de uma skill para um determinado perfil, destacaram em Engenheiro de Dados competências fortemente associadas à engenharia de infraestrutura e à operação de ambientes técnicos robustos, como Java, Kubernetes, Kafka, .NET, Pig, Docker, Scala, CI/CD, dbt, C# e Git. Esse conjunto evidencia um perfil orientado à construção e sustentação de pipelines, integração de sistemas, automação de deploy, processamento distribuído e arquitetura de dados. Embora SQL, Python e cloud sejam relevantes, não aparecem entre as mais específicas por serem amplamente demandadas em outros termos, o que reduz sua capacidade discriminante.

No caso de Cientista de Dados, as skills mais específicas concentraram-se em competências de caráter estatístico, analítico e metodológico, com destaque para MATLAB, Probabilidade, Matplotlib, Bayes, Stata, SPSS, Plotly, Inferência, Regressão, SAS, Metabase e Business Objects. Esse resultado reforça a identidade da Ciência de Dados como campo mais fortemente associado à modelagem analítica, inferência estatística e exploração de métodos quantitativos. A presença de bibliotecas e ferramentas analíticas sugere que o diferencial desse perfil está menos na infraestrutura e mais na capacidade de construir, interpretar e comunicar modelos e análises, conforme a visão de Smith et al. (2018).

Já em Business Intelligence, os maiores valores de log-odds recaíram sobre competências ligadas à visualização, análise descritiva e interface com o negócio, com destaque para Excel, Power BI, QuickSight, Relacionamento, Data Studio, Business Objects, D3, Looker, Qlik, Apresentação, Trabalho em equipe e Comunicação. Esse conjunto mostra que o perfil de BI é marcado pela capacidade de transformar dados em relatórios, dashboards e indicadores úteis à tomada de decisão, combinando ferramentas de visualização com competências interpessoais e organizacionais. A presença de habilidades como comunicação, relacionamento, apresentação e trabalho em equipe entre as mais específicas reforça que o profissional de BI atua de maneira mais intensa na mediação entre dados e negócio, diferindo dos demais perfis por sua orientação à interpretação, disseminação e uso gerencial da informação.

Em síntese, os resultados desta pesquisa revelaram que o mercado de trabalho em dados no Brasil, embora compartilhe um núcleo comum de competências como SQL, Python e comunicação, apresenta uma clara segmentação funcional entre os perfis de Engenheiro de Dados, Cientista de Dados e Business Intelligence. Cada perfil possui um conjunto de competências técnicas e comportamentais específicas, níveis de senioridade distintos e padrões de demanda que refletem suas atribuições particulares no ecossistema de dados, fornecendo subsídios valiosos para a formação profissional e o alinhamento das práticas de recrutamento.

4. Conclusão

O presente estudo objetivou identificar e analisar as competências técnicas e comportamentais mais demandadas em vagas de trabalho em dados, buscando mapear padrões e diferenças entre perfis ocupacionais e níveis de senioridade, conforme anúncios publicados na plataforma LinkedIn. Verificou-se que SQL (47%), Python (42%), computação em nuvem (40%) e comunicação (38%) foram as competências mais recorrentes de forma geral. Observou-se uma clara segmentação funcional entre os perfis de Engenheiro de Dados, Cientista de Dados e Business Intelligence. O Engenheiro de Dados concentrou-se em infraestrutura e processamento de dados, com alta demanda por cloud computing, SQL e Python, e predominância de posições sênior e de liderança. O Cientista de Dados apresentou um perfil mais equilibrado, com foco em competências analíticas, estatísticas e computacionais, como Python e SQL. Já o profissional de Business Intelligence destacou-se pela demanda por habilidades de comunicação, visualização e análise descritiva, com forte presença de ferramentas como Power BI e Excel, e uma concentração em posições de liderança. Os resultados indicaram que as competências são valorizadas em ecossistemas inter-relacionados, e a complexidade das exigências varia conforme o perfil e a senioridade.

A principal contribuição deste estudo reside em oferecer subsídios concretos para a formação profissional e o alinhamento das práticas de recrutamento e desenvolvimento de talentos às demandas efetivas do mercado de dados no Brasil, ao detalhar as especificidades de cada perfil. Contudo, o estudo possui limitações inerentes à utilização de uma única plataforma de recrutamento e a possíveis vieses associados à amostra analisada. Para pesquisas futuras, recomenda-se a ampliação da base de dados para incluir outras plataformas e a realização de análises longitudinais, permitindo acompanhar a evolução das demandas de competências ao longo do tempo e aprofundar a compreensão das transformações do trabalho na área de dados.

Referências Bibliográficas

ANTUNES, R. Os sentidos do trabalho: ensaio sobre a afirmação e a negação do trabalho. 2. ed. São Paulo: Boitempo, 2009.

CASTEL, R. As metamorfoses da questão social: uma crônica do salário. Petrópolis: Vozes, 1998.

DAVENPORT, T. H.; PATIL, D. J. Data scientist: the sexiest job of the 21st century. Harvard Business Review, v. 90, n. 10, p. 70–76, 2012.

FAYYAD, U.; HAMUTCU, H. Toward foundations for data science and analytics: a knowledge framework for professional standards. Harvard Data Science Review, v. 2, n. 2, 2020.

MARX, K. O capital: crítica da economia política. Livro I. São Paulo: Boitempo, 2013.

MENEGASSO

POCHMANN, M. Nova classe média? O trabalho na base da pirâmide social brasileira. São Paulo: Boitempo, 2012.

VICARIO, E.; COLEMAN, C. Big data and analytics: driving business performance. 2019.

WING, J. M. The data life cycle. Harvard Data Science Review, v. 3, n. 1, p. 1–10, 2021.

Artigo oriundo de Trabalho de Conclusão de Curso da Especialização em Data Science e Analytics do MBA USP/Esalq

Para saber mais sobre o curso, clique aqui e acesse a plataforma MBX Academy