November 19, 2026
Sistema com “pipeline” de dados e aprendizado de máquina no planejamento das contratações públicas
Carlos Augusto Massayuki Tahira Takasaki; Edivan Alexandre Ferreira
DOI: 10.22167/2675-6528-202603885
Artigo derivado de Trabalho de Conclusão de Curso (TCC), com conteúdo baseado no trabalho original do aluno e adaptado ao formato editorial da Revista E&S com apoio da ferramenta ResumeAI, solução de inteligência artificial desenvolvida pelo Instituto Pecege para síntese e organização textual.
Resumo
A Lei nº 14.133/2021 estabeleceu a obrigatoriedade do planejamento na fase preparatória das contratações públicas, gerando desafios técnicos. Com o objetivo de apoiar gestores públicos, desenvolveu-se um sistema de “pipeline” de dados com aprendizado de máquina. O sistema foi capaz de coletar automaticamente dados do Portal Nacional de Contratações Públicas (PNCP) via API, identificar processos licitatórios similares e fornecer subsídios técnicos para novas contratações. A pesquisa, de caráter experimental, utilizou levantamento de dados secundários de 2021 a 2026. Aplicaram-se técnicas de transformação e padronização dos dados, seguidas de agrupamento por similaridade lexical e, posteriormente, de busca por aproximação semântica. Para a busca semântica, adotou-se o modelo Sentence-BERT, processando 434.566 registros armazenados em formato Parquet com vetores de “embeddings”. Testes automatizados, realizados com amostras de 500 consultas, verificaram desempenho operacional adequado, com 100% de retorno dos resultados e 0% de erros de execução, considerando as limitações estruturais dos dados do PNCP. Concluiu-se que o sistema oferece uma ferramenta robusta para o planejamento da fase preparatória das contratações públicas.
Palavras-chave: Aprendizado de máquina; Busca semântica; Contratações públicas; Fase preparatória; Pipeline de dados.
1. Introdução
A Lei nº 14.133/2021, que regulamenta as licitações e contratos administrativos no Brasil (Brasil, 2021), estabeleceu a obrigatoriedade do planejamento e da formalização documental na fase preparatória das contratações públicas. Esta nova legislação impõe desafios técnicos significativos aos gestores públicos, que agora devem assegurar o planejamento prévio, a vinculação ao Plano de Contratações Anual, o respeito à legislação orçamentária e a adequação às necessidades técnicas, de mercado e de gestão. A fase preparatória é crucial, pois nela se define o objeto da contratação, realizam-se pesquisas de mercado e se elaboram documentações técnicas como o Estudo Técnico Preliminar e o Termo de Referência (Anastasia e Pereira, 2025).
Para apoiar essa transição, a mesma lei criou o Portal Nacional de Contratações Públicas (PNCP), um sítio eletrônico oficial destinado à divulgação centralizada e obrigatória de todos os atos exigidos pela nova legislação. A alimentação de informações no PNCP ocorre por meio de integração via Application Programming Interface (API), seguindo o estilo arquitetural Representational State Transfer (REST) sobre o protocolo Hypertext Transfer Protocol (HTTP), permitindo o intercâmbio automático de dados dos processos licitatórios.
Neste contexto, a ciência de dados oferece soluções promissoras, empregando técnicas como o pipeline de dados e o aprendizado de máquina. Um pipeline de dados é um conjunto organizado de processos que automatiza a coleta, processamento, armazenamento, tratamento, transformação e entrega de dados para análises e decisões (Desmond, 2021; Reis e Housley, 2022). O aprendizado de máquina, por sua vez, é uma subárea da inteligência artificial que capacita sistemas a aprender padrões a partir de dados para realizar predições úteis (Huyen, 2024). No presente trabalho, o aprendizado de máquina é aplicado à recuperação de informação semântica, utilizando o modelo Sentence Bidirectional Encoder Representations from Transformers (SBERT) para representar sentenças como vetores numéricos e comparar textos por similaridade cosseno (Reimers e Gurevych, 2019, 2020).
Apesar da importância do planejamento e da disponibilidade de dados no PNCP, existe uma lacuna no apoio técnico aos agentes públicos. O Tribunal de Contas da União (TCU), em seu Relatório de Acompanhamento (2024), avaliou o grau de maturidade dos estados, municípios e órgãos federais na aplicação da nova lei. O relatório constatou que os entes municipais apresentaram o menor índice médio de implementação, com 79% dos municípios sem catálogo eletrônico de padronização, 74% sem Plano de Contratações Anual implementado e 70% sem a elaboração prévia do Estudo Técnico Preliminar. Os próprios gestores apontam a falta de orientação para elaborar essas documentações como a principal dificuldade.
Essa dificuldade é agravada pela qualidade dos dados publicados no PNCP, onde cerca de um terço das contratações registradas não cumpre a exigência legal de publicação do Termo de Referência. Além disso, uma parcela significativa dos registros disponíveis concentra texto jurídico-administrativo genérico e não discriminativo no campo objeto, o que impede a identificação do objeto real da contratação. Tais limitações estruturais dos dados disponíveis no portal evidenciam a necessidade de ferramentas que possam auxiliar os agentes públicos a superar esses obstáculos, fornecendo subsídios técnicos concretos para o planejamento da fase preparatória dos processos licitatórios.
Diante desse cenário, o presente trabalho tem por objetivo demonstrar a viabilidade técnica de um pipeline de dados com aprendizado de máquina, desenvolvido em linguagem Python, capaz de coletar, processar e indexar semanticamente os Termos de Referência publicados no Portal Nacional de Contratações Públicas e disponibilizar ao agente de contratação pública uma ferramenta de busca por similaridade semântica que identifique contratações similares realizadas por outros entes públicos, oferecendo referências concretas para o planejamento da fase preparatória dos processos licitatórios.
2. Material e Métodos
A pesquisa foi delineada como um estudo experimental, com abordagem quantitativa, visando demonstrar a viabilidade técnica de um pipeline de dados com aprendizado de máquina. O estudo utilizou levantamento de dados secundários para desenvolver um sistema de apoio ao planejamento de contratações públicas, em conformidade com a Lei nº 14.133/2021.
Os dados foram coletados de forma automatizada, via Application Programming Interface (API) do Portal Nacional de Contratações Públicas (PNCP), de livre acesso (PNCP, 2024). A coleta abrangeu o período de 2021 a 2026, resultando na obtenção de 649.088 registros de contratações da modalidade Pregão Eletrônico. Extraíram-se metadados e o texto integral do Termo de Referência (TR), quando disponível e legível, armazenados em formato Apache Parquet.
No pré-processamento, 214.522 registros (33,0% do total) sem TR disponível ou legível foram excluídos do corpus semântico. Dos 434.566 registros remanescentes, 107.276 (24,7%) continham TRs em formato PDF gerados por digitalização, sem texto legível por computador, e não foram processados por reconhecimento óptico de caracteres (OCR), que estava fora do escopo do trabalho.
Para os demais registros textuais, aplicou-se um processo de limpeza que incluiu a remoção de caracteres especiais, a normalização de espaços e a eliminação de sequências de controle. O desenvolvimento e os testes do sistema ocorreram em ambiente local, utilizando o sistema operacional Windows 11, a linguagem Python 3.9 e uma unidade de processamento gráfico NVIDIA GTX 1050 Ti.
Inicialmente, empregou-se um modelo de referência baseado em Term Frequency-Inverse Document Frequency (TF-IDF) e similaridade cosseno para a busca lexical (Borges, 2022). Este modelo, implementado com Scikit-learn (versão 1.1.3), NumPy e Pandas, operou sobre o campo objeto dos documentos. Para organização do corpus, utilizou-se o algoritmo K-Means, agrupando os 649.088 registros em dez clusters temáticos.
O pipeline de dados com TF-IDF consistiu em indexação, que convertia o campo objeto em representações numéricas, e consulta, que calculava a similaridade cosseno via NumPy. Para a busca semântica, adotou-se o modelo Sentence Bidirectional Encoder Representations from Transformers (SBERT), na arquitetura de knowledge distillation multilíngue (Reimers e Gurevych, 2020), processando o texto completo do TR.
Foram utilizados dois modelos SBERT pré-treinados da biblioteca sentence-transformers (versão 2.7.0): Aprimorado Superior (paraphrase-multilingual-mpnet-base-v2, 768 dimensões) e Aprimorado Simples (paraphrase-multilingual-MiniLM-L12-v2, 384 dimensões). O pipeline SBERT transformou o texto completo do TR dos 434.566 registros em vetores numéricos densos, ou embeddings, gerados com normalização unitária, processados em lotes de 64 registros com aceleração por GPU, e armazenados em arquivos binários no formato NumPy.
Na etapa de consulta do SBERT, o sistema transformava a busca do usuário em um vetor semântico e calculava o produto interno com a matriz de vetores do corpus via NumPy, gerando resultados ordenados com vínculos diretos aos registros do PNCP. A interface de consulta foi desenvolvida em Streamlit, oferecendo três modos de busca (Básico, Aprimorado Simples, Aprimorado Superior) com requisitos de RAM (4 GB, 8 GB e 16 GB, respectivamente).
Para a avaliação do desempenho, executaram-se testes automatizados. O modelo TF-IDF foi avaliado por autorrecuperação e taxa de acerto de cluster. Os modelos SBERT foram avaliados por coerência temática, verificando a presença de termos temáticos no campo objeto dos documentos retornados, com 500 consultas distribuídas por 20 temas reais. Registraram-se a taxa de retorno de resultados, erros de execução, validade dos vínculos PNCP e tempo médio de resposta por consulta. A diferença de desempenho entre os modelos semânticos foi avaliada por testes de significância estatística (t pareado e Wilcoxon). O código-fonte completo do sistema está disponível em repositório público no GitHub.
3. Resultados e Discussão
Os resultados obtidos demonstram a viabilidade técnica do sistema de “pipeline” de dados com aprendizado de máquina, desenvolvido para apoiar o planejamento das contratações públicas. A pesquisa confirmou que a ferramenta é capaz de coletar, processar e indexar semanticamente os Termos de Referência (TR) publicados no Portal Nacional de Contratações Públicas (PNCP), fornecendo subsídios técnicos concretos para a fase preparatória dos processos licitatórios. Este achado responde diretamente ao objetivo do estudo, que visava demonstrar a exequibilidade de tal sistema em um contexto de desafios impostos pela Lei nº 14.133/2021.
O sistema demonstrou confiabilidade operacional em ambiente local, apresentando 0% de erros de execução e 100% de vínculos válidos para os registros no PNCP em todos os modos de busca testados. Esses indicadores são cruciais para a adoção da ferramenta por gestores públicos, pois garantem que as informações fornecidas são acessíveis e corretas, independentemente da complexidade do modo de busca selecionado. A robustez técnica observada é um passo fundamental para superar as dificuldades de planejamento identificadas pelo Tribunal de Contas da União (TCU, 2024) entre os entes federativos.
Resultados do modelo de referência – TF-IDF
Os testes automatizados do modelo TF-IDF, realizados com 500 consultas distribuídas por dez “clusters” temáticos, revelaram uma taxa de autorrecuperação de 87,4%. O documento original da consulta apareceu, em média, na primeira posição (posição média de 1,3) entre os resultados retornados, e a taxa de acerto de “cluster” foi de 99,2%. O modelo entregou resultados em 100% das consultas, sem erros de execução, e com tempo médio de resposta de 418,7 milissegundos, variando entre 345,2 ms e 573,7 ms, o que é adequado para uso interativo.
Apesar do desempenho operacional, a análise dos “clusters” evidenciou uma limitação estrutural significativa do modelo TF-IDF. Verificou-se que 49,2% dos registros indexados, totalizando 319.557 documentos no “cluster” C0, continham texto jurídico-administrativo genérico e não discriminativo no campo objeto. Expressões como “contratação de empresa especializada para prestação de serviços” dominavam os vetores TF-IDF, tornando a similaridade lexical ineficaz para distinguir objetos de contratação realmente distintos, pois o modelo compara documentos pela ocorrência literal de palavras.
Essa característica do TF-IDF, que atribui maior peso a termos frequentes no documento e raros no corpus, falha quando o vocabulário genérico é predominante. Consequentemente, o universo de registros realmente úteis para o agente público foi significativamente menor do que o total indexado. Somando os 214.522 registros (33,0%) sem TR disponível e os 319.557 registros (49,2%) com objeto genérico não discriminativo, e descontando a sobreposição, a taxa de aproveitamento real do corpus TF-IDF foi de apenas 30,1%, correspondendo a 195.514 dos 649.088 registros indexados.
A taxa de autorrecuperação de 87,4% obtida neste trabalho para o TF-IDF é numericamente superior à faixa de precisão entre 72% e 86% reportada por Borges (2022) em sua aplicação de TF-IDF e similaridade cosseno a documentos licitatórios. Contudo, essa comparação deve ser interpretada com cautela, pois os trabalhos possuem finalidades distintas: auditoria preventiva em Borges (2022) e apoio ao planejamento neste estudo. A diferença de desempenho pode ser atribuída à estruturação do corpus em “clusters” temáticos via K-Means, uma decisão arquitetural que otimiza a busca e aumenta a precisão ao direcionar cada consulta a um subconjunto relevante do corpus.
A limitação do modelo lexical foi confirmada por um teste adicional, no qual o TF-IDF foi aplicado sobre o texto completo dos TR, em vez do campo objeto. Com 327.290 registros vetorizados com 50.000 termos, a taxa de autorrecuperação foi de 0,0%. Este resultado demonstra que a restrição é estrutural ao modelo lexical quando aplicado a textos longos e padronizados, pois o texto jurídico-administrativo genérico e não discriminativo presente no corpo dos TR domina os vetores, tornando os documentos indistinguíveis, independentemente da fonte textual utilizada.
Essas limitações, decorrentes da baixa padronização e da qualidade dos dados publicados no PNCP, como a ausência de TR em 33,0% dos registros e documentos em formato não legível, evidenciam que a efetividade do TF-IDF depende de fatores externos ao sistema. A incapacidade do modelo lexical de capturar similaridade semântica além da correspondência literal de termos motivou a adoção de um modelo de busca semântica, capaz de operar sobre o texto completo do TR, que é semanticamente mais rico do que o campo objeto.
“Pipeline” de dados com SBERT e aprendizado de máquina
O modelo semântico adotado foi o Sentence Bidirectional Encoder Representations from Transformers (SBERT), na arquitetura de “knowledge distillation” multilíngue, conforme descrito por Reimers e Gurevych (2020). Este processo permite que um modelo treinado em inglês supervisione o treinamento de um modelo multilíngue, gerando representações semânticas equivalentes em mais de cinquenta idiomas, incluindo o português, o que é fundamental para o contexto das contratações públicas brasileiras.
Foram avaliados dois modelos pré-treinados da biblioteca “sentence-transformers” versão 2.7.0: o paraphrase-multilingual-mpnet-base-v2, com 768 dimensões por vetor (denominado Aprimorado Superior), e o paraphrase-multilingual-MiniLM-L12-v2, com 384 dimensões por vetor (denominado Aprimorado Simples). Essa nomenclatura foi adotada para facilitar a compreensão e acessibilidade ao público-alvo, sendo utilizada em todas as seções subsequentes e na interface de consulta do sistema.
O “pipeline” nesta fase opera em duas etapas. A primeira, de indexação, é executada uma única vez sobre o corpus completo de 434.566 registros. O modelo SBERT transforma o texto completo do TR de cada registro em um vetor numérico denso, ou “embedding”, que representa o significado semântico do documento, e não apenas os termos literais. Ao contrário do TF-IDF, o SBERT captura relações de sentido entre palavras, permitindo que documentos com vocabulário distinto, mas significado similar, sejam reconhecidos como próximos, o que é crucial para superar as limitações do modelo lexical.
Os vetores foram gerados com normalização unitária, processados em lotes de 64 registros e com aceleração por unidade de processamento gráfico NVIDIA GTX 1050 Ti. Foram armazenados em arquivos binários no formato NumPy: embeddings_completo.npy, com 434.566 vetores de 768 dimensões e tamanho de 1.335 megabytes para o modelo Aprimorado Superior, e embeddings_minilm.npy com 434.566 vetores de 384 dimensões e tamanho de 667 megabytes para o modelo Aprimorado Simples. A diferença de tamanho reflete a dimensionalidade dos vetores, sendo o Aprimorado Superior aproximadamente o dobro do Aprimorado Simples.
A segunda etapa, de consulta, é executada a cada busca do agente de contratação. O sistema transforma a consulta em um vetor semântico pelo mesmo modelo SBERT e calcula o produto interno entre esse vetor e a matriz de vetores do corpus via NumPy. Essa operação, matematicamente equivalente à similaridade cosseno para vetores normalizados (Reimers e Gurevych, 2019), gera uma lista ordenada de resultados por pontuação de similaridade semântica, entregando os TRs mais próximos da consulta com vínculos diretos aos registros correspondentes no PNCP, independentemente do vocabulário utilizado. A pontuação expressa o grau de proximidade de significado, onde valores mais próximos de 1 indicam maior similaridade semântica.
A “interface” de consulta foi desenvolvida em Streamlit, uma biblioteca de código aberto para Python que facilita a construção de aplicações web interativas. Essa escolha tecnológica permitiu a prototipagem rápida de uma interface funcional, amplamente utilizada em projetos de ciência de dados e aprendizado de máquina. A interface disponibiliza os três modos de busca (TF-IDF, Aprimorado Simples e Aprimorado Superior) com seus respectivos requisitos computacionais, permitindo ao agente de contratação selecionar o modo mais adequado ao seu “hardware” disponível.
Resultados dos modelos semânticos SBERT
Os testes automatizados com 500 consultas, distribuídas por 20 temas reais do corpus, revelaram uma coerência temática média de 33,9% para o modelo Aprimorado Superior e 28,7% para o modelo Aprimorado Simples. Ambos os modelos retornaram resultados em 100% das consultas, sem erros de execução, e com todos os vínculos ao PNCP em formato válido. Esses valores, embora aparentemente modestos, devem ser interpretados com cautela devido a uma limitação do critério de avaliação utilizado.
O critério automático de avaliação verificava se o termo do tema aparecia literalmente escrito no campo objeto de cada documento retornado. No entanto, os modos semânticos buscam por similaridade de significado sobre o texto completo do TR, sem exigir a presença literal da consulta. Assim, um documento semanticamente correto para o tema pode não ser contado como coerente se o campo objeto usar outras palavras, como no exemplo de “merenda escolar” que retorna “gêneros alimentícios para a rede municipal de ensino”. Essa diferença não foi quantificada, mas sugere que a coerência temática real é subestimada pelo critério automático.
Reimers e Gurevych (2020) descrevem a capacidade dos modelos SBERT de capturar equivalência semântica independentemente do vocabulário utilizado, o que valida a inadequação de um critério de correspondência lexical para avaliar modelos semânticos. A ausência de trabalhos que avaliem o desempenho de modelos SBERT multilíngues sobre documentos de contratação pública brasileira sob o critério de coerência temática impede a comparação direta dos valores obtidos com “benchmarks” estabelecidos, reforçando o caráter exploratório desta aplicação e a necessidade de futuras avaliações comparativas.
A análise por tema revelou um padrão relevante: temas com vocabulário específico e inequívoco apresentaram coerência significativamente superior à média. Por exemplo, “Medicamentos” obteve 87,2% com o Aprimorado Superior e 73,6% com o Aprimorado Simples; “Merenda Escolar” alcançou 63,6% com o Aprimorado Superior e 69,2% com o Aprimorado Simples; e “Combustíveis” registrou 62,0% com o Aprimorado Superior e 60,8% com o Aprimorado Simples. Em contraste, temas com vocabulário genérico, como “Manutenção predial” (7,2% Aprimorado Superior; 6,0% Aprimorado Simples) e “Obras e serviços de engenharia” (8,4% Aprimorado Superior; 10,4% Aprimorado Simples), apresentaram baixa coerência.
Esse padrão indica que a limitação não reside no modelo SBERT em si, mas na natureza dos dados do PNCP. Contratações de manutenção predial e obras e serviços de engenharia, por exemplo, abrangem objetos heterogêneos com vocabulário contratual similar, o que torna a aproximação semântica intrinsecamente imprecisa para categorias amplas. O score médio de similaridade foi de 0,762 para o Aprimorado Superior (desvio padrão de 0,014) e de 0,733 para o Aprimorado Simples (desvio padrão de 0,016), com desvios padrão baixos indicando que os resultados retornados apresentam scores próximos entre si, característico de modelos que identificam múltiplos documentos igualmente relevantes.
O tempo médio de resposta após o carregamento inicial foi de 190,8 milissegundos para o Aprimorado Superior e 128,4 milissegundos para o Aprimorado Simples. Ambos os tempos são considerados adequados para uso interativo, garantindo uma experiência fluida para o usuário. Essa agilidade é crucial para que a ferramenta seja efetivamente incorporada ao fluxo de trabalho dos gestores públicos na fase preparatória das contratações.
Comparação entre os três modos
A comparação entre os três modos de busca – Básico (TF-IDF), Aprimorado Simples (SBERT MiniLM) e Aprimorado Superior (SBERT MPNet) – revela perfis de desempenho distintos, com implicações diretas para a acessibilidade do sistema. O modo Básico, operando sobre 649.088 registros, requer 4 GB de RAM e tem um tempo médio de resposta de 418,7 ms, com autorrecuperação de 87,4% e acerto de “cluster” de 99,2%. Os modos semânticos, operando sobre 434.566 registros, exigem 8 GB de RAM para o Aprimorado Simples (128,4 ms de resposta, 28,7% de coerência temática, score médio de 0,733) e 16 GB de RAM para o Aprimorado Superior (190,8 ms de resposta, 33,9% de coerência temática, score médio de 0,762).
O modo TF-IDF foi mantido como opção de contingência, considerando o baixo índice de maturidade tecnológica dos municípios brasileiros, conforme relatório do TCU (2024). Seus requisitos de “hardware” são menos exigentes, operando com até 4 GB de RAM e consumindo cerca de 500 megabytes de memória, sem necessidade de unidade de processamento gráfico. Contudo, suas limitações estruturais, como a taxa de aproveitamento real de 30,1% do corpus e a incapacidade de capturar variações semânticas, restringem sua utilidade prática, tornando os modos semânticos preferenciais sempre que o “hardware” permitir.
O modo Aprimorado Superior oferece a maior qualidade semântica disponível no sistema, com coerência temática de 33,9% e score médio de similaridade de 0,762. Ele demonstrou superioridade em 13 dos 20 temas avaliados, operando sobre o texto completo dos TRs para capturar o significado semântico independentemente do vocabulário. É o modo mais indicado para agentes públicos com “hardware” mais robusto e para objetos com vocabulário rico e específico, sendo sua principal limitação o requisito de 16 gigabytes de RAM para o carregamento inicial.
A redução de 768 para 384 dimensões no modelo Aprimorado Simples resultou em um “trade-off” quantificado empiricamente: uma diferença média de 5,2 pontos percentuais a menos na coerência temática e 3,8% a menos no score médio de similaridade em relação ao Aprimorado Superior. Em contrapartida, houve um ganho de 33% no tempo de resposta e uma redução de 50% no consumo de memória para os arquivos de “embeddings”. Essa decisão metodológica de incluir o modo Aprimorado Simples como opção intermediária é fundamentada na diversidade dos perfis de “hardware” dos municípios brasileiros.
O modo Aprimorado Simples representa um equilíbrio entre qualidade semântica e acessibilidade, com coerência temática média de 28,7% e score médio de 0,733, exigindo apenas 8 gigabytes de RAM e aproximadamente um minuto para carregamento. Em seis dos 20 temas avaliados, o Aprimorado Simples superou o Aprimorado Superior, notadamente em “merenda escolar” (69,2% vs 63,6%), “segurança e vigilância” (38,4% vs 35,2%) e “material hospitalar” (22,4% vs 13,2%). Esse resultado não contradiz a hierarquia de capacidade, mas indica que a maior capacidade do Aprimorado Superior o torna mais sensível à qualidade dos dados disponíveis, e em casos de vocabulário genérico ou baixa padronização, as representações vetoriais mais compactas do Aprimorado Simples podem produzir resultados pontualmente mais precisos.
“Interface” de consulta
O protótipo da interface de consulta, desenvolvido em Streamlit, opera em ambiente local e apresenta os três modos de busca disponíveis: Básico, Aprimorado Simples e Aprimorado Superior. Essa arquitetura permite ao agente de contratação selecionar o modo adequado ao seu “hardware”, garantindo que a ferramenta seja acessível a uma ampla gama de usuários com diferentes capacidades computacionais. Os modos Aprimorado Simples e Aprimorado Superior aceitam qualquer consulta em texto livre, sem restrição aos temas avaliados nos testes, pois os 20 temas serviram apenas como referência de desempenho, não como limitação de uso.
A tela de resultados exibe, para cada contratação retornada, o objeto, a unidade federativa, a modalidade, o valor estimado e um vínculo direto ao registro correspondente no PNCP. Essa funcionalidade permite o acesso imediato ao TR completo para consulta, facilitando a análise e a tomada de decisão do agente público. Adicionalmente, os resultados podem ser exportados em formato CSV, o que facilita o registro e o compartilhamento no âmbito do processo administrativo da fase preparatória, integrando-se aos fluxos de trabalho existentes.
O sistema desenvolvido é composto por módulos e funções principais que orquestram a coleta, processamento e busca de dados. O módulo `app_consulta.py` gerencia o carregamento dos modelos (Aprimorado Superior, Aprimorado Simples e TF-IDF) e suas respectivas “embeddings” pré-calculadas, mantendo-os em cache para otimizar o desempenho. Ele também contém as funções `buscar_sbert()` e `buscar_tfidf()`, que calculam a similaridade entre a consulta e o corpus, aplicam filtros e retornam os resultados ordenados, além de `montar_link_pncp()` para gerar os vínculos diretos aos registros no PNCP.
O módulo `coletor_pncp.py` é responsável pela orquestração da coleta automatizada de dados via API do PNCP, por modalidade e janela temporal, através da função `executar_coleta()`. A função `coletar_contratacoes()` coleta dados de uma janela específica e registra o progresso em um banco de dados local, enquanto `get()` executa requisições HTTP com repetição automática em caso de falha temporária. O módulo `ml_embeddings_fase2.py` contém a função `gerar_embeddings()`, que converte o texto completo dos TRs em vetores semânticos normalizados usando os modelos SBERT, e `validar_consulta()`, utilizada nos testes automatizados de coerência temática.
Em síntese, a pesquisa demonstrou a viabilidade técnica de um sistema de “pipeline” de dados com aprendizado de máquina para auxiliar o planejamento de contratações públicas, superando desafios técnicos da Lei nº 14.133/2021. O sistema oferece modos de busca lexical e semântica, com o SBERT apresentando maior capacidade de capturar o significado dos documentos, apesar das limitações de qualidade dos dados do PNCP. A arquitetura de três modos de busca, com diferentes requisitos computacionais, visa atender à diversidade de infraestrutura dos municípios brasileiros, fornecendo uma ferramenta robusta e acessível para a identificação de contratações similares.
4. Conclusão
O estudo propôs demonstrar a viabilidade técnica de um pipeline de dados com aprendizado de máquina, desenvolvido em linguagem Python, para coletar, processar e indexar semanticamente Termos de Referência (TR) do Portal Nacional de Contratações Públicas (PNCP), oferecendo uma ferramenta de busca por similaridade semântica para o planejamento da fase preparatória de processos licitatórios. Verificou-se que o sistema desenvolvido foi capaz de coletar e processar automaticamente 434.566 registros de TR, transformando-os em vetores semânticos por meio de modelos SBERT. Os testes automatizados revelaram um desempenho operacional robusto, com 100% de retorno dos resultados e 0% de erros de execução em todos os modos de busca, garantindo a confiabilidade dos vínculos com o PNCP. Embora o modelo lexical TF-IDF tenha apresentado limitações significativas devido à predominância de texto jurídico-administrativo genérico nos dados do PNCP, os modelos semânticos Aprimorado Simples e Aprimorado Superior demonstraram maior capacidade de capturar o significado dos documentos, superando a dependência da correspondência literal de termos. A principal contribuição do trabalho reside na oferta de uma ferramenta prática e acessível que fornece subsídios técnicos concretos para gestores públicos, auxiliando-os a enfrentar os desafios impostos pela Lei nº 14.133/2021 e a baixa maturidade de planejamento identificada pelo Tribunal de Contas da União. A arquitetura de três modos de busca, com requisitos computacionais distintos, foi concebida para atender à diversidade de infraestrutura tecnológica dos municípios brasileiros, ampliando o alcance da solução.
Apesar da viabilidade técnica demonstrada, o estudo identificou limitações importantes, principalmente relacionadas à qualidade dos dados do PNCP, no qual cerca de um terço dos registros não possuía TR disponível e uma parcela significativa continha texto genérico, o que impactou a taxa de aproveitamento real do corpus. Adicionalmente, 107.276 registros de TR em formato de imagem PDF não foram processados, constituindo uma lacuna para o sistema. O critério automático de avaliação da coerência temática para os modelos SBERT também tendeu a subestimar o desempenho real, uma vez que a busca semântica não exige correspondência lexical. Como recomendações para estudos futuros, sugere-se a disponibilização do sistema em plataforma de nuvem para eliminar a dependência de hardware local e a realização de validações com usuários reais para mensurar a utilidade prática e a qualidade percebida em contextos de uso. Outras direções incluem a implementação de indexação automatizada de novos registros, a melhoria do processo de extração de texto de PDFs digitalizados via OCR, o aprimoramento do modelo semântico com treinamento específico para contratações públicas brasileiras e a integração com plataformas de gestão municipal existentes.
Referências Bibliográficas
Anastasia, A.A.J.; Pereira, F.H.U. 2025. Elaboração e desafios iniciais da nova Lei de Licitações e Contratos Administrativos. Revista Plenário 1(1): 155-173.
Borges, R.G. 2022. Aplicação de técnicas de recuperação de informações na seleção de editais de licitações para auditoria. Monografia de Especialização em Ciência de Dados Aplicada a Políticas Públicas. Escola Nacional de Administração Pública, Brasília, DF, Brasil.
Brasil. 2021. Lei nº 14.133, de 1º de abril de 2021. Nova lei de licitações e contratos administrativos. Diário Oficial da União, Brasília, 1 abr. 2021. Seção 1, p. 1.
Desmond, J. 2021. Data pipeline pocket reference. O’Reilly Media, Sebastopol, CA, EUA.
Huyen, C. 2024. Projetando sistemas de machine learning. Starlin Alta, Rio de Janeiro, RJ, Brasil.
Portal Nacional de Contratações Públicas [PNCP]. 2024. API de consulta de contratações públicas. Disponível em: <https://pncp.gov.br/api/consulta/swagger-ui/index.html>. Acesso em: 6 jun. 2026.
Reimers, N.; Gurevych, I. 2019. Sentence-BERT: sentence embeddings using Siamese BERT-networks. In: Conference on Empirical Methods in Natural Language Processing – EMNLP, 2019, Hong Kong. Anais… p. 3982-3992.
Reimers, N.; Gurevych, I. 2020. Making monolingual sentence embeddings multilingual using knowledge distillation. In: Conference on Empirical Methods in Natural Language Processing – EMNLP, 2020, Online. Anais… p. 4512-4525.
Reis, J.; Housley, M. 2022. Fundamentals of data engineering. O’Reilly Media, Sebastopol, CA, EUA.
Tribunal de Contas da União [TCU]. 2024. Relatório de acompanhamento TC 027.907/2022-8 – avaliação da implementação da Lei nº 14.133/2021 pelos entes públicos. Disponível em: <https://pesquisa.apps.tcu.gov.br/documento/acordao-completo/*/KEY:ACORDAO-COMPLETO-3587720>. Acesso em: 23 maio 2026.
Artigo oriundo de Trabalho de Conclusão de Curso da Especialização em Data Science e Analytics do MBA USP/Esalq
Para saber mais sobre o curso, clique aqui e acesse a plataforma MBX Academy