Henrique Chevrand Weiss; Orlando da Silva Junior

DOI: 10.22167/2675-6528-202600896

Artigo elaborado pela ferramenta ResumeAI, solução de inteligência artificial desenvolvida pelo Instituto Pecege voltada à síntese e redação.

Resumo

Modelos de linguagem grandes (LLMs) proprietários entregam desempenho de ponta em chatbots, mas seus custos por consulta e a dependência de APIs externas restringiram a adoção por organizações de pequeno e médio porte. Avaliou-se a viabilidade de Modelos de Linguagem Pequenos (SLMs), com menos de 10 bilhões de parâmetros, para substituir LLMs em chatbots de domínio fechado quando combinados com Geração Aumentada por Recuperação (RAG). O pipeline foi implementado em Node.js, utilizando PostgreSQL, pgvector e embeddings locais all-MiniLM-L6-v2, indexando 20 documentos sobre a cadeia da castanha-da-amazônia. Um experimento fatorial com 1.080 execuções cruzou 6 modelos (3 SLMs e 3 LLMs), 3 temperaturas e 2 modos (baseline e RAG), com 30 perguntas avaliadas por um juiz externo, o GPT-OSS-120B, que atribuiu escores de 0 a 10. Os resultados mostraram que o RAG superou o baseline em todos os seis modelos (teste t pareado, p < 0,01), com um ganho médio de +3,51 pontos para SLMs e +2,12 para LLMs. O modelo Qwen 2.5 7B (5,93/10) empatou estatisticamente com Claude 4.6 (5,94/10), porém com um custo 227 vezes menor por ponto de score. Concluiu-se que, em aplicações de domínio fechado, SLMs com RAG oferecem qualidade equivalente à dos LLMs proprietários por uma fração do custo, destacando a importância da qualidade do pipeline de recuperação.

Palavras-chave: Avaliação automatizada; Busca vetorial; Castanha-da-Amazônia; Custo-efetividade; Domínio fechado.

1. Introdução

A arquitetura Transformer, introduzida por Vaswani et al. (2017), revolucionou o processamento de linguagem natural, permitindo o desenvolvimento de Modelos de Linguagem Grandes (LLMs). A capacidade de aprendizado em contexto, demonstrada pioneiramente pelo GPT-3 (Brown et al., 2020), estabeleceu um novo paradigma para a interação humano-máquina. Atualmente, LLMs proprietários, como GPT-5.4 (OpenAI), Claude Sonnet 4.6 (Anthropic) e Gemini 3.1 Pro (Google), lideram o desempenho em chatbots de domínio geral. Contudo, sua adoção por organizações de pequeno e médio porte (PMEs) é limitada por custos elevados por consulta e dependência de APIs externas. Além disso, a impossibilidade de hospedagem local para muitos desses modelos proprietários levanta preocupações críticas de privacidade e segurança de dados sensíveis, restringindo sua aplicabilidade em setores regulados. A busca por alternativas mais acessíveis e controláveis tornou-se, portanto, um imperativo para democratizar a inteligência artificial conversacional.

Nesse contexto, os Modelos de Linguagem Pequenos (SLMs), com menos de dez bilhões de parâmetros, emergem como uma solução promissora. Pesquisas recentes indicam que o desempenho não é meramente uma função do tamanho. Touvron et al. (2023) mostraram que modelos de treze bilhões de parâmetros, treinados em mais *tokens*, podem superar LLMs maiores em diversos *benchmarks*. Gunasekar et al. (2023) reforçaram essa premissa com o Phi-1, um modelo de 1,3 bilhão de parâmetros treinado com dados de “qualidade de livro didático”, superando concorrentes maiores em geração de código. Abdin et al. (2024) consolidaram essa tendência com o Phi-3, otimizado para dispositivos móveis. Modelos como Llama 3.1 8B, Qwen 2.5 7B e Gemma 3n e4b são exemplos dessa evolução em inferência de baixo custo e acessibilidade. Contudo, a limitação conhecida dos SLMs reside em sua base de conhecimento paramétrico inerentemente restrita, o que pode comprometer a acurácia factual em domínios específicos e aumentar a propensão a “alucinações”, ou seja, a geração de informações incorretas, mas convincentemente formuladas.

Para mitigar as deficiências de conhecimento factual dos SLMs e reduzir a ocorrência de alucinações, a Geração Aumentada por Recuperação (RAG) apresenta-se como uma arquitetura fundamental. Formalizada por Lewis et al. (2020), o RAG injeta informações relevantes de um *corpus* externo no *prompt* do modelo antes da geração da resposta, transferindo a responsabilidade pela acurácia factual para uma base de conhecimento indexada. A eficácia do RAG depende crucialmente da qualidade do processo de recuperação. Karpukhin et al. (2020) demonstraram a superioridade de passagens densas sobre a busca lexical em tarefas de perguntas e respostas. A viabilização de *embeddings* semânticos eficientes, como os da família Sentence-Transformers (Reimers e Gurevych, 2019), e a escalabilidade da busca por vizinhos mais próximos através de algoritmos como HNSW (Malkov e Yashunin, 2020), foram marcos para a aplicação prática do RAG. A configuração “retrieve-then-read” sobre um índice denso, embora considerada Naive RAG por Gao et al. (2024), estabelece um ponto de partida robusto. Contudo, a implementação do RAG em ambientes de produção enfrenta desafios, como o fenômeno “lost in the middle”, onde o modelo pode negligenciar informações cruciais em contextos longos (Liu et al., 2024), e a complexidade da avaliação de *pipelines* RAG em larga escala, que tem sido abordada por metodologias como LLM-as-a-Judge (Zheng et al., 2023) e *frameworks* especializados como RAGAS (Es et al., 2024; Chen et al., 2024).

A questão da viabilidade de SLMs com RAG como alternativa custo-efetiva aos LLMs proprietários em domínios fechados é crucial para a democratização da inteligência artificial conversacional. A necessidade de soluções acessíveis é particularmente relevante para setores com documentação especializada e *stakeholders* diversos, como a cadeia produtiva da castanha-da-amazônia, onde a dispersão de informações e a heterogeneidade de usuários demandam um chatbot de baixo custo para facilitar o acesso ao conhecimento. Este trabalho justifica-se pela busca por democratizar o acesso à inteligência artificial conversacional, oferecendo uma solução viável para PMEs e contextos específicos. Assim, o objetivo geral deste estudo é avaliar, por meio de um experimento controlado, a viabilidade de Modelos de Linguagem Pequenos (SLMs) combinados com Geração Aumentada por Recuperação (RAG) para substituir LLMs proprietários em chatbots de domínio fechado.

2. Material e Métodos

O presente estudo adotou uma abordagem quantitativa e experimental para avaliar a viabilidade de Modelos de Linguagem Pequenos (SLMs) em chatbots de domínio fechado, quando combinados com Geração Aumentada por Recuperação (RAG). A pesquisa concentrou-se na implementação e avaliação de um pipeline de inteligência artificial conversacional, seguindo um desenho fatorial controlado. Todos os modelos de linguagem empregados basearam-se na arquitetura Transformer (Vaswani et al., 2017), que é fundamental para o processamento de linguagem natural moderno. A estrutura do sistema, com um retriever denso alimentando um gerador sequencial, alinhou-se ao modelo proposto por Lewis et al. (2020).

O domínio de aplicação selecionado para o experimento foi a cadeia produtiva da castanha-da-amazônia (Bertholletia excelsa), caracterizada por sua documentação especializada e a diversidade de stakeholders. O corpus documental foi curado manualmente a partir da Biblioteca Virtual do Observatório da Castanha-da-Amazônia (OCA), garantindo relevância e qualidade temática. O experimento foi conduzido em abril de 2026, com o objetivo de simular um ambiente de produção para chatbots de baixo custo. A unidade de análise primária consistiu nas respostas geradas pelos modelos de linguagem para cada pergunta, sob diferentes configurações experimentais.

A amostra de modelos de linguagem foi composta por seis instâncias, divididas em dois níveis ou “tiers”: Modelos de Linguagem Pequenos (SLMs) e Modelos de Linguagem Grandes (LLMs) proprietários. No tier SLM, foram selecionados o Gemma 3n e4b, Llama 3.1 8B e Qwen 2.5 7B, todos de pesos abertos. Para o tier LLM, incluíram-se o Claude Sonnet 4.6, GPT-5.4 e Gemini 3.1 Pro, representando modelos proprietários de última geração. A escolha desses modelos visou estabelecer um contraste claro em termos de custo por token, com uma diferença de aproximadamente duas ordens de magnitude entre os tiers.

O corpus documental consistiu em vinte arquivos PDF, categorizados em História e Sociedade, Biologia e Ecologia, Mercado e Economia, Processamento e Técnica, e Legislação e Normas. Essa distribuição temática foi intencional para refletir os usos potenciais de um chatbot no domínio. O dataset de validação foi elaborado manualmente, contendo trinta perguntas em português brasileiro. Vinte dessas perguntas eram específicas, demandando respostas factuais e únicas (datas, números, nomes), enquanto as dez restantes eram de natureza geral e dissertativa, sem ancoragem em um único documento. Cada pergunta possuía um gabarito extraído diretamente da fonte.

O pipeline de Geração Aumentada por Recuperação (RAG) foi implementado em Node.js (versão 20) e estruturado em dois fluxos principais: ingestão offline e consulta online. A representação esquemática desse pipeline é apresentada na Figura 1, detalhando a convergência dos fluxos no índice vetorial. O fluxo offline envolveu a preparação do corpus documental, enquanto o fluxo online gerenciou as interações de consulta e a geração de respostas, integrando diversos componentes para a funcionalidade completa do sistema.

Figura 1. Pipeline de Geração Aumentada por Recuperação adotado no experimento, com os fluxos
de ingestão e de consulta convergindo no índice vetorial.

Fonte: Elaborada pelo autor.

A etapa de ingestão offline compreendeu um processo ETL (Extração, Transformação e Carga). Primeiramente, a biblioteca unpdf foi utilizada para extrair o texto dos PDFs, convertendo-o para UTF-8 e realizando a sanitização de espaços e quebras de linha. Em seguida, o texto foi dividido em chunks de 1.500 caracteres com uma sobreposição de 300 caracteres, estratégia comum em pipelines Naive RAG (Gao et al., 2024). A vetorização de cada chunk foi realizada localmente pelo modelo all-MiniLM-L6-v2, da família Sentence-Transformers (Reimers e Gurevych, 2019), gerando vetores densos de 384 dimensões.

Para o armazenamento e a busca dos vetores, utilizou-se o PostgreSQL 16 com a extensão pgvector, que suporta o tipo de dado vector e o operador de similaridade de cosseno. A tabela documents armazenou o ID, nome do arquivo, conteúdo do chunk e o vetor de embedding. Um índice HNSW (Malkov e Yashunin, 2020) foi aplicado sobre os vetores para otimizar a busca por vizinhos mais próximos. O mecanismo de recuperação (retriever) empregou uma busca densa pura, vetorizando a query do usuário com o mesmo all-MiniLM-L6-v2 e recuperando os cinco chunks mais similares (top-k = 5) para compor o contexto.

Os modelos avaliados no experimento foram acessados por meio do OpenRouter, um API gateway que oferece acesso a diversas interfaces de modelos. A Tabela 1 detalha os modelos selecionados, seus provedores, o número aproximado de parâmetros e os custos de entrada e saída por milhão de tokens. Essa configuração permitiu uma comparação direta de desempenho e custo-efetividade entre os diferentes tiers de modelos de linguagem, conforme os objetivos do estudo.

Tabela 1. Modelos avaliados no experimento fatorial.

Tier	Modelo	Provedor	Parâmetros (aprox.)	Custo entrada (USD/M tok)	Custo saída (USD/M tok)
SLM	Gemma 3n e4b	Google	~4 B	0,02	0,04
SLM	Llama 3.1 8B	Meta	8 B	0,02	0,05
SLM	Qwen 2.5 7B	Alibaba	7 B	0,04	0,10
LLM	Claude Sonnet 4.6	Anthropic	SOTA proprietário	3,00	15,00
LLM	GPT-5.4	OpenAI	SOTA proprietário	2,50	10,00
LLM	Gemini 3.1 Pro	Google	SOTA proprietário	~2,00	~10,00

Fonte: Elaborado pelo autor com base na tabela pública de preços do OpenRouter (2026).

O protocolo experimental foi executado por meio de um desenho fatorial completo, totalizando 1.080 execuções. Este desenho cruzou os seis modelos de linguagem avaliados, as trinta perguntas do dataset de validação e três configurações de temperatura (0,0, 0,5 e 1,0). Além disso, cada execução foi realizada em dois modos distintos: Baseline (zero-shot), que avaliou o conhecimento paramétrico do modelo com uma instrução genérica, e RAG, que forneceu ao modelo os cinco chunks recuperados do corpus como contexto adicional para a geração da resposta.

Durante cada uma das 1.080 execuções do experimento, foram registrados diversos dados para análise. Incluíram-se a resposta bruta gerada pelo modelo, a latência wall-clock (tempo entre o envio da requisição e o recebimento da resposta), a contagem de tokens de entrada e saída reportados pela API, e o custo associado em dólares, calculado com base nos preços oficiais dos provedores por token consumido. O parâmetro max_tokens foi fixado em 1.024 para garantir previsibilidade de custo e minimizar rejeições por saldo insuficiente do provedor.

A avaliação das 1.080 respostas geradas foi realizada de forma automatizada, utilizando o paradigma LLM-as-a-Judge (Zheng et al., 2023). O juiz externo selecionado foi o GPT-OSS-120B (OpenAI, open-weights, 120 bilhões de parâmetros), acessado via OpenRouter com temperatura zero para garantir determinismo. Este juiz recebeu a pergunta original, o gabarito e a resposta do modelo avaliado, retornando um escore de 0 a 10, acompanhado de uma justificativa. A escolha de um modelo de uma família distinta das testadas evitou conflitos estruturais na avaliação.

A análise estatística principal consistiu em um teste t pareado para comparar o desempenho dos modelos nos modos RAG e Baseline. O pareamento foi realizado por question_id e temperature, com n = 90 pares por modelo, neutralizando a heterogeneidade entre perguntas e temperaturas e isolando o efeito do modo. Análises complementares incluíram a agregação dos resultados por tier (SLM versus LLM), o cálculo do custo por ponto de score como métrica de eficiência econômica, e a estratificação por categoria temática e tipo de pergunta. A implementação foi feita em Python, utilizando as bibliotecas pandas, scipy, matplotlib e seaborn.

Em conformidade com as boas práticas acadêmicas, declara-se que o autor utilizou ferramentas de inteligência artificial generativa (Claude, da Anthropic) como suporte em atividades como engenharia de software, revisão textual e análise exploratória de dados. Contudo, todas as decisões metodológicas, interpretações dos resultados e a redação final deste trabalho foram de autoria e responsabilidade exclusivas do autor, sob a orientação do professor responsável. Nenhuma citação ou referência bibliográfica foi gerada sinteticamente. Para garantir a reprodutibilidade e auditoria, todo o código-fonte, o dataset de validação e os resultados brutos foram disponibilizados em um repositório Git público (Weiss, 2026).

Cinco limitações metodológicas foram identificadas, condicionando a generalização dos achados. O dataset de validação, com trinta perguntas, foi considerado suficiente para identificar tendências, mas limitado para estratificações muito finas. O método LLM-as-a-Judge pode introduzir um viés de preferência por respostas verbosas ou alinhadas ao estilo do próprio juiz. Não foi realizada uma ablação sistemática sobre o tamanho do top-k de recuperação, nem sobre o tamanho e a sobreposição dos chunks. O baseline puro zero-shot, sem instruções explícitas de abstenção, pode ter subestimado o ganho do RAG.

Adicionalmente, com a configuração de top-k igual a cinco, o fenômeno “lost in the middle” (Liu et al., 2024), onde o modelo pode negligenciar informações cruciais em contextos longos, pode ter sido subexplorado. Uma análise com k variável foi sugerida como extensão futura para investigar essa questão mais a fundo. Essas limitações foram consideradas na interpretação dos resultados, fornecendo um panorama realista sobre a aplicabilidade e as fronteiras dos achados deste estudo.

3. Resultados e Discussão

O experimento fatorial foi conduzido em abril de 2026, gerando um total de 1.080 registros de execução e 1.080 avaliações subsequentes realizadas por um juiz automatizado. O custo total para a execução completa do experimento foi de aproximadamente US$ 5,73, um valor notavelmente baixo que sublinha a eficiência da metodologia empregada, especialmente considerando a vasta quantidade de dados gerados e analisados. Os resultados brutos e o arquivo consolidado, que é um subproduto de retomadas parciais devido a esgotamento temporário de saldo, foram disponibilizados em um repositório público, garantindo a reprodutibilidade e a transparência dos achados, conforme as boas práticas de pesquisa (Weiss, 2026). As subseções a seguir detalham o ganho proporcionado pela Geração Aumentada por Recuperação (RAG), a significância estatística desses ganhos, a custo-efetividade dos modelos, a agregação dos resultados por nível de modelo (SLM versus LLM), a latência observada, a sensibilidade à temperatura, a estratificação por categoria temática e tipo de pergunta, e uma análise qualitativa das falhas, além das limitações inerentes ao estudo.

O ganho do RAG sobre o baseline foi um dos achados mais proeminentes do estudo, demonstrando que a incorporação de contexto externo melhora consistentemente o desempenho de todos os modelos avaliados. Conforme ilustrado na Figura 2, que compara o desempenho dos seis modelos nos modos baseline e RAG, agregando as três configurações de temperatura (n = 90 por célula), todos os modelos exibiram uma melhoria notável. No modo baseline, que avalia o conhecimento paramétrico intrínseco dos modelos sem qualquer contexto adicional, os Modelos de Linguagem Pequenos (SLMs) apresentaram scores médios variando entre 1,60 e 2,59 pontos na escala de 0 a 10. Em contraste, quando operando no modo RAG, esses mesmos SLMs viram seus scores ascenderem para uma faixa de 5,39 a 5,93 pontos. Essa elevação substancial, que representa um ganho médio absoluto superior a 3 pontos, é um indicativo robusto de que o RAG compensa significativamente as limitações de conhecimento paramétrico inerentes aos SLMs.

Figura 2. Score médio por modelo, contrastando baseline e RAG, com intervalo de confiança de 95%.

Fonte: Elaborada pelo autor.

A magnitude desse ganho nos SLMs é particularmente relevante. Modelos menores, por sua própria natureza e escala de treinamento, possuem uma base de conhecimento factual mais limitada em comparação com os Modelos de Linguagem Grandes (LLMs) (Touvron et al., 2023; Gunasekar et al., 2023). A Geração Aumentada por Recuperação atua como um mecanismo eficaz para mitigar essa deficiência, fornecendo aos SLMs informações factuais precisas e relevantes diretamente do corpus documental. Isso permite que esses modelos gerem respostas mais acuradas e informativas, mesmo em domínios especializados onde seu conhecimento paramétrico pré-treinado seria insuficiente ou propenso a alucinações. A capacidade de um SLM de alcançar um desempenho competitivo em um domínio fechado, quando auxiliado por um sistema RAG bem construído, valida a premissa central de que a qualidade da resposta pode ser transferida da base de conhecimento paramétrica para uma base de conhecimento externa indexada.

Para os LLMs, embora o ganho absoluto em pontos de score tenha sido menor, variando entre 1,77 e 2,59 pontos, a melhoria ainda foi estatisticamente significativa e demonstrou a utilidade do RAG mesmo para modelos com vasto conhecimento paramétrico. A diferença na magnitude do ganho entre SLMs e LLMs pode ser atribuída ao fato de que os LLMs já possuem uma base de conhecimento mais ampla e, portanto, têm menos “margem” para se beneficiar de um contexto externo factualmente preciso. No entanto, o RAG ainda é crucial para os LLMs em domínios fechados, pois garante que as respostas sejam ancoradas em informações específicas e atualizadas do corpus, reduzindo a probabilidade de alucinações ou de respostas genéricas que não atendem à especificidade da consulta. Este achado corrobora a literatura que aponta o RAG como uma estratégia eficaz para aumentar a acurácia factual e reduzir a propensão à alucinação em LLMs (Chen et al., 2024).

A Figura 3, que detalha o ganho absoluto médio (Δ = RAG – baseline) por modelo, com um intervalo de confiança de 95%, reforça essa observação. Os três SLMs (Gemma 3n e4b, Llama 3.1 8B e Qwen 2.5 7B) apresentaram ganhos superiores a 3 pontos, enquanto os LLMs (Claude Sonnet 4.6, Gemini 3.1 Pro e GPT-5.4) registraram ganhos entre 1,77 e 2,59 pontos. Esta clara distinção sugere que os SLMs, com seu conhecimento paramétrico intrínseco mais limitado, têm uma maior dependência e, consequentemente, uma maior capacidade de se beneficiar do contexto externo fornecido pelo RAG. Isso valida a hipótese de que o RAG é uma ferramenta democratizadora, permitindo que modelos menores e mais acessíveis atinjam níveis de desempenho que, de outra forma, seriam exclusivos de modelos muito maiores e mais caros. A implicação prática é que, para aplicações em domínios fechados, a escolha de um SLM com RAG pode ser uma estratégia mais eficiente e econômica do que a utilização de um LLM proprietário sem RAG, ou mesmo com RAG, devido à diferença de custo.

Figura 3. Ganho absoluto médio do RAG sobre o baseline (Δscore), por modelo, com intervalo de confiança de 95%.

Fonte: Elaborada pelo autor.

A significância estatística dos resultados foi rigorosamente avaliada por meio de um teste t pareado, comparando o desempenho dos modelos nos modos RAG e Baseline. O pareamento foi realizado por `question_id` e `temperature`, com n = 90 pares por modelo, uma abordagem que neutraliza a heterogeneidade entre perguntas e temperaturas, isolando eficazmente o efeito do modo de operação (RAG versus Baseline). Conforme apresentado na Tabela 2, todos os seis modelos avaliados rejeitaram a hipótese nula a um nível de significância de 1% (p < 0,01). Os valores de t observados variaram de 2,88 para o GPT-5.4 a 7,51 para o Llama 3.1 8B. Esses valores de t, consideravelmente altos, indicam que o ganho de desempenho proporcionado pelo RAG não é meramente um ruído amostral, mas sim um efeito robusto e estatisticamente significativo em todos os cenários testados.

Tabela 2. Teste t pareado de RAG × Baseline por modelo (n = 90 pares por modelo).

Modelo	Tier	Baseline	RAG	Δ	t	p
Llama 3.1 8B	SLM	1,60	5,39	+3,79	7,51	< 0,001
Qwen 2.5 7B	SLM	2,33	5,93	+3,60	7,29	< 0,001
Gemma 3n e4b	SLM	2,59	5,72	+3,13	5,98	< 0,001

Fonte: Elaborado pelo autor a partir dos dados do experimento (analyze_results.py).

A consistência da significância estatística em todos os modelos, independentemente de serem SLMs ou LLMs, reforça a validade universal do RAG como uma técnica de aprimoramento para chatbots em domínios fechados. Para os SLMs, como o Llama 3.1 8B, que apresentou o maior valor de t (7,51) e um ganho de +3,79 pontos, a significância é ainda mais crítica. Isso demonstra que a injeção de contexto externo não apenas melhora o desempenho, mas o faz de maneira confiável e estatisticamente comprovada, transformando modelos com conhecimento paramétrico limitado em ferramentas factualmente acuradas. A robustez desses resultados sugere que o RAG é uma estratégia fundamental para qualquer implementação de chatbot que exija alta fidelidade factual em um domínio específico, independentemente do tamanho do modelo de linguagem subjacente.

A análise de custo-efetividade revelou um reordenamento notável no desempenho dos modelos quando o RAG é aplicado, com implicações econômicas profundas. No modo baseline, o GPT-5.4 liderava com um score de 4,71, seguido pelo Claude Sonnet 4.6 (3,96). No entanto, com a introdução do RAG, o Qwen 2.5 7B, um SLM de 7 bilhões de parâmetros, alcançou um score de 5,93, tornando-se estatisticamente indistinguível do Claude Sonnet 4.6 (5,94) e superando o Gemini 3.1 Pro (5,67). Este é um achado crucial, pois demonstra que um SLM pode atingir o patamar de desempenho de um LLM proprietário de última geração em um domínio fechado, quando ambos são auxiliados pelo mesmo contexto recuperado.

Essa “injeção de evidências factuais recuperadas” funciona como uma forma estruturada de aprendizado em contexto, ecoando os princípios de Brown et al. (2020) sobre a capacidade de modelos de linguagem de aprender a partir de exemplos no prompt. No contexto do RAG, em vez de demonstrações few-shot, o modelo recebe evidências factuais diretas, o que nivela a diferença de conhecimento paramétrico entre SLMs e LLMs em domínios fechados. A Tabela 3 apresenta os resultados da custo-efetividade no modo RAG, utilizando métricas de custo por pergunta e custo por ponto de score, normalizando a eficiência financeira pela acurácia entregue.

Tabela 3. Custo-efetividade no modo RAG, por modelo.

Modelo	Score RAG	Custo/pergunta (USD)	Custo/ponto (USD)	Razão x melhor
Gemma 3n e4b	5,72	0,000044	0,000008	1,00× (referência)
Llama 3.1 8B	5,39	0,000049	0,000009	1,12x
Qwen 2.5 7B	5,93	0,000110	0,000019	2,38×
GPT-5.4	6,48	0,006114	0,000944	118,00×
Claude Sonnet 4.6	5,94	0,010823	0,001821	227,62x
Gemini 3.1 Pro	5,67	0,013130	0,002317	289,62×

Fonte: Elaborado pelo autor. Valores médios por pergunta no modo RAG, nas três temperaturas combinadas.

A assimetria de custos é impressionante. O Qwen 2.5 7B, o SLM de melhor desempenho em custo-efetividade, custa US$ 0,000019 por ponto de score. Em contrapartida, o GPT-5.4, o LLM de melhor desempenho, custa US$ 0,000944 por ponto, sendo aproximadamente 50 vezes mais caro para entregar um ganho de apenas +0,55 pontos (9,3% relativo) em relação ao Qwen 2.5 7B. O Gemini 3.1 Pro, por sua vez, é 289 vezes mais caro que o Gemma 3n e4b para um score quase idêntico (5,67 contra 5,72). Esses números sublinham a viabilidade econômica dos SLMs com RAG, tornando-os uma alternativa extremamente atraente para organizações com orçamentos limitados ou que buscam otimizar custos operacionais.

A Figura 4 ilustra a dispersão entre o custo médio por pergunta (em escala logarítmica) e o score médio no modo RAG, por modelo e temperatura. Observa-se claramente que os SLMs formam um cluster de alta eficiência à esquerda do gráfico, indicando baixo custo e bom desempenho. Em contraste, os LLMs se posicionam à direita, com custos significativamente mais elevados para um desempenho marginalmente superior. Esta visualização reforça a conclusão de que, para a maioria das aplicações em domínio fechado, o custo-benefício dos SLMs com RAG é incomparavelmente superior. A capacidade de um SLM de 7 bilhões de parâmetros, como o Qwen 2.5 7B, de competir em qualidade com LLMs de última geração, a uma fração ínfima do custo, representa uma mudança de paradigma para a adoção de IA conversacional em larga escala, especialmente para pequenas e médias empresas que enfrentam as barreiras de custo e dependência de APIs mencionadas na introdução.

Figura 4. Dispersão entre custo médio por pergunta (escala logarítmica) e score médio, no modo RAG.

Fonte: Elaborada pelo autor.

A agregação dos resultados por nível de modelo (“tier”) – SLM versus LLM – oferece uma perspectiva macro sobre a eficácia do RAG. Ao agrupar os três modelos de cada tier (n = 270 por célula), a diferença média de score entre SLMs e LLMs no modo RAG diminui para apenas 0,31 ponto na escala de 10, o que representa uma diferença relativa de apenas 5,2%. Este estreitamento da lacuna de desempenho é notável, pois demonstra que o RAG é capaz de elevar a performance dos SLMs a um nível muito próximo ao dos LLMs, mesmo com a disparidade de bilhões de parâmetros entre eles. Mais impressionante ainda é a redução do custo médio por pergunta: para os SLMs, o custo médio por pergunta no modo RAG é de aproximadamente US$ 0,0001, enquanto para os LLMs, esse valor é de US$ 0,0100. Isso representa uma redução de 100 vezes no custo para os SLMs, mantendo uma qualidade de resposta quase equivalente. Essa discrepância de custo, combinada com a paridade de desempenho, solidifica o argumento de que SLMs com RAG são uma alternativa economicamente viável e tecnicamente robusta para chatbots de domínio fechado.

A análise da latência wall-clock, que mede o tempo entre o envio da requisição e o recebimento da resposta, revelou um achado contra-intuitivo: o RAG é, em média, mais rápido que o baseline, apesar de enviar prompts significativamente maiores. No modo RAG, os prompts de entrada continham, em média, 2.016 tokens, enquanto no baseline, a média era de apenas 56 tokens (considerando a média do Gemma). Este ganho de velocidade, ou “speedup”, foi de aproximadamente 2,9 vezes para os SLMs e 2,4 vezes para os LLMs, conforme ilustrado na Figura 5.

Figura 5. Distribuição de latência (ms) por modelo e modo, em escala logarítmica

Fonte: Elaborada pelo autor.

A explicação mais provável para essa aparente contradição reside no fato de que o tempo de geração da saída domina o tempo total de resposta. No modo baseline, sem o contexto restritivo do RAG, os modelos tendem a “divagar” e produzir respostas mais longas e verbosas. Por exemplo, o Claude Sonnet 4.6 gerou, em média, 449 tokens de saída no baseline. Com o RAG, a instrução restritiva (“responda apenas com base no contexto fornecido”) e o contexto factual levam a respostas mais concisas e diretas. No modo RAG, o Claude Sonnet 4.6 produziu, em média, 242 tokens de saída, quase metade do volume do baseline. Como os tokens de saída geralmente custam de 2 a 3 vezes mais que os tokens de entrada na maioria dos provedores de API, a redução no volume de saída no RAG não apenas melhora a qualidade e reduz o custo, mas também diminui a latência total. Este é um benefício operacional triplo do RAG: melhor qualidade, menor custo e menor tempo de resposta, tornando-o uma solução ainda mais atraente para aplicações em tempo real.

A sensibilidade à temperatura, um parâmetro que controla a aleatoriedade na geração de texto, foi outro ponto de análise relevante. A Figura 8 (não incluída como figura, mas descrita aqui) mostra o score RAG em função da temperatura de amostragem (0,0; 0,5; 1,0) para cada modelo. Os resultados indicaram que o score permaneceu notavelmente estável entre as diferentes temperaturas, com uma variação inferior a 0,5 ponto em quatro dos seis modelos. Este achado é significativo, pois sugere que, ao ancorar a saída do modelo em um contexto recuperado e factualmente preciso, o RAG reduz substancialmente a suscetibilidade do modelo à aleatoriedade intrínseca da amostragem. Em pipelines puramente zero-shot, aumentar a temperatura geralmente leva a respostas mais criativas, mas também mais propensas a alucinações e imprecisões, exigindo um trade-off entre fluência e acurácia. Com o RAG, essa necessidade de sacrifício é minimizada, permitindo que os desenvolvedores ajustem a temperatura para otimizar a fluência sem comprometer significativamente a acurácia factual, uma vantagem prática considerável para a construção de chatbots robustos.

A estratificação dos resultados por categoria temática revelou uma heterogeneidade relevante no desempenho dos modelos no modo RAG. A Tabela 5 (não incluída como figura, mas descrita aqui) apresentou o score médio RAG por categoria temática e modelo. Observou-se dois extremos claros: a categoria “História e Sociedade” saturou, com todos os modelos atingindo scores próximos ao teto (média ≥ 8,72). Isso indica que o retriever foi altamente eficaz na recuperação dos chunks relevantes e que os modelos conseguiram reproduzir fielmente o conteúdo recebido. Em contraste, a categoria “Biologia e Ecologia” colapsou em todos os seis modelos, incluindo os LLMs SOTA, com scores médios abaixo de 3,5. Essa degradação transversal sugere que o gargalo não reside no gerador, mas sim na montante do pipeline – ou seja, no retriever ou no próprio corpus.

Três hipóteses foram levantadas para explicar o baixo desempenho em “Biologia e Ecologia”. Primeiro, o chunking por caracteres pode ter cortado tabelas e dados numéricos centrais, que são frequentemente encontrados em artigos biológicos e essenciais para respostas factuais. Segundo, o vocabulário técnico específico do domínio (e.g., espécies, unidades botânicas) pode estar sub-representado no embedder `all-MiniLM-L6-v2`, comprometendo a similaridade semântica na recuperação. Terceiro, informações numéricas solicitadas pelas perguntas podem estar em ramificações secundárias dos PDFs, fora do top-5 chunks recuperados. Essas observações apontam para a necessidade de otimizações no pipeline de recuperação, como chunking semântico, uso de embedders especializados ou multilíngues, e estratégias de recuperação mais sofisticadas, como rerankers, para lidar com a complexidade de domínios técnicos.

A discriminação por tipo de pergunta também forneceu insights valiosos sobre o comportamento dos modelos com RAG. A Figura 9 e a Tabela 6 (não incluídas como figuras, mas descritas aqui) separaram as perguntas em “específicas” (resposta única e factual, 20 perguntas) e “gerais” (dissertativas, 10 perguntas). Para perguntas específicas, o RAG demonstrou um salto significativo de scores, partindo de praticamente zero no baseline para scores acima de 5,5 em ambos os tiers (SLMs e LLMs). Isso é esperado, pois fatos do corpus não são respondíveis sem acesso a ele, e o RAG fornece precisamente esse acesso.

No entanto, para perguntas gerais, os tiers divergiram. Os SLMs apresentaram um aumento modesto de 4,87 para 6,01 pontos, enquanto os LLMs viram seus scores caírem de 7,78 para 6,03. A queda no desempenho dos LLMs em perguntas gerais no modo RAG tem uma explicação crucial: esses modelos possuem conhecimento enciclopédico sobre o mundo e, no baseline, conseguem responder a perguntas gerais com alta acurácia. Contudo, o prompt restritivo do RAG (“responda apenas com base no contexto fornecido”) inibe o uso desse conhecimento paramétrico intrínseco. Se o corpus não cobrir a pergunta geral de forma abrangente ou se o contexto recuperado for insuficiente, o LLM é forçado a abster-se ou a fornecer uma resposta incompleta, resultando em um score mais baixo. Este é um trade-off fundamental em sistemas RAG de domínio fechado: enquanto o RAG é sempre desejável para garantir a fidelidade factual a um corpus específico, em chatbots de domínio aberto, uma instrução restritiva pode ser contraproducente, limitando a capacidade do modelo de alavancar seu vasto conhecimento pré-treinado.

A análise qualitativa das falhas nas respostas com scores baixos revelou três padrões recorrentes, oferecendo insights sobre as limitações dos modelos e do pipeline RAG. O primeiro padrão foi a distinção entre “alucinação confiante” e “abstenção honesta”. No modo baseline, os modelos se comportaram de maneira diferente diante de perguntas que exigiam informações externas ao seu conhecimento paramétrico. O Llama 3.1 8B, por exemplo, frequentemente reconhecia a ausência de informação, respondendo com frases como “não consegui encontrar a informação solicitada”. Em contraste, o Gemma 3n e4b demonstrou uma tendência a inventar informações com confiança. Em uma pergunta sobre o 1º Encontro Nacional de Castanheiras, o Gemma 3n e4b alucinou localidades inexistentes como ‘Montalegre, Pará’ ou ‘Montalva, Minas Gerais’, quando o gabarito era Manaus/AM, 2022. Essa diferença é crítica: implantar um SLM sem RAG em um domínio fechado não acarreta apenas o risco de imprecisão, mas também um risco reputacional significativo devido à geração de informações fluentes, mas inventadas. Isso reforça a necessidade imperativa do RAG para garantir a fidelidade factual em aplicações corporativas.

O segundo padrão de falha observado foi a “falha de extração com retrieval correto”. Em alguns casos, o retriever conseguiu recuperar literalmente o chunk que continha a resposta correta, mas o modelo gerador, especificamente o Gemma 3n e4b, ainda assim negou a informação. Por exemplo, ao receber o trecho “23 a 25 de agosto de 2022 Manaus – AM”, o modelo respondeu que “o local não é especificado no texto”. Curiosamente, o Llama 3.1 8B, um modelo 3,9 vezes maior em parâmetros efetivos, não cometeu esse erro. Este fenômeno sugere que existe um piso mínimo de capacidade de leitura e compreensão de contexto que um SLM deve possuir para que o RAG entregue um ganho completo. Abaixo desse limiar, o RAG pode oferecer apenas um ganho parcial, pois o modelo não consegue extrair a informação relevante mesmo quando ela está explicitamente presente no contexto. Este é um critério crítico na seleção de SLMs para implantação em produção, indicando que o tamanho do modelo, mesmo com RAG, ainda importa para a capacidade de processar o contexto fornecido.

O terceiro padrão de falha foi o “cross-lingual”. As perguntas q09 e q14 foram intencionalmente projetadas para testar essa vulnerabilidade: o gabarito existia em português no corpus, mas a query misturava termos em português com documentos originalmente em inglês. O embedder `all-MiniLM-L6-v2`, treinado predominantemente em inglês, recuperou chunks semanticamente próximos, mas tematicamente incorretos (e.g., artigos sobre produção agronômica em outro país em vez do estudo específico citado na pergunta). Todos os seis modelos, incluindo os LLMs SOTA, falharam sistematicamente nessas perguntas, confirmando que a falha se originou na etapa de recuperação, e não na geração. Isso destaca uma limitação do embedder e do pipeline de recuperação em lidar com a complexidade de consultas e documentos multilíngues. Como trabalho futuro, a substituição do embedder por uma variante multilíngue (como `paraphrase-multilingual-MiniLM-L12-v2`) é uma extensão direta e necessária para melhorar a robustez do sistema em ambientes com diversidade linguística.

Cinco limitações metodológicas foram identificadas no presente estudo, condicionando a generalização dos achados. Primeiramente, o dataset de validação, composto por trinta perguntas, foi considerado suficiente para identificar tendências gerais, mas limitado para estratificações muito finas dos resultados. Um dataset mais extenso permitiria análises mais detalhadas por subcategorias temáticas ou tipos de perguntas. Em segundo lugar, o método de avaliação `LLM-as-a-Judge` (Zheng et al., 2023), embora apresente alta correlação com avaliadores humanos, pode introduzir um viés de preferência por respostas mais verbosas ou alinhadas ao estilo do próprio juiz. A retenção do campo de justificativa nas avaliações permitiu auditorias pontuais, mas não elimina completamente o viés estrutural inerente a essa abordagem.

A terceira limitação reside na ausência de uma ablação sistemática sobre o tamanho do `top-k` de recuperação (fixado em 5) e sobre o tamanho e a sobreposição dos chunks (fixados em 1.500 caracteres com 300 de sobreposição). Variações nesses parâmetros podem ter impacto significativo na qualidade da recuperação e, consequentemente, no desempenho geral do RAG. Estudos futuros poderiam explorar essas configurações para otimizar o pipeline. Quarto, o baseline puro zero-shot, sem instruções explícitas de abstenção, pode ter subestimado o ganho real do RAG. Um baseline reforçado, que instruísse os modelos a absterem-se quando não tivessem certeza, poderia reduzir a magnitude do ganho atribuído ao RAG, mas dificilmente o eliminaria, dada a robustez dos resultados.

Finalmente, com a configuração de `top-k` igual a cinco, o fenômeno “lost in the middle” (Liu et al., 2024), onde o modelo pode negligenciar informações cruciais localizadas no meio de contextos longos, pode ter sido subexplorado. Uma análise com um `k` variável, que explorasse diferentes tamanhos de contexto recuperado, é sugerida como uma extensão futura para investigar essa questão mais a fundo e determinar a configuração ideal para o domínio da castanha-da-amazônia. Essas limitações foram cuidadosamente consideradas na interpretação dos resultados, fornecendo um panorama realista sobre a aplicabilidade e as fronteiras dos achados deste estudo.

4. Conclusão

Conclui-se que o objetivo foi atingido, demonstrando a viabilidade de Modelos de Linguagem Pequenos (SLMs) combinados com Geração Aumentada por Recuperação (RAG) como alternativa custo-efetiva aos LLMs proprietários em chatbots de domínio fechado. O experimento fatorial revelou que o RAG proporcionou um ganho estatisticamente significativo em todos os modelos, sendo mais pronunciado nos SLMs. Notavelmente, um SLM como o Qwen 2.5 7B alcançou desempenho estatisticamente indistinguível de LLMs proprietários de ponta, como o Claude Sonnet 4.6, a um custo por ponto de score significativamente menor (227 vezes). Além disso, o RAG não apenas mitigou alucinações e melhorou a acurácia factual, mas também reduziu o custo total por chamada e a latência em cerca de 2,5 vezes, otimizando a eficiência operacional.

As limitações do estudo incluem um dataset de validação de trinta perguntas, que, embora suficiente para tendências, restringe análises mais finas, e o potencial viés do método `LLM-as-a-Judge`. A ausência de ablação sistemática sobre parâmetros do RAG, como `top-k` e tamanho dos chunks, e a subexploração do fenômeno “lost in the middle” também foram identificadas. Para estudos futuros, sugere-se a ampliação do dataset, a exploração de diferentes configurações de `top-k` e chunking, a implementação de rerankers neurais e a substituição do embedder por variantes multilíngues para melhorar o desempenho em domínios técnicos e consultas cross-lingual. A comparação entre SLMs executados localmente e via API também se apresenta como uma extensão relevante.

Referências Bibliográficas

Brown, T.B.; Mann, B.; Ryder, N.; Subbiah, M.; Kaplan, J.; Dhariwal, P.; Neelakantan, A.; Shyam, P.; Sastry, G.; Askell, A.; Agarwal, S.; Herbert-Voss, A.; Krueger, G.; Henighan, T.; Child, R.; Ramesh, A.; Ziegler, D.M.; Wu, J.; Winter, C.; Hesse, C.; Chen, M.; Sigler, E.; Litwin, M.; Gray, S.; Chess, B.; Clark, J.; Berner, C.; McCandlish, S.; Radford, A.; Sutskever, I.; Amodei, D. 2020. Language models are few-shot learners. In: Conference on Neural Information Processing Systems (NeurIPS), 34., 2020, Vancouver, British Columbia, Canadá. Advances in Neural Information Processing Systems 33: 1877-1901. Disponível em: https://arxiv.org/abs/2005.14165. Acesso em: 21 abr. 2026.

Touvron, H.; Lavril, T.; Izacard, G.; Martinet, X.; Lachaux, M.-A.; Lacroix, T.; Rozière, B.; Goyal, N.; Hambro, E.; Az

Artigo oriundo de Trabalho de Conclusão de Curso da Especialização em Engenharia de Software do MBA USP/Esalq

Para saber mais sobre o curso, clique aqui e acesse a plataforma MBX Academy