Giovanna Luiza Calegaro; Jorge Carlos Valverde Rebaza

DOI: 10.22167/2675-6528-202600845

Artigo elaborado pela ferramenta ResumeAI, solução de inteligência artificial desenvolvida pelo Instituto Pecege voltada à síntese e redação.

Resumo

Agentes conversacionais baseados em modelos de linguagem assumiram um papel relevante em canais digitais de atendimento, especialmente em contextos onde clareza, utilidade e fluidez da interação influenciaram a experiência do usuário. Avaliou-se a usabilidade e a experiência de uso de um agente conversacional experimental desenvolvido em Python com LangChain e LangGraph para apoio a tarefas representativas de atendimento ao cliente no comércio eletrônico. A pesquisa foi conduzida como estudo aplicado, de natureza exploratória, centrado na avaliação formativa de um único sistema. A arquitetura do agente combinou interface em Streamlit, modelo de linguagem, ferramentas externas, orquestração por grafo de estados e persistência conversacional. A coleta de dados realizou-se com 15 participantes, por meio de questionário estruturado contendo System Usability Scale [SUS], satisfação geral [CSAT], itens complementares de qualidade da conversa, esforço percebido e perguntas abertas, além de registros técnicos das interações. Os resultados indicaram escore SUS médio de 81,3 pontos, mediana de 85,0 e alfa de Cronbach de 0,79, sugerindo usabilidade percebida favorável e consistência interna adequada. O CSAT médio foi de 3,8, enquanto o bloco de qualidade da conversa atingiu média de 4,37 e o esforço percebido invertido alcançou 4,47. As respostas abertas destacaram clareza, coerência, empatia e rapidez como pontos fortes, mas também apontaram travamentos, respostas longas e limitações de integração. Concluiu-se que o agente apresentou viabilidade prática e boa usabilidade percebida, embora ainda tenha exigido refinamentos técnicos e conversacionais antes de uma adoção mais ampla.

Palavras-chave: Arquitetura orientada a estados; Atendimento digital; Comércio eletrônico; Interação humano-computador; Modelos de linguagem.

1. Introdução

A Inteligência Artificial (IA), conforme definido por McCarthy (2007), representa a ciência e a engenharia dedicadas à construção de máquinas inteligentes, com foco especial em programas de computador. Nesse cenário, o uso de agentes conversacionais inteligentes tem se consolidado como uma estratégia fundamental para empresas que buscam oferecer experiências de atendimento ao cliente mais fluidas e personalizadas. Nos últimos anos, a relevância desses agentes em canais digitais de atendimento cresceu significativamente, dada sua capacidade de mediar interações, responder a perguntas frequentes e apoiar fluxos operacionais de suporte ao cliente.

Com a popularização de modelos de linguagem de grande escala (LLMs) e o surgimento de frameworks como o LangChain, tornou-se viável desenvolver agentes capazes de integrar bases de conhecimento, realizar consultas contextuais complexas e adaptar-se em tempo real às necessidades dos usuários. Essa evolução marca um contraste notável com os chatbots tradicionais, que operam a partir de fluxos pré-definidos e frequentemente demonstram limitações na compreensão da linguagem natural e na adaptação a cenários não previstos. Em paralelo, arquiteturas que empregam recuperação aumentada por busca (RAG) e estratégias de raciocínio e ação, como ReAct, passaram a ser consideradas alternativas técnicas promissoras para aprimorar a qualidade, a rastreabilidade e a adaptabilidade das respostas em tarefas intensivas em conhecimento.

Apesar dos avanços técnicos promissores, a literatura acadêmica enfatiza que a avaliação de chatbots não deve se restringir apenas ao desempenho computacional. Russel e Norvig (2013) destacam que capacidades humanas como a identidade pessoal ou o “envolvimento do ego” ainda não foram plenamente alcançadas pelos sistemas de IA. Em complemento, a revisão sistemática de Rapp, Curti e Boldi (2021), que analisou oitenta e três estudos sobre interação humano-chatbot, ressaltou a importância do “lado humano” dessa interação. Os autores identificaram temas recorrentes como satisfação, engajamento, confiança, emoções e a percepção de humanidade como componentes centrais da experiência conversacional.

De forma convergente, a norma ISO 9241-11:2018 define usabilidade em termos de efetividade, eficiência e satisfação no contexto de uso, fornecendo um referencial consistente para a avaliação de sistemas interativos. Nessa perspectiva, a satisfação do usuário está associada à percepção de utilidade, à qualidade da resposta e à adequação da interação. O engajamento relaciona-se ao interesse e à continuidade do uso, enquanto a confiança é crucial para a aceitação, credibilidade e disposição do usuário em seguir as orientações do sistema. A interação com chatbots, portanto, transcende aspectos meramente funcionais, envolvendo reações emocionais e avaliações subjetivas da experiência conversacional, onde a percepção de humanidade do chatbot influencia a interpretação da conversa e a resposta do usuário.

No atendimento ao cliente em comércio eletrônico, ainda predominam assistentes conversacionais baseados em fluxos, menus e regras de decisão previamente configuradas. Embora esses sistemas ofereçam boa previsibilidade operacional e baixo custo por interação, eles tendem a apresentar menor flexibilidade diante de variações linguísticas, consultas ambíguas e necessidades contextuais mais complexas. Stige et al. (2023) afirmam que a IA tem potencial para aumentar a eficiência e a precisão, além de criar soluções mais criativas e inovadoras. Contudo, apesar do crescente interesse no uso de IA nas organizações, ainda há poucos trabalhos sobre como a Inteligência Artificial pode ser introduzida em processos que dependem fortemente da criatividade e da contribuição humana. Comparações diretas entre chatbots convencionais e agentes baseados em LLMs são escassas, especialmente sob uma perspectiva quantitativa.

Estudos recentes indicam um movimento crescente para avaliar a qualidade da interação não apenas pela eficiência operacional, mas principalmente pela experiência do usuário (UX), considerando fatores como clareza, empatia e capacidade de resolução de problemas. Zhang et al. (2025) destacam a importância de agentes que conciliem desempenho técnico e sensibilidade à interação humana, sugerindo que a próxima geração de sistemas conversacionais será julgada menos pela exatidão da resposta e mais pela percepção de valor entregue ao usuário. Adicionalmente, a avaliação de chatbots ainda não possui um método único e consolidado para medir a qualidade conversacional, sendo comum a combinação de métricas objetivas de desempenho com instrumentos subjetivos de percepção do usuário, como apontado por Casas et al. (2020). Isso reforça a necessidade de desenhos metodológicos que integrem logs operacionais e feedback do usuário para uma avaliação abrangente.

Diante desse cenário, este trabalho se justifica pela necessidade de oferecer evidências sobre a avaliação de sistemas conversacionais baseados em LLMs em contextos empresariais, onde nem sempre é possível comparar diretamente a solução experimental com sistemas proprietários em produção. Além disso, o estudo busca documentar o ciclo de engenharia do artefato, sua arquitetura, modelo de dados e métricas utilizadas, atendendo à demanda por maior rigor técnico e rastreabilidade metodológica em projetos aplicados de Engenharia de Software. Assim, o objetivo central deste estudo é verificar, de forma aplicada e metodologicamente coerente, se um agente conversacional experimental, implementado em Python com LangChain para apoio a tarefas representativas de atendimento ao cliente no comércio eletrônico, apresenta níveis adequados de usabilidade, clareza e utilidade em cenários controlados de uso.

2. Material e Métodos

A pesquisa foi conduzida como um estudo aplicado, de natureza exploratória, centrado na avaliação formativa de um único sistema conversacional. O objetivo central foi verificar se um agente conversacional experimental, implementado em Python com LangChain, apresentava níveis adequados de usabilidade, clareza e utilidade em cenários controlados de uso, para apoio a tarefas representativas de atendimento ao cliente no comércio eletrônico.

O agente conversacional foi implementado em Python, utilizando as bibliotecas LangChain e LangGraph, e estruturado como um sistema orientado a estados. Sua arquitetura combinou uma interface de interação com o usuário, um modelo de linguagem, ferramentas externas, um mecanismo de orquestração por grafo de estados e uma camada de persistência para manutenção do histórico conversacional. As dependências do projeto incluíram langchain, langgraph, langchain-google-genai, streamlit, psycopg e bibliotecas de checkpoint para SQLite e PostgreSQL.

A lógica central do agente foi organizada por um grafo de estados, onde o estado da aplicação foi definido pela sequência de mensagens da conversa e o contexto pelo tipo de usuário. O grafo adicionou nós principais, como `call_llm`, responsável por invocar o modelo de linguagem (gemini-2.5-flash, com temperatura de 0,2) e vincular as ferramentas disponíveis. Ferramentas como `suggest_outfit` para sugestão de vestuário e `late_delivery` para reclamações de atraso de entrega foram implementadas como funções decoradas.

A persona do assistente, denominada “Aryaz”, foi especificada em um prompt de sistema, que também definiu regras de orquestração, como o uso obrigatório de ferramentas específicas para determinadas intenções do usuário, regras de cordialidade e restrições de segurança, como a proibição de exposição de metadados internos. Adicionalmente, a função `sanitize_response` foi implementada para limpar as respostas antes da exibição ao usuário, extraindo apenas o conteúdo textual e descartando metadados sensíveis.

A entrada do usuário foi processada por uma interface conversacional em Streamlit, que gerou um identificador único de sessão (`thread_id`) e encaminhou cada interação ao grafo do agente. Para testes locais, utilizou-se uma execução em terminal. O sistema em produção da organização serviu como referência para o levantamento de requisitos e a inspiração dos cenários de uso, os quais foram anonimizados e reescritos em linguagem genérica para preservar a confidencialidade institucional.

A coleta de dados foi realizada com 15 participantes, selecionados por amostragem não probabilística e por conveniência, com uma meta entre 15 e 20. Cada participante executou de três a quatro cenários de uso em ambiente controlado, interagindo exclusivamente com o agente experimental. Ao final de cada sessão, os participantes responderam a um questionário de avaliação.

O questionário estruturado incluiu o System Usability Scale (SUS), proposto por Brooke (1996) e validado por Bangor, Kortum e Miller (2008), para mensurar a usabilidade percebida. Também se incorporou o Chatbot Usability Scale (CUS), desenvolvido por Borsci et al. (2022), para captar aspectos específicos da experiência com chatbots. O instrumento ainda contemplou uma pergunta de satisfação geral (CSAT) em escala de um a cinco, seis itens complementares de qualidade da conversa em escala Likert de um a cinco, um item de esforço percebido e três perguntas abertas para registro de percepções qualitativas.

Os logs técnicos das interações foram coletados automaticamente, registrando o identificador anonimizado do participante, o cenário executado, timestamps de início e fim, número de mensagens trocadas, latência média por resposta, ocorrências de erro, eventos de fallback, consumo estimado de tokens e o marcador de conclusão da tarefa. A persistência dos dados foi implementada em PostgreSQL, utilizando um checkpointer para viabilizar a rastreabilidade e reprodutibilidade analítica, com um modelo lógico que contemplou entidades como `participants`, `sessions`, `messages`, `metrics` e `survey_responses`.

Os dados quantitativos foram tratados por estatística descritiva, calculando-se médias aritméticas, medianas e desvios-padrão para as variáveis em escala ordinal e intervalar. O escore SUS foi calculado conforme o procedimento original de Brooke (1996), que envolveu a soma das contribuições dos itens positivos e negativos, seguida da multiplicação por 2,5, resultando em um escore de zero a 100. O alfa de Cronbach foi estimado para verificar a consistência interna do SUS e do bloco conversacional. Os comentários abertos foram submetidos a uma análise qualitativa de conteúdo, com codificação inicial por temas recorrentes.

3. Resultados e Discussão

A avaliação do agente conversacional experimental foi conduzida com uma amostra de 15 participantes, cujo perfil demográfico e de uso de tecnologias digitais foi inicialmente caracterizado. Observou-se uma predominância da faixa etária de 35 a 44 anos, com sete participantes, seguida por grupos de 18 a 24 anos e 25 a 34 anos, cada um com três participantes. Dois participantes estavam na faixa de 45 a 54 anos. Em relação à frequência de uso de canais digitais de atendimento, sete participantes relataram uso “às vezes”, cinco “frequentemente”, dois “raramente” e um “muito frequentemente”. A familiaridade com chatbots foi declarada como “alta” por sete participantes, “média” por cinco e “baixa” por três, indicando um grupo heterogêneo, mas com experiência prévia razoável em interações digitais, o que é favorável para a avaliação da usabilidade percebida do sistema. Essa diversidade de perfis contribuiu para uma análise abrangente das percepções dos usuários sobre o agente.

O System Usability Scale (SUS) revelou um escore médio de 81,3 pontos, com mediana de 85,0 e desvio-padrão de 16,3. Este resultado superou o ponto de corte de 68 pontos, amplamente aceito na literatura como indicativo de usabilidade aceitável, sugerindo uma percepção favorável da usabilidade do agente pelos participantes. A consistência interna do instrumento, medida pelo alfa de Cronbach, foi de 0,79, o que demonstra uma coerência adequada nas respostas aos dez itens do SUS. Apesar da tendência positiva geral, a dispersão dos escores, variando de 50,0 a 100,0, indicou uma heterogeneidade na experiência percebida entre os respondentes, apontando que a usabilidade não foi uniformemente positiva para todos os usuários, conforme a literatura sobre avaliação de sistemas interativos (Brooke, 1996; Bangor, Kortum e Miller, 2008).

A satisfação geral do cliente (CSAT) obteve uma média de 3,8 em uma escala de um a cinco. A análise das respostas mostrou que 73,3% dos participantes (sete com nota quatro e quatro com nota cinco) expressaram avaliações favoráveis. Contudo, a presença de um caso de forte insatisfação e um de insatisfação indicou que a experiência não foi universalmente positiva, revelando variações na percepção de valor entregue. Quanto ao desfecho das tarefas, nove participantes (60,0%) relataram resolução completa de suas demandas, enquanto cinco (33,3%) indicaram resolução parcial e um (6,7%) não obteve resolução. Esses dados sugerem um desempenho funcional globalmente satisfatório, mas com oportunidades claras para aprimoramento na estabilidade e na cobertura das respostas do agente, alinhando-se à necessidade de conciliar desempenho técnico e experiência do usuário (Zhang et al., 2025).

A qualidade da conversa foi avaliada por um bloco de itens complementares, alcançando uma média de 4,37 em uma escala de um a cinco. O esforço percebido, após a inversão da escala para que valores mais altos indicassem melhor experiência, obteve uma média de 4,47. Esses resultados, juntamente com o escore SUS, reforçam a percepção globalmente favorável do agente conversacional. A alta média no bloco de qualidade da conversa sugere que os participantes consideraram as interações claras, úteis, coerentes e fáceis de compreender. O baixo esforço percebido indica que os usuários conseguiram concluir suas tarefas com relativa facilidade, o que é um fator crucial para a eficiência e satisfação, conforme a norma ISO 9241-11:2018.

A inspeção detalhada dos itens do questionário reforçou a leitura positiva geral dos resultados. Entre os aspectos mais bem avaliados, destacaram-se a empatia e a educação na interação, com média de 4,73, a clareza das respostas e a rapidez de aprendizagem, ambas com média de 4,47, e a confiança ao usar o sistema, com média de 4,40. A média invertida do esforço percebido, de 4,47, corroborou que a maioria dos participantes concluiu as tarefas com pouco esforço. Em contraste, os menores resultados foram observados nos itens de objetividade das respostas, com média de 4,00, e em aspectos como a ausência de integração com o site e episódios de travamento, que foram apontados nas respostas abertas. Esses achados indicam que, embora o agente tenha sido percebido como cordial e claro, sua robustez em situações de exceção e a precisão operacional ainda requerem aprimoramentos.

As respostas abertas dos participantes complementaram os dados quantitativos, confirmando o diagnóstico. Os elogios concentraram-se na clareza, coerência, rapidez e fluidez da conversa, com sete menções para clareza, coerência e precisão, três para rapidez ou assertividade e duas para humanização ou fluidez. Em contrapartida, as críticas se agruparam em três categorias principais. A primeira envolveu problemas de robustez técnica, com quatro menções a erros técnicos ou travamentos. A segunda categoria apontou a falta de concisão em demandas mais simples, com duas menções a respostas longas ou pouco objetivas, alinhando-se ao menor resultado do item de objetividade. A terceira categoria incluiu limitações de integração e de desenho conversacional, como a ausência de link direto para fluxos do site e o uso de linguagem marcada por gênero, cada uma com uma menção. Esses resultados qualitativos são cruciais para direcionar futuras iterações do artefato, conforme a abordagem de avaliação de chatbots que integra métricas objetivas e subjetivas (Casas et al., 2020).

A análise conjunta dos resultados quantitativos e qualitativos permitiu uma interpretação abrangente da usabilidade e experiência do usuário do agente conversacional. O escore SUS médio elevado, a concentração de avaliações CSAT em níveis superiores e a taxa de resolução completa da demanda, que superou a metade da amostra, indicaram uma aderência satisfatória do agente ao seu propósito de atendimento no comércio eletrônico. No entanto, a ocorrência de erros técnicos, travamentos e respostas excessivamente longas, bem como as limitações de integração e objetividade, sugerem que a qualidade percebida ainda depende tanto da experiência conversacional quanto da estabilidade operacional do sistema. Esses pontos de melhoria são consistentes com a literatura que aponta a necessidade de agentes que conciliem desempenho técnico e sensibilidade à interação humana (Zhang et al., 2025).

Em síntese, os achados da pesquisa indicaram que o agente conversacional experimental demonstrou boa usabilidade percebida e uma experiência de interação majoritariamente favorável em cenários controlados de uso. O escore SUS médio de 81,3 pontos e a satisfação geral positiva, com 73,3% de avaliações favoráveis, confirmam que o artefato atende a níveis adequados de usabilidade, clareza e utilidade, conforme o objetivo do estudo. Contudo, a heterogeneidade dos escores SUS, a presença de insatisfação em alguns casos e as críticas qualitativas sobre travamentos, respostas longas e limitações de integração, apontam para a necessidade de refinamentos técnicos e conversacionais para garantir uma experiência mais homogênea e robusta antes de uma adoção mais ampla. O estudo, portanto, forneceu evidências empíricas da viabilidade prática do agente, ao mesmo tempo em que identificou áreas específicas para aprimoramento, alinhadas com as expectativas de qualidade da interação humano-computador.

4. Conclusão

Este estudo buscou verificar a usabilidade, clareza e utilidade de um agente conversacional experimental, desenvolvido em Python com LangChain, para apoio a tarefas de atendimento ao cliente no comércio eletrônico, em cenários controlados de uso. Verificou-se que o agente demonstrou uma usabilidade percebida favorável, com um escore SUS médio de 81,3 pontos, superando o limiar de aceitabilidade. A satisfação geral dos participantes também se mostrou predominantemente positiva, com 73,3% de avaliações favoráveis, e a qualidade da conversa, juntamente com o baixo esforço percebido, alcançou médias elevadas. Os achados qualitativos complementaram esses resultados, destacando a clareza, coerência, empatia e rapidez como pontos fortes da interação. Esses resultados indicaram a viabilidade prática do artefato e sua capacidade de oferecer uma experiência de atendimento majoritariamente positiva, consolidando sua contribuição para o avanço de soluções de IA em canais digitais.

Contudo, a análise revelou que a experiência não foi uniformemente positiva para todos os usuários, evidenciada pela dispersão nos escores SUS e pela presença de casos de insatisfação. Identificou-se limitações como travamentos e erros técnicos, respostas excessivamente longas para demandas simples, e a ausência de integração direta com fluxos do site, além de um uso pontual de linguagem marcada por gênero. Tais aspectos sugerem a necessidade de refinamentos técnicos e conversacionais para aprimorar a robustez operacional e a consistência da experiência. Diante do caráter exploratório e do tamanho amostral reduzido, os resultados não permitem generalizações amplas, mas fornecem evidências empíricas valiosas para direcionar futuras iterações do agente e novas avaliações com amostras maiores, visando uma adoção mais abrangente e homogênea.

Referências Bibliográficas

Bangor, A.; Kortum, P.T.; Miller, J.T. 2008. An empirical evaluation of the System Usability Scale. International Journal of Human-Computer Interaction 24(6): 574-594.

Borsci, S.; Malizia, A.; Schmettow, M.; van der Velde, F.; Tariverdiyeva, G.; Balaji, D.; Chamberlain, A. 2021. The Chatbot Usability Scale: the design and pilot of a usability scale for interaction with Al-based conversational agents. Personal and Ubiquitous Computing. Disponível em: <https://doi.org/10.1007/s00779-021-01582-9>. Acesso em: 17 abr. 2026.

Brooke, J. 1996. SUS-A quick and dirty usability scale. p. 189-194. In: Jordan, P.W.; Thomas, B.; Weerdmeester, B.A.; McClelland, I.L. Usability Evaluation in Industry. Taylor & Francis, London, UK.

International Organization for Standardization [ISO]. 2018. ISO 9241-11:2018 Ergonomics of human-system interaction Part 11: Usability: Definitions and concepts. International Organization for Standardization, Geneva, Switzerland.

MCCARTHY, John. What is Artificial Intelligence. Stanford: Stanford University, 2007.

Rapp, Curti e Boldi, 2021 [Referência completa não encontrada no documento original]

RUSSEL S.; NORVIG, P. Inteligência Artificial: Uma Abordagem Moderna. 3. ed. Rio de Janeiro: Editora Campus, 2013.

Stige, A., Zamani, E. D., Mikalef, P., e Zhu Yuzhen. (2023). Artificial intelligence (AI) for user experience (UX) design: a systematic literature review and future research agenda. Information Technology & People. doi: https://doi.org/10.1108/ITP-07-2022-0519

Zhang, L. et al. (2025). Human-Centered Al Agents for Enhanced UX. IEEE Transactions on Affective Computing.

Artigo oriundo de Trabalho de Conclusão de Curso da Especialização em Engenharia de Software do MBA USP/Esalq

Para saber mais sobre o curso, clique aqui e acesse a plataforma MBX Academy