Janaina da Silva Pacheco; Pedro Henrique Dias Valle

DOI: 10.22167/2675-6528-202600973

Artigo elaborado pela ferramenta ResumeAI, solução de inteligência artificial desenvolvida pelo Instituto Pecege voltada à síntese e redação.

Resumo

A crescente demanda por software de alta qualidade intensificou a importância da área de testes, porém a escassez de profissionais qualificados persistiu. As certificações internacionais, como as da BSTQB, representaram uma solução para esse déficit, e chatbots educacionais baseados em inteligência artificial demonstraram potencial para otimizar a preparação para exames. O objetivo da pesquisa foi desenvolver o QA Mentor, uma plataforma educacional com IA para auxiliar candidatos às certificações da BSTQB, focando em interatividade, autonomia e acessibilidade. Adotou-se uma metodologia qualitativa e quantitativa, com estudo de casos. O desenvolvimento utilizou Python e Flask no backend, React com TypeScript no frontend, SQLite para persistência de dados e a API GPT-40 da OpenAI para processamento de linguagem natural. O sistema foi implementado com arquitetura cliente-servidor, incluindo módulos de simulados, rastreamento de desempenho, sistema de conquistas, trilha de estudos personalizada e painel administrativo. A base de conhecimento abrangeu 20 certificações da BSTQB. A qualidade do sistema foi verificada por 364 testes automatizados e uma avaliação heurística, baseada nas dez heurísticas de Nielsen, que indicou boa usabilidade geral. Concluiu-se que o QA Mentor constituiu uma ferramenta promissora para apoiar candidatos na preparação para as certificações da BSTQB, promovendo um aprendizado mais interativo e eficiente.

Palavras-chave: Aprendizagem adaptativa; Avaliação de usabilidade; Inteligência artificial; Teste de Software.

1. Introdução

A era digital contemporânea é marcada por uma dependência crescente de sistemas de software em praticamente todos os setores da economia e da sociedade. Essa ubiquidade impulsiona uma demanda incessante por software de alta qualidade, em que a confiabilidade, segurança e desempenho são atributos não negociáveis. Consequentemente, a área de testes de software emergiu como um pilar fundamental no ciclo de vida do desenvolvimento, essencial para garantir que os produtos digitais atendam às expectativas dos usuários e aos requisitos de negócio. No entanto, apesar da criticidade dessa função, o mercado global enfrenta uma persistente escassez de profissionais de testes de software devidamente qualificados, um desafio que impacta a capacidade das organizações de entregar soluções robustas e inovadoras (CERTIPORT, 2025). Para mitigar esse déficit e assegurar um padrão de competência global, as certificações internacionais desempenham um papel crucial. No Brasil, a Brazilian Software Testing Qualifications Board (BSTQB), conselho nacional da International Software Testing Qualifications Board (ISTQB), destaca-se como uma entidade certificadora proeminente, tendo emitido mais de dezenove mil certificados que atestam a proficiência de especialistas em teste de software em diversas complexidades e focos (BSTQB, 2025).

Paralelamente à demanda por qualificação, a evolução das tecnologias de Inteligência Artificial (IA) tem revolucionado diversos domínios, incluindo o educacional. Dentro desse cenário, os chatbots educacionais surgem como ferramentas promissoras para otimizar processos de ensino e aprendizagem. Um chatbot, conforme definido por Allouch, Azaria e Azoulay (2021), é uma aplicação de software capaz de simular uma conversação humana por meio de texto ou voz, utilizando processamento de linguagem natural. No contexto da educação, esses agentes conversacionais demonstram um potencial significativo para oferecer suporte interativo, feedback imediato e uma experiência de aprendizado altamente personalizada (Melo, Pessoa e Paschoal, 2023). A capacidade de adaptar o conteúdo e o ritmo de ensino às necessidades individuais do estudante, característica da aprendizagem adaptativa, é um dos maiores benefícios proporcionados por essas plataformas. Ao analisar o histórico de desempenho e as preferências do usuário, sistemas baseados em IA podem gerar trilhas de estudo customizadas, recomendar materiais complementares e focar em áreas que necessitam de maior reforço, promovendo assim maior autonomia e eficiência no processo de aquisição de conhecimento (Soares e Maia, 2020).

Apesar da disponibilidade de materiais de estudo e simulados para as certificações da BSTQB, os candidatos frequentemente se deparam com desafios inerentes aos métodos de preparação tradicionais. A ausência de interatividade é um obstáculo comum, visto que o aprendizado passivo, baseado apenas na leitura de textos estáticos, pode não ser eficaz para a retenção de conceitos complexos e a aplicação prática do conhecimento. Além disso, a falta de feedback imediato sobre o desempenho em questões e simulados impede que o estudante identifique e corrija prontamente seus erros, retardando o processo de assimilação de conceitos. Outra limitação reside na natureza genérica da maioria dos recursos de estudo, que não se adaptam ao ritmo individual de aprendizagem ou às áreas específicas de dificuldade de cada candidato. Essa abordagem padronizada pode levar à desmotivação, ao desperdício de tempo em tópicos já dominados ou à negligência de pontos cruciais que exigem maior atenção. Tais dificuldades culminam em uma experiência de estudo menos eficiente e, por vezes, frustrante, comprometendo o sucesso na obtenção das certificações que são vitais para o avanço profissional na área de testes de software.

Diante desse panorama, que conjuga a crescente necessidade de profissionais qualificados em testes de software com as lacunas dos métodos de preparação existentes, emerge a relevância de investigar soluções inovadoras. A questão norteadora que impulsionou este estudo foi: um chatbot educacional baseado em inteligência artificial pode auxiliar efetivamente na preparação para as certificações da BSTQB, promovendo um aprendizado mais interativo, autônomo e eficiente? Em resposta a essa indagação e visando suprir as necessidades identificadas, o presente trabalho teve como objetivo desenvolver o QA Mentor, uma plataforma educacional inovadora que integra inteligência artificial para auxiliar candidatos na preparação para as certificações da BSTQB, com foco primordial em oferecer uma experiência de estudo interativa, fomentar a autonomia do estudante e garantir a acessibilidade aos conteúdos programáticos oficiais.

2. Material e Métodos

O presente estudo adotou uma metodologia de pesquisa aplicada, caracterizada pela busca de soluções práticas para problemas específicos, conforme a natureza do desenvolvimento de um chatbot educacional. A abordagem metodológica foi de natureza mista, combinando elementos qualitativos e quantitativos. A fase qualitativa envolveu a análise de requisitos e a avaliação heurística por especialistas, enquanto a fase quantitativa se manifestou na coleta de dados sobre a usabilidade e a performance do sistema. Essa combinação permitiu uma compreensão abrangente tanto do processo de desenvolvimento quanto da experiência do usuário.

A pesquisa foi conduzida no contexto do desenvolvimento de uma plataforma educacional, o QA Mentor, projetada para auxiliar na preparação para as certificações da Brazilian Software Testing Qualifications Board (BSTQB). O período de desenvolvimento e avaliação do sistema culminou com a aplicação da avaliação heurística em abril de 2026. Embora o TCC não especifique um local físico único para o desenvolvimento, a pesquisa foi realizada no âmbito acadêmico, com a participação de pesquisadores afiliados a instituições de ensino superior. A unidade de análise principal foi a plataforma QA Mentor, incluindo sua arquitetura, funcionalidades e a experiência de usuário proporcionada.

Para a avaliação heurística de usabilidade, a população de interesse consistiu em profissionais com experiência em desenvolvimento de software, garantia de qualidade e experiência do usuário. A amostra foi composta por cinco avaliadores, selecionados por conveniência, seguindo a recomendação de Nielsen (1994) para identificar a maioria dos problemas de usabilidade. Os critérios de seleção visaram garantir perfis complementares: três especialistas com mais de sete anos de experiência em desenvolvimento ou teste de software, sendo dois com experiência prévia em avaliações heurísticas, e dois profissionais em início de carreira, um deles com experiência em avaliação de usabilidade. Essa diversidade de perfis enriqueceu a perspectiva da avaliação.

A base de conhecimento do QA Mentor foi construída a partir dos syllabi oficiais das vinte certificações da BSTQB, disponibilizados em formato PDF e em língua portuguesa. Esses documentos foram processados por meio de um script em Python para extração automatizada de texto, garantindo a preservação da estrutura hierárquica de capítulos e seções. O conteúdo extraído foi então formatado em JSON e persistido em um banco de dados, resultando em 743 tópicos organizados. Esse procedimento assegurou a fidelidade ao material oficial e permitiu a categorização precisa das questões do quiz por tópico e nível de dificuldade.

Para a coleta de dados na avaliação heurística, utilizou-se um formulário estruturado, aplicado via Google Forms, que se encontra detalhado no Apêndice do trabalho. Este instrumento foi concebido para registrar os problemas de usabilidade identificados pelos avaliadores, a heurística correspondente, o percentual de avaliadores que o relataram e a severidade atribuída, em uma escala de zero a quatro. Adicionalmente, um Termo de Consentimento Livre e Esclarecido (TCLE) foi apresentado aos participantes, garantindo a voluntariedade e a confidencialidade dos dados coletados.

O desenvolvimento do QA Mentor seguiu um processo iterativo, iniciando-se com o levantamento de requisitos funcionais. As funcionalidades essenciais foram definidas com base nas dificuldades de preparação para certificações BSTQB, incluindo autenticação de usuários, trilha de estudos, módulo de quiz adaptativo, simulado cronometrado, plano de estudos personalizado, sistema de conquistas e painel administrativo. A arquitetura do sistema foi concebida como cliente-servidor, com o frontend implementado em React com TypeScript e o backend em Python com Flask, comunicando-se por uma API RESTful.

A implementação técnica envolveu a autenticação com tokens JWT armazenados em cookies HttpOnly e controle de acesso por papel de usuário, com rotas sensíveis protegidas por rate limiting. A organização do código do backend foi refatorada utilizando o padrão Flask Blueprints, dividindo a aplicação em módulos independentes para facilitar a manutenção. Para a persistência de dados, empregou-se o SQLite, hospedado em um volume persistente na plataforma Railway, garantindo a integridade dos dados. O deploy foi realizado em dois serviços independentes na Railway, com um mecanismo de bootstrap seguro para inicialização do banco de dados.

A qualidade do sistema foi assegurada por uma suíte de 364 testes automatizados, distribuídos em três camadas. Foram implementados 99 testes de backend com pytest, 246 testes de frontend com Vitest e 19 testes end-to-end com Playwright. Esses testes validaram desde a lógica de negócio até os fluxos completos de usuário. A execução automatizada desses testes foi integrada a um pipeline de integração contínua no GitHub Actions, garantindo um ciclo de feedback rápido e a estabilidade do sistema a cada alteração na branch principal.

A análise dos dados para a avaliação da usabilidade foi realizada com base na técnica de avaliação heurística de Nielsen (1994). Cada um dos cinco avaliadores inspecionou a interface do QA Mentor de forma independente, identificando e registrando os problemas de usabilidade em um formulário estruturado. Para cada problema, foi indicada a heurística violada, uma descrição detalhada, o contexto de ocorrência e uma sugestão de solução. A severidade de cada problema foi classificada em uma escala de zero a quatro, permitindo uma priorização das melhorias necessárias para o sistema.

Os procedimentos éticos foram observados na condução da avaliação heurística. Antes da participação, todos os avaliadores receberam e assinaram um Termo de Consentimento Livre e Esclarecido (TCLE), que detalhava os objetivos da pesquisa, a natureza da participação, a garantia de anonimato e a possibilidade de desistência a qualquer momento. Os dados coletados foram tratados de forma agregada, sem identificação individual, e utilizados exclusivamente para fins acadêmicos, conforme declarado no TCLE.

Identificaram-se algumas limitações metodológicas inerentes ao escopo do trabalho. A escolha do SQLite para persistência de dados, embora adequada ao volume de usuários esperado para o TCC, representa uma limitação em cenários de alta concorrência, conforme explicitado. Adicionalmente, a avaliação de usabilidade foi conduzida exclusivamente em ambiente desktop, não abrangendo dispositivos móveis. Notou-se uma incompatibilidade com o sistema iOS devido à política de cookies cross-site, o que restringe a acessibilidade da plataforma em determinados dispositivos móveis.

3. Resultados e Discussão

O desenvolvimento do QA Mentor culminou na criação de uma plataforma educacional robusta e funcional, validada por uma série de testes automatizados e uma avaliação heurística de usabilidade. Os resultados obtidos em cada dimensão do projeto, desde a arquitetura do sistema até a experiência do usuário e as funcionalidades pedagógicas, serão detalhados e discutidos em profundidade, estabelecendo um diálogo contínuo com a literatura pertinente.

A arquitetura cliente-servidor, empregada no desenvolvimento do QA Mentor, demonstrou ser uma escolha estratégica e altamente eficaz para o escopo do projeto. Essa abordagem, conforme ilustrado na Figura 1, permitiu uma clara separação de responsabilidades entre as camadas de frontend e backend, facilitando o desenvolvimento independente e a evolução modular de cada componente. A adoção de React com TypeScript para o frontend e Python com Flask para o backend, comunicando-se via uma API RESTful, alinha-se às práticas modernas de engenharia de software, que preconizam a flexibilidade e a escalabilidade. A literatura sobre arquiteturas de software, como a discutida por Fowler (2002), enfatiza que a separação de preocupações (separation of concerns) é fundamental para sistemas complexos, promovendo a manutenibilidade e a capacidade de adaptação. No contexto de plataformas educacionais, essa modularidade é crucial, pois permite que novas funcionalidades pedagógicas ou integrações com outras ferramentas sejam adicionadas sem impactar significativamente o restante do sistema. A independência das camadas também otimiza o trabalho de equipes multidisciplinares, onde desenvolvedores especializados em interface de usuário podem atuar em paralelo com engenheiros de backend, acelerando o ciclo de desenvolvimento e entrega. A escolha de tecnologias amplamente suportadas e com comunidades ativas, como React e Flask, também contribui para a longevidade e a segurança do sistema, garantindo acesso a uma vasta gama de bibliotecas, ferramentas e recursos de suporte.

Figura 1. Arquitetura do QA Mentor

Fonte: Resultados originais da pesquisa

A organização interna do backend, que passou por uma refatoração estrutural significativa, é um testemunho da importância dos padrões de projeto na engenharia de software. A transição de uma estrutura monolítica para o padrão Flask Blueprints, conforme detalhado na Figura 2, não apenas reduziu o arquivo principal da aplicação de 2.009 para 328 linhas, mas também estabeleceu uma arquitetura mais coesa e de baixo acoplamento. Este resultado é plenamente consistente com os princípios de design de software, como o Princípio da Responsabilidade Única (SRP) do SOLID, que sugere que cada módulo deve ter apenas uma razão para mudar (Martin, 2002). Ao centralizar as dependências compartilhadas em um módulo de extensões dedicado, eliminou-se a importação cruzada entre blueprints, garantindo um isolamento quase total entre os módulos. Essa abordagem não só facilitou a escrita de testes unitários, tornando o processo de validação mais eficiente e confiável, mas também melhorou drasticamente a manutenibilidade do código. Em um projeto de longo prazo, a capacidade de isolar e testar componentes individualmente é inestimável, pois minimiza o risco de introdução de bugs em outras partes do sistema ao realizar alterações. Além disso, a clareza estrutural resultante facilita o onboarding de novos desenvolvedores e a expansão futura do sistema, permitindo que novas funcionalidades sejam integradas como novos blueprints sem comprometer a arquitetura existente. A aplicação prática desses padrões de projeto reflete um compromisso com a qualidade e a sustentabilidade do software, elementos essenciais para qualquer plataforma educacional que visa ser duradoura e evolutiva.

Figura 2. Estrutura interna do backend – Flask Blueprints

Fonte: Resultados originais da pesquisa

A escolha do SQLite para a persistência de dados, acessado diretamente pelo módulo `sqlite3` do Python, foi uma decisão pragmática e adequada ao volume de usuários esperado no contexto de um Trabalho de Conclusão de Curso. Embora essa abordagem confira um controle explícito sobre as consultas e o esquema do banco, ela representa uma limitação em cenários de alta concorrência, conforme explicitado nas considerações finais do trabalho. A literatura sobre sistemas de gerenciamento de banco de dados (SGBDs) frequentemente discute o trade-off entre simplicidade, desempenho e escalabilidade (Silberschatz et al., 2020). O SQLite, sendo um banco de dados embarcado e sem servidor, é ideal para aplicações com requisitos de baixa a média concorrência e fácil implantação, mas pode apresentar gargalos de desempenho e concorrência em ambientes com muitos acessos simultâneos. A hospedagem do banco de dados em um volume persistente na plataforma Railway mitigou parte dessa limitação ao garantir a continuidade dos dados entre reinicializações e redeploys, um aspecto crucial para a resiliência do sistema. Contudo, para uma futura expansão do QA Mentor para um público maior, seria imperativo considerar a migração para um SGBD mais robusto, como PostgreSQL ou MySQL, que oferecem melhor suporte a transações concorrentes e escalabilidade horizontal. Essa transição, embora exija um esforço de refatoração, seria uma implicação prática direta para garantir a performance e a estabilidade da plataforma em um cenário de crescimento.

A infraestrutura de deploy e o mecanismo de bootstrap implementados para o QA Mentor demonstram uma preocupação com a robustez e a automação, características essenciais em ambientes de produção modernos. A seleção da plataforma Railway, em detrimento de Render e Fly.io, foi justificada pela sua integração direta com o GitHub, provisionamento de volume persistente, HTTPS automático e tempo de configuração reduzido. Essa decisão reflete a busca por uma solução que otimize o pipeline de integração e entrega contínua (CI/CD), um pilar fundamental das metodologias DevOps (Kim et al., 2016). O deploy em dois serviços independentes (backend Flask via Gunicorn e frontend React como aplicação estática) é uma prática comum para desacoplar as camadas e otimizar a distribuição de recursos. O desafio da *race condition* entre a inicialização do Gunicorn e a montagem do volume persistente foi elegantemente resolvido por um mecanismo de bootstrap seguro. Este mecanismo, que envolve polling para verificar a disponibilidade do volume e um lock exclusivo de arquivo via `fcntl.flock`, garante que a inicialização do banco de dados e a inserção dos dados iniciais (seeds) ocorram de forma segura e idempotente, mesmo em ambientes com múltiplos workers concorrentes. Essa solução é um exemplo prático de como a engenharia de software lida com problemas de concorrência e resiliência em sistemas distribuídos, assegurando que o sistema esteja sempre em um estado consistente após o deploy. As implicações práticas são significativas: maior confiabilidade do sistema, redução de erros de inicialização em produção e um processo de deploy mais previsível e automatizado, o que é vital para a manutenção contínua de uma plataforma educacional.

A base de conhecimento do QA Mentor, estruturada a partir dos syllabi oficiais das vinte certificações da BSTQB em língua portuguesa, é um dos pilares da sua eficácia pedagógica. O processo de extração automatizada de texto via script Python, seguido pela formatação em JSON e persistência em banco de dados, resultou em 743 tópicos organizados hierarquicamente, com 182 capítulos raiz e 607 tópicos folha. Essa metodologia garante a fidelidade ao material oficial da entidade certificadora, um aspecto crucial para a credibilidade e relevância do conteúdo educacional. A categorização precisa das questões do quiz por tópico e nível de dificuldade, possibilitada por essa estrutura, é fundamental para a implementação de estratégias de aprendizagem adaptativa. A literatura sobre sistemas de tutoria inteligente e plataformas de e-learning, como a discutida por Brusilovsky e Millán (2007), ressalta a importância de uma base de conhecimento bem estruturada para a personalização do ensino. Ao mapear o conteúdo oficial de forma granular, o QA Mentor pode oferecer um aprendizado que se alinha diretamente aos requisitos das certificações, diferenciando-o de plataformas genéricas. As implicações práticas incluem a garantia de que os usuários estão estudando o material correto e relevante, a capacidade de o sistema identificar lacunas de conhecimento específicas e a facilidade de atualizar o conteúdo conforme os syllabi evoluem. Essa abordagem não só otimiza o tempo de estudo do usuário, mas também reforça a autoridade e a precisão do QA Mentor como ferramenta de preparação.

A qualidade do sistema foi rigorosamente verificada por uma suíte abrangente de 364 testes automatizados, distribuída em três camadas: 99 testes de backend com pytest, 246 testes de frontend com Vitest e 19 testes end-to-end com Playwright. Essa estratégia de teste em múltiplas camadas é uma prática recomendada na engenharia de software para garantir a robustez e a confiabilidade de uma aplicação (Fowler, 2004). Os testes de backend validaram a lógica de negócio e a segurança das rotas, enquanto os testes de frontend asseguraram o comportamento correto dos componentes de interface em diferentes estados. Os testes end-to-end, por sua vez, simularam fluxos completos de usuário, como cadastro e realização de quiz, garantindo que a experiência do usuário final fosse fluida e sem falhas. A execução automatizada desses testes, integrada a um pipeline de integração contínua no GitHub Actions, estabeleceu um ciclo de feedback rápido e garantiu a estabilidade do sistema a cada alteração na branch principal. Isso significa que qualquer regressão ou introdução de bug é detectada precocemente, reduzindo o custo de correção e aumentando a confiança nas entregas. Essa abordagem está em consonância com as metodologias ágeis e DevOps, que enfatizam a automação e a qualidade contínua. As implicações práticas são vastas: maior estabilidade do sistema em produção, redução do tempo gasto em testes manuais, maior velocidade de desenvolvimento e a capacidade de introduzir novas funcionalidades com a certeza de que as existentes não foram comprometidas. Para uma plataforma educacional, onde a confiança e a disponibilidade são primordiais, a robustez garantida por essa suíte de testes é um diferencial competitivo.

A avaliação heurística de usabilidade, conduzida com cinco avaliadores de perfis complementares, forneceu *insights* valiosos sobre a experiência do usuário do QA Mentor. A metodologia, baseada nas dez heurísticas de Nielsen (1994), é um padrão reconhecido para identificar problemas de usabilidade de forma eficiente. A composição da amostra, com especialistas experientes em desenvolvimento e teste de software, incluindo alguns com experiência prévia em avaliações heurísticas, e profissionais em início de carreira, permitiu uma visão abrangente dos problemas, tanto técnicos quanto de experiência do usuário. Os resultados consolidados, apresentados na Tabela 1, detalham seis problemas distintos, distribuídos entre quatro heurísticas.

Tabela 1. Resultados da avaliação heurística

Problema identificado	Heurística	Avaliadores	Severidade	Solução sugerida
Ausência de feedback de progresso durante a geração do simulado; sessão encerrada por inatividade	H1 – Visibilidade do status do sistema	1/5 (20%)	3 – Maior	Indicador de progresso ou geração assíncrona com notificação ao usuário
Travamento durante a geração do simulado exige recarregar a página; dificuldade no fluxo de login	H3 – Controle e liberdade do usuário	2/5 (40%)	3 – Maior	Processamento assíncrono em segundo plano
Plano de estudos não persiste entre sessões; necessário regenerar a cada acesso	H6 – Reconhecimento em vez de memorização	1/5 (20%)	2 – Menor	Persistir o plano gerado no banco de dados
Dificuldade de retorno entre páginas	H7 – Flexibilidade e eficiência de uso	1/5 (20%)	1 – Cosmético	Adicionar breadcrumbs ou botão de retorno consistente
Ausência de mensagem de erro durante travamento do sistema	H9 – Reconhecer, diagnosticar e recuperar erros	1/5 (20%)	3 – Maior	Implementar timeout com mensagem de erro clara
Ausência de área de ajuda integrada; chat responde com quizzes ao invés de suporte operacional	H10 – Ajuda e documentação	1/5 (20%)	4 – Catástrofe	Criar seção de ajuda e documentação separada do módulo de chat

Fonte: Resultados originais da pesquisa

O problema mais recorrente foi o travamento durante a geração do simulado e a dificuldade no fluxo de login, reportado por dois avaliadores (40%) e vinculado à heurística de controle e liberdade do usuário (H3), com severidade 3 (maior). Este achado é crítico, pois afeta diretamente a capacidade do usuário de interagir com funcionalidades essenciais e de se registrar/acessar a plataforma. A heurística H3, que se refere à capacidade do usuário de controlar o sistema e desfazer ações, é fundamental para a sensação de agência e confiança. Um sistema que trava ou impede o login frustra o usuário e pode levá-lo a abandonar a plataforma. A solução sugerida, processamento assíncrono em segundo plano para a geração do simulado e melhorias no fluxo de login, é uma implicação prática direta para mitigar esses pontos de atrito.

Outros problemas identificados por um avaliador cada (20%) incluem: ausência de feedback de progresso durante operações assíncronas (H1 – Visibilidade do status do sistema, severidade 3), não persistência do plano de estudos entre sessões (H6 – Reconhecimento em vez de memorização, severidade 2), dificuldade de retorno entre páginas (H7 – Flexibilidade e eficiência de uso, severidade 1), ausência de mensagem de erro durante travamento do sistema (H9 – Reconhecer, diagnosticar e recuperar erros, severidade 3), e ausência de área de ajuda integrada, agravada pelo comportamento do chat que respondia com questões de quiz em vez de suporte operacional (H10 – Ajuda e documentação, severidade 4 – catástrofe de usabilidade).

A heurística H1 (Visibilidade do status do sistema) é crucial para manter o usuário informado sobre o que está acontecendo, especialmente em operações que levam tempo. A falta de feedback pode levar à incerteza e à percepção de que o sistema está travado, o que se alinha com o problema de travamento do simulado. A severidade 3 indica que este é um problema que impacta a experiência do usuário e deve ser priorizado. A solução de um indicador de progresso ou geração assíncrona com notificação ao usuário é uma prática padrão em design de interface para gerenciar a expectativa do usuário e melhorar a percepção de desempenho.

A não persistência do plano de estudos (H6 – Reconhecimento em vez de memorização, severidade 2) é um problema de menor severidade, mas que afeta a eficiência do uso. A heurística H6 preconiza que o sistema deve tornar objetos, ações e opções visíveis, minimizando a necessidade de o usuário memorizar informações. A necessidade de regenerar o plano a cada acesso vai contra esse princípio, adicionando uma carga cognitiva desnecessária. A persistência do plano no banco de dados é uma solução direta que melhora a fluidez da experiência.

A dificuldade de retorno entre páginas (H7 – Flexibilidade e eficiência de uso, severidade 1) é um problema cosmético, de baixíssima prioridade, mas que aponta para pequenas otimizações na navegação. A inclusão de *breadcrumbs* ou um botão de retorno consistente são pequenas melhorias que contribuem para a usabilidade geral.

A ausência de mensagem de erro durante travamento (H9 – Reconhecer, diagnosticar e recuperar erros, severidade 3) é um problema significativo. A heurística H9 enfatiza que mensagens de erro devem ser claras, precisas e oferecer soluções construtivas. Um travamento sem feedback adequado deixa o usuário sem saber o que aconteceu ou como proceder, aumentando a frustração. A implementação de um *timeout* com mensagem de erro clara é uma solução essencial para melhorar a resiliência do sistema e a experiência de recuperação de erros.

Finalmente, a ausência de uma área de ajuda integrada e o comportamento inadequado do chat (H10 – Ajuda e documentação, severidade 4) representam uma catástrofe de usabilidade. A heurística H10 destaca a necessidade de sistemas oferecerem ajuda e documentação acessíveis e relevantes. Um chat que deveria oferecer suporte operacional, mas que responde com quizzes, desvia completamente da expectativa do usuário e impede a resolução de problemas. A criação de uma seção de ajuda e documentação separada do módulo de chat é uma implicação prática urgente para garantir que os usuários possam obter o suporte necessário de forma eficaz.

É notável que quatro das dez heurísticas de Nielsen (H2 – Correspondência entre o sistema e o mundo real, H4 – Consistência e padrões, H5 – Prevenção de erros e H8 – Estética e design minimalista) não registraram nenhum problema. Isso indica uma solidez da plataforma nessas dimensões, sugerindo que a interface é intuitiva, consistente e visualmente agradável, além de prevenir erros comuns. A avaliação geral de usabilidade obteve uma média de 4,2 pontos em escala de 5, com notas individuais variando de 3 a 5. A simplicidade e a intuitividade da interface foram os aspectos mais positivos, citados por quatro dos cinco avaliadores, corroborando a eficácia do design. O avaliador que atribuiu nota 3 reportou dificuldades no fluxo de login e na navegação entre seções, achados coerentes com os problemas identificados em H3 e H1. Os problemas identificados, em sua maioria de severidade baixa a moderada, apontam oportunidades de melhoria concretas para versões futuras da plataforma, em especial a implementação de geração assíncrona de conteúdo com feedback ao usuário e a criação de uma área de ajuda e documentação integrada ao sistema. Esses resultados são cruciais para o ciclo de desenvolvimento iterativo, fornecendo um roteiro claro para aprimoramentos futuros que impactarão diretamente a satisfação e a eficácia do aprendizado do usuário.

A experiência do usuário no QA Mentor foi cuidadosamente projetada para ser progressiva e personalizada desde o primeiro acesso, um fator crítico para o engajamento em plataformas educacionais. Após o cadastro e a autenticação, o usuário é guiado por um fluxo de *onboarding* de três etapas, conforme ilustrado na Figura 3. Este fluxo inclui a seleção da certificação-alvo, a definição da data prevista para o exame e a escolha da carga horária semanal de estudo. Essas informações contextuais são então utilizadas pelo sistema para personalizar o plano de estudos e contextualizar o *dashboard* individual.

Figura 3. Fluxo de onboarding: seleção de certificação, data alvo e carga horária semanal

Fonte: Resultados originais da pesquisa

Essa abordagem está em total alinhamento com as descobertas de Allouch, Azaria e Azoulay (2021), que destacam a maior efetividade de agentes conversacionais e plataformas educacionais baseadas em IA quando oferecem personalização da experiência ao usuário. A personalização desde o início não apenas aumenta a relevância do conteúdo para o estudante, mas também promove um senso de propriedade e controle sobre o próprio processo de aprendizagem, o que pode levar a um maior engajamento e persistência. A tela de login, apresentada na Figura 4, exemplifica a aplicação da heurística de estética e design minimalista de Nielsen (1994), oferecendo acesso por e-mail e senha com opção de cadastro integrada, mantendo a interface simples e direta.

Figura 4. Tela de login do QA Mentor

Fonte: Resultados originais da pesquisa

A simplicidade na interface de login reduz a carga cognitiva e facilita o primeiro contato do usuário com a plataforma. As implicações práticas dessa estratégia de *onboarding* são a redução da taxa de abandono inicial, o aumento da motivação do usuário ao perceber que o sistema se adapta às suas necessidades e a criação de uma base sólida para um aprendizado mais eficaz e direcionado. Ao coletar essas informações cruciais no início, o QA Mentor pode oferecer uma jornada de aprendizado verdadeiramente adaptativa, otimizando o tempo e o esforço do estudante.

O *dashboard* do QA Mentor, ilustrado na Figura 5, serve como o ponto central da experiência do usuário após o *onboarding*. Esta tela oferece uma visualização unificada do progresso geral na trilha de estudos, destacando tópicos que necessitam de reforço com base no desempenho histórico, as últimas sessões realizadas, estatísticas individuais acumuladas e conquistas desbloqueadas. A navegação para todos os módulos da plataforma (trilha, plano, chat, quiz, simulado e conquistas) é realizada a partir do *dashboard*, estabelecendo-o como o hub central da aplicação.

Figura 5. Dashboard principal do QA Mentor

Fonte: Resultados originais da pesquisa

Essa abordagem de centralização do progresso e recomendação de reforço por tópico está alinhada aos achados de Morita Melo, Barbosa Pessoa e Natan Paschoal (2023), que identificaram o feedback imediato e o rastreamento de desempenho como características centrais dos chatbots educacionais mais eficazes em ambientes de aprendizagem massiva. Um *dashboard* bem projetado, que agrega informações relevantes e acionáveis, capacita o usuário a monitorar seu próprio progresso e a tomar decisões informadas sobre seus próximos passos de estudo. A visualização clara dos tópicos que precisam de reforço, por exemplo, permite que o estudante direcione seus esforços para áreas de maior dificuldade, otimizando seu tempo de estudo. As implicações práticas incluem o aumento da autoconsciência do estudante sobre seu desempenho, a promoção da auto-regulação da aprendizagem e a manutenção da motivação através da visibilidade do progresso e das conquistas. Ao consolidar todas as informações e pontos de acesso em um único local, o *dashboard* melhora a eficiência da navegação e a usabilidade geral da plataforma, tornando a experiência de estudo mais fluida e produtiva.

A trilha de estudos, apresentada na Figura 6, organiza o conteúdo da certificação selecionada de forma hierárquica, utilizando capítulos e tópicos extraídos diretamente dos syllabi oficiais da BSTQB. O progresso é visualizado com indicação do status de cada tópico (não iniciado, em andamento ou concluído), e o acesso direto ao quiz de prática é disponibilizado a partir de cada item da trilha. A navegação segue o princípio de cascata, onde tópicos subsequentes se tornam acessíveis à medida que o estudante avança, incentivando uma progressão ordenada pelo conteúdo oficial.

Figura 6. Trilha de estudos com progresso hierárquico

Fonte: Resultados originais da pesquisa

Essa estruturação do conteúdo garante aderência ao material cobrado nos exames reais da BSTQB, diferenciando o QA Mentor de plataformas genéricas de quiz que não seguem a organização curricular da entidade certificadora. A literatura sobre design instrucional e aprendizagem sequencial, como a discutida por Merrill (2002) em seu modelo de Component Display Theory, enfatiza a importância de uma organização lógica e progressiva do conteúdo para facilitar a aquisição de conhecimento. Ao guiar o estudante por um caminho predefinido, o sistema reduz a sobrecarga cognitiva e assegura que os pré-requisitos para cada tópico sejam atendidos. As implicações práticas dessa trilha de estudos são a garantia de que o estudante cobre todo o material necessário para a certificação de forma sistemática, a promoção de um aprendizado mais profundo e a redução da ansiedade associada à incerteza sobre o que estudar. Além disso, a capacidade de acessar quizzes de prática diretamente de cada tópico reforça a aprendizagem ativa e o feedback imediato, elementos cruciais para a retenção do conhecimento.

O módulo de quiz e simulado do QA Mentor representa uma funcionalidade central para a prática e avaliação do conhecimento. O módulo de quiz, ilustrado na Figura 7, permite a prática por tópico com questões geradas dinamicamente pela API GPT-4 da OpenAI. Cada sessão apresenta 10 questões de múltipla escolha com 4 alternativas, categorizadas por tópico e nível de dificuldade. As questões geradas persistem no banco de dados após a primeira geração, formando um repositório crescente que reduz progressivamente a dependência de chamadas à API externa e garante maior variedade nas sessões subsequentes.

Figura 7. Módulo de quiz por tópico

Fonte: Resultados originais da pesquisa

Essa abordagem de geração dinâmica de questões, combinada com a persistência no banco de dados, otimiza o uso de recursos da API e enriquece a experiência do usuário com uma variedade contínua de exercícios. A literatura sobre aprendizagem adaptativa e sistemas de tutoria inteligente, como a de Shute e Psotka (1996), destaca a importância de questões personalizadas e feedback imediato para a eficácia do aprendizado. A categorização por tópico e nível de dificuldade permite que o sistema adapte as questões ao perfil e progresso do estudante, focando nas áreas que necessitam de mais atenção.

O simulado, apresentado na Figura 8, reproduz as condições do exame real com limite de tempo visível, navegação entre questões e apresentação de quarenta itens distribuídos pelos tópicos da certificação selecionada.

Figura 8. Simulado cronometrado com navegação entre questões

Fonte: Resultados originais da pesquisa

Essa funcionalidade responde diretamente à necessidade identificada na literatura de oferecer ambientes de prática que simulem o contexto real de avaliação, conforme discutido por Paschoal et al. (2020) no contexto de agentes pedagógicos conversacionais. A simulação de condições de exame, incluindo o tempo limite, ajuda os usuários a gerenciar a pressão e a desenvolver estratégias de resolução de prova, o que é um componente crucial da preparação para certificações. As implicações práticas desses módulos são a melhoria da retenção de conhecimento através da prática ativa e repetida, o desenvolvimento de habilidades de gerenciamento de tempo sob pressão e a familiarização com o formato do exame, o que contribui significativamente para o sucesso nas certificações. A combinação de quizzes adaptativos e simulados realistas oferece uma ferramenta completa para a preparação.

O plano de estudos personalizado, ilustrado na Figura 9, é uma das funcionalidades mais inovadoras do QA Mentor, gerado pela API GPT-40 com base no contexto atual do usuário. Este contexto inclui a certificação-alvo, a data prevista para o exame, a carga horária semanal disponível, o progresso na trilha e os tópicos com baixo aproveitamento. O plano é apresentado de forma estruturada, semana a semana, com recomendações específicas para cada período e dicas de estudo contextualizadas. A geração utiliza *streaming* de resposta, apresentando o conteúdo progressivamente ao usuário sem necessidade de aguardar o processamento completo.

Figura 9. Plano de estudos personalizado gerado via GPT-40

Fonte: Resultados originais da pesquisa

Soares e Maia (2020) destacam que as arquiteturas de chatbots educacionais devem contemplar mecanismos de personalização baseados no histórico e no contexto do aprendiz. O plano de estudos do QA Mentor operacionaliza essa recomendação ao consumir dados reais de progresso e desempenho do usuário como entrada para a geração do conteúdo. Essa personalização profunda é um diferencial, pois se adapta dinamicamente às necessidades individuais do estudante, oferecendo um roteiro de estudo que é ao mesmo tempo flexível e direcionado. A apresentação em *streaming* melhora a experiência do usuário ao reduzir a percepção de latência, um aspecto importante para a usabilidade de sistemas baseados em IA. As implicações práticas são vastas: o plano de estudos personalizado aumenta a motivação do usuário ao fornecer um caminho claro e adaptado, otimiza o tempo de estudo ao focar nas áreas de maior necessidade e promove a autonomia do estudante ao permitir que ele gerencie seu próprio aprendizado com base em recomendações inteligentes. Isso transforma a experiência de estudo de passiva para ativa e altamente engajadora.

O sistema de conquistas, apresentado na Figura 10, implementa elementos de gamificação para aumentar o engajamento do usuário. Doze *badges* desbloqueáveis são concedidos conforme o progresso do usuário em diferentes dimensões, como primeiros passos na plataforma, domínio de capítulos, constância de uso, excelência em quizzes e preparação para o exame. Conquistas já desbloqueadas são exibidas com destaque visual, enquanto as bloqueadas permanecem visíveis em estado inativo, incentivando a continuidade do engajamento.

Figura 10. Sistema de conquistas e gamificação

Fonte: Resultados originais da pesquisa

Conforme apontado por Morita Melo, Barbosa Pessoa e Natan Paschoal (2023), os mecanismos de engajamento contínuo são particularmente relevantes em plataformas de aprendizagem autônoma, nas quais a motivação intrínseca do estudante é determinante para a persistência nos estudos. A gamificação, através de sistemas de conquistas e *badges*, capitaliza sobre a psicologia humana de recompensa e reconhecimento, transformando tarefas de estudo em desafios gratificantes (Werbach & Hunter, 2012). Ao visualizar as conquistas alcançadas e as que ainda podem ser desbloqueadas, o usuário é incentivado a continuar interagindo com a plataforma e a aprofundar seus estudos. As implicações práticas incluem o aumento da retenção de usuários, a promoção de hábitos de estudo consistentes e a criação de um ambiente de aprendizado mais divertido e motivador. Para uma plataforma educacional, onde a autodisciplina é frequentemente um desafio, a gamificação serve como um poderoso catalisador para o engajamento e a conclusão dos objetivos de aprendizagem.

O painel administrativo do QA Mentor oferece controle completo sobre a plataforma por meio de quatro abas funcionais, conforme ilustrado nas Figuras 11, 12 e 13. A aba de usuários permite listar, ativar, desativar e excluir contas, com visualização do perfil e da data de cadastro, essencial para a gestão de uma comunidade de usuários. A aba de desempenho exibe estatísticas globais da plataforma, como o total de usuários cadastrados, quizzes respondidos e aproveitamento médio, além de um desempenho detalhado por tópico para todos os usuários. Essa funcionalidade é crucial para monitorar a saúde da plataforma e identificar tendências de aprendizado. A aba de questões oferece listagem com filtros, criação manual, edição, exclusão e geração via OpenAI com revisão prévia antes da persistência, garantindo a qualidade e a relevância do conteúdo do quiz. Finalmente, a aba de configurações permite editar o *prompt* do sistema do tutor conversacional diretamente na interface, sem necessidade de acesso ao código ou de *redeploy* da aplicação.

Figura 11. Painel administrativo – gestão de usuários

Fonte: Resultados originais da pesquisa

Figura 12. Painel administrativo – estatísticas de desempenho

Fonte: Resultados originais da pesquisa

Figura 13. Painel administrativo – configuração do system prompt

Fonte: Resultados originais da pesquisa

Essas funcionalidades administrativas são vitais para a manutenção, escalabilidade e evolução de qualquer plataforma educacional. A capacidade de gerenciar usuários e monitorar o desempenho global e individual permite que os administradores identifiquem problemas, ofereçam suporte direcionado e avaliem a eficácia pedagógica do sistema. A gestão de questões, com a opção de geração via IA e revisão manual, assegura que o banco de questões seja constantemente atualizado e de alta qualidade, um fator crítico para a credibilidade das certificações. A configuração do *system prompt* diretamente na interface é um avanço significativo, pois permite que os administradores ajustem o comportamento do chatbot sem intervenção de desenvolvedores, agilizando a adaptação e a otimização da experiência conversacional. Isso está em linha com a crescente necessidade de ferramentas de gerenciamento de conteúdo e IA que sejam acessíveis a usuários não técnicos (Chen et al., 2020). As implicações práticas incluem maior eficiência operacional, melhor controle de qualidade do conteúdo e da interação com o usuário, e a capacidade de responder rapidamente às necessidades da plataforma e dos usuários, garantindo a sustentabilidade e a relevância do QA Mentor a longo prazo.

4. Conclusão

Conclui-se que o objetivo foi atingido com o desenvolvimento do QA Mentor, uma plataforma educacional inovadora baseada em inteligência artificial. O sistema foi projetado para auxiliar candidatos na preparação para as certificações da BSTQB, promovendo um aprendizado mais interativo, autônomo e eficiente, conforme proposto. A plataforma foi entregue como uma solução funcional, com arquitetura cliente-servidor modular, cobrindo 20 certificações BSTQB e oferecendo funcionalidades pedagógicas como trilha de estudos, quiz adaptativo, simulado, plano de estudos personalizado, sistema de conquistas e rastreamento de desempenho. A qualidade do sistema foi validada por uma suíte abrangente de 364 testes automatizados e uma avaliação heurística de usabilidade, que indicou boa usabilidade geral e solidez em diversas heurísticas de Nielsen.

Contudo, este estudo apresentou algumas limitações. A avaliação de usabilidade foi conduzida exclusivamente em ambiente desktop, não abrangendo dispositivos móveis com sistema iOS, que exibem incompatibilidade com a política de cookies cross-site da arquitetura atual. Além disso, a escolha do SQLite para persistência de dados, embora adequada para o escopo inicial, representa uma limitação em cenários de alta concorrência. Para estudos futuros, recomenda-se a configuração de um domínio customizado para unificar frontend e backend, resolvendo a incompatibilidade com Safari e iOS. Sugere-se também a inclusão de testes em dispositivos móveis no ciclo de validação da plataforma e a expansão contínua da base de questões persistidas no banco de dados, enriquecendo o repertório disponível para os usuários e reduzindo a dependência de APIs externas.

Referências Bibliográficas

ALLOUCH, M.; AZARIA,A.; AZOULAY,R. Conversational agents: Goals, technologies, vision and challenges. Sensors, v. 21, n.24, 2021.

BSTQB. Bem-vindo ao BSTQB | BSTQB. Disponível em: <https://bstqb.online/>. Acesso em: 28 mar. 2025.

CERTIPORT (ed.). The value of certification. Disponível em: https://certiport.pearsonvue.com/About/The-value-of-certification.aspx. Acesso em: 28 mar. 2024.

MORITA MELO, S.; BARBOSA PESSOA, E.; NATAN PASCHOAL, L. Uma análise sistemática sobre o uso de chatbots para ensino de computação no Brasil. RENOTE, Porto Alegre, v. 20, n. 2, p. 94–103, 2023. DOI: 10.22456/1679-1916.129155. Disponível em: https://seer.ufrgs.br/index.php/renote/article/view/129155. Acesso em: 13 mar. 2025.

NIELSEN, J. 10 usability heuristics for user interface design. Nielsen Norman Group. Disponível em: https://www.nngroup.com/articles/ten-usability-heuristics/. Acesso em: 20 abr. 2025.

PASCHOAL, L. N. et al.A systematic identification of pedagogical conversational agents. In: IEEE.IEEE Frontiers in Education Conference, 2020.p.1-9.

SOARES, Jéferson; MAIA, José. Proposta de Arquitetura de Software para um Chatbot com aprendizagem. In: ESCOLA REGIONAL DE COMPUTAÇÃO DO CEARÁ, MARANHÃO E PIAUÍ (ERCEMAPI), 8., 2020, Evento Online. Anais […]. Porto Alegre: Sociedade Brasileira de Computação, 2020. p. 197-203. DOI: https://doi.org/10.5753/ercemapi.2020.11485.

Artigo oriundo de Trabalho de Conclusão de Curso da Especialização em Engenharia de Software do MBA USP/Esalq

Para saber mais sobre o curso, clique aqui e acesse a plataforma MBX Academy