Utilização da Voz em Conjunto a Grandes Modelos de Linguagem como Ferramenta à Acessibilidade Digital

Luiz Gustavo Fernandes Salvador; Ariel da Silva Dias

DOI: 10.22167/2675-6528-202603214

Artigo derivado de Trabalho de Conclusão de Curso (TCC), com conteúdo baseado no trabalho original do aluno e adaptado ao formato editorial da Revista E&S com apoio da ferramenta ResumeAI, solução de inteligência artificial desenvolvida pelo Instituto Pecege para síntese e organização textual.

Resumo

A fala é uma base essencial para a interação humana, e para pessoas com deficiência, pode representar a principal forma de comunicação com o ambiente externo. Diante da crescente influência tecnológica, a identificação de comandos de voz emergiu como uma estratégia promissora para a interação homem-máquina. O trabalho explorou como a voz, em conjunto com Grandes Modelos de Linguagem (LLMs), pode ser utilizada de forma eficiente, natural e precisa. Para tal, empregaram-se diversos padrões de projetos e a linguagem Python, visando maior extensibilidade. Utilizou-se o Gemini como provedor de LLM, enviando o áudio diretamente e aproveitando sua capacidade de chamada de função para interagir com o dispositivo. Desenvolveu-se um sistema capaz de compreender a intenção do usuário e convertê-la em ações, cujo diferencial foi a capacidade de visão computacional baseada em capturas de tela e um sistema de malha para orientação da LLM. Os testes revelaram uma taxa de compreensão da intenção do usuário de 91,81% e uma taxa de sucesso na execução de 75,45% com o modelo “Flash-3” (top p 0,5 e top k 5). O sistema proposto validou a premissa de que a integração de LLMs a interfaces de voz aumenta a autonomia de usuários com deficiência motora, cumprindo o propósito de ser uma Tecnologia Assistiva moderna e eficaz. Contudo, foram levantadas questões sobre os custos da IA e a segurança dos dados do usuário, indicando a necessidade de aprimoramento.

Palavras-chave: Chamada de função; Interação homem-máquina; Reconhecimento de voz; Visão computacional.

1. Introdução

A comunicação constitui uma das bases fundamentais para a evolução da espécie humana, permitindo não apenas a troca de informações essenciais para a sobrevivência, mas também o desenvolvimento de relações sociais e a facilitação da cooperação (Smith, 2010). Dentre as formas mais expressivas de comunicação, a fala destaca-se por sua capacidade de transmitir não somente uma mensagem, mas também a emoção do locutor (Loan et al., 2022). Ao extrapolar a relação homem-homem, que impulsionou a sociedade humana ao seu estágio evolutivo atual, é possível reconhecer que a tecnologia viabiliza a exploração da voz como uma via para a interação homem-máquina (Seaborn et al., 2021).

O avanço tecnológico das últimas décadas é notável, impactando diretamente a vida cotidiana, os hábitos e as relações sociais. Evidencia-se esse impacto no aumento significativo do tempo médio dedicado ao uso de computadores e smartphones, em comparação com hobbies e atividades offline (Vilhelmson et al., 2017). Muitas dessas interações online estão ligadas à socialização e ao entretenimento, com plataformas como YouTube, Instagram e Snapchat figurando entre as mais populares, especialmente entre os jovens (Dienlin e Johannes, 2020). Adicionalmente, a educação remota experimentou um crescimento expressivo, particularmente durante e após a pandemia de COVID-19, com o Ensino a Distância (EaD) passando de 18,4% das inscrições em 2011 para 62,8% uma década depois (INEP, 2022). Tais transformações ressaltam a necessidade de desenvolver interfaces mais intuitivas e integradoras (Hott e Fraz, 2019), tornando a identificação de comandos de voz uma estratégia promissora para uma interação homem-máquina mais natural e eficiente (Norda et al., 2024).

No Brasil, aproximadamente 45 milhões de habitantes possuem alguma deficiência, sendo que 28,8% enfrentam dificuldades motoras (Biblioteca Virtual em Saúde Ministério da Saúde, n.d.). Indivíduos nessas condições podem ter limitações no acesso à tecnologia, o que pode dificultar o acesso a informações e impactar a vida acadêmica e profissional (Muhammad et al., 2015). Em resposta a essas questões, diversas empresas buscam desenvolver dispositivos ou softwares que visam aumentar a compatibilidade de pessoas com deficiência em certas tarefas, conhecidas como Tecnologias Assistivas (Freitas et al., 2022). Contudo, em alguns casos, como pacientes com atrofia espinhal, tecnologias que apenas ampliam as capacidades motoras podem não ser suficientes, exigindo novas estratégias para a inclusão tecnológica dessas pessoas (Lunn e Wang, 2008).

A tentativa de utilizar a voz como entrada de dados não é recente, com exemplos que datam de 1990, como o PlainTalk da Apple (Kumar, 2020). No entanto, desafios como a necessidade de cadência, linguagem e terminologia específicas persistem, diminuindo a naturalidade e dificultando o aprendizado dessas tecnologias (Rogers et al., 2022). Nesse contexto, a utilização de Large Language Models (LLMs) é sugerida como intermediária para transmitir as intenções do usuário ao sistema, o que reduziria a necessidade de familiaridade com o software e permitiria uma interação mais natural entre homem e máquina (Mahmood et al., 2025).

Grandes Modelos de Linguagem, ou Large Language Models (LLMs), são modelos de inteligência artificial (IA) dedicados à interpretação de linguagem natural. Suas capacidades abrangem desde a manutenção de conversas e a análise de dados até a interação com outros sistemas (Chang et al., 2018). Embora tenham ganhado destaque recentemente, a pesquisa sobre modelos estatísticos que descrevem e preveem respostas em linguagem natural remonta a 1950, com Shannon (1948) investigando a capacidade dos modelos Word n-gram de predizer ou comprimir a linguagem (Minaee et al., 2024). Com o advento da internet e a vasta disponibilidade de dados, tornou-se viável treinar esses modelos intensivamente, resultando em maior versatilidade, precisão e integração eficaz com outros sistemas (Kaddour et al., 2023).

Considerando os fatores apresentados, torna-se necessário o desenvolvimento de um software capaz de reconhecer comandos de voz e utilizar LLMs como ferramentas para a interface homem-máquina, possibilitando o uso de aplicações por pessoas com mobilidade limitada e promovendo maior integração e acessibilidade no ambiente digital. Assim, essa pesquisa explorou como essa tecnologia pode ser utilizada de forma eficiente, natural e precisa.

2. Material e Métodos

A pesquisa caracterizou-se como um estudo de desenvolvimento de software, com abordagem metodológica focada na engenharia de sistemas e na avaliação de sua eficiência. O objetivo foi criar um sistema de interação homem-máquina por voz, utilizando Grandes Modelos de Linguagem (LLMs) para promover acessibilidade digital a indivíduos com mobilidade limitada. O desenvolvimento foi realizado na linguagem Python, escolhida por sua versatilidade e vasta disponibilidade de bibliotecas (Udrake, 2023; Dhruv et al., 2021).

A arquitetura do software empregou diversos padrões de projeto para garantir modularidade e extensibilidade. O “Registry Factory” foi utilizado para instanciar e retornar classes registradas (Koh, 2020), enquanto o “Strategy” definiu comportamentos de classes (Refactoring Guru, n.d.; Peace, 2024). Adicionalmente, um contêiner “Singleton” gerenciou o compartilhamento de variáveis (Stencel e Wegrzynowicz, 2008), o “Decorator” definiu comportamentos comuns (Peng, Zhang e Hu, 2021), o “Command Pattern” permitiu a execução de funções por classes com interface comum (Nuzzi, 2019), e o “Adapter” garantiu a compatibilidade de dados entre LLMs (Nuzzi, 2019).

O sistema foi dividido em módulos funcionais. O módulo `config` gerenciou as configurações do projeto, persistindo informações em arquivos `.ini` via `configparser` do Python. As configurações incluíram o tipo de entrada, definido como “Áudio”, o provedor de LLM, especificado como “Gemini”, e o modelo de LLM, “Gemini-flash-latest”. A interface gráfica de usuário (GUI) foi desenvolvida com `PyQt6` (Willman, 2020), apresentando um fundo, ícone e campos de texto para interação, executada em uma “Thread” separada.

O módulo `genai` foi responsável pela comunicação com a Inteligência Artificial, utilizando o `google.genai` para adaptar configurações, converter prompts, enviar dados e executar ferramentas. O Google Gemini foi selecionado como provedor de LLM devido à sua capacidade de lidar com diversos tipos de dados, documentação detalhada e custo otimizado por “token” (Salvator, 2025). A funcionalidade de “function calling” da LLM foi essencial, permitindo que a IA interpretasse a intenção do usuário e executasse trechos de código para interagir com o dispositivo (Qu et al., 2025; Wang et al., 2026).

Um modelo Pydantic foi desenvolvido para configurar as LLMs de forma interoperável, abrangendo parâmetros como chave de API, modelo, instruções de sistema, ferramentas disponíveis, manutenção de histórico, nível de pensamento, modo verboso, número máximo de tokens, `top_p`, `top_k`, temperatura e semente. Além disso, foram configuradas as definições de segurança da LLM, que incluíram categorias como assédio, discurso de ódio, conteúdo sexualmente explícito e perigoso, com valor padrão de “Médio e acima”.

A coleta de dados de entrada foi realizada pelo módulo `input_source`, configurado para gravação de áudio via biblioteca `SpeechRecognition` (Amos, n.d.). O processo envolveu a calibração do microfone para o ruído ambiente e a gravação contínua até cinco segundos de silêncio do usuário, quando o arquivo de áudio era salvo. O módulo `input_type` converteu arquivos de áudio e imagem para formatos compatíveis com a LLM. As ferramentas (`tool`) foram desenvolvidas para executar funções no dispositivo, incluindo ações sem interação direta com a tela, como perguntar ao usuário, pressionar teclas e escrever texto.

Para interações com a tela, um sistema de visão computacional foi implementado, pois a LLM não fornecia coordenadas exatas. Duas ferramentas foram criadas: “capturar tela”, que realizou uma captura da tela atual do dispositivo, conforme ilustrado na

, e desenhou uma malha enumerada de 0,0 no canto superior esquerdo a 14,14 no canto inferior direito, como apresentado na

; e “subdividir captura”, que selecionou um talhão da malha anterior, escalonou-o e redesenhou uma grade de 15 por 15 [FIGURA 3 e FIGURA 4]. Este método permitiu à IA identificar a localização de objetos por células da grade, viabilizando a interação do mouse com diversos sistemas.

O fluxo de execução do algoritmo iniciou com a obtenção da entrada do usuário via `input_source` (áudio), processada pelo `genai` e convertida em um `input_type` para a LLM. A LLM, então, processou os dados e determinou quais ferramentas (`tool`) seriam chamadas. Este ciclo se repetiu até a solicitação de interrupção do sistema, conforme ilustrado na

.

A qualidade do software foi assegurada por testes unitários, que avaliaram componentes e funções individuais do código. O módulo `Pytest` (Pytest, n.d.) foi utilizado para a execução desses testes, contribuindo para a detecção precoce de erros e a redução do retrabalho (Eisty et al., 2025; Pressman, 2011; Sommerville, 2013). A eficiência do algoritmo foi mensurada por uma abordagem baseada em tarefas, definindo objetivos reais para os usuários (ABNT, 2002), como o envio de mensagens em redes sociais, a abertura de vídeos online e a redação de parágrafos em softwares de edição de texto. A escolha dessas tarefas baseou-se em atividades populares entre jovens em ambientes virtuais (Dienlin e Johannes, 2020) e na relevância para a integração de alunos com deficiência no ensino a distância.

3. Resultados e Discussão

A implementação da interface gráfica de usuário (GUI) resultou em um ambiente de interação simplificado e objetivo, caracterizado por um fundo transparente. O design inicial da interface foi concebido para ser intuitivo, apresentando um ícone central, um texto de questionário, um texto secundário para detalhes e um texto principal para descrever a ação em curso. Essa estrutura visa fornecer ao usuário uma experiência clara e direta sobre o estado e as ações do sistema, facilitando a compreensão e o uso, especialmente para indivíduos com mobilidade limitada, conforme o objetivo central do projeto.

O sistema desenvolvido opera através de um fluxo contínuo que se inicia com a obtenção de um comando de voz do usuário, capturado por um módulo de entrada de áudio. Este áudio é então processado e convertido em um formato compreensível para o Grande Modelo de Linguagem (LLM) selecionado, neste caso, o Google Gemini. A LLM interpreta a intenção do usuário e determina quais ferramentas, ou “tools”, devem ser acionadas no dispositivo. Esse ciclo de entrada, processamento e execução de ferramentas se repete até que o usuário decida encerrar a interação, garantindo uma comunicação fluida e adaptável.

Para permitir a interação da inteligência artificial com a tela do computador, superando a limitação das LLMs em retornar coordenadas exatas, foram desenvolvidas ferramentas específicas. A primeira, denominada “capturar tela”, realiza uma captura da tela atual do dispositivo e sobrepõe uma malha enumerada, iniciando no índice 0,0 no canto superior esquerdo e progredindo até 14,14 no canto inferior direito. A segunda ferramenta, “subdividir captura”, permite selecionar um talhão dessa malha, escaloná-lo e redesenhar uma nova grade de 15 por 15. Essa abordagem capacita a IA a identificar a localização de objetos na tela por meio de talhões, em vez de coordenadas precisas, possibilitando a movimentação do mouse para o centro de um talhão específico e, assim, a interação com diversos sistemas.

Os testes de funcionalidade do sistema foram realizados com base em tarefas reais que os usuários deveriam tentar alcançar, seguindo a metodologia de testes unitários para garantir a qualidade do software. As tarefas incluíram enviar uma mensagem em uma rede social, abrir um vídeo online e redigir um parágrafo em um software de edição de texto. A escolha dessas tarefas refletiu atividades populares entre jovens em ambientes virtuais, conforme Dienlin e Johannes (2020), e a proposta de integrar alunos com deficiência no ensino a distância, visando validar a eficácia do sistema em cenários de uso prático.

Os resultados dos testes indicaram que, embora a maioria das tentativas tenha sido bem-sucedida, houve momentos em que a inteligência artificial necessitou de assistência para completar as tarefas, exigindo informações adicionais sobre os passos a serem seguidos. Observou-se também que a diminuição dos parâmetros “top p” para 0,5 e “top k” para 5 resultou em maior precisão nas respostas do sistema. Essa otimização dos parâmetros é crucial para refinar a capacidade da LLM de tomar decisões mais assertivas e reduzir a necessidade de intervenção humana.

A escolha do modelo “Flash-3” do Gemini para os testes foi motivada por limitações de uso e o alto custo associado ao modelo “Pro-3”. Além disso, a qualidade da captura de tela foi reduzida pela metade do original, sem que isso comprometesse a eficácia das ações da IA. Essa decisão estratégica permitiu a realização de um número significativo de testes (110 no total) com um custo total de R$ 65,37, fornecendo dados robustos sobre o desempenho do sistema em condições controladas e economicamente viáveis.

A análise detalhada dos testes, utilizando o modelo “Flash-3” com `top k 5` e `top p 0.5`, revelou um desempenho notável em diversas subetapas. Para a tarefa de “Enviar mensagem em rede social”, a subetapa “Abrir rede” obteve nove acertos e um erro, enquanto “Abrir contato” registrou sete acertos, três erros e duas alucinações com erro. A subetapa “Enviar mensagem” alcançou nove acertos e um erro. Na tarefa de “Abrir vídeo ‘online'”, a subetapa “Abrir navegador” teve seis acertos, quatro erros e quatro alucinações com erro, e duas alucinações sem erro, indicando desafios na navegação inicial.

Continuando a análise dos resultados para o modelo “Flash-3” com `top k 5` e `top p 0.5`, a subetapa “Abrir rede de vídeos” na tarefa de “Abrir vídeo ‘online'” obteve dez acertos e duas alucinações sem erro. “Buscar vídeo” e “Abrir vídeo” registraram sete acertos e três erros cada, com três alucinações com erro para “Buscar vídeo” e uma para “Abrir vídeo”. Para a tarefa de “Redigir parágrafo em ‘software’ de edição”, as subetapas “Abrir ‘software'” e “Abrir novo documento” tiveram oito acertos e dois erros cada, com uma alucinação com erro em ambos os casos. A subetapa “Escrever texto” alcançou sete acertos e três erros, enquanto “Salvar documento” apresentou cinco acertos e cinco erros, com quatro alucinações com erro e uma sem erro, evidenciando a complexidade da interação com o salvamento de arquivos.

Em contraste, os testes realizados com o modelo “Flash-3” configurado com `top k 15` e `top p 0.85` apresentaram variações no desempenho. Na tarefa de “Enviar mensagem em rede social”, a subetapa “Abrir rede” obteve seis acertos e quatro erros, com três alucinações com erro e quatro sem erro. “Abrir contato” manteve dez acertos, sem erros ou alucinações. A subetapa “Enviar mensagem” registrou oito acertos e dois erros, com duas alucinações com erro. Esses dados sugerem que a alteração dos parâmetros da LLM influencia diretamente a capacidade de acerto e a ocorrência de alucinações, impactando a robustez da interação.

Prosseguindo com a avaliação do modelo “Flash-3” com `top k 15` e `top p 0.85`, a tarefa de “Abrir vídeo ‘online'” mostrou que a subetapa “Abrir navegador” obteve sete acertos e três erros, com duas alucinações com erro. “Abrir rede de vídeos” registrou seis acertos e quatro erros, com três alucinações com erro e uma sem erro. “Buscar vídeo” também teve seis acertos e quatro erros, com três alucinações com erro e duas sem erro. A subetapa “Abrir vídeo” apresentou apenas três acertos e sete erros, com cinco alucinações com erro, indicando uma performance inferior para esses parâmetros em cenários de navegação e busca de vídeos.

Na tarefa de “Redigir parágrafo em ‘software’ de edição” com o modelo “Flash-3” (`top k 15` e `top p 0.85`), a subetapa “Abrir ‘software'” obteve oito acertos e dois erros, com quatro alucinações sem erro. “Abrir novo documento” registrou nove acertos e um erro, com uma alucinação com erro e duas sem erro. “Escrever texto” alcançou nove acertos e um erro, com uma alucinação com erro e uma sem erro. Por fim, “Salvar documento” teve seis acertos e quatro erros, com quatro alucinações com erro, reforçando a dificuldade persistente na etapa de salvamento, independentemente dos parâmetros específicos da LLM.

A taxa de compreensão da intenção do usuário foi calculada somando-se os acertos e as alucinações com erro, dividindo-se pelo número total de testes. Para o modelo “Flash-3” com `top p 0.5` e `top k 5`, a taxa de compreensão da intenção do usuário atingiu 91,81%, com uma taxa de sucesso na execução de 75,45%. Já com os parâmetros `top p 0.85` e `top k 15`, a taxa de compreensão foi ligeiramente maior, 92,72%, mas a taxa de sucesso na execução foi menor, 70,90%. Esses resultados demonstram a sensibilidade do desempenho do sistema aos parâmetros da LLM, indicando que uma maior compreensão da intenção nem sempre se traduz em maior sucesso na execução das ações.

A inclusão de inteligências artificiais generativas em interfaces de voz, conforme a solução proposta, confere maior autonomia ao usuário, eliminando a necessidade de memorizar palavras-chave específicas para ativar o sistema, um avanço em relação a abordagens anteriores (Avuçlu et al., 2023). O sistema demonstrou ser independente da qualidade do hardware e da posição do usuário, exigindo apenas conexão com a internet, o que o torna uma solução flexível e acessível (Taher et al., 2021). Além disso, o trabalho elimina a etapa de treinamento prévio da inteligência artificial, promovendo uma interação mais direta e acessível, diferentemente de pesquisas que demandam essa fase (Mulfari et al., 2021).

Contudo, algumas considerações importantes foram levantadas. A segurança dos dados do usuário é um ponto crítico, pois as informações são transmitidas a uma LLM corporativa, o que pode permitir seu uso para treinamento da IA, divergindo de soluções que empregam modelos locais e não expõem os dados do usuário (Livero e Santos, 2024). A alta taxa de alucinações na execução das tarefas, em contraste com os dados de Mullfari et al. (2021), foi atribuída principalmente à interação via controle direto do mouse, que é mais suscetível a erros. Adicionalmente, o custo elevado de uso do sistema e a latência no processamento da LLM representam desafios que precisam ser ponderados para aprimoramentos futuros.

Em síntese, o trabalho validou a premissa de que a integração de Grandes Modelos de Linguagem a interfaces de voz representa uma ferramenta eficaz para aumentar a autonomia de usuários com deficiência motora, cumprindo o propósito de ser uma Tecnologia Assistiva moderna e funcional. A arquitetura modular e as ferramentas específicas, como a lógica de grade para interação com a tela, foram cruciais para superar as limitações das LLMs em lidar com coordenadas exatas. Apesar dos desafios relacionados ao custo, tempo de processamento e segurança de dados, os resultados demonstram uma alta taxa de compreensão da intenção do usuário e um sucesso considerável na execução de tarefas, indicando o potencial da solução e a necessidade de otimizações contínuas.

4. Conclusão

A presente pesquisa explorou a utilização da voz em conjunto com Grandes Modelos de Linguagem (LLMs) como uma ferramenta eficiente, natural e precisa para a interação homem-máquina, visando a acessibilidade digital para pessoas com mobilidade limitada. Verificou-se o desenvolvimento de um sistema com interface gráfica simplificada e um fluxo contínuo de interação, onde comandos de voz foram processados por LLMs para acionar ferramentas no dispositivo. Para superar a limitação das LLMs em lidar com coordenadas exatas, implementou-se um sistema de visão computacional baseado em capturas de tela e uma malha enumerada, permitindo à inteligência artificial identificar e interagir com objetos na tela por meio de talhões. Os testes de funcionalidade, realizados com tarefas reais, indicaram uma taxa de compreensão da intenção do usuário de 91,81% e uma taxa de sucesso na execução de 75,45% com o modelo “Flash-3” (top p 0,5 e top k 5). Essa abordagem validou a premissa de que a integração de LLMs a interfaces de voz aumenta significativamente a autonomia de usuários com deficiência motora, estabelecendo-se como uma Tecnologia Assistiva moderna e eficaz.

Contudo, foram identificadas algumas limitações importantes que merecem atenção em estudos futuros. A segurança dos dados do usuário, transmitidos a uma LLM corporativa, levantou preocupações sobre o uso dessas informações para treinamento da IA. Observou-se também uma alta taxa de alucinações na execução das tarefas, atribuída principalmente à interação via controle direto do mouse, que se mostrou suscetível a erros. Adicionalmente, o custo elevado de uso do sistema e a latência no processamento da LLM representam desafios a serem considerados. Sugere-se, portanto, aprimoramentos futuros que incluam a exploração de modelos locais para maior privacidade dos dados, a integração de novas ferramentas para mitigar alucinações e otimizações contínuas para reduzir custos e tempo de processamento, visando aprimorar a robustez e a viabilidade da solução.

Referências Bibliográficas

Dienlin, T.; Johannes, N. 2020. The impact of digital technology use on adolescent well-being. Dialogues in Clinical Neuroscience 22(2): 135-142.

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira [INEP]. 2

Seaborn, K.; Miyake, N.P.; Pennefather, P.; Otake-Matsuura, M. 2021. Voice in Human-Agent Interaction: A Survey. ACM Computing Surveys 54: 1-43.

Smith, E.A. 2010. Communication and collective action: language and the evolution of human cooperation. Evolution and human behavior 31(4): 231-245.

Van Loan T.; Le, T.D.T.; Xuan, T.L.; Castelli, E. 2022. Emotional speech recognition using deep neural networks. Sensors 22(4): 1414.

Vilhelmson, B.; Elldér, E.; Thulin, E. 2018. What did we do when the Internet wasn’t around? Variation in free-time activities among three young-adult cohorts from 1990/1991, 2000/2001, and 2010/2011. New Media & Society 20(8): 2898-2916.

Artigo oriundo de Trabalho de Conclusão de Curso da Especialização em Engenharia de Software do MBA USP/Esalq

Para saber mais sobre o curso, clique aqui e acesse a plataforma MBX Academy