Hugo Dias Deolindo da Silva; Eduardo Mendes

DOI: 10.22167/2675-6528-202600898

Artigo elaborado pela ferramenta ResumeAI, solução de inteligência artificial desenvolvida pelo Instituto Pecege voltada à síntese e redação.

Resumo

A automação industrial demanda sistemas de seleção flexíveis e precisos para superar as limitações dos métodos tradicionais. Objetivou-se o desenvolvimento e a validação de um protótipo de esteira seletora inteligente, capaz de classificar e separar objetos com base em múltiplos critérios, como forma, presença de material metálico e altura. A metodologia integrou um relé programável modular para controle de atuadores, um microcontrolador ESP32 como gateway IoT e um sistema de visão computacional em Python que utilizou YOLOv8 para análise de imagens. A comunicação entre os componentes estabeleceu-se pelo protocolo MQTT, e a estrutura física foi projetada em software CAD e construída com peças em MDF e impressão 3D. Os resultados preliminares incluíram o projeto e a montagem do hardware, e desenvolveu-se o firmware do ESP32, que recebeu comandos de classificação via MQTT e os traduziu em sinais elétricos temporizados, validando a arquitetura de comunicação. Na validação in silico, o modelo YOLOv8 atingiu mAP@50 de 99,5% e recall de 98,5%. Contudo, a validação em ambiente operacional revelou sensibilidade do sistema óptico a fatores ambientais e limitações de determinismo do MQTT em malhas de controle de tempo real crítico, devido à latência de rede e processamento da inferência, o que impactou a precisão da separação em altas velocidades. Concluiu-se a viabilidade da hibridização de tecnologias de automação industrial, IoT e inteligência artificial para manufatura avançada, e o firmware desenvolvido serviu como prova de conceito funcional da integração proposta, destacando-se a dependência da eficácia da IA na qualidade da aquisição de dados e estabilidade da infraestrutura de comunicação.

Palavras-chave: ESP32; Inteligência Artificial; Manufatura Avançada; Protocolo MQTT; YOLOv8.

1. Introdução

A automação industrial representa um pilar fundamental para a otimização de processos produtivos e a consequente redução de custos operacionais, elementos cruciais para a competitividade no cenário global. A evolução tecnológica, especialmente impulsionada pelos preceitos da Indústria 4.0, tem transformado as fábricas em ambientes inteligentes, nos quais a interconexão de sistemas e a capacidade de processamento de dados em tempo real são imperativas (Lamb, 2015). Dentro deste contexto, os sistemas de seleção de produtos desempenham um papel vital na garantia da qualidade e na eficiência da cadeia de produção. Tradicionalmente, a inspeção e a classificação de itens dependiam de métodos manuais, que são inerentemente suscetíveis a erros humanos, fadiga e inconsistências, ou de sensores limitados que oferecem baixa flexibilidade diante da crescente diversidade de produtos (Denardi, 2023). A transição para a manufatura avançada exige, portanto, soluções que superem estas deficiências, proporcionando maior precisão, velocidade e adaptabilidade. A demanda por sistemas capazes de lidar com múltiplos critérios de classificação, como forma, material e dimensões, tem impulsionado a pesquisa e o desenvolvimento de tecnologias inovadoras que integram sensoriamento avançado e inteligência artificial.

A visão computacional emerge como uma tecnologia disruptiva neste panorama, oferecendo a capacidade de emular e, em muitos casos, superar a inspeção visual humana. Historicamente, a inspeção visual manual apresentava limitações significativas, incluindo altos custos associados à mão de obra e a inevitável suscetibilidade a falhas decorrentes da fadiga do operador, impactando diretamente a qualidade final dos produtos (Reichensteina et al., 2023). Com o advento do Deep Learning e, em particular, das Redes Neurais Convolucionais (CNNs), tornou-se viável automatizar a extração de características complexas e a tomada de decisão em tempo real. Algoritmos de detecção de objetos, como o YOLO (You Only Look Once), representam um avanço notável, permitindo a identificação precisa e rápida de múltiplos objetos em uma única passada. A versão YOLOv8, em particular, destaca-se por sua eficiência em inferência em tempo real e sua abordagem *anchor-free*, que otimiza a generalização e simplifica o treinamento, tornando-a ideal para aplicações industriais que demandam alta velocidade e precisão na classificação de itens com base em atributos visuais, como a forma geométrica. Esta capacidade de análise visual robusta é fundamental para aprimorar a inspeção de qualidade e a flexibilidade dos sistemas de seleção em ambientes de produção.

A integração da visão computacional com a Internet das Coisas (IoT) e a automação industrial tradicional é um passo crucial para a manufatura avançada. A IoT, no contexto industrial (IIoT), permite a interconexão de dispositivos, sensores e sistemas, facilitando a coleta e o intercâmbio de dados para monitoramento e controle distribuído. Microcontroladores como o ESP32 desempenham um papel estratégico como *gateways* IoT, atuando como pontes de comunicação entre a camada de campo (sensores e atuadores) e a camada de inteligência (software de processamento de dados e IA). Para viabilizar essa comunicação eficiente e escalável, o protocolo MQTT (Message Queuing Telemetry Transport) é amplamente adotado, reconhecido por sua leveza, baixo consumo de banda e modelo de publicação/subscrição, que permite um desacoplamento robusto entre os componentes do sistema, tornando-o adequado para ambientes industriais com infraestruturas de rede variadas (Cortez et al., 2022). A hibridização dessas tecnologias – relés programáveis modulares para controle de atuadores, microcontroladores ESP32 para conectividade IoT e sistemas de visão computacional baseados em YOLOv8 para análise inteligente – oferece uma solução abrangente. Embora a validação *in silico* do modelo YOLOv8 tenha demonstrado métricas de desempenho elevadas, com um *mAP@50* de 99,5% e *recall* de 98,5%, a transição para o ambiente operacional revela desafios significativos. A sensibilidade do sistema óptico a fatores ambientais, como variações de iluminância e ruídos visuais, e as limitações de determinismo de protocolos como o MQTT em malhas de controle de tempo real crítico, devido à latência de rede e ao tempo de processamento da inferência, podem impactar a precisão da separação em altas velocidades.

A complexidade e a variabilidade dos produtos modernos, aliadas à busca por maior eficiência e menor custo, impulsionam a necessidade de sistemas de seleção industrial que transcendam as capacidades dos métodos tradicionais. A integração de automação industrial, Internet das Coisas e inteligência artificial emerge como uma solução promissora para esses desafios, demandando validação rigorosa em cenários práticos. Portanto, este trabalho justifica-se pela relevância de explorar e consolidar uma abordagem híbrida para a manufatura avançada. O objetivo principal deste estudo é desenvolver e validar um protótipo de esteira seletora inteligente, concebida para classificar e separar objetos com base em múltiplos critérios, como forma, presença de material metálico e altura, por meio da avaliação de seu desempenho em ambientes controlados e operacionais.

2. Material e Métodos

Este estudo, em consonância com a necessidade de validação rigorosa de soluções para manufatura avançada, adotou uma abordagem de pesquisa experimental. O projeto concentrou-se no desenvolvimento e na validação de um protótipo funcional de uma esteira seletora inteligente, projetada para classificar e separar objetos com base em múltiplos critérios. A metodologia empregada visou a integração de automação industrial, Internet das Coisas e inteligência artificial. A pesquisa foi conduzida em etapas sequenciais, com foco na coleta e análise de dados quantitativos, essenciais para avaliar o desempenho e a eficácia do protótipo em cenários controlados e operacionais.

A pesquisa foi desenvolvida em um ambiente laboratorial controlado, simulando as condições de uma linha de produção industrial, e posteriormente validada em um cenário operacional. O período de execução do trabalho culminou na apresentação do Trabalho de Conclusão de Curso em 2025. A unidade de análise consistiu em diversos objetos com variações de forma geométrica, presença de material metálico e altura, selecionados para testar a capacidade de classificação e separação do sistema. Essa abordagem permitiu avaliar a adaptabilidade do protótipo a diferentes características de produtos, replicando a variabilidade encontrada em ambientes de manufatura.

Para a avaliação do desempenho do protótipo, a amostra de objetos foi composta por diferentes tipos de itens, variando em forma geométrica, cor e material. Essa diversidade foi crucial para testar a capacidade de generalização do sistema de visão computacional e a robustez dos sensores físicos. Nos testes de validação operacional, foram utilizadas cinquenta amostras para cada formato geométrico principal, permitindo uma análise quantitativa da precisão e da taxa de erro. Os critérios de seleção dos objetos visaram representar a variabilidade típica de produtos em um ambiente industrial, sem intenção de representatividade estatística, mas de validação funcional.

Os instrumentos de hardware empregados na construção do protótipo incluíram um Relé Programável Modular Schneider Electric (SR3B261BD), responsável pelo controle lógico e interface com sensores e atuadores. Um microcontrolador ESP32-WROOM-32U (DevKitC V4) atuou como gateway de Internet das Coisas, facilitando a comunicação entre as camadas de inteligência e campo (Cortez et al., 2022). A movimentação da esteira foi garantida por um motor de corrente contínua, ideal para o transporte de carga leve (Lamb, 2015). A separação física dos objetos foi realizada por servomotores modelo S3003 da Futaba, escolhidos por seu controle preciso de posição (Autsou et al., 2024). A captura de imagens foi efetuada por uma webcam Logitech C270.

O sistema de sensoriamento multimodal integrou diversas tecnologias para garantir a precisão na classificação. Um sensor fotoelétrico retroreflexivo Tecnotron SRA-200-ALR-PR/QL foi utilizado para detectar a presença de objetos e medir sua altura, sendo robusto para ambientes industriais (Santos, 2023). A identificação de materiais metálicos foi realizada por um sensor indutivo I18-5-DPC-K12 da Metaltex, conhecido por sua precisão em detecção de metais (Omron, 2015). Complementarmente, um sensor capacitivo C18-8-DPC, também da Metaltex, atuou como segunda conferência para a passagem de itens (Santos, 2023). Um sensor optoeletrônico FESTO SOEG-RTD-Q20-PP-S-2L-TI monitorou a altura dos objetos com saída analógica, fornecendo dados contínuos para a classificação volumétrica (Festo, 2017).

A arquitetura de software foi desenvolvida em Python, utilizando o micro-framework Flask para a criação de um servidor HTTP e interface de monitoramento. A biblioteca OpenCV (cv2) gerenciou a captura e o pré-processamento de vídeo, enquanto NumPy otimizou operações matriciais. A inteligência artificial foi implementada com o modelo YOLOv8 da Ultralytics para detecção e classificação de objetos. A comunicação entre o ESP32 e o software Python foi estabelecida via protocolo MQTT, utilizando o broker Mosquitto, garantindo um intercâmbio de dados leve e assíncrono. Para persistência de dados e rastreabilidade, utilizou-se um banco de dados relacional MySQL.

A execução da pesquisa foi estruturada em etapas sequenciais, iniciando-se com um aprofundado levantamento bibliográfico e revisão da literatura sobre sistemas de seleção, sensores industriais, relés programáveis, microcontroladores, processamento de imagens e protocolos de comunicação. Em seguida, procedeu-se ao projeto e desenvolvimento do hardware, que envolveu a seleção de componentes eletrônicos e mecânicos, o projeto mecânico da esteira em software CAD e a montagem física do protótipo, utilizando peças em MDF e impressão 3D. Esta fase estabeleceu a base física e conceitual para a integração das tecnologias.

A etapa de desenvolvimento do software abrangeu a programação do relé programável modular em Ladder para controle de atuadores e recepção de sinais dos sensores, valorizando a clareza visual e simplicidade para manutenção rápida (Lamb, 2015). O firmware do microcontrolador ESP32 foi programado para atuar como gateway IoT, gerenciando a comunicação via MQTT. Paralelamente, desenvolveu-se a programação em Python para processamento de imagens, utilizando a arquitetura YOLOv8 para análise visual. Posteriormente, realizaram-se testes integrados do sistema para avaliar a capacidade da esteira em identificar e separar objetos, variando-se níveis de iluminação e tipos de objetos para testar robustez e generalização.

O tratamento e a análise dos dados coletados foram realizados de forma sistemática para avaliar o desempenho do protótipo. Os registros gerados automaticamente pelo software de controle da esteira e pelo sistema de processamento de imagens constituíram a fonte primária de dados. A análise focou na avaliação de métricas quantitativas, como a precisão da classificação e a taxa de erro, essenciais para determinar a eficácia do sistema. Planilhas eletrônicas, como o Microsoft Excel, foram empregadas para organizar, tabular e calcular estatísticas descritivas. Ferramentas de visualização de dados, também no Excel, foram utilizadas para criar gráficos que facilitaram a interpretação dos padrões de desempenho observados.

Os procedimentos éticos foram observados rigorosamente, e a submissão ao Comitê de Ética em Pesquisa (CEP) foi dispensada. Esta dispensa fundamentou-se no Artigo 1º, parágrafo único, inciso VII da Resolução CNS 510/2016, que exclui da obrigatoriedade de avaliação ética estudos que envolvam exclusivamente bases de dados, documentos ou informações de acesso público, sem identificação direta de participantes. Considerando que este trabalho não envolveu intervenção direta com seres humanos, a dispensa foi devidamente justificada e formalizada. O Formulário de Dispensa de Ética (FDE) foi preenchido e validado, assegurando a conformidade com as diretrizes éticas e regulamentares aplicáveis.

A avaliação do sistema de visão computacional proposto foi conduzida em duas etapas complementares, permitindo uma análise holística que abrangeu desde a precisão estatística do modelo até sua robustez em ambiente operacional dinâmico. A validação in silico foi realizada com um conjunto de dados de teste na plataforma Roboflow, focando em métricas de desempenho teórico da rede YOLOv8, como precisão, revocação e precisão média. A validação in situ, por sua vez, ocorreu no ambiente operacional da esteira, onde o sistema foi submetido a variáveis reais de manufatura, como vibrações mecânicas, variações de luminosidade ambiente e a latência de rede no protocolo MQTT, revelando desafios práticos.

Durante a fase de integração e testes operacionais, identificaram-se desafios críticos relacionados ao tempo de resposta do sistema, especificamente na comunicação via protocolo MQTT e na lógica de acionamento. Observaram-se dois pontos principais de latência que impactaram o sincronismo. A latência de evento, referente ao sinal “ON”, demonstrou que o objeto já se encontrava posicionado na esteira antes que a mensagem de ativação fosse processada e disponibilizada no broker. Esse atraso foi atribuído a oscilações na rede sem fio ou ao tempo de corretagem do servidor, gerando ociosidade inicial no ciclo de trabalho.

Adicionalmente, a latência de telemetria, especificamente do sinal “METAL”, revelou um descompasso no envio da informação de presença metálica. Em alguns casos, a detecção física pelo sensor indutivo ocorria, mas a mensagem correspondente sofria atraso para chegar ao sistema de decisão Python. Em suma, a análise experimental evidenciou que a dependência de uma infraestrutura de rede sem fio de padrão residencial introduz variáveis de instabilidade que podem comprometer a precisão de sistemas de separação de alta cadência. Embora o sistema seja funcional como prova de conceito, os resultados indicaram que, para escala industrial, a comunicação via Wi-Fi e a oscilação na recepção dos sinais poderiam ser mitigados com roteadores industriais e links dedicados.

3. Resultados e Discussão

O desenvolvimento e a validação do protótipo de esteira seletora inteligente representam um avanço significativo na integração de tecnologias de manufatura avançada, Internet das Coisas (IoT) e inteligência artificial. Os resultados obtidos demonstram a viabilidade de uma solução híbrida para a classificação e separação automatizada de objetos, ao mesmo tempo em que revelam desafios inerentes à transição de um ambiente controlado para um cenário operacional dinâmico. A discussão a seguir detalha os achados de cada etapa, confrontando-os com a literatura e explorando suas implicações práticas.

O projeto e desenvolvimento do hardware foram fundamentais para estabelecer a base física do sistema. A escolha do Relé Programável Modular Schneider Electric (SR3B261BD), conforme ilustrado na Figura 1, com suas 16 entradas e 10 saídas (24Vdc), revelou-se adequada para o controle lógico e a interface com os diversos sensores e atuadores. Este componente é um pilar da automação industrial moderna, oferecendo a flexibilidade necessária para gerenciar múltiplas operações e sinais discretos. A robustez e a capacidade de programação em Ladder, um padrão industrial amplamente reconhecido, garantem a confiabilidade e a facilidade de manutenção do sistema, conforme destacado por Lamb (2015). A integração de um relé programável modular, em vez de um controlador lógico programável (CLP) de maior complexidade, foi uma decisão estratégica que equilibrou custo e funcionalidade, atendendo às exigências de um protótipo funcional sem comprometer a capacidade de expansão futura. A modularidade do SR3B261BD permite a adição de módulos de expansão, caso a demanda por entradas e saídas aumente, o que é uma vantagem em projetos que buscam escalabilidade.

Figura 1. Relé Programável Modular SR3B261BD

Fonte: https://www.se.com/

A configuração das portas de comunicação do relé programável modular é um aspecto crítico para a orquestração do sistema. Conforme detalhado na Tabela 1, o mapeamento de entradas e saídas (I/O) foi cuidadosamente planejado para otimizar a detecção de presença, medição de altura, identificação de metais, contagem, e o controle dos atuadores e sinaleiros. Esta organização lógica das I/Os é essencial para a clareza do código Ladder e para a rápida identificação de falhas, um requisito primordial em ambientes industriais. A Tabela 1 ilustra como cada componente físico se conecta a uma porta específica, traduzindo sinais do campo para a lógica de controle. Por exemplo, a entrada do sensor fotoelétrico/optoeletrônico para detecção de presença e medição de altura é crucial para iniciar o ciclo de classificação, enquanto as saídas para os servomotores e o motor CC garantem a atuação física para a separação e transporte dos objetos. A clareza neste mapeamento é um diferencial para a manutenção e para a compreensão do fluxo de trabalho do protótipo.

Tabela 1. Mapeamento de Entradas e Saídas (I/O)

Tipo	Componente	Função
Entrada	Fotoelétrico / Optoeletrônico	Detecção de presença e medição de altura
Entrada	Indutivo / Capacitivo	Identificação de metais e contagem
Entrada	Botões e Chave Seletora	Comando de marcha/parada e modo de operação
Entrada	Sinais do ESP32 (3 portas)	Recebimento da classificação da IA (Retangular, Triangular, Outros)
Saída	Sinaleiros (Verde, Vermelho, Amarelo)	Feedback visual da classificação
Saída	Servomotores	Atuação física para separação dos objetos
Saída	Motor CC	Tração da correia transportadora

Fonte: Autor (2025)

O detalhamento dos sensores utilizados revela a abordagem multimodal adotada para garantir a precisão na classificação. O sensor fotoelétrico retroreflexivo Tecnotron SRA-200-ALR-PR/QL, operando em 10–30 Vdc com alcance de até 200 mm, é responsável pela detecção inicial da presença de objetos na esteira. A escolha de um sensor retroreflexivo é justificada pela sua robustez em ambientes industriais e pela capacidade de operar sem contato físico, o que minimiza o desgaste mecânico e prolonga a vida útil do equipamento (Santos, 2023). Sensores baseados em feixes de luz, como este, são conhecidos por sua alta confiabilidade e precisão, sendo indispensáveis para o sincronismo em linhas automatizadas com espaço de instalação limitado (Omron, 2016). A integração deste sensor com o relé programável modular permite que o sinal de presença seja processado logicamente, iniciando a sequência de classificação.

Para a identificação de materiais metálicos, o sensor indutivo I18-5-DPC-K12 da Metaltex foi empregado. Este sensor, com face sensível de 1,5 mm e faixa de operação de 10–30 Vdc, demonstrou excelente desempenho na detecção precisa de objetos metálicos, sendo menos suscetível a falsos positivos em aplicações industriais exigentes (Omron, 2015). Complementarmente, um sensor capacitivo C18-8-DPC, também da Metaltex, com alcance de até 8 mm, atuou como uma segunda conferência para a passagem de itens, garantindo a contagem independentemente da composição do material (Santos, 2023). A fusão dos dados desses dois sensores permite ao software de controle diferenciar a natureza física dos objetos, adicionando uma camada de inteligência à classificação. Essa redundância sensorial é crucial para aumentar a confiabilidade do sistema, especialmente em ambientes onde a variabilidade dos materiais é alta.

O monitoramento da altura dos objetos é realizado pelo sensor optoeletrônico FESTO SOEG-RTD-Q20-PP-S-2L-TI, que opera com alimentação de 15 a 30 Vdc e possui uma faixa de detecção entre 20 mm e 80 mm. Sua principal característica é a saída analógica de 0 a 10 V, com resolução de 0,5 mm e frequência de 200 Hz (Festo, 2017). A escolha por um sensor com saída analógica e alta resolução é fundamental para medições precisas e contínuas, conforme preconizado por Santos (2023). Essa precisão é vital para a classificação volumétrica dos itens, permitindo que o software diferencie objetos com variações sutis de altura. A integração de um sensor de barreira, que utiliza um emissor e um receptor, contribui para a contagem precisa dos objetos, independentemente de suas características de cor, textura ou brilho, o que aumenta a imunidade a interferências ópticas e reflexões indesejadas (Branco, Teijeiro, Miranda, 2023).

Os atuadores utilizados, servomotores modelo S3003 da Futaba, com tensão operacional entre 4,8 e 6 volts e capacidade de rotação de até 180 graus, são essenciais para a separação física dos objetos. Servomotores são dispositivos eletromecânicos que oferecem controle preciso da posição angular do eixo, monitorando continuamente a posição atual e realizando ajustes para manter o ângulo desejado com alta precisão (Autsou et al., 2024). Essa característica é amplamente empregada em sistemas de automação e robótica, onde o controle exato do movimento é crucial. A movimentação da esteira é assegurada por um motor de corrente contínua (CC), escolhido pela simplicidade de acionamento e linearidade na relação entre tensão e velocidade de rotação, ideal para o transporte de carga leve (Lamb, 2015). A interface de controle manual, composta por botões e uma chave seletora, permite a operação e interrupção do sistema de forma intuitiva, enquanto os sinaleiros (verde, vermelho, amarelo) fornecem feedback visual do estado operacional.

A inteligência de borda e a interface de comunicação do projeto utilizam o microcontrolador ESP32-WROOM-32U (DevKitC V4), que atua como um gateway IoT. Este componente é fundamental para a comunicação entre a camada de visão computacional (software em Python/YOLOv8) e os atuadores físicos. O ESP32 é ideal para aplicações embarcadas que exigem conectividade Wi-Fi e processamento em tempo real, garantindo baixa latência para a triagem automatizada (Cortez et al., 2022). A Tabela 2 resume as especificações técnicas dos principais componentes, oferecendo uma visão consolidada das características e funções de cada elemento no sistema. Esta tabela é um recurso valioso para compreender a complexidade e a interconexão das diferentes tecnologias empregadas.

Tabela 2. Informações técnicas dos componentes

Componente	Fabricante	Tipo	Faixa de Operação	Tensão de Alimentação	Saída	Função no Projeto
Sensor Fotoelétrico	Tecnotron	Retroreflexivo	0 a 200 mm	10-30 Vdc	Digital	Detectar presença de objetos na esteira
Sensor Indutivo	Metaltex	Indutivo	0 a 1,5 mm	10-30 Vdc	Digital	Detectar presença de metais
Sensor Capacitivo	Metaltex	Capacitivo	0 a 8 mm	10-30 Vdc	Digital	Contagem de objetos (segunda conferência)
Sensor de Altura	Festo	Optoeletrônico (analógico)	20 a 80 mm	15-30 Vdc	Analógica (0-10 V)	Medição de altura dos objetos
Sensor de Barreira	Metaltex	Barreira (emissor/receptor)		10-30 Vdc	Digital	Contagem de objetos separados pelos atuadores
Servomotor	Futaba	Servo (PWM)	Rotação até 180°	4,8-6 V	PWM	Separação física dos objetos
Sinaleiros (Verde, Vermelho, Amarelo)	Metaltex	Indicadores luminosos		24 Vdc	Visual	Indicação do tipo de objeto detectado
Botões e Chave Seletora	Schneider Electric	Botões e chave de controle			Contato seco	Controle manual do sistema (liga/desliga e seleção)
Webcam HD	Logitech	Câmera USB	720p @ 30 fps	Via USB (5 V)	Imagem digital	Captura de imagem para reconhecimento de formatos geométricos
Controlador Lógico Programável (CLP)	Schneider Electric	Relé programável modular	10 entradas (6 digitais + 4 analógicas) / 6 saídas digitais	24 Vdc	Digital (relé)	Controle lógico dos sensores e atuadores com base nas condições programadas
Microcontrolador	Espressif Systems	Microcontrolador com conectividade Wi-Fi/Bluetooth	240 MHz dual-core, até 520 KB SRAM	5 V via USB (3,3 V nos pinos lógicos)	Digital, analógica, PWM, comunicação serial (UART, SPI, I2C)	Interface entre o software de reconhecimento de imagem e os dispositivos físicos via IoT

Fonte: Autor (2025)

O desenvolvimento da estrutura da esteira foi concebido em software CAD (Siemens NX), permitindo a modelagem tridimensional e a exportação de arquivos precisos para fabricação. A base estrutural, confeccionada em MDF via corte a laser, garantiu a exatidão dos encaixes e a montagem com elementos de fixação mecânica. O sistema de transmissão e os roletes, produzidos por manufatura aditiva (Impressão 3D) em equipamentos Creality K1, foram essenciais para assegurar a estabilidade do movimento e a redução de atrito no transporte dos objetos. A webcam Logitech C270, com resolução de 720p e taxa de captura de 30 quadros por segundo, foi selecionada por ser suficiente para a identificação dos formatos geométricos com a nitidez necessária para o processamento de imagem.

O desenvolvimento do código Ladder para o CLP é um componente central da lógica de controle. A programação Ladder, inspirada em esquemas elétricos de relés, representa a lógica de controle por meio de linhas verticais e “degraus” horizontais, facilitando a interpretação por técnicos e engenheiros (Lamb, 2015). A Tabela 3, que detalha as entradas e saídas do CLP, serviu como base para a elaboração precisa do código. As linhas iniciais do programa (Figura 12) energizam a memória M4, que indica o sistema habilitado, ativada pelo Botão Verde (I5) e desativada pelo Botão Vermelho (I6). Esta lógica de selo é um padrão em automação para garantir a operação segura e controlada do sistema.

A detecção de objetos é iniciada na linha 3 (Figura 13), onde o Sensor Esteira (I1) energiza a bobina Q8 (Saída Sensor Esteira), informando o ESP32. As linhas 4 e 5 (Figura 13) tratam as formas geométricas retangulares, energizando a memória M5 (Continuação 1) quando o sistema está habilitado (M4), o Sensor da Esteira (I1) está acionado e a entrada IC (forma retangular) está ativa. A memória M5 é mantida energizada por um circuito de selo até que o objeto seja direcionado e o Sensor do Reservatório (I4) seja acionado, desenergizando M5. A interrupção do processo é possível pelo Botão Vermelho (I6).

A programação prossegue com a memória M5 energizada, ativando a memória M1 (Auxiliar Retangular), a bobina Q4 (Sinal Verde) e a bobina Q2 (Atuador), conforme a Figura 14. Esses elementos permanecem energizados até que a memória M6 (Parador 1) seja acionada, encerrando a etapa. A Figura 15, nas linhas 10, 11 e 12, define as condições para a ativação da memória M6 (Parador), que ocorre quando o Sensor Indutivo (I2) detecta material metálico ou o Sensor de Altura (M8) identifica altura fora do padrão (inferior ou igual a 20 mm). Nesses casos, o item é direcionado para a categoria Diversos, com a memória M4 garantindo que o sistema opere apenas quando habilitado.

As tratativas para detecção de formas triangulares, apresentadas nas Figuras 16 e 17, seguem o mesmo raciocínio lógico da detecção retangular, diferenciando-se pela forma geométrica ID (Triangular) e pela ativação da memória M2 (Auxiliar Triangular), energizando as bobinas Q5 (Sinal Vermelho) e Q3 (Atuador 2). Por fim, a Figura 18 trata os casos em que nenhuma das condições anteriores é atendida, classificando o objeto como Diversos. Essa lógica é ativada quando há detecção de material metálico ou altura fora do padrão, com a memória M6 (Parador 1) conectada em paralelo às demais condições.

Os temporizadores TT1 (Figura 20) e TT2 (Figura 21) são ativados quando a categoria Diversos é identificada ou a memória M6 (Parador 1) é energizada. O TT1 desativa os selos dos componentes relacionados às formas retangulares e triangulares, fazendo com que os atuadores retornem à posição inicial e os sinaleiros sejam desligados por 5 segundos. Este tempo foi calculado e validado em testes práticos para garantir que o objeto alcance o depósito da categoria Diversos. O TT2 mantém a esteira em funcionamento durante esse intervalo, assegurando o transporte adequado do item.

A Figura 22 apresenta as linhas 22, 23 e 24, que definem as condições para o acionamento do Motor da Esteira (Q6). O motor é ativado quando qualquer uma das memórias M1 (Auxiliar Retangular), M2 (Auxiliar Triangular) ou M3 (Auxiliar Diversos) está energizada. O desligamento da esteira ocorre se o Botão Vermelho (I6) for pressionado, o Sensor do Reservatório (I4) for acionado ou o temporizador T2 finalizar seu ciclo. A linha 25 envia ao ESP32, via bobina Q9 (Saída do Detector de Metal), a informação de material metálico, permitindo sua contabilização e registro. A linha 26 alimenta e configura o Sensor de Altura, com ambos os circuitos ativados apenas quando o sistema está habilitado (M4).

O firmware desenvolvido para o microcontrolador ESP32-WROOM-32U (Dias, 2026) atua como um gateway de Internet das Coisas (IoT), integrando a camada de inteligência (Software em Python/YOLOv8) com a camada de interface e campo (Atuadores e Sensores). A comunicação via protocolo MQTT (Message Queuing Telemetry Transport) garante um sistema desacoplado e eficiente (Cortez et al., 2022). A estrutura de conectividade e inicialização utiliza as bibliotecas WiFi.h e PubSubClient.h, gerenciando a conexão com o broker MQTT e configurando os pinos de saída e entrada. A lógica de recebimento e atuação (callback) interpreta as mensagens MQTT e aciona as saídas digitais correspondentes, com temporização não bloqueante para garantir a integridade mecânica dos atuadores. O monitoramento de sensores e telemetria (loop) assegura a persistência da conexão e a telemetria em tempo real, com técnicas de debounce para filtrar ruídos eletromagnéticos e oscilações espúrias.

A implementação e treinamento do modelo YOLOv8, desenvolvido pela Ultralytics, foi crucial para a capacidade de visão computacional do sistema. A escolha do YOLOv8 deve-se à sua eficiência em inferência em tempo real e à abordagem anchor-free, que otimiza a generalização e simplifica o treinamento. A arquitetura, composta por Backbone (extração de características), Neck (fusão de múltiplas escalas) e Head (predição de classes e bounding boxes), é ideal para sistemas de automação industrial que demandam processamento em uma única passada. O dataset foi construído na plataforma Roboflow, com 224 imagens capturadas do sistema em operação, resultando em 1041 instâncias de retângulos e 1422 instâncias de triângulos anotadas. O treinamento utilizou a infraestrutura de nuvem Google Colab com GPU, aplicando Transfer Learning com o modelo pré-treinado yolov8n.pt, configurado para 200 épocas e resolução de 640×640 pixels. O arquivo de pesos otimizados (best.pt) foi integrado ao software principal para a classificação automatizada.

O software de visão e supervisão, desenvolvido em Python com o micro-framework Flask, integra a visão computacional, a comunicação MQTT e a interface de monitoramento. A robustez do sistema é garantida por bibliotecas como OpenCV (captura e pré-processamento de vídeo), NumPy (operações matriciais), Paho-MQTT (comunicação), Flask (servidor web), threading (paralelismo) e mysql.connector (persistência de dados). As configurações operacionais iniciais estabelecem o índice do dispositivo de captura, credenciais do broker MQTT e tópicos de publicação. A inicialização do modelo YOLOv8 inclui um mecanismo de resiliência para tratar falhas no carregamento dos pesos, desativando a detecção por IA de forma segura. O gerenciamento de estados e variáveis globais, como `forma_em_analise` e `metal_detectado`, coordena a lógica de detecção, enquanto a inicialização da interface e sistema de captura via Flask e OpenCV garante a integridade da entrada visual. A lógica de temporização `DELAY_DETECCAO_SEGUNDOS` atua como filtro temporal, evitando múltiplas detecções espúrias. A integração MQTT e o tratamento de eventos assíncronos, com funções de callback `on_connect` e `on_message` em uma thread dedicada, conferem resiliência de rede.

A função `detect_shape_ai` centraliza o processamento de visão, utilizando YOLOv8 com limiar de confiança de 50%. Um critério de seleção por área elege a forma dominante, e objetos não pertencentes às classes primárias são classificados como “diverse”. O acesso aos dicionários de contagem é protegido por um objeto lock para evitar conflitos de escrita. O processamento de saída e feedback visual utiliza `cv2.putText` para sobrepor o rótulo da classe e confiança no frame, e a informação é despachada via MQTT para o ESP32. O pipeline de captura e resiliência de vídeo, implementado pela função `generate_frames`, inclui um protocolo de auto recuperação com até cinco tentativas de reconexão em caso de perda de sincronismo com o hardware de captura.

A integração dos componentes, ilustrada na Figura 2, baseia-se em uma arquitetura modular e heterogênea, onde hardware embarcado, visão computacional e serviços de rede operam de forma orquestrada. O fluxo operacional inicia-se na camada de campo, com o CLP e o ESP32 captando sinais discretos. O ESP32, como gateway IoT, lê os sensores de presença e indutivo, digitaliza os sinais e os encapsula em mensagens MQTT. Esta abordagem desacopla a lógica de acionamento físico do processamento de imagem, permitindo que a CPU principal dedique recursos à análise apenas quando há uma peça em posição.

Figura 2. Arquitetura.

Fonte: Autor (2025)

Ao receber o gatilho “ON” via Broker MQTT, o núcleo Python captura o frame da câmera e executa a inferência com YOLOv8. O sistema realiza uma fusão de dados, confrontando a forma geométrica visualmente extraída com o sinal “METAL” do sensor indutivo, permitindo uma classificação bimodal. Esta redundância sensorial é crucial para a precisão. Os resultados consolidados da classificação são direcionados para persistência em banco de dados MySQL, garantindo rastreabilidade histórica e auditorias, e para a Interface de Supervisão (IHM), que consome esses dados assincronamente para atualização em tempo real. Para mitigar conflitos em ambiente multitarefa, o software utiliza primitivas de exclusão mútua (threading.Lock), assegurando a integridade dos contadores de produção. Esta integração sinérgica entre hardware industrial e software de alto nível resulta em um sistema autônomo e robusto.

A interface IHM (Figura 3) foi projetada com HTML5 e CSS, dividindo-se em monitoramento visual centralizado, painel de indicadores via motor de template Jinja2 e sincronização assíncrona via JavaScript. As funções de atualização operam em um ciclo de polling de 2 segundos, garantindo que o dashboard reflita o estado real das variáveis de memória de forma reativa e eficiente.

Figura 3. Interface web.

Fonte: Autor (2025)

A análise crítica e as limitações do sistema foram avaliadas em duas etapas complementares. A validação *in silico*, realizada com um conjunto de dados de teste na plataforma Roboflow, focou em métricas de desempenho teórico da rede YOLOv8, como precisão, revocação e precisão média (mAP). Durante a fase de treinamento e validação, o modelo YOLOv8 demonstrou convergência robusta e métricas de desempenho elevadas. Conforme observado nos gráficos de treinamento (Figura 4), o modelo atingiu um Mean Average Precision (mAP@50) de 99,5% no conjunto de validação, com uma revocação (Recall) de 98,5%, conforme detalhado na Figura 5. A rápida convergência das curvas de perda (loss functions), especificamente a Class Loss, indica que a rede neural aprendeu eficazmente a distinguir as características morfológicas das classes geométricas propostas. Este resultado *in silico* é notável e compara-se favoravelmente com outros estudos que aplicam YOLOv8 em ambientes controlados, onde a qualidade da imagem e a ausência de ruídos externos permitem que o modelo explore sua capacidade máxima de inferência (Reichensteina et al., 2023). A alta precisão e revocação demonstram que o modelo é capaz de identificar corretamente a maioria dos objetos e de minimizar falsos positivos e negativos em condições ideais.

Figura 4. Gráficos de Treinamento.

Fonte: Roboflow (2025)

Figura 5. Métricas do modelo.

Fonte: Roboflow (2025)

Contudo, a validação *in situ*, conduzida no ambiente operacional da esteira, revelou desafios práticos significativos. A implementação do modelo no ambiente físico, sob condições de iluminância de 118 lux, evidenciou uma redução significativa na acurácia de ambas as classes, com valores variando entre 50% e 70%, conforme os gráficos de desempenho ao longo do tempo (Figura 6). Para o formato retangular, registraram-se 8 erros de classificação em 50 amostras, resultando em uma acurácia de 84%. Para o formato triangular, observaram-se 12 erros de classificação, correspondendo a uma acurácia de 76%. Esta queda de desempenho em relação aos resultados *in silico* é um achado crítico e alinha-se com a literatura que aponta para a sensibilidade de sistemas de visão computacional a fatores ambientais como variações de luminosidade, vibrações mecânicas e ruídos na imagem (Reichensteina et al., 2023). A disparidade entre o desempenho teórico e o prático sublinha a importância da validação em cenários reais, onde as condições ideais de treinamento raramente se replicam. A iluminação inadequada, por exemplo, pode gerar sombras, reflexos e baixo contraste, dificultando a extração de características visuais pelo modelo YOLOv8.

Figura 6. Precisão Retângulo e Triângulo – 118 lux.

Fonte: Autor (2025)

Com o objetivo de reduzir o ruído do sensor e melhorar o desempenho, um segundo experimento foi conduzido com o aumento da iluminância para 272 lux (Figura 28). Os resultados evidenciaram uma melhora notável, com a acurácia global variando entre 70% e 89%. Para o formato retangular, registraram-se apenas 3 erros de classificação em 50 amostras, resultando em uma acurácia de 94%. Para o formato triangular, observaram-se 6 erros de classificação, correspondendo a uma acurácia de 88%. Esta melhoria substancial na acurácia com o aumento da luminosidade corrobora a hipótese de que a qualidade da aquisição de imagem é um fator limitante crucial. Uma iluminação mais uniforme e intensa reduz o ruído visual, aumenta o contraste e facilita a detecção de bordas e características pelos algoritmos de visão computacional. Este achado tem implicações práticas diretas: para a implementação industrial de sistemas baseados em visão, um estudo luminotécnico detalhado e o controle manual dos parâmetros de captura da câmera (exposição e ganho) são indispensáveis para otimizar o desempenho e garantir a robustez do sistema em diferentes condições operacionais. A dependência da sensibilidade (ISO) do sensor pode ser mitigada com uma iluminação controlada, reduzindo ruídos na imagem e aumentando a confiabilidade da classificação.

A análise experimental permite concluir que o modelo possui alta capacidade teórica, mas sua aplicação prática é limitada por fatores de hardware e aquisição de imagem, não pela arquitetura da rede neural em si. As limitações identificadas sugerem recomendações para trabalhos futuros e adequação industrial, como a implementação de controle manual dos parâmetros de captura da câmera (exposição e ganho) e a realização de um estudo luminotécnico para garantir uma iluminância uniforme e controlada. Além disso, a técnica de Aprendizado Ativo, que reintroduz imagens capturadas na esteira (com seus respectivos ruídos e imperfeições) no conjunto de treinamento, pode permitir que o modelo aprenda a generalizar a detecção mesmo em condições adversas, aumentando sua robustez em ambientes reais.

As limitações de sincronização e latência no protocolo MQTT foram desafios críticos identificados durante a fase de integração e testes operacionais. Observaram-se dois pontos principais de latência que impactaram o sincronismo: a Latência de Evento (Sinal “ON”) e a Latência de Telemetria (Sinal “METAL”). Na latência de evento, o objeto já se encontrava posicionado na esteira antes que a mensagem de ativação fosse processada e disponibilizada no broker. Esse atraso foi atribuído a oscilações na rede sem fio (Wi-Fi) ou ao tempo de corretagem do servidor, gerando ociosidade inicial no ciclo de trabalho. Este fenômeno é particularmente problemático em sistemas de alta cadência, onde cada milissegundo de atraso pode comprometer a eficiência da linha de produção. A literatura sobre IoT industrial frequentemente aponta a instabilidade de redes sem fio de padrão residencial como um gargalo para aplicações de tempo real crítico (Cortez et al., 2022).

Adicionalmente, a latência de telemetria, especificamente do sinal “METAL”, revelou um descompasso no envio da informação de presença metálica. Em alguns casos, a detecção física pelo sensor indutivo ocorria, mas a mensagem correspondente sofria atraso para chegar ao sistema de decisão Python. Em suma, a análise experimental evidencia que a dependência de uma infraestrutura de rede sem fio de padrão residencial introduz variáveis de instabilidade que podem comprometer a precisão de sistemas de separação de alta cadência. Embora o sistema seja funcional como prova de conceito, os resultados indicaram que, para escala industrial, a comunicação via Wi-Fi e a oscilação na recepção dos sinais poderiam ser mitigados com roteadores industriais e links dedicados. Diferente das conexões domésticas, que sofrem com interferências e flutuações de banda, a infraestrutura industrial garante o determinismo necessário para o acionamento imediato dos atuadores, assegurando que o tempo de resposta do sistema seja compatível com as demandas de alta performance de uma linha de produção real.

Apesar das limitações de latência, o protocolo MQTT não é invalidado, mas seu escopo de uso ideal é delimitado. Em cenários agroindustriais, por exemplo, caracterizados por instalações geograficamente distribuídas e grandes distâncias entre galpões, como no setor avícola, a implementação de redes cabeadas tradicionais demandaria investimentos consideráveis em infraestrutura. Nesses ambientes, o MQTT apresenta-se como uma solução robusta para a telemetria e controle distribuído, onde a exigência de determinismo de microssegundos é menor do que em uma triagem de alta velocidade. Um exemplo prático reside na sincronização de esteiras transportadoras na produção de ovos, onde o protocolo permite coordenar o fluxo de múltiplas esteiras alimentadoras, convergindo para uma esteira principal. Neste contexto, a estabilidade de conexão em longas distâncias e o baixo consumo de banda do MQTT superam a necessidade de tempo real estrito, validando sua utilização baseada na relação custo-benefício e na topologia da rede industrial.

Diante do exposto, sugere-se para trabalhos futuros a implementação de técnicas de Aprendizado Ativo, reintroduzindo as imagens com ruído e desfoque capturadas em operação real no conjunto de treinamento para aumentar a robustez do modelo. No âmbito do hardware, recomenda-se a substituição do controle de exposição automático por parâmetros manuais e a exploração de processamento na borda, migrando a inferência da IA diretamente para dispositivos embarcados de maior capacidade ou utilizando conexões cabeadas para eliminar a latência da rede sem fio. Em suma, este projeto não apenas entregou um dispositivo funcional de triagem, mas também proporcionou uma análise profunda sobre as interdependências entre óptica, redes e mecânica, consolidando o entendimento de que a eficácia da Inteligência Artificial na indústria depende intrinsecamente da qualidade da aquisição de dados e da estabilidade da infraestrutura de comunicação.

4. Conclusão

Conclui-se que o objetivo foi atingido com sucesso, ao projetar, desenvolver e validar um protótipo funcional de esteira seletora inteligente, concebida para classificar e separar objetos com base em múltiplos critérios, como forma, presença de material metálico e altura. Este trabalho demonstrou a viabilidade de uma abordagem híbrida que integra conceitos fundamentais da Indústria 4.0, como Internet das Coisas (IoT), visão computacional e automação industrial. Os resultados da validação *in silico* comprovaram a eficácia do modelo YOLOv8, que atingiu métricas de excelência (mAP@50 de 99,5% e recall de 98,5%) em ambiente controlado, validando sua capacidade teórica. A implementação do protocolo MQTT permitiu o desacoplamento eficiente entre as camadas de decisão e atuação, estabelecendo uma comunicação robusta e escalável para a troca de mensagens de comando e telemetria.

No entanto, a transição para o ambiente operacional revelou desafios técnicos importantes. A sensibilidade do sistema óptico a variações de iluminância e ruídos visuais impactou significativamente a acurácia *in situ*, que variou entre 50% e 89% em diferentes condições de luz, contrastando com o desempenho teórico. Adicionalmente, foram identificados desafios de sincronização e latência no protocolo MQTT, especialmente em redes Wi-Fi de padrão residencial, que introduziram atrasos na detecção visual e no acionamento dos atuadores, comprometendo a precisão da separação em altas velocidades. Para trabalhos futuros, sugere-se a implementação de técnicas de Aprendizado Ativo para aumentar a robustez do modelo em condições reais, o controle manual dos parâmetros de captura da câmera, a realização de um estudo luminotécnico detalhado e a exploração de processamento na borda ou conexões cabeadas para mitigar a latência de rede.

Referências Bibliográficas

DENARDI, Ricardo; IZOLA, Dawson Tadeu; et al. Implementação de um sistema automático para separar objetos metálicos e não metálicos em uma esteira. ResearchGate, [S.I.], 2023. Disponível em: https://www.researchgate.net/publication/386424447_IMPLEMENTACAO_DE_UM_SISTEMA_AUTOMATICO_PARA_SEPARAR_OBJETOS_METALICOS_E_NAO_METALICOS_EM_UMA_ESTEIRA. Acesso em: 13 mar. 2025.

LAMB, Frank. Automação industrial na prática. São Paulo: Érica, 2015.

REICHENSTEINA, Tobias; RAFFINA, Tim; SANDB, Christian; FRANKE, Jörg. Implementation of machine vision-based quality inspection in production: an approach for the accelerated execution of case studies. Science Direct, [S.I.], 2022. Disponível em: https://www.sciencedirect.com/science/article/pii/S2212827122012124. Acesso em: 21 mar. 2025.

Artigo oriundo de Trabalho de Conclusão de Curso da Especialização em Engenharia de Software do MBA USP/Esalq

Para saber mais sobre o curso, clique aqui e acesse a plataforma MBX Academy