26 de outubro de 2026
Machine learning interpretável para predição de story points em projetos Scrum
Aprendizado de Máquina Interpretável para Predição de Story Points em Projetos Scrum
Matheus de Oliveira Avila Sales; Manoel Flavio Leal
DOI: 10.22167/2675-6528-202601221
Artigo elaborado pela ferramenta ResumeAI, solução de inteligência artificial desenvolvida pelo Instituto Pecege voltada à síntese e redação.
Resumo
A estimativa de story points em projetos Scrum é suscetível a vieses cognitivos, comprometendo a previsibilidade dos sprints. Modelos de Machine Learning (ML) foram aplicados para automatizar essas estimativas, mas frequentemente priorizam a acurácia em detrimento da interpretabilidade, essencial para a adoção por gestores ágeis. A pesquisa avaliou a viabilidade de modelos de ML interpretáveis como suporte à decisão no planejamento ágil, combinando predição de story points com explicabilidade via SHAP. Implementaram-se três algoritmos de aprendizado supervisionado (Regressão Linear, Random Forest e XGBoost) para predizer story points a partir de nove features interpretáveis, extraídas de 23.313 issues de 16 projetos de código aberto. O XGBoost obteve o menor Erro Absoluto Médio (4,64 story points), mas os três modelos apresentaram desempenho similar, indicando que o teto preditivo decorreu do espaço de features. A técnica SHAP quantificou a contribuição de cada feature, identificando a quantidade de blocos de código, o comprimento do título e a frequência de termos técnicos como os atributos de maior impacto. A combinação de predição e explicabilidade configurou uma ferramenta de suporte à decisão no planejamento ágil, ao tornar explícitos os atributos textuais que influenciam as estimativas.
Palavras-chave: Aprendizado supervisionado; Estimativa de esforço; Gestão ágil; Planning poker; SHAP.
1. Introdução
Scrum é um dos frameworks ágeis mais amplamente adotados na indústria de desenvolvimento de software (Schwaber e Sutherland, 2020). Dentro desse contexto, o planejamento de sprints, ciclos de trabalho com duração fixa, depende crucialmente da estimativa de story points. Story points representam uma medida relativa de esforço que as equipes atribuem às tarefas do backlog, refletindo a complexidade, o risco e o volume de trabalho envolvido. A precisão dessas estimativas é fundamental para a capacidade da equipe de planejar entregas realistas, calcular sua velocidade de desenvolvimento e comunicar prazos de forma eficaz aos stakeholders.
Tradicionalmente, a estimativa de story points é realizada por meio de técnicas de consenso, como o planning poker. Essa abordagem, embora promova a participação igualitária ao exigir que todos os membros revelem suas estimativas simultaneamente, é suscetível a vieses cognitivos (Mahnič e Hovelja, 2012). A dinâmica de grupo pode, por exemplo, amplificar o viés de otimismo, especialmente em equipes com experiência limitada, comprometendo a previsibilidade dos sprints e gerando desvios significativos entre a estimativa e o esforço real. De fato, Moløkken e Jørgensen (2003) documentaram que desvios de 30 a 40% em relação ao esforço planejado são recorrentes na indústria. Pasuksmit et al. (2024) identificaram a qualidade da informação e fatores da equipe como contribuintes frequentes para a imprecisão nessas estimativas.
Diante desses desafios, o Aprendizado de Máquina (ML) tem sido aplicado para automatizar a estimativa de story points. A evolução dessas abordagens demonstrou ganhos consistentes em acurácia preditiva. Inicialmente, técnicas como TF-IDF foram combinadas com classificadores (Porru et al., 2016). Posteriormente, modelos de aprendizado profundo, como o Deep-SE, surgiram para capturar relações semânticas complexas (Choetkiertikul et al., 2019). Mais recentemente, arquiteturas de linguagem pré-treinadas, como GPT2SP (Fu e Tantithamthavorn, 2023) e SBERT (Yalçıner et al., 2024), foram empregadas, reportando Erros Absolutos Médios competitivos. Contudo, uma limitação persistente dessas abordagens reside no fato de funcionarem como “caixas-pretas”. O profissional de gestão ágil recebe uma estimativa numérica sem compreender quais características da issue a influenciaram, o que dificulta a confiança na predição e a incorporação dos resultados nas discussões de planejamento.
Esse cenário revela uma lacuna significativa na literatura: a ausência de estudos que combinem a predição de story points com técnicas de explicabilidade orientadas à gestão ágil. Para que os modelos preditivos sejam efetivamente adotados por Scrum Masters e Product Owners, é essencial que os resultados sejam compreensíveis e acionáveis, permitindo-lhes questionar e validar as previsões geradas (Fernández-Diego et al., 2020). A confiança na ferramenta depende diretamente da capacidade de seus usuários de entender o “porquê” por trás de cada estimativa. A técnica SHapley Additive exPlanations (SHAP), proposta por Lundberg e Lee (2017), oferece uma solução promissora ao quantificar a contribuição marginal de cada feature para a predição individual, fundamentada na teoria dos jogos cooperativos e satisfazendo propriedades axiomáticas que garantem uma atribuição justa e transparente.
Diferentemente das abordagens que utilizam representações numéricas de texto com milhares de dimensões, este trabalho priorizou a interpretabilidade. Foram implementados três algoritmos de aprendizado supervisionado – Regressão Linear, Random Forest e XGBoost – utilizando nove features estruturais e interpretáveis, extraídas diretamente dos campos textuais (título e descrição) de 23.313 issues de 16 projetos de código aberto do Deep-SE Story Point Dataset (Choetkiertikul et al., 2019). Essa escolha permitiu que a técnica SHAP fornecesse explicações acessíveis, como “a predição aumentou porque a issue contém seis blocos de código”, em vez de interpretações complexas de vetores de alta dimensão. Assim, o objetivo deste trabalho é avaliar a viabilidade de modelos de aprendizado de máquina interpretáveis como suporte à decisão no planejamento ágil, combinando a predição de story points com a explicabilidade via SHAP.
2. Material e Métodos
A pesquisa caracterizou-se como um estudo de natureza aplicada, com abordagem quantitativa e delineamento experimental-computacional. O objetivo central foi avaliar a viabilidade de modelos de aprendizado de máquina interpretáveis como suporte à decisão no planejamento ágil, combinando a predição de story points com a explicabilidade via SHAP. Para tanto, implementou-se um pipeline de processamento de dados e treinamento de modelos de regressão.
O pipeline de implementação estruturou-se em quatro etapas sequenciais: aquisição e análise exploratória do conjunto de dados, engenharia de features interpretáveis a partir dos campos textuais das issues, pré-processamento e particionamento dos dados, e treinamento com otimização dos modelos de regressão. Toda a implementação foi conduzida em Python, utilizando bibliotecas como scikit-learn para modelos de regressão e validação cruzada, XGBoost para gradient boosting, SHAP para cálculo de valores de Shapley via TreeExplainer, pandas para manipulação de dados tabulares, matplotlib para geração de figuras e textstat para índices de legibilidade.
A reprodutibilidade das análises foi assegurada pela fixação da semente `random_state=42` em todas as operações que envolviam aleatoriedade. O código-fonte completo do projeto foi disponibilizado em um repositório público, garantindo a transparência e a possibilidade de verificação dos procedimentos adotados.
O conjunto de dados utilizado foi o Deep-SE Story Point Dataset, disponibilizado publicamente por Choetkiertikul et al. (2019). Este repositório público serviu como fonte secundária de dados, provenientes de sistemas de rastreamento como Jira e Bugzilla, de 16 projetos de software de código aberto. A adoção deste conjunto de dados permitiu a comparabilidade direta com estudos anteriores (Choetkiertikul et al., 2019; Fu e Tantithamthavorn, 2023).
O conjunto de dados reuniu 23.313 issues, cada registro contendo os campos `issuekey`, `title`, `description` e `storypoint`. Os critérios de inclusão definidos pelos autores originais do dataset excluíram projetos com menos de 300 issues estimadas e removeram registros com story points iguais a zero, negativos ou superiores a 100. Essa filtragem afetou aproximadamente 2,66% dos registros totais.
No que tange ao tratamento de dados, o campo `description` apresentou 2.231 valores ausentes, correspondendo a 9,57% do total. Esses casos foram tratados pela substituição por uma cadeia vazia, preservando os registros correspondentes sem imputação artificial. Os demais campos (`issuekey`, `title`, `storypoint` e `project`) não apresentaram ausências.
Em lugar de representações vetoriais de alta dimensionalidade, extraíram-se nove features interpretáveis diretamente dos campos textuais (`título` e `descrição`) de cada issue. As features incluíram: `desc_length` (comprimento da descrição em caracteres), `title_length` (comprimento do título em caracteres), `is_user_story` (presença do padrão canônico de user story), `has_acceptance_criteria` (presença de critérios de aceitação), `code_snippet_count` (blocos de código ou chamadas de método), `url_count` (URLs referenciados na descrição), `description_readability` (índice Flesch-Kincaid Grade Level), `keyword_complexity` (frequência de termos técnicos) e `title_desc_ratio` (razão comprimento do título/descrição).
As features binárias (`is_user_story` e `has_acceptance_criteria`) foram detectadas por expressões regulares. A feature `description_readability` empregou o índice Flesch-Kincaid Grade Level, calculado pela biblioteca textstat. A feature `keyword_complexity` contabilizou a ocorrência de 20 termos técnicos associados a tarefas de alta complexidade, como ‘refactor’, ‘migrate’, ‘integration’, ‘API’, ‘database’, ‘security’, ‘performance’, ‘architecture’, ‘infrastructure’, ‘scalability’, ‘deployment’, ‘authentication’, ‘authorization’, ‘configuration’, ‘optimization’, ‘upgrade’, ‘redesign’, ‘overhaul’ e ‘rewrite’.
O conjunto de 23.313 issues foi particionado em 80% para treinamento (18.650 issues) e 20% para teste (4.663 issues). O embaralhamento aleatório foi controlado pela semente `random_state=42`. A normalização foi aplicada às features numéricas contínuas pelo StandardScaler, ajustado exclusivamente sobre o conjunto de treino para evitar vazamento de dados. As features binárias foram mantidas na escala {0, 1}, dispensando normalização.
Foram implementados três algoritmos de aprendizado supervisionado para predizer story points: Regressão Linear, Random Forest e XGBoost. A Regressão Linear serviu como modelo de referência (baseline), com coeficientes determinados pelo método dos mínimos quadrados ordinários sobre as nove features, sem otimização de hiperparâmetros.
O Random Forest, um método de ensemble por bagging, construiu múltiplas árvores de decisão independentes sobre subamostras aleatórias de instâncias e features, agregando as predições individuais pela média. Os hiperparâmetros foram selecionados por busca em grade com validação cruzada de cinco folds (cv=5), minimizando o Erro Absoluto Médio (MAE) como critério. A grade avaliou 36 combinações, totalizando 180 ajustes.
O XGBoost implementou gradient boosting sobre árvores de decisão, ajustando cada árvore subsequente para minimizar o resíduo da iteração anterior por descida do gradiente, com regularização L1/L2 para controlar a complexidade. A busca em grade avaliou 81 combinações, totalizando 405 ajustes com validação cruzada de cinco folds.
A análise de explicabilidade empregou a técnica SHapley Additive exPlanations (SHAP), proposta por Lundberg e Lee (2017). Esta técnica atribui a cada feature um valor que quantifica sua contribuição marginal para a predição individual de cada observação, fundamentada na teoria dos jogos cooperativos. O TreeExplainer, algoritmo otimizado para modelos baseados em árvore, calculou os valores exatos de Shapley para o Random Forest e o XGBoost sem recorrer a aproximações estocásticas.
Os resultados da análise SHAP foram organizados em quatro tipos de visualização: importância global (bar plot), distribuição direcional (beeswarm), explicação local (waterfall) e dependência entre features (dependence plot). Essas visualizações foram utilizadas para interpretar a contribuição de cada feature nas predições dos modelos, sem apresentar os achados empíricos nesta seção.
3. Resultados e Discussão
A presente pesquisa avaliou a viabilidade de modelos de aprendizado de máquina interpretáveis como suporte à decisão no planejamento ágil, combinando a predição de story points com a explicabilidade fornecida pela técnica SHAP. Os resultados iniciais da análise exploratória do conjunto de dados Deep-SE, composto por 23.313 issues de 16 projetos de código aberto, revelaram uma distribuição dos story points com assimetria positiva acentuada (6,00) e curtose elevada (45,69). Essa característica indicou que a maioria das issues concentrava-se nos valores mais baixos da escala de Fibonacci (1, 2, 3 e 5 story points), enquanto valores superiores a 20 story points eram ocorrências raras, um padrão que influenciou diretamente o comportamento preditivo dos modelos.
A variabilidade dos story points entre os projetos analisados mostrou-se expressiva, com a mediana dos valores variando de 2 a 8 story points e uma amplitude interquartil substancialmente diferente entre as equipes. Esse padrão refletiu a existência de convenções de estimativa distintas, um achado consistente com o que foi documentado por Tawosi et al. (2022a) em sua análise do conjunto TAWOS, que inclui os mesmos projetos. Essa heterogeneidade motivou a decisão de adotar um modelo cross-project, treinado e avaliado sobre a totalidade dos dados, sem separação por projeto específico, buscando uma generalização dos padrões observados.
A relação entre o comprimento dos campos textuais e os story points atribuídos mostrou-se fraca, sem uma correlação linear expressiva. Issues tanto curtas quanto longas receberam valores baixos e elevados, indicando que características textuais brutas, sem transformação adicional, capturam um sinal preditivo limitado. Este resultado corrobora achados de Porru et al. (2016), que reportaram um padrão análogo ao investigar estimativas de story points a partir de contagens brutas de termos. A concentração dos valores mais frequentes nos pontos canônicos da escala de Fibonacci (1, 2, 3, 5 e 8 story points) foi confirmada, com a presença de valores extremos que produziram a cauda pesada observada na distribuição.
A engenharia de features priorizou a interpretabilidade, extraindo nove atributos diretamente dos campos textuais das issues, como comprimento da descrição, comprimento do título, presença de user story canônica, presença de critérios de aceitação, contagem de blocos de código, contagem de URLs, legibilidade da descrição, complexidade de palavras-chave e razão título/descrição. Essa escolha foi deliberada para garantir que as explicações fossem compreensíveis por profissionais de gestão ágil, sem a necessidade de familiaridade com modelos de linguagem ou álgebra avançada. O trade-off entre acurácia e interpretabilidade foi, portanto, intencional, e a perda de capacidade preditiva resultante foi quantificada na avaliação dos modelos.
A execução do pipeline de extração de features sobre as 23.313 issues revelou que apenas 0,4% das issues seguiam o formato canônico de user story e somente 7,1% continham critérios de aceitação explícitos. O comprimento médio das descrições foi de 670 caracteres, com alguns registros ultrapassando 50.000 caracteres devido à inclusão de rastreamentos de pilha ou logs completos. O índice médio de legibilidade Flesch-Kincaid foi de 11,45, compatível com textos de nível técnico universitário. Esses dados estruturais foram pré-processados, com features numéricas contínuas normalizadas e features binárias mantidas em sua escala original, antes do particionamento em conjuntos de treino e teste.
Desempenho comparativo dos modelos
Os três algoritmos de aprendizado supervisionado – Regressão Linear, Random Forest e XGBoost – foram avaliados no conjunto de teste (4.663 issues) utilizando as métricas Erro Absoluto Médio (MAE), Raiz do Erro Quadrático Médio (RMSE) e coeficiente de determinação (R²). O XGBoost obteve o menor MAE, com 4,64 story points, seguido de perto pelo Random Forest, com 4,66 story points, e pela Regressão Linear, com 4,68 story points. O Random Forest apresentou o maior R² (0,026) e o menor RMSE (9,15). As diferenças absolutas entre os modelos foram marginais, com uma variação de apenas 0,04 story points no MAE e 0,020 no R², indicando uma proximidade de desempenho notável.
Essa convergência de desempenho entre algoritmos de natureza distinta (um modelo linear, um ensemble por bagging e um ensemble por gradient boosting) sugeriu que o teto preditivo foi imposto pelo espaço de features, e não pela capacidade intrínseca dos algoritmos. A Regressão Linear alcançou um desempenho quase idêntico aos modelos baseados em árvore, o que implica que a maior parte do sinal preditivo disponível nas nove features estruturais já foi extraída por uma combinação linear ponderada. Essa constatação é relevante para cenários com restrições de custo computacional, onde um modelo mais simples pode ser preferível.
Os hiperparâmetros selecionados pela busca em grade para os modelos baseados em árvore foram conservadores, com uma profundidade máxima (max_depth) de 10 para ambos, visando evitar o sobreajuste. O XGBoost utilizou uma taxa de aprendizado baixa (0,01) e um número menor de árvores (100), enquanto o Random Forest compensou a ausência de boosting sequencial com um número maior de estimadores (500). A subamostragem de colunas (colsample_bytree = 0,7) no XGBoost atuou como regularização adicional. Essas configurações reforçaram a hipótese de que o espaço de features ofereceu um sinal preditivo limitado para a tarefa de regressão, e que a busca por parâmetros mais agressivos resultou em sobreajuste no conjunto de validação.
Análise das predições individuais
Os três modelos exibiram um padrão de regressão à média, com as predições concentradas em torno de aproximadamente seis story points, independentemente do valor real atribuído à issue. Para issues com story points superiores a 20, os modelos sistematicamente subestimaram as estimativas, raramente ultrapassando dez story points. Esse comportamento decorre da forte assimetria da distribuição dos story points no conjunto de dados, onde aproximadamente 75% das issues receberam até 8 story points. Os modelos aprenderam a predizer valores próximos dessa região de maior densidade, o que limitou a utilidade das predições pontuais para issues de alta complexidade, justamente onde o suporte à decisão é mais crítico.
As distribuições de resíduos (diferença entre o valor real e o valor predito) dos três modelos foram aproximadamente simétricas em torno de zero, com uma concentração elevada de erros pequenos (na faixa de -5 a +5 story points) e uma cauda pesada à direita, indicando a subestimação em issues com valores elevados. Essa característica é esperada em distribuições com assimetria positiva acentuada e curtose elevada, como a dos story points neste estudo. A proximidade das distribuições de resíduos entre os algoritmos reforçou a evidência de que a capacidade preditiva foi limitada pelo espaço de features, e não pela escolha do algoritmo, um achado similar ao documentado por Tawosi et al. (2022a).
Importância das features nos modelos
A análise da importância das features pelos mecanismos internos dos modelos (diminuição média de impureza – MDI para Random Forest e ganho de informação para XGBoost) revelou que, no Random Forest, quatro features concentraram 90,6% da importância total: a razão título/descrição (29,4%), a legibilidade da descrição (24,5%), o comprimento da descrição (21,7%) e o comprimento do título (15,1%). Essas variáveis capturaram dimensões complementares do texto da issue, como a proporção entre título e descrição, a complexidade linguística, o comprimento absoluto e a concisão do enunciado, respectivamente.
No XGBoost, a importância das features foi distribuída de forma mais uniforme. Um achado notável foi o salto da feature `keyword_complexity`, que passou da sétima posição no Random Forest (4,7%) para a segunda posição no XGBoost (17,4%). Essa diferença pode ser atribuída ao mecanismo de gradient boosting, que ajusta árvores sequenciais sobre os resíduos da iteração anterior, permitindo capturar sinais residuais na frequência de termos técnicos que o Random Forest, baseado em bagging, não priorizou em suas divisões. As features binárias `is_user_story` e `has_acceptance_criteria` foram as menos relevantes em ambos os modelos, com importância inferior a 0,1% e 0,2% respectivamente, devido ao desbalanceamento extremo dessas variáveis no conjunto de dados.
Explicabilidade via SHAP
A análise de explicabilidade via SHAP (SHapley Additive exPlanations) revelou divergências significativas em relação às métricas de importância MDI/ganho, especialmente para a feature `code_snippet_count`. No Random Forest, essa feature ocupou a sétima posição em MDI (0,022), mas ascendeu à primeira posição em SHAP médio (0,80). Essa inversão ocorreu porque o SHAP, fundamentado na teoria dos jogos cooperativos, captura o efeito marginal de cada feature na predição individual, enquanto o MDI contabiliza a frequência de uso ponderada pela redução de impureza. A `code_snippet_count` foi utilizada em poucas divisões das árvores, mas com impacto substancial nas predições individuais, um efeito que o MDI subestimou. Essa discrepância reforçou a necessidade de técnicas de explicabilidade com fundamentação axiomática.
Apesar das diferenças de magnitude nos valores SHAP entre Random Forest e XGBoost (os valores do Random Forest foram aproximadamente 2,5 vezes maiores, refletindo a maior variância do modelo), ambos os algoritmos convergiram nas cinco features mais importantes: `code_snippet_count`, `title_length`, `desc_length`, `description_readability` e `title_desc_ratio`. Essa convergência entre modelos com mecanismos de aprendizado distintos constituiu evidência de que essas variáveis possuem um sinal preditivo genuíno e são indicadores estáveis para profissionais de gestão ágil, independentemente do algoritmo empregado.
Direção de influência
A análise da direção de influência, por meio do gráfico beeswarm, demonstrou que a feature `keyword_complexity` exibiu uma forte correlação positiva entre seu valor e o valor SHAP. Issues com alta frequência de termos técnicos, como “refactor”, “migrate”, “integration”, “API” e “database”, receberam valores SHAP positivos elevados, indicando que o modelo aumentou a estimativa de story points para essas issues. Esse padrão é interpretável no contexto da gestão ágil, pois tarefas que envolvem esses termos tendem a ser mais complexas e demandar maior esforço. Para um Scrum Master, essa informação é acionável, permitindo reexaminar estimativas que foram impulsionadas por esses termos.
Em contraste, a feature `desc_length` apresentou um padrão direcional fraco. Descrições longas foram associadas tanto a valores SHAP positivos quanto negativos, sugerindo que o comprimento da descrição, isoladamente, não é um indicador confiável de esforço. Uma descrição pode ser longa devido a requisitos detalhados ou, alternativamente, por incluir informações redundantes ou logs completos, o que não necessariamente implica maior complexidade efetiva. Esse resultado desafia a intuição comum de que “descrição longa equivale a tarefa complexa”, e o mesmo padrão foi observado no Random Forest, indicando que equipes que dependem dessa heurística informal podem estar se baseando em um sinal fraco.
As features `title_length` e `title_desc_ratio` apresentaram relações não-lineares com o SHAP. Para `title_length`, títulos curtos foram associados a valores SHAP predominantemente negativos, enquanto títulos longos não produziram uma direção consistente. Para `title_desc_ratio`, valores extremos (muito altos ou muito baixos) geraram impactos maiores do que valores intermediários. Isso sugere que a desproporção entre o título e a descrição, em qualquer direção, é mais informativa do que a proporção em si, indicando que a falta de equilíbrio na comunicação textual pode ser um sinal de complexidade ou falta de clareza.
Análise local
A visualização waterfall decompôs a predição de uma observação individual em contribuições de cada feature, partindo do valor esperado (média das predições) e chegando ao valor predito. Essa rastreabilidade individual permitiu identificar quais features puxaram a predição para cima ou para baixo e em que magnitude. Essa transparência é crucial para Scrum Masters e Product Owners, pois lhes permite comparar a estimativa do modelo com a estimativa da equipe e identificar discrepâncias atribuíveis a características textuais específicas da issue. Por exemplo, se o modelo estima um valor substancialmente maior do que o time, a decomposição waterfall pode revelar que uma alta contagem de termos técnicos ou a presença de blocos de código inflaram a predição, fornecendo informações acionáveis para reexaminar a estimativa humana e mitigar o viés de ancoragem, conforme descrito por Mahnič e Hovelja (2012).
Interações entre features
O gráfico de dependência revelou uma interação entre `keyword_complexity` e `desc_length`. Para issues com alta frequência de termos técnicos, o efeito sobre a predição foi amplificado quando a descrição também era longa. Uma descrição que combina vocabulário técnico denso com extensão considerável sinalizou uma tarefa que envolveu múltiplas dimensões de complexidade (arquitetural, de integração, de refatoração), justificando estimativas mais elevadas. Essa interação não seria capturada por uma análise de importância univariada (MDI ou ganho), evidenciando o valor dos gráficos de dependência SHAP para identificar padrões multivariados nos dados. Os resultados do Random Forest para as quatro visualizações SHAP foram qualitativamente similares aos do XGBoost, com as mesmas features predominantes e os mesmos padrões direcionais, e as cinco features de maior impacto coincidiram integralmente entre os dois modelos.
Contextualização com a literatura
Os valores de MAE obtidos, entre 4,64 e 4,68 story points, foram superiores aos reportados por estudos que empregaram representações textuais de alta dimensionalidade. Choetkiertikul et al. (2019) alcançaram MAE de 2,08 com redes Long Short-Term Memory (LSTM) e Yalçıner et al. (2024) reportaram MAE de 2,15 com Sentence-BERT combinado a gradient boosted trees. A diferença na acurácia preditiva refletiu uma decisão de projeto deliberada, priorizando a interpretabilidade das nove features em detrimento da capacidade preditiva máxima. Representações semânticas de alta dimensão, embora capturem nuances linguísticas complexas, permanecem opacas para Scrum Masters e Product Owners, dificultando a compreensão do “porquê” das estimativas.
A robustez das métricas reportadas na literatura foi questionada por Tawosi et al. (2024), que, ao replicar o GPT2SP de Fu e Tantithamthavorn (2023), identificaram um erro no cálculo original de MAE e demonstraram que um preditor baseado na mediana dos story points por projeto alcançou desempenho competitivo com o modelo transformer após a correção. Essa constatação explicou, em parte, os valores de R² próximos de zero obtidos neste trabalho, pois a mediana já constituía um preditor forte, e o espaço residual para aprendizado foi estreito. Mesmo com R² próximo de zero, os modelos implementados produziram predições diferenciadas por issue e permitiram, via SHAP, rastrear quais atributos textuais influenciaram cada predição individual, rastreabilidade que um preditor de mediana não ofereceu. Alexander e Jayadi (2024) chegaram a uma conclusão análoga em comparação direta, na qual modelos de ML tradicionais mantiveram desempenho competitivo com Large Language Models em predição de story points, reforçando que a adoção de modelos interpretáveis não implicou perda significativa de acurácia em relação aos modelos de fronteira.
A distribuição de story points no Deep-SE seguiu a escala de Fibonacci (1, 2, 3, 5, 8, 13, 21…), utilizada para refletir incerteza crescente em tarefas maiores. Essa escala é ordinal, não intervalar, e o tratamento contínuo da variável, compartilhado pela totalidade dos estudos revisados (Choetkiertikul et al., 2019; Fu e Tantithamthavorn, 2023; Yalçıner et al., 2024), pode ter contribuído para a dificuldade dos modelos nos valores mais elevados da escala. Tawosi et al. (2022b) documentaram que a correlação entre story points e esforço real foi forte em apenas 7% dos projetos, com estimativas imprecisas em 78% dos casos, indicando que story points capturam percepções de complexidade relativa e não esforço absoluto. A análise SHAP revelou, portanto, os fatores textuais que influenciaram essas percepções, e não o tempo real de implementação.
Fernández-Diego et al. (2020) constataram que técnicas subjetivas, como planning poker e julgamento de especialistas, permanecem dominantes na indústria, apesar das evidências sobre abordagens automatizadas. A lacuna foi atribuída à falta de transparência dos modelos de ML, pois gestores resistem a ferramentas cujas predições não podem ser interpretadas. Pasuksmit et al. (2024) identificaram a qualidade da informação sobre as issues como a razão mais frequente para imprecisão nas estimativas, dimensão que a análise SHAP abordou ao quantificar a influência de atributos como comprimento textual, vocabulário técnico e blocos de código. Priya Varshini et al. (2025) validaram a combinação Random Forest + SHAP em estimativa de esforço de software, reportando melhora na confiança dos gestores, convergência metodológica que reforçou a pertinência da abordagem interpretável adotada neste trabalho.
Limitações do estudo
A limitação central do estudo residiu no espaço restrito de nove features estruturais e textuais. A exclusão de representações semânticas de alta dimensionalidade foi uma escolha deliberada para garantir a interpretabilidade dos resultados SHAP para Scrum Masters e Product Owners. Contudo, essa decisão resultou em um sinal preditivo limitado, evidenciado pelos valores de R² próximos de zero. Na prática, um coeficiente dessa magnitude implica que a predição pontual não deve ser adotada isoladamente para decisões críticas, pois a variância capturada foi insuficiente para planejamento de capacidade ou alocação de recursos. O valor da abordagem residiu na decomposição SHAP, que transformou predições individualmente imprecisas em diagnósticos acionáveis sobre os atributos textuais que influenciaram cada estimativa.
Os story points são inerentemente ruidosos como variável-alvo, conforme documentado por Tawosi et al. (2022b), que observaram uma correlação forte com o esforço real em apenas 7% dos projetos. Esse ruído intrínseco estabelece um teto de previsibilidade independente do modelo empregado. Além disso, os 16 projetos do Deep-SE eram de código aberto, com práticas de estimativa e maturidade ágil heterogêneas. O treinamento em modo cross-project, em vez de project-specific, diluiu padrões específicos de cada equipe, o que pode ter limitado o desempenho. A generalização para projetos proprietários com equipes estáveis e práticas padronizadas permanece como uma questão em aberto, dependendo de acesso a dados confidenciais.
O tratamento de story points como variável contínua constituiu uma simplificação, dado que a escala de Fibonacci é ordinal e a regressão tradicional não capturou sua estrutura discreta de forma ideal. Khan et al. (2025) propuseram um framework de aprendizado comparativo que infere esforço relativo, o que pode ser mais consistente com o processo decisório do planning poker. Outra limitação foi a ausência de features temporais, como a posição no backlog, a velocidade histórica da equipe ou a fase do sprint. Tawosi et al. (2022b) indicaram que essas features poderiam complementar as variáveis estruturais e ampliar o poder preditivo dos modelos, pois as correlações entre story points e esforço real variam ao longo do ciclo de vida do projeto.
Por fim, o custo computacional do SHAP em ambientes de produção representa uma limitação. Embora o TreeExplainer tenha sido viável para o conjunto de teste deste trabalho (4.663 observações), o cálculo de valores de Shapley para inferência em tempo real ou conjuntos com milhões de issues pode exigir estratégias como caching, amostragem ou aproximações estocásticas (KernelSHAP). Essas considerações são importantes para a escalabilidade da solução em contextos industriais de grande volume de dados.
Implicações práticas para a gestão ágil
A análise SHAP traduziu os resultados preditivos em recomendações práticas para Product Owners e Scrum Masters. Para Product Owners, a feature `keyword_complexity` emergiu como um indicador consistente de que issues que mencionam termos como “refactor”, “migrate”, “integration”, “API” e “database” recebem estimativas sistematicamente mais elevadas. Essa informação é crucial para mitigar o viés de ancoragem durante as sessões de planning poker, onde a familiaridade superficial com esses termos pode mascarar a complexidade real da tarefa. A decomposição SHAP oferece um contraponto ao viés, sinalizando issues que merecem discussão aprofundada antes da votação, permitindo uma estimativa mais informada.
Para Scrum Masters, a visualização waterfall funciona como uma ferramenta de diagnóstico individual. Ela permite comparar a estimativa do modelo com a do time e identificar as features responsáveis pela divergência. Se o modelo atribui uma estimativa elevada a uma issue avaliada com valor baixo pelo time, e a decomposição revela `code_snippet_count` e `keyword_complexity` como drivers, o Scrum Master pode reabrir a discussão sobre a complexidade técnica. O planning poker gera alinhamento por meio da discussão, e o SHAP gera alinhamento por meio da transparência dos fatores preditivos, atuando como abordagens complementares e não concorrentes, conforme a perspectiva de Moløkken-Østvold e Haugen (2007).
A abordagem do estudo reforça que o papel do modelo é fornecer uma perspectiva adicional, baseada em padrões extraídos de um grande volume de dados, enriquecendo a discussão sem substituir o julgamento da equipe. A escala de story points é uma convenção social, e o SHAP tornou explícitas as razões estruturais por trás da predição, permitindo à equipe avaliar se os mesmos fatores foram considerados em sua estimativa, em linha com a visão de Schwaber e Sutherland (2020) sobre a responsabilidade de dimensionamento pelos desenvolvedores. A baixa prevalência de práticas formais de especificação no conjunto de dados (0,4% de user stories canônicas e 7,1% de critérios de aceitação explícitos) constituiu um achado aplicável. Equipes que adotam sistematicamente critérios de aceitação e formato padronizado de user stories podem melhorar tanto a previsibilidade das estimativas quanto a riqueza das features disponíveis para modelos preditivos, conforme Pasuksmit et al. (2024) identificaram a qualidade da informação como um fator crítico para a precisão.
Em síntese, a pesquisa demonstrou que, embora os modelos preditivos baseados em features interpretáveis tenham apresentado um desempenho modesto em termos de acurácia pontual (MAE de 4,64 story points e R² próximo de zero), a combinação com a técnica SHAP transformou-os em uma ferramenta valiosa de suporte à decisão no planejamento ágil. A capacidade de explicar o “porquê” de cada estimativa, identificando a contribuição de atributos textuais como a quantidade de blocos de código, o comprimento do título e a frequência de termos técnicos, permitiu que Scrum Masters e Product Owners compreendessem e validassem as previsões, mitigando vieses e enriquecendo as discussões de planejamento, o que é fundamental para a adoção efetiva de modelos de Machine Learning em contextos de gestão ágil.
4. Conclusão
O presente estudo avaliou a viabilidade de modelos de aprendizado de máquina interpretáveis como suporte à decisão no planejamento ágil, combinando a predição de story points com a explicabilidade via SHAP. Implementaram-se três algoritmos de aprendizado supervisionado – Regressão Linear, Random Forest e XGBoost – para predizer story points a partir de nove features estruturais e textuais, extraídas de 23.313 issues de 16 projetos de código aberto. Verificou-se que o XGBoost obteve o menor Erro Absoluto Médio (4,64 story points), mas os três modelos apresentaram desempenho preditivo similar, indicando que o teto de previsibilidade foi imposto pelo espaço de features, e não pela capacidade intrínseca dos algoritmos. A análise SHAP quantificou a contribuição de cada feature, identificando a quantidade de blocos de código, o comprimento do título e a frequência de termos técnicos como os atributos de maior impacto nas estimativas. A principal contribuição do trabalho reside na configuração de uma ferramenta de suporte à decisão que, ao tornar explícitos os atributos textuais que influenciam as estimativas, permite a Scrum Masters e Product Owners compreenderem e validarem as previsões, mitigando vieses e enriquecendo as discussões de planejamento ágil, superando a limitação de “caixa-preta” de abordagens anteriores.
Contudo, o estudo apresentou limitações importantes, como o espaço restrito de nove features estruturais e textuais, uma escolha deliberada que resultou em um sinal preditivo limitado e valores de R² próximos de zero. Além disso, os story points são inerentemente ruidosos como variável-alvo, e o treinamento em modo cross-project sobre dados de projetos de código aberto introduziu heterogeneidade nas práticas de estimativa. O tratamento da escala de Fibonacci como variável contínua e a ausência de features temporais também constituíram simplificações. Para estudos futuros, sugere-se a exploração de arquiteturas híbridas que combinem features interpretáveis com representações semânticas de baixa dimensionalidade para elevar a acurácia sem sacrificar a transparência. Recomenda-se também a validação empírica da abordagem com Product Owners e Scrum Masters em estudos qualitativos, a fim de mensurar o efeito das visualizações SHAP na calibração das estimativas e na dinâmica das sessões de planning poker, aproximando os modelos de ML da adoção efetiva em ambientes de gestão ágil.
Referências Bibliográficas
Choetkiertikul, M.; Dam, H.K.; Tran, T.; Pham, T.; Ghose, A
Mahnič, V.; Hovelja, T. 2012. On using planning poker for estimating user stories. Journal of Systems and Software 85(9): 2086-2095.
Moløkken, K.; Jørgensen, M. 2003. A review of surveys on software effort estimation. IEEE Transactions on Software Engineering 29(10): 1104-1115.
Pasuksmit, J.; Thongtanunam, P.; Karunasekera, S. 2024. A systematic literature review on reasons and approaches for accurate effort estimations in agile. ACM Computing Surveys 56(11): 1-37.
Porru, S.; Murgia, A.; Demeyer, S.; Marchesi, M.; Tonelli, R. 2016. Estimating story points from issue reports. In: International Conference on Predictive Models and Data Analytics in Software Engineering, 12., 2016, Ciudad Real, Espanha. Proceedings… p. 1-10.
Schwaber, K.; Sutherland, J. 2020. The Scrum Guide: the definitive guide to Scrum, the rules of the game. Disponível em: <https://scrumguides.org/>. Acesso em: 30 mar. 2026.
Artigo oriundo de Trabalho de Conclusão de Curso da Especialização em Engenharia de Software do MBA USP/Esalq
Para saber mais sobre o curso, clique aqui e acesse a plataforma MBX Academy

