Confiabilidade - M2: Percentual de requisitos que possuem testes automatizados associados
Introdução
Na presente execução da análise de confiabilidade do Agromart, foi definida, durante a Fase 2 do projeto, métricas que seriam utilizadas para avaliação do software. Logo, este documento tem como objetivo sintetizar os achados da métrica M2 de confiabilidade do Agromart: Percentual de requisitos com testes automatizados associados.
Referencial teórico
Para executar a avaliação, o meterial utilizado para a medição foi o PSM, com a aplicação do framework CID [1]. Tendo em vista a completude da especificação de medida da cobertura de testes automatizados, serão analisadas duas medidas derivadas: porcentagem de requisitos testados por automação e porcentagem de requisitos não testados.
Essa escolha se justifica uma vez que, queremos compreender o percentual de requisitos que são testados por automação, fazendo com que a confiabilidade do sistema persista durante o desenvolvimento do software, de acordo com os requisitos elicitados.
Análise
Dessa forma, a avaliação será feita de forma manual, com a análise dos testes implementados na API do AgroMart, além da documentação de todos os requisitos elicitados do AgroMart, com foco nos requisitos funcionais.
Assim, foi verificado o requisito e identificado se existe ou não um teste automatizado para o mesmo.
Os critérios de julgamento e níveis de pontuação da métrica serão utilizados conforme especificados na Fase 2.
Execução da análise
Na Tabela 1, está presente a análise realizada sobre a cobertura de testes automatizados para os requisitos elicitados.
A organização da tabela está feita de acordo com o requisito e existência ou não de um teste automatizado.
Tabela 1 – Avaliação e pontuação dos critérios de aceitação das histórias de usuário do Agromart
| Requisito | Existe um teste automatizado referente a esse requisito? |
|---|---|
| RF-1 | Sim |
| RF-2 | Sim |
| RF-3 | Sim |
| RF-4 | Não |
| RF-5 | Sim |
| RF-6 | Sim |
| RF-7 | Sim |
| RF-8 | Não |
| RF-10 | Sim |
| RF-11 | Não |
| RF-12 | Não |
| RF-13 | Não |
| RF-14 | Não |
| RF-15 | Não |
| RF-16 | Não |
| RF-17 | Não |
| RF-18 | Não |
| RF-19 | Não |
| RF-20 | Não |
| RF-21 | Sim |
| RF-22 | Sim |
| RF-23 | Não |
| RF-24 | Sim |
| RF-25 | Sim |
| RF-26 | Sim |
| RF-27 | Não |
Autor: Júlia Fortunato
Resultados
A análise evidenciou lacunas relevantes na cobertura de testes automatizados dos requisitos funcionais. Conforme verificado, não existem testes implementados para funcionalidades relacionadas ao carrinho e alguns outros requisitos classificados como “must” — ou seja, de alta prioridade —, o que compromete a confiabilidade do sistema nessas áreas críticas e de extrema importância para o usuário.
A Tabela 1 apresenta o total de 26 requisitos funcionais identificados, dos quais 3 foram priorizados como “Won’t have”, resultando em 23 requisitos funcionais avaliados quanto à presença de testes automatizados.
Tabela 2 – Quantidade de requisitos
| Requisitos funcionais totais | Requisitos priorizados como "Won't have" | Total de requisitos funcionais avaliados |
|---|---|---|
| 26 | 3 | 23 |
Autor: Júlia Fortunato
Já a Tabela 2 mostra a distribuição de testes automatizados entre esses requisitos funcionais avaliados. Apenas 12 dos 23 requisitos (52,17%) possuem testes automatizados, enquanto os 11 restantes (47,83%) seguem sem qualquer tipo de verificação automatizada associada na suíte de testes atual do AgroMart. Esse cenário revela uma cobertura de testes ainda limitada, especialmente considerando que há funcionalidades essenciais sem validação automatizada.
Tabela 2 – Distribuição de testes automatizados para requisitos funcionais
| Categoria | Quantidade | Porcentagem |
|---|---|---|
| Total de requisitos funcionais | 23 | 100% |
| Requisitos com testes automatizados | 12 | 52,17% |
| Requisitos sem testes automatizados | 11 | 47,83% |
Autor: Júlia Fortunato
Dessa forma, o nível de cobertura identificado para a métrica é considerado regular, e reforça a necessidade de ações de melhoria, especialmente no que diz respeito à priorização de testes para requisitos classificados como críticos. A ausência de testes automatizados em quase metade dos requisitos avaliados evidencia um risco à robustez, à manutenção do sistema e a confiabilidade da implementação dos requisitos.
Bibliografia
- Suíte de testes do AgroMart. Disponível em: https://github.com/AgroMart/api/tree/devel/tests. Acesso em: 07 de julho de 2025.
- Priorização de requisitos do AgroMart. Disponível em: https://agromart.github.io/docs/docs/requisitos/priorizacao/moscow. Acesso em: 07 de julho de 2025.
Referências Bibliográficas
[1] JONES, C. et al. Practical Software and Systems Measurement Continuous Iterative Development Measurement Framework Part 2: Measurement Specifications and Enterprise Measures Editors. [s.l: s.n.]. Disponível em: https://www.ndia.org/-/media/sites/ndia/divisions/systems-engineering/studies-and-reports/cid-measurement-framework-part-2---v2-1.pdf. Acesso em: 07 de julho de 2025.
Histórico de Versões
| Versão | Data | Descrição | Autor | Revisor |
|---|---|---|---|---|
1.0 |
07/07/2025 | Criação do documento | Júlia Fortunato | Maurício Ferreira |