Planejamento da Avaliação AgroMart - GQM + Q-Rapids
Introdução
Este documento visa realizar o planejamento da avaliação de produto de software conforme a visão definida pela NBR ISO/IEC 14598 que tem como objetivo fornecer um framework para realizar a avaliação em diferentes perspectivas, incluindo planejamento, gestão, documentação e execução da avaliação.
1. Estabelecimento de requisitos da avaliação
(Conforme seção 7 da ISO/IEC 14598-1)
1.1 Propósito da avaliação
Avaliar a qualidade final do software AgroMart, considerando os efeitos positivos e negativos de sua utilização por usuários reais, com base em métricas definidas pelo método GQM (Goal-Question-Metric) e fundamentadas no modelo Q-Rapids. A meta é identificar oportunidades de melhoria e executar pelo menos uma ação concreta de melhoria.
1.2 Tipo de avaliação
- Natureza: Avaliação externa.
- Base: Produto final em uso.
- Foco: Qualidade em uso e qualidade externa.
- Método: Avaliação prática com usuários reais, representativos do público-alvo do sitema.
1.3 Contexto de uso
- Público alvo: pessoas de zona rural, com baixa escolaridade.
- Ambiente: Dispositivos móveis (smartphones), conexão limitada.
- Tarefas-chave: Cadastro e realização da primeira compra
1.4 Objetivos de medição e métrica (Estrutura GQM)
Objetivo 1: Facilidade de Aprendizado - Meta: 80% de usuários autônomos na primeira interação
| Questão | Métrica | Tipo | Unidade |
|---|---|---|---|
| Q1.1: Qual a taxa de sucesso sem ajuda? | M1.1 - Taxa de sucesso | Externa | % |
| Q1.2: Tempo até a primeira compra? | M1.2 - Tempo até compra | Externa | Minutos |
| Q1.3: Qual a satisfação inicial? | M1.3 - CSAT | Esterna | Escala 1-5 |
Objetivo 2: Eficiência no Uso Contínuo - Meta: 90% de satisfação com navegação (nota ≥ 4)
| Questão | Métrica | Tipo | Unidade |
|---|---|---|---|
| Q2.1: Qual o tempo de resposta? | M2.1 – Latência | Técnica | ms |
| Q2.2: Quantos cliques por fluxo? | M2.2 – Cliques por fluxo | Interna | Nº de cliques |
| Q2.3: Qual o NPS de recorrentes? | M2.3 – NPS | Externa | Escala -100 a +100 |
2. Especificação da avaliação
(Conforme seções 8.1, 8.2 e 8.3 da ISO/IEC 14598-1 )
2.1 Seleção das métricas
Métricas Técnicas (Tempo estimado: 30 min)
- M2.1 - Latência: Usar DevTools do navegador para medir tempos de resposta.
- M2.2 - Cliques: Contagem manual durante navegação pelos fluxos principais.
Métricas de Usabilidade (Tempo estimado: 1-2 horas)
- M1.1 - Taxa de Sucesso: Teste com 5-10 usuários (amigos/família)
- M1.2 - Tempo de Onboarding: Cronômetro durante testes de usabilidade
- M1.3 - CSAT: Pesquisa de 1 a 5 (formulário Google pós-interação)
Métricas de Satisfação (Tempo estimado: 30 min)
- M2.3 - NPS: Pesquisa online para usuários existentes (se disponível)
2.2 Tipos de medição
| Tipo | Descrição |
|---|---|
| Direta | Ex.: Contagem de cliques, latência com ferramentas |
| Indireta | Ex.: NPS, CSAT e tempo até compra (influenciado por múltiplos fatores) |
| Interna | Ex.: Número de cliques (sem executar sistema) |
| Externa | Ex.: Taxa de sucesso, satisfação, NPS |
| Qualitativa | Ex.: Comentários abertos dos usuários |
| Quantitativa | Ex.: Tempo, % de sucesso, notas numéricas |
2.3 Requisitos para medição
- As métricas devem ser fáceis de coletar, econômicas e confiáveis;
- As ferramentas de coleta devem minimizar viés;
- O perfil do usuário avaliado deve representar fielmente o público-alvo;
- As medições devem ocorrer em ambiente próximo do uso real.
2.4 Estabelecimento de níveis de pontuação
| Métrica | Limiar de Risco | Limiar de Alerta | Limiar de Sucesso |
|---|---|---|---|
| M1.1 – Sucesso | < 70% | 70–80% | > 80% |
| M1.2 – Tempo | > 7 min | 5–7 min | < 5 min |
| M1.3 – CSAT | < 3.5 | 3.5–4.0 | > 4.0 |
| M2.1 – Latência | > 3000ms | 2000–3000ms | < 2000ms |
| M2.2 – Cliques | > 7 | 5–7 | < 5 |
| M2.3 – NPS | < 6 | 6–7 | > 7 |
2.5 Criterios para julgamento
- Se ≥ 4 das 6 métricas estiverem no nível de sucesso, considera-se que o sistema atingiu a qualidade esperada;
- Métricas no limite de alerta indicam necessidade de melhorias localizadas;
- Qualquer métrica em nível de risco deve gerar ação corretiva imediata;
- Recomendações baseadas no julgamento final serão documentadas para orientar futuras versões do AgroMart.
3. Projeto da avaliação
(Conforme seção 9 da ISO/IEC 14598-1)
3.1 Produzir o plano de avaliação
O plano de avaliação descreve a maneira como dados serão coletados, quais ferramentas serão utilizadas, os métodos de aplicação, recursos necessários e cronograma estimado.
Ferramentas utilizadas (Gratuitas):
| Ferramenta | Finalidade |
|---|---|
| DevTools (Chrome ou Firefox) | Medição de tempo de resposta (latência) durante a navegação |
| Cronômetro (manual ou app) | Medição de tempo até completar tarefas (onboarding) |
| Google Forms | Coleta de dados de satisfação (CSAT, NPS) pós-uso |
| Google Sheets / Excel | Registro, análise e visualização das métricas coletadas |
Tamanho e Perfil da amostra:
- Número de participantes recomendados:
- Usabilidade: 5 a 10 usuários reais representativos (preferencialmente da zona rural com baixa instrução)
-
Métricas técnicas: 3 a 5 sessões completas com diferentes dispositivos ou conexões
-
Critério de seleção dos usuários:
-
Devem refletir o público-alvo real do AgroMart (usuários com baixa familiaridade com tecnologia, foco em mobile)
-
Método de participação:
- Observação direta (presencial ou remota)
- Preenchimento de questionário ao final do uso
Cronograma estimado de execução
| Atividade | Duração estimada |
|---|---|
| Testes de usabilidade (por participante) | \~10-15 minutos |
| Total de sessões com 5-10 usuários | \~1 a 2 horas |
| Coleta de métricas técnicas (latência, cliques) | \~30 minutos |
| Análise e consolidação de dados | \~1 hora |
Itens que serão registrados
| Item | Métrica associada | Método |
|---|---|---|
| Taxa de sucesso na 1ª tarefa | M1.1 | Observação direta |
| Tempo até a primeira compra | M1.2 | Cronômetro |
| Satisfação após uso | M1.3 | CSAT via formulário |
| Latência média do sistema | M2.1 | DevTools |
| Cliques por fluxo de compra | M2.2 | Contagem manual |
| NPS de usuários recorrentes | M2.3 | Formulário online |
Entregáveis do projeto de avaliação
- Registro tabulado de todas as métricas
- Gráficos comparativos por limiar (Risco, Alerta, Sucesso)
- Tabela de julgamento final (quais métricas atingiram as metas)
- Sugestão de ações corretivas ou melhorias, se necessário
4. Execução da avaliação
(Com base na seção 10 da ISO/IEC 14598-1)
4.1 Obtenção de medidas
A coleta de dados foi realizada com base nas métricas definidas na Etapa 2, utilizando ferramentas gratuitas e métodos práticos para capturar atributos de qualidade externa e interna, conforme exigido pela ISO/IEC 14598.
4.1.1 Métricas técnicas (Tempo estimado: 30 minutos)
| Métrica | Método de Coleta | Ferramenta |
|---|---|---|
| M2.1 – Latência | Medição do tempo de carregamento e resposta do sistema | DevTools (Chrome ou Firefox) |
| M2.2 – Cliques por fluxo | Contagem manual ao seguir o fluxo de compra | Navegação assistida |
4.1.2 Métricas de Usabilidade (Tempo estimado: 1–2 horas)
| Métrica | Método | Procedimento |
|---|---|---|
| M1.1 – Taxa de sucesso | Teste com usuários | Observar se o usuário consegue completar tarefa sem ajuda |
| M1.2 – Tempo até primeira compra | Cronômetro | Medição desde início até simulação de compra |
| M1.3 – CSAT inicial | Questionário (1 a 5) | Google Forms após tarefa |
4.1.3 Métricas de Satisfação (Tempo estimado: 30 min)
| Métrica | Método | Instrumento |
|---|---|---|
| M2.3 – NPS | Pesquisa online | Google Forms com pergunta: “Você recomendaria o AgroMart?” (0 a 10) |
4.2 Comparação com critérios
Após a coleta, os dados serão organizados em uma tabela conforme abaixo:
| Métrica | Valor Obtido | Limiar de Sucesso | Status | Observações |
|---|---|---|---|---|
| M1.1 | (a preencher) | > 80% | — | — |
| M1.2 | (a preencher) | < 5 min | — | — |
| M1.3 | (a preencher) | > 4.0 | — | — |
| M2.1 | (a preencher) | < 2000 ms | — | — |
| M2.2 | (a preencher) | < 5 cliques | — | — |
| M2.3 | (a preencher) | > 7 | — | — |
4.3 Roteiro de julgamento dos resultados
Após coleta dos dados: - Os valores serão comparados com os limiares definidos na Etapa 2. - A avaliação será classificada como: - Sucesso (se ≥ 4 métricas no limiar de sucesso) - Alerta (caso várias métricas fiquem em zona intermediária) - Risco (se houver métricas abaixo do limiar mínimo)
4.4 Roteiro para Ação de Melhoria
Caso um problema seja identificado (especialmente se uma métrica estiver em nível de risco), será executada uma ação de melhoria. A escolha da ação dependerá do tipo de problema:
| Tipo de Problema | Ação de Melhoria Prevista |
|---|---|
| Interface/Usabilidade | Criação de protótipo de fluxo simplificado (ex: Figma) |
| Desempenho técnico | Análise e otimização de código (backend ou frontend) |
| Comunicação/ajuda | Melhorar textos, ícones ou tutoriais |
| Processo de design | Ajuste no processo com foco no usuário final |
Cada ação será: - Documentada com justificativa - Implementada (protótipo ou código real) - Validada com reteste ou nova simulação
4.5 Cronograma estimado
| Etapa | Duração Estimada | Responsável |
|---|---|---|
| Coleta técnica | 30 min | [Nome] |
| Testes de usabilidade | 1–2 horas | [Nome] |
| Pesquisas de satisfação | 30 min | [Nome] |
| Análise e julgamento | 1 hora | [Nome] |
| Ação de melhoria (protótipo ou código) | 2–4 horas | [Nome] |
| Total estimado | 5–8 horas | Equipe |
4.6 Critérios de sucesso da etapa 4
| Fase | Critério |
|---|---|
| Coleta | Todas as 6 métricas foram coletadas corretamente |
| Análise | Cada métrica foi julgada com base nos limiares definidos |
| Ação de Melhoria | Pelo menos uma ação foi executada com base em uma métrica crítica |
5. Julgamento e conclusão da avaliação
Esta etapa define como será realizado o julgamento final da avaliação do sistema AgroMart, com base nas métricas definidas, critérios de sucesso e ações corretivas previamente planejadas. Os resultados reais ainda serão preenchidos após a execução.
5.1 Critérios de julgamento
A avaliação será considerada bem-sucedida se atender aos seguintes critérios: - Mínimo de 4 das 6 métricas no nível de sucesso (conforme limiares definidos na Etapa 2); - Nenhuma métrica deve estar no nível de risco; - Pelo menos uma ação de melhoria executada e validada; - As decisões devem estar fundamentadas nos dados coletados (evidência empírica).
5.2 Estrutura da tabela final de resultados
| Métrica | Valor Obtido | Limiar | Status | Observações |
|---|---|---|---|---|
| M1.1 – Taxa de Sucesso | (—) | >80% | (—) | (—) |
| M1.2 – Tempo de Onboarding | (—) | <5 min | (—) | (—) |
| M1.3 – CSAT inicial | (—) | >4.0 | (—) | (—) |
| M2.1 – Latência média | (—) | <2000 ms | (—) | (—) |
| M2.2 – Cliques por fluxo | (—) | <5 cliques | (—) | (—) |
| M2.3 – NPS | (—) | >7 | (—) | (—) |
5.3 Interpretação planejada
A análise será realizada da seguinte forma: - Sucesso: ≥ 4 métricas em nível de sucesso → Sistema atinge qualidade esperada; - Alerta: ≥ 2 métricas no limiar intermediário → Recomendação de melhorias localizadas; - Risco: ≥ 1 métrica no nível crítico → Intervenção obrigatória antes de considerar a liberação do sistema.
5.4 Ação de melhoria planejada
Caso ao menos uma métrica esteja no nível de risco, será obrigatório realizar uma ação de melhoria, conforme as diretrizes:
| Situação | Exemplo de Ação |
|---|---|
| Alta taxa de falha na tarefa | Redesenhar o fluxo de navegação |
| Latência elevada | Otimização do carregamento de dados/imagens |
| Baixa satisfação | Revisão de conteúdo, ajuda, interface visual |
Todas as ações: - Devem ser documentadas com justificativa baseada nos dados; - Devem ser validadas por meio de reteste ou simulação; - Devem gerar evidências de melhoria percebida.
5.5 Documentos e entregaveis
- Tabela consolidada de métricas e julgamentos;
- Gráficos comparativos:
- Descrição da ação de melhoria implementada;
- Evidência da validação da ação;
- Relatório completo da avaliação.
5.6 Considerações finais
A avaliação planejada do sistema AgroMart visa não apenas verificar a conformidade com critérios de qualidade (em uso e externa), mas também promover um ciclo contínuo de medição → análise → ação de melhoria, conforme proposto pelas normas da família ISO/IEC 14598.
Essa abordagem garante: - Foco no usuário final; - Apoio a decisões de liberação, correção ou retrabalho; - Aderência a boas práticas de avaliação da qualidade de software.
Histórico de Versões
| Versão | Descrição | Autor | Data | Revisor | Data de revisão |
|---|---|---|---|---|---|
| 1.0 | Versão inicial do documento | Jessica Eveline | 05/07/2025 | Ruan Carvalho | 05/07/2025 |
| 1.1 | Versão atualizada do documento | Ruan Carvalho | 08/07/2025 | Jéssica Eveline | 08/07/2025 |