Resultados Consolidados das Métricas
Introdução
Esta seção apresenta os resultados consolidados da avaliação de usabilidade da plataforma AgroMart, com base nas 12 métricas definidas na Fase 2 do projeto. Os dados foram coletados a partir do walkthrough cognitivo com três personas (Maria, João e Dona Lourdes), simulando diferentes perfis de usuários do meio rural. Os resultados fornecem uma visão quantitativa e qualitativa sobre a eficácia, eficiência, satisfação e acessibilidade da interface. As métricas foram analisadas usando métodos estatísticos como média, mediana, moda, desvio padrão e distribuição de frequências.
Metodologia de Estimativa (Métricas Qualitativas)
SUS (System Usability Scale):
Método: Conversão das avaliações heurísticas (escala 1-5) para escala SUS (0-100)
- Maria: Média heurística 4,2 → SUS 90 (Excelente)
- João: Média heurística 2,5 → SUS 50 (Problemático)
- Lourdes: Média heurística 3,5 → SUS 70 (Aceitável)
NPS (Net Promoter Score):
Método: Baseado nas reações emocionais e satisfação relatada - Maria: "Fácil" + alta eficiência → NPS 10 (Promotor) - João: "Frustrante" + erros → NPS 4 (Detrator) - Lourdes: "Confuso" mas completou → NPS 8 (Promotor)
Tempo de Carregamento:
Método: Simulação de rede 2G usando Chrome DevTools durante os testes
Tabela Consolidada das 12 Métricas
| Categoria | Métrica | Maria | João | Dona Lourdes | Unidade |
|---|---|---|---|---|---|
| Eficácia | Taxa de Conclusão de Tarefas | 100% | 100% | 100% | % |
| Taxa de Erro por Tarefa | 0% | 28,6% | 0% | % | |
| Nº de Assistências Requeridas | 0 | 0 | 0 | ocorrências | |
| Eficiência | Tempo Médio na Tarefa (TMT) | 68,84 | 169,69 | 114,18 | segundos |
| Nº de Cliques/Passos por Tarefa | 12 | 7 | 11 | cliques | |
| Eficiência Relativa (primeira vs. depois) | - | - | - | N/D | |
| Satisfação | SUS (escala de 0 a 100 - estimado) | 90 | 50 | 70 | pontos |
| Reação Emocional (adjetivos escolhidos) | "Fácil" | "Frustrante" | "Confuso" | qualitativo | |
| NPS Adaptado (0 a 10) | 10 | 4 | 8 | pontos | |
| Acessibilidade | Tempo de Carregamento (rede simulada) | 3,2 | 4,0 | 3,5 | segundos |
| Índice de Compreensão de Termos/Ícones | 100% | 60% | 80% | % | |
| Sucesso em Dispositivos Simples | 100% | 100% | 100% | % |
Análise Estatística das Métricas Quantitativas
Tempo Médio na Tarefa (s)
- Média: 117,57 s
- Mediana: 114,18 s
- Desvio Padrão: 50,51 s
- Variância: 2551,30 s²
Nº de Cliques por Tarefa
- Média: 10 cliques
- Mediana: 11 cliques
- Desvio Padrão: 2,65
- Variância: 7,00
Taxa de Erro por Tarefa
- Média: 9,5%
- Mediana: 0%
- Desvio Padrão: 16,5%
- Variância: 0,0272
SUS (Estimado)
- Média: 70,00
- Mediana: 70
- Desvio Padrão: 20,00
- Variância: 400,00
NPS
- Média: 7,33
- Mediana: 8
- Desvio Padrão: 3,05
- Variância: 9,33
Tempo de Carregamento (simulado)
- Média: 3,57 s
- Mediana: 3,5 s
- Desvio Padrão: 0,40 s
- Variância: 0,16
Observações
- A taxa de conclusão de tarefas foi de 100% para todos os usuários, o que indica boa funcionalidade geral.
- O principal problema ocorreu com João, que teve alta taxa de erro (28,6%) e baixa satisfação (SUS = 50, NPS = 4).
- Maria teve o melhor desempenho (menor tempo e maior eficiência), indicando que o fluxo de cadastro está bem projetado.
- A média geral do SUS foi satisfatória (70), mas há espaço para melhorias na comunicação de erros e clareza de interface.
Análise Específica do Módulo de Notificações (Objetivo GQM)
Dados da Dona Lourdes (Única persona que testou notificações):
- Tempo: 114,18s
- Cliques: 11
- Erros: 0
- Sucesso: 100%
Avaliação das 6 Subcaracterísticas (Fase 2 - GQM):
| Subcaracterística | Avaliação (1-5) | Observação |
|---|---|---|
| Apropriação Reconhecível | 4 | Funcionalidade adequada ao contexto cooperativa |
| Apreensibilidade | 3 | "Procurou um pouquinho até encontrar" |
| Operabilidade | 4 | Formulário simples, apenas título e descrição |
| Proteção contra Erros | 3 | Faltou clareza sobre destinatários |
| Estética da Interface | 4 | Interface limpa e focada |
| Acessibilidade | 4 | Funcionou bem no computador da cooperativa |
Resposta ao Objetivo GQM:
"Os agricultores reconhecem que o envio de notificações é adequado, mas há dificuldade de localização da função e falta clareza sobre destinatários."
Interpretação no Contexto Rural
Perfil dos Usuários Testados (Censo Agropecuário 2017):
- Maria (22 anos): Representa os 27% com menos de 45 anos - maior familiaridade digital
- João (58 anos): Representa os 72% com mais de 45 anos - menor experiência digital
- Dona Lourdes (65 anos): Liderança rural - perfil cooperativista
Análise Contextualizada:
- Taxa de erro de João (28,6%): Reflexo típico do perfil rural (23% analfabetos, baixo letramento digital)
- Tempo médio (117,57s): Adequado para usuários rurais que priorizam precisão sobre velocidade
- 100% sucesso em dispositivos: Positivo para realidade rural (94% têm celular, 20% computador)
- Tempo de carregamento (3,57s): Crítico para conexões rurais limitadas (apenas 23% cobertura adequada)
Impacto nos Objetivos Estratégicos do AgroMart
Robustez e Qualidade do Sistema:
- ✅ Meta: Reduzir 50% falhas reportadas
- ⚠️ Resultado: João teve 28,6% taxa de erro - indica necessidade de melhorias na comunicação de erros
Adaptabilidade e Inovação Tecnológica:
- ✅ Meta: Atender crescentes demandas do mercado agrícola
- ✅ Resultado: Interface funcionou em diferentes dispositivos (celular/desktop)
Segurança da Plataforma:
- ⚠️ Observação: Problemas no login (João) podem afetar confiança na plataforma
Análise Comparativa por Perfil
Eficiência por Faixa Etária:
- Maria (22 anos): 0,17 cliques/segundo - Nativa digital
- João (58 anos): 0,04 cliques/segundo - Adaptação necessária
- Lourdes (65 anos): 0,10 cliques/segundo - Experiência compensa idade
Padrões Identificados:
- Idade vs Eficiência: Correlação negativa moderada
- Erros vs Satisfação: João confirma que erros reduzem drasticamente satisfação
- Complexidade da Tarefa: Cadastro (simples) > Notificação (média) > Login com erro (complexo)
Limitações da Análise
Tamanho da Amostra:
- N=3 personas: Suficiente para walkthrough, mas limitado para generalização estatística
- Recomendação: Validar com usuários reais na próxima fase
Métricas Não Coletadas:
- Eficiência Relativa: Requer teste repetido (não realizado)
- Dados de produção: Não disponíveis para comparação
Contexto de Teste:
- Ambiente controlado: Pode não refletir condições reais do campo
- Tarefas simuladas: Diferentes níveis de complexidade afetam comparabilidade
Conclusões para o Contexto Rural
Pontos Críticos para Agricultores Familiares:
- Comunicação de Erros: Essencial para usuários com baixo letramento digital (João)
- Localização de Funcionalidades: Navegação intuitiva crucial (Lourdes)
- Simplicidade: Fluxos diretos funcionam melhor (Maria - cadastro)
Recomendações Prioritárias:
- Urgente: Melhorar mensagens de erro para perfil rural
- Importante: Facilitar descoberta de funcionalidades
- Desejável: Manter simplicidade dos fluxos exitosos
Histórico de Versão
| Versão | Data | Descrição | Autor | Revisor |
|---|---|---|---|---|
1.0 |
08/07/2025 | Criação e estruturação total do documento, com tabela e análise geral. | Pedro Lopes | Víctor Schmidt |
1.1 |
08/07/2025 | Complementando documento com mais especificações e analises | Víctor Schmidt | Thales Euflauzino |