Skip to content

Análise Comparativa

Introdução

Após a coleta e consolidação dos dados da avaliação de usabilidade com os perfis de usuários (Maria, João e Dona Lourdes), esta seção apresenta uma análise comparativa entre os resultados obtidos nas métricas avaliadas e os critérios de julgamento estabelecidos. O objetivo é verificar se os objetivos de usabilidade, eficiência, acessibilidade e satisfação foram atingidos e, com base nisso, priorizar os problemas mais críticos encontrados.

A análise considera o contexto rural brasileiro e foca especialmente no módulo de notificações, conforme objetivo principal definido no modelo GQM da Fase 2.

Critérios de Julgamento

Baseado no Grau de Relevância (Fase 2):

Métricas Críticas (Relevância 5/5):

  • Taxa de Conclusão de Tarefas
  • Tempo Médio na Tarefa
  • SUS (Satisfação)
  • Tempo de Carregamento
  • Compreensão de Termos/Ícones

Métricas Importantes (Relevância 4/5):

  • Número de Assistências
  • Número de Cliques
  • Teste de Reação Emocional
  • NPS Adaptado

Critérios de Aceitação Estabelecidos:

Com base na literatura de usabilidade e contexto rural brasileiro: - Taxa Conclusão: ≥ 80% (padrão indústria) - Tempo Médio: < 120s (adequado para perfil rural) - SUS: ≥ 68 (acima de "OK" na escala SUS) - Taxa de Erro: < 15% (tolerável para novos usuários) - Carregamento: ≤ 5s (conexões rurais limitadas) - Compreensão: ≥ 75% (considerando baixo letramento digital)

Tabela de Comparação entre Métricas e Critérios

Métrica Resultado Obtido Critério Estabelecido Status
Taxa de Conclusão de Tarefa 100% ≥ 80% ✅ ATENDIDO
Taxa de Erro por Tarefa (Média) 9,5% < 15% ✅ ATENDIDO
Taxa de Erro por Tarefa (João - Crítico) 28,6% < 15% ❌ CRÍTICO
Número de Assistências Requeridas 0 0 a 1 ✅ ATENDIDO
Tempo Médio na Tarefa 117,57s < 120s ✅ ATENDIDO
Número de Cliques/Passos por Tarefa 10 cliques ≤ 12 ✅ ATENDIDO
SUS (Média) 70,00 ≥ 68 ✅ ATENDIDO
SUS (João - Crítico) 50 ≥ 68 ❌ FALHOU
Teste de Reação Emocional "Fácil", "Confuso" Maioria positiva ⚠️ PARCIAL
Net Promoter Score (NPS) Adaptado 7,33 ≥ 7 ✅ ATENDIDO
Tempo de Carregamento (rede 2G simulada) 3,57s ≤ 5s ✅ ATENDIDO
Índice de Compreensão de Termos/Ícones (Média) 80% ≥ 75% ✅ ATENDIDO
Índice de Compreensão (João - Crítico) 60% ≥ 75% ❌ FALHOU
Sucesso em Dispositivos de Baixo Custo 100% ≥ 80% ✅ ATENDIDO

Observação: A métrica de Eficiência Relativa não foi aplicada pois os participantes não repetiram as tarefas.

Análise Detalhada por Persona

Maria (Tarefa: Cadastro de Usuários) - ✅ EXCELENTE

  • Tempo: 68,84s (muito eficiente - 40% abaixo da média)
  • Cliques: 12 (adequado para a complexidade)
  • Erros: 0% (execução perfeita)
  • SUS: 90 (excelente - muito acima do mínimo)
  • Eficiência: 0,17 cliques/segundo (melhor performance)
  • Status: Todos os critérios superados significativamente

João (Tarefa: Login com Erro) - ❌ CRÍTICO

  • Tempo: 169,69s (muito lento - 44% acima da média)
  • Cliques: 7 (poucos, mas ineficientes devido a erros)
  • Erros: 28,6% (MUITO ACIMA do limite aceitável)
  • SUS: 50 (problemático - 26% abaixo do mínimo)
  • Compreensão: 60% (abaixo do critério de 75%)
  • Status: FALHA CRÍTICA - representa risco para 72% dos usuários rurais

Dona Lourdes (Tarefa: Notificações) - ⚠️ ADEQUADO COM RESSALVAS

  • Tempo: 114,18s (dentro do limite, próximo à média)
  • Cliques: 11 (normal para a funcionalidade)
  • Erros: 0% (execução bem-sucedida)
  • SUS: 70 (aceitável - ligeiramente acima do mínimo)
  • Status: Funcional, mas com problemas de navegação e clareza

Análise Específica do Módulo de Notificações (GQM)

Conforme objetivo principal definido na Fase 2 (GQM), a avaliação específica do módulo de notificações com Dona Lourdes revelou:

Avaliação das 6 Subcaracterísticas:

Subcaracterística Resultado (1-5) Critério Mínimo Status Observação
Apropriação Reconhecível 4 ≥ 3 ✅ ATENDIDO Adequado ao contexto cooperativa
Apreensibilidade 3 ≥ 3 ✅ LIMITE Dificuldade inicial de localização
Operabilidade 4 ≥ 3 ✅ ATENDIDO Formulário simples e direto
Proteção contra Erros 3 ≥ 3 ✅ LIMITE Falta clareza sobre destinatários
Estética da Interface 4 ≥ 3 ✅ ATENDIDO Interface limpa e focada
Acessibilidade 4 ≥ 3 ✅ ATENDIDO Funcionou bem no computador

Resposta ao Objetivo GQM:

"Os agricultores conseguem usar o envio de notificações, mas há barreiras significativas na localização da função e falta de clareza sobre o alcance das mensagens, impactando a eficiência e confiança no sistema."

Métricas Quantitativas do Módulo:

  • Tempo de Execução: 114,18s (adequado)
  • Taxa de Sucesso: 100% (positivo)
  • Problemas Identificados: 2 (navegação e destinatários)

Classificação de Problemas por Severidade (Nielsen)

Baseado nas avaliações heurísticas documentadas no walkthrough e na escala de severidade de Nielsen:

Problema Identificado Heurística Violada Severidade Nielsen Persona Afetada Impacto Prioridade
Mensagens de erro inadequadas H9 (Recuperação de Erros) 4 - Catástrofe João 72% usuários rurais 🔺 CRÍTICA
Dificuldade localizar notificações H6 (Reconhecimento vs Memorização) 3 - Grave Lourdes Eficiência operacional 🔺 ALTA
Falta clareza sobre destinatários H1 (Visibilidade do Status) 2 - Leve Lourdes Confiança no sistema ⚠️ MÉDIA

Justificativas Baseadas no Walkthrough:

  • João H9=1: "não achei muito clara não", "me deixou meio frustrado", "não consegui saber o que estava errando"
  • Lourdes H6=2: "procurei um pouquinho até encontrar"
  • Lourdes H1=4: "não sei para quem foi enviado mesmo"

Fórmula de Priorização:

Prioridade = Severidade × Frequência × Impacto no Negócio

Conclusão da Análise Comparativa

Conformidade Geral: ⚠️ PARCIALMENTE ADEQUADA

Resultados por Categoria:

  • Eficácia: ✅ Adequada (100% conclusão geral, mas com ressalvas)
  • Eficiência: ⚠️ Parcial (média boa, mas João com problemas graves)
  • Satisfação: ⚠️ Parcial (média aceitável, mas dispersão alta)
  • Acessibilidade: ✅ Adequada (funcionou em todos os dispositivos testados)

Problemas Críticos Identificados:

  1. 🔺 URGENTE - Sistema de Recuperação de Erros:

    • João representa 72% dos usuários rurais (+45 anos)
    • Taxa de erro 28,6% compromete objetivo de "reduzir 50% das falhas"
    • SUS 50 indica alto risco de abandono da plataforma

  2. 🔺 IMPORTANTE - Navegação de Notificações:

    • Função central do GQM com problemas de descobribilidade
    • Impacta eficiência operacional dos administradores rurais

  3. ⚠️ MODERADO - Clareza de Comunicação:

    • Feedback do sistema adequado, mas falta especificidade
    • Pode gerar confusão e retrabalho

Impacto nos Objetivos Estratégicos do AgroMart:

  • Robustez e Qualidade: ❌ Meta comprometida (problemas críticos identificados)
  • Segurança da Plataforma: ⚠️ Problemas de login afetam confiança
  • Adaptabilidade: ✅ Interface responsiva funcionou bem

Recomendação Final:

❌ REQUER CORREÇÕES OBRIGATÓRIAS antes da liberação para produção

Próximos Passos: 1. Implementar melhorias nas mensagens de erro (Prioridade Crítica) 2. Reestruturar navegação do módulo de notificações (Prioridade Alta) 3. Validar correções com usuários reais do perfil rural

Histórico de Versão

Versão Data Descrição Autor Revisor
1.0 08/07/2025 Criação da análise comparativa com base nos critérios definidos na Fase 2 Thales Euflauzino Víctor Schmidt
1.1 08/07/2025 Correção completa: alinhamento com métricas consolidadas, foco GQM, análise por persona e severidade baseada no walkthrough Víctor Schmidt Thales Euflauzino