Skip to content

Resultados do Walkthrough Cognitivo - Sistema AgroMart Web

Introdução

Este documento apresenta os resultados da avaliação de usabilidade do sistema AgroMart Web, realizada através da metodologia de Walkthrough Cognitivo com três personas representativas do público-alvo: agricultores familiares e lideranças de cooperativas rurais.

Metodologia de Teste

Para garantir a fidelidade dos testes ao contexto real de uso, foram implementadas as seguintes condições:

Ambiente de Conexão Simulada

Foi emulado para todas as personas um ambiente de conexão 2G (velocidade limitada), reproduzindo as condições reais de conectividade que um agricultor enfrentaria em áreas rurais com infraestrutura de internet limitada. Esta escolha metodológica foi baseada nos dados do Censo Agropecuário 2017 (IBGE), que demonstram as limitações de conectividade no meio rural brasileiro.

Coleta Automatizada de Métricas

Para obter dados quantitativos precisos sobre a interação dos usuários, foi desenvolvido e executado um sistema de monitoramento em tempo real que registra:

  • Tempo total de execução das tarefas
  • Número de cliques realizados
  • Detecção automática de erros na interface
  • Cálculo de eficiência (cliques por segundo)
  • Registro de eventos críticos durante a navegação

O código de coleta foi inserido via console do navegador antes de cada teste, garantindo a captura fidedigna dos dados comportamentais:

// CÓDIGO DE MONITORAMENTO UTILIZADO NOS TESTES
console.log('🚀 Iniciando coleta de métricas...');

window.metricsData = {
  startTime: Date.now(),
  clicks: 0,
  errors: [],
  tempoTotal: 0
};

// Contar cliques
document.addEventListener('click', () => {
  window.metricsData.clicks++;
  console.log(`Click #${window.metricsData.clicks}`);
});

// Detectar erros
const observer = new MutationObserver((mutations) => {
  mutations.forEach((mutation) => {
    if (mutation.target.textContent?.toLowerCase().includes('erro')) {
      window.metricsData.errors.push({
        time: Date.now() - window.metricsData.startTime,
        text: mutation.target.textContent
      });
      console.error('❌ Erro detectado:', mutation.target.textContent);
    }
  });
});

observer.observe(document.body, { 
  childList: true, 
  subtree: true 
});

// Comandos úteis
window.verMetricas = () => {
  const tempo = (Date.now() - window.metricsData.startTime) / 1000;
  console.table({
    'Tempo Total': `${tempo.toFixed(2)}s`,
    'Cliques': window.metricsData.clicks,
    'Erros': window.metricsData.errors.length,
    'Cliques/segundo': (window.metricsData.clicks / tempo).toFixed(2)
  });
  return window.metricsData;
};

console.log('✅ Coleta ativa! Use verMetricas() para ver resumo');

Estrutura do Documento

Este relatório está organizado em três seções principais:

  1. Resultados Individuais por Tarefa: Descrição detalhada da execução de cada cenário com as respostas qualitativas das personas
  2. Avaliação Heurística Formal: Aplicação das 10 Heurísticas de Nielsen e avaliação do módulo de notificações conforme modelo GQM
  3. Análise Consolidada: Métricas quantitativas, identificação de problemas críticos e recomendações priorizadas

Objetivos da Avaliação

  • Identificar barreiras de usabilidade específicas para o público rural
  • Quantificar a eficiência das principais funcionalidades do sistema
  • Priorizar melhorias baseadas no impacto real na experiência do usuário
  • Validar a adequação da interface ao contexto agrícola brasileiro

Resultados da Tarefa 1 - Cadastro de outros usuários na Plataforma (Maria, a Jovem da Família Rural)

Maria utilizou um celular. Maria começou já estando na tela inicial, ela apertou o botão de sidebar e depois apertou no botão de cadastro, onde colocou as informações da sua irmã Mariana, e apertou em cadastrar, retornando para tela inicial e recebendo a mensagem de cadastro realizado com sucesso. Depois repitiu o mesmo processo para sua irmã Joana e recebeu a mensagem de cadastro realizado com sucesso também e retornou a tela inicial, finalizando a sessão.

Resultado Maria

Respostas da Persona Maria

  1. O botão ou link de cadastro é fácil de encontrar?

    • Sim, encontrei muito facilmente, só foi clicar nos 3 tracinhos.

  2. Os campos do formulário são claros e objetivos?

    • São sim, foi muito fácil cadastrar as minhas irmãs, fiz em menos de 1 minuto

  3. O sistema oferece alguma validação ou feedback durante o preenchimento?

    • Apareceu uma caixinha falando que o cadastro tinha sido feito com sucesso então acho que sim né?

  4. Após o cadastro, o próximo passo é intuitivo?

    • É sim, cadastrei a minha outra irmã Joana e já enviei o usuário para elas.

Resultados da Tarefa 2 - Tentativa de Login com Erro (João, o Agricultor Experiente)

João utilizou um celular. João começou na tela de login e preencheu o formulário, inicialmente ele preencheu email e senha e deu um erro, ele tinha errado a senha, ele se perguntou o que tinha errado, já que a notificação só alerta que houve um erro no login, então ele tentou enviar os mesmos dados novamente, o que retornou o mesmo erro, então ele reescreveu o email e a senha novamente, e conseguiu entrar no sistema, finalizando na tela do painel inicial ao fazer o login.

Resposta da Persona João

  1. A mensagem de erro é clara e explica o que aconteceu (ex: "E-mail ou senha incorretos")?

    • Não achei muito clara não, falou que tava errado e eu não consegui saber o que que tava errado.

  2. A mensagem é apresentada em uma linguagem simples, sem códigos de erro técnicos?

    • Eu acho que sim, eu entendi que tinha errado alguma coisa e já fiquei meio nervoso para tentar arrumar.

  3. O sistema indica visualmente qual campo pode estar errado (se possível)?

    • Como eu disse anteriormente não, não indicou, tive que digitar tudo denovo.

  4. João se sente confiante para tentar novamente ou a mensagem o deixa confuso e frustrado?

    • Ela me deixou meio frustrado porque queria entrar no sistema, mas não sabia o que eu estava errando

Resultado João

Resultados da Tarefa 3 - Envio de Notificação (Dona Lourdes, a Líder da Cooperativa)

Dona Lourdes utilizou um computador. A Dona Lourdes, começou no painel inicial, procurou aonde estaria a notificação, navegou pelo sidebar e não encontrou lá, fechou ele e foi até o final da página, onde encontrou e lá colocou um titulo, e fez uma descrição de agradecimento aos seus funcionários e clientes, depois apertou para enviar a notificação, ela recebeu que a notificação foi enviada com sucesso e finalizou sua interação.

Respostas da Persona Dona Lourdes

  1. O caminho até a função é fácil de encontrar?

    • Eu procurei um pouquinho até encontrar, mas até que achei facilmente aonde escrever a notificação.

  2. O formulário é simples e direto?

    • Sim, ele só possui o título e a descrição, só senti falta de colocar destinatários específicos, não identifiquei muito bem quem recebeu minha notificação, fiquei meio confusa.

  3. O feedback após o envio é claro?

    • Sim, quando apertei para enviar apareceu uma caixinha avisando que a mensagem foi enviada, só não sei para quem que foi enviado mesmo, mas acredito que para todos né?

Resultados Dona Lourdes

Respostas das Personas ao Formulário de Heurísticas

Cenário 1: Cadastro de Usuários (Maria, a Jovem da Família Rural)

Parte 1: Avaliação Heurística

H1 – Visibilidade do Status do Sistema

  • Avaliação (1-5): [X] 4
  • Observações: Maria recebeu feedback claro de "cadastro realizado com sucesso" após cada registro. O sistema informou adequadamente o status da operação. Severidade: 1 (problema menor - poderia ter mais feedback durante o processo).

H2 – Correspondência entre o Sistema e o Mundo Real

  • Avaliação (1-5): [X] 4
  • Observações: A linguagem estava adequada ao contexto, Maria conseguiu entender facilmente os termos utilizados. Severidade: 1 (linguagem clara e familiar).

H3 – Controle e Liberdade do Usuário

  • Avaliação (1-5): [X] 4
  • Observações: Maria conseguiu navegar facilmente pelo sistema, retornando à tela inicial após cada cadastro. Não houve necessidade de desfazer ações. Severidade: 1.

H4 – Consistência e Padrões

  • Avaliação (1-5): [X] 5
  • Observações: O processo foi consistente para ambos os cadastros (Mariana e Joana), mantendo o mesmo padrão de navegação. Severidade: 0.

H5 – Prevenção de Erros

  • Avaliação (1-5): [X] 4
  • Observações: Não foram relatados erros durante o processo, sugerindo boa prevenção. Severidade: 1.

H6 – Reconhecimento em vez de Memorização

  • Avaliação (1-5): [X] 5
  • Observações: Maria encontrou facilmente o botão de cadastro no sidebar ("só foi clicar nos 3 tracinhos"), demonstrando boa visibilidade das opções. Severidade: 0.

H7 – Flexibilidade e Eficiência de Uso

  • Avaliação (1-5): [X] 5
  • Observações: Maria completou ambos os cadastros em menos de 1 minuto, demonstrando alta eficiência. Severidade: 0.

H8 – Design Estético e Minimalista

  • Avaliação (1-5): [X] 4
  • Observações: A interface permitiu foco na tarefa principal sem distrações. Severidade: 1.

H9 – Recuperação de Erros

  • Avaliação (1-5): [X] 3
  • Observações: Não foi possível avaliar completamente pois não ocorreram erros durante o teste. Severidade: 2.

H10 – Ajuda e Documentação

  • Avaliação (1-5): [X] 4
  • Observações: Maria não precisou de ajuda adicional, sugerindo que a interface é intuitiva. Severidade: 1.

Cenário 2: Login com Erro (João, o Agricultor Experiente)

Parte 1: Avaliação Heurística

H1 – Visibilidade do Status do Sistema

  • Avaliação (1-5): [X] 2
  • Observações: O sistema mostrou que houve erro, mas não especificou claramente qual era o problema. Severidade: 3 (problema grave - causa frustração).

H2 – Correspondência entre o Sistema e o Mundo Real

  • Avaliação (1-5): [X] 3
  • Observações: João entendeu que "tinha errado alguma coisa", mas a linguagem poderia ser mais específica. Severidade: 2.

H3 – Controle e Liberdade do Usuário

  • Avaliação (1-5): [X] 4
  • Observações: João conseguiu tentar novamente sem problemas maiores. Severidade: 1.

H4 – Consistência e Padrões

  • Avaliação (1-5): [X] 4
  • Observações: O comportamento foi consistente nas tentativas de login. Severidade: 1.

H5 – Prevenção de Erros

  • Avaliação (1-5): [X] 2
  • Observações: O sistema não ajudou a prevenir o erro de digitação da senha. Severidade: 3.

H6 – Reconhecimento em vez de Memorização

  • Avaliação (1-5): [X] 2
  • Observações: João precisou redigitar tudo novamente, não havia indicação visual do campo problemático. Severidade: 2.

H7 – Flexibilidade e Eficiência de Uso

  • Avaliação (1-5): [X] 2
  • Observações: João perdeu tempo tentando identificar o erro, processo não foi eficiente. Severidade: 3.

H8 – Design Estético e Minimalista

  • Avaliação (1-5): [X] 3
  • Observações: Interface não ofereceu distrações, mas também não ajudou na identificação do problema. Severidade: 2.

H9 – Recuperação de Erros

  • Avaliação (1-5): [X] 1
  • Observações: PROBLEMA CRÍTICO: João relatou: "não achei muito clara não, falou que tava errado e eu não consegui saber o que que tava errado" e "me deixou meio frustrado". Severidade: 4 (catástrofe de usabilidade).

H10 – Ajuda e Documentação

  • Avaliação (1-5): [X] 2
  • Observações: Não havia ajuda contextual para recuperação de erro. Severidade: 3.

Cenário 3: Envio de Notificação (Dona Lourdes, a Líder da Cooperativa)

Parte 1: Avaliação Heurística

H1 – Visibilidade do Status do Sistema

  • Avaliação (1-5): [X] 4
  • Observações: Dona Lourdes recebeu confirmação clara de que "a notificação foi enviada". Severidade: 1.

H2 – Correspondência entre o Sistema e o Mundo Real

  • Avaliação (1-5): [X] 4
  • Observações: A linguagem estava adequada para o contexto de cooperativa. Severidade: 1.

H3 – Controle e Liberdade do Usuário

  • Avaliação (1-5): [X] 4
  • Observações: Dona Lourdes navegou livremente pelo sistema até encontrar a função. Severidade: 1.

H4 – Consistência e Padrões

  • Avaliação (1-5): [X] 4
  • Observações: O padrão de navegação foi mantido. Severidade: 1.

H5 – Prevenção de Erros

  • Avaliação (1-5): [X] 3
  • Observações: Não houve erros, mas a falta de especificação de destinatários poderia causar confusão. Severidade: 2.

H6 – Reconhecimento em vez de Memorização

  • Avaliação (1-5): [X] 2
  • Observações: Dona Lourdes "procurou um pouquinho até encontrar", sugerindo que a localização da função não era óbvia. Severidade: 3.

H7 – Flexibilidade e Eficiência de Uso

  • Avaliação (1-5): [X] 3
  • Observações: Apesar da busca inicial, conseguiu completar a tarefa eficientemente. Severidade: 2.

H8 – Design Estético e Minimalista

  • Avaliação (1-5): [X] 4
  • Observações: Formulário simples com apenas título e descrição. Severidade: 1.

H9 – Recuperação de Erros

  • Avaliação (1-5): [X] 3
  • Observações: Não foi possível avaliar completamente. Severidade: 2.

H10 – Ajuda e Documentação

  • Avaliação (1-5): [X] 2
  • Observações: Falta de orientação sobre destinatários causou confusão. Severidade: 3.

Parte 2: Avaliação Específica do Módulo de Notificações (GQM)

1. Apropriação Reconhecível

  • Avaliação (1-5): [X] 4
  • Observações: Dona Lourdes conseguiu usar a função para seu contexto (comunicação na cooperativa), mas faltou clareza sobre os destinatários.

2. Apreensibilidade

  • Avaliação (1-5): [X] 3
  • Observações: Levou algum tempo para encontrar a função, mas conseguiu aprender rapidamente após localizar.

3. Operabilidade

  • Avaliação (1-5): [X] 4
  • Observações: Formulário simples e direto, apenas título e descrição. Processo foi eficiente após localizar a função.

4. Proteção contra Erros

  • Avaliação (1-5): [X] 3
  • Observações: Recebeu confirmação de envio, mas faltou clareza sobre para quem foi enviado.

5. Estética da Interface

  • Avaliação (1-5): [X] 4
  • Observações: Interface limpa e focada, formulário simples sem distrações.

6. Acessibilidade

  • Avaliação (1-5): [X] 4
  • Observações: Funcionou bem no computador da cooperativa, interface adequada para o contexto.

Resumo de Problemas por Severidade

Severidade 4 (Catástrofe de Usabilidade)

  • H9 - Recuperação de Erros (João): Mensagens de erro inadequadas causam frustração e podem levar ao abandono do sistema

Severidade 3 (Problema Grave)

  • H1 - Visibilidade do Status (João): Falta de clareza sobre o tipo de erro
  • H5 - Prevenção de Erros (João): Sistema não ajuda a prevenir erros de digitação
  • H6 - Reconhecimento (Dona Lourdes): Dificuldade para localizar função de notificações
  • H10 - Ajuda e Documentação (Dona Lourdes): Falta de orientação sobre destinatários

Severidade 2 (Problema Leve)

  • H2 - Correspondência (João): Linguagem das mensagens de erro poderia ser mais específica
  • H5 - Prevenção de Erros (Dona Lourdes): Falta de especificação de destinatários

Problemas Críticos Identificados

1. Mensagens de Erro Inadequadas (Severidade 4)

  • Problema: João ficou frustrado com mensagens de erro pouco claras
  • Localização: Tela de login
  • Impacto: Pode causar abandono do sistema por usuários menos experientes

2. Localização de Funcionalidades (Severidade 3)

  • Problema: Dona Lourdes teve dificuldade para encontrar a função de notificações
  • Localização: Navegação principal
  • Impacto: Reduz eficiência de uso

3. Falta de Clareza sobre Destinatários (Severidade 3)

  • Problema: Dona Lourdes não sabia para quem a notificação foi enviada
  • Localização: Módulo de notificações
  • Impacto: Pode gerar confusão e mensagens duplicadas

Métricas Consolidadas

Dados Quantitativos por Persona

Maria (Cadastro de Usuários)

  • Tempo Total: 68.84s (1:09 min)
  • Número de Cliques: 12
  • Erros: 0
  • Eficiência: 0.17 cliques/segundo
  • Taxa de Sucesso: 100% (2/2 cadastros realizados)

João (Login com Erro)

  • Tempo Total: 169.69s (2:50 min)
  • Número de Cliques: 7
  • Erros: 2
  • Eficiência: 0.04 cliques/segundo
  • Taxa de Sucesso: 100% (sucesso após 3 tentativas)

Dona Lourdes (Envio de Notificação)

  • Tempo Total: 114.18s (1:54 min)
  • Número de Cliques: 11
  • Erros: 0
  • Eficiência: 0.10 cliques/segundo
  • Taxa de Sucesso: 100% (notificação enviada com sucesso)

Análise Comparativa

Eficiência por Tarefa

  1. Maria (mais eficiente): 0.17 cliques/segundo
  2. Dona Lourdes (eficiência média): 0.10 cliques/segundo
  3. João (menos eficiente): 0.04 cliques/segundo

Tempo Médio de Execução

  • Mais rápida: Maria (68.84s) - tarefa familiar e interface intuitiva
  • Intermediária: Lourdes (114.18s) - incluiu tempo de exploração/busca
  • Mais lenta: João (169.69s) - impacto dos erros e frustração

Taxa de Erro

  • Maria: 0% (processo fluido)
  • Lourdes: 0% (encontrou solução sozinha)
  • João: 28.6% (2 erros em 7 cliques) - Ponto crítico de atenção

Correlação com Satisfação

  • Alta Eficiência + Zero Erros = Alta Satisfação (Maria)
  • Eficiência Média + Zero Erros = Satisfação Moderada (Lourdes)
  • Baixa Eficiência + Erros = Baixa Satisfação (João)

Recomendações Baseadas nos Dados

  1. Urgente: Melhorar mensagens de erro (João teve 28.6% taxa de erro)
  2. Importante: Facilitar localização de funções (Lourdes levou 114s vs 69s da Maria)
  3. Desejável: Manter padrão de eficiência do cadastro para outras funcionalidades

Histórico de Versão

Versão Data Descrição Autor Revisor
1.0 08/07/2025 Adição dos Resultados das Personas no uso do sistema além das respostas do formulário e analise Víctor Schmidt Thales Euflauzino