Skip to content

Metodologia integrada de avaliação de usabilidade para o sistema AgroMart Web

Resumo executivo

Esta metodologia operacionaliza a avaliação de usabilidade do AgroMart Web conforme especificado nas Fases 1 e 2:

  • Foco principal: Módulo de notificações (modelo GQM) e 8 tarefas em 3 cenários
  • Métricas: 12 indicadores divididos em Eficácia, Eficiência, Satisfação e Acessibilidade Rural
  • Método: Heuristic Walkthrough sem usuários reais, usando personas baseadas no Censo Agropecuário
  • Deliverables: Problemas priorizados e recomendações para melhorar adoção da plataforma

Apresentação e contextualização

Esta metodologia foi desenvolvida para executar a avaliação de usabilidade do sistema AgroMart Web conforme definido nas Fases 1 e 2 do projeto. O documento integra o propósito estabelecido, as métricas especificadas e o modelo GQM desenvolvido, incorporando técnicas de avaliação heurística e walkthrough cognitivo adaptadas ao contexto específico do módulo de notificações e demais funcionalidades identificadas.

É fundamental ressaltar que a Fase 2, documentada em Especificação da Avaliação, detalhou três tipos de cenários: um focado nas funcionalidades já implementadas no AgroMart Web e os outros conceitual, para funcionalidades que existem no backend (API) mas ainda não possuem interface. Aqueles cenários conceituais foram especificados como possibilidades a serem consideradas na Fase 4, após a presente avaliação. Portanto, a execução da avaliação descrita nesta metodologia será baseada estrita e totalmente nas funcionalidades que estão implementadas e disponíveis para interação na versão atual do sistema.

A abordagem reconhece as limitações impostas pela ausência de usuários reais e implementa métodos de simulação baseados em personas fundamentadas nos dados do (IBGE, 2019), garantindo representatividade mesmo em avaliações por especialistas. O foco principal está na funcionalidade de envio de notificações, conforme definido no modelo GQM, mas abrange também os demais módulos identificados na Fase 1.

Alinhamento com as Fases 1 e 2

Propósito da avaliação (Fase 1)

Conforme estabelecido na Fase 1, o propósito é:

"Avaliar a usabilidade da interface web do AgroMart para verificar se os agricultores familiares conseguem, de forma eficaz, eficiente e satisfatória, realizar as tarefas essenciais de gestão de suas lojas virtuais, identificando barreiras de uso e propondo melhorias que aumentem a adoção e permanência na plataforma."

Objetivo GQM (Fase 2)

O modelo GQM definiu como objetivo principal:

"Avaliar a usabilidade da funcionalidade de envio de notificações no AgroMart Web, do ponto de vista dos usuários que atuam como administradores, com o propósito de verificar se a interação com os campos de título, descrição e botão de envio é intuitiva, eficiente e acessível, no contexto da comunicação com outros usuários da plataforma."

Métricas e cenários (Fase 2)

A avaliação seguirá os dois cenários de teste definidos:

  • Cenário 1: Primeiro Acesso e Autenticação no Sistema
  • Cenário 2: Comunicação através do Módulo de Notificações

Com as 12 métricas especificadas divididas em 4 categorias: Eficácia, Eficiência, Satisfação e Acessibilidade.

Framework metodológico integrado

Abordagem Heuristic Walkthrough adaptada

A metodologia central baseia-se no Heuristic Walkthrough (Sears, 1997), que demonstrou ser "mais estruturado que avaliações heurísticas, mas menos rígido que walkthroughs cognitivos tradicionais". Esta abordagem foi selecionada por sua eficácia em encontrar mais problemas de usabilidade que o walkthrough cognitivo isolado, enquanto produz menos falsos positivos que a avaliação heurística pura (Cockton & Woolrych, 2002).

O framework será executado em três fases principais:

Fase 1 - Walkthrough Cognitivo com Personas Rurais: Condução de análise baseada em tarefas prioritárias usando personas criadas a partir de dados censitários. As perguntas do walkthrough foram adaptadas para o contexto rural:

  • "O agricultor familiar conseguirá identificar esta ação como adequada para seu objetivo?"
  • "A interface funcionará adequadamente em condições de baixa conectividade?"
  • "As informações estão apresentadas de forma compreensível para usuários com baixo letramento digital?"
  • "O feedback do sistema será perceptível em ambiente rural (luz solar, ruído)?"

Fase 2 - Avaliação Heurística Contextualizada: Exploração sistemática usando heurísticas de (Nielsen, 1994) adaptadas ao contexto agrícola, incorporando considerações específicas como tolerância a conectividade intermitente, simplicidade de navegação e adequação a dispositivos básicos.

Fase 3 - Consolidação e Síntese: Integração dos achados usando o conhecimento obtido na Fase 1 para enriquecer a análise da Fase 2, eliminando redundâncias e priorizando problemas por severidade e impacto.

Criação de personas baseadas em dados censitários

A simulação de usuários será realizada através de personas data-driven, seguindo metodologia específica para contextos rurais (Mathews et al., 2013):

Processo de desenvolvimento:

  1. Análise de dados do (IBGE, 2019) focando em: características dos produtores, tamanho das propriedades, tecnologias utilizadas, níveis educacionais
  2. Integração com dados demográficos e socioeconômicos regionais
  3. Validação com especialistas em extensão rural e cooperativas locais (Kumar et al., 2024)
  4. Documentação detalhada incluindo: contexto ambiental (conectividade, variações sazonais), competências tecnológicas, aspectos culturais e limitações operacionais

Características essenciais das personas rurais:

  • Níveis variados de letramento digital (desde analfabetos funcionais até usuários intermediários) (Wilson, 2023)
  • Acesso limitado a infraestrutura tecnológica
  • Horários de trabalho específicos e disponibilidade sazonal
  • Preferência por interfaces visuais e navegação simplificada
  • Uso predominante de smartphones básicos com Android

Protocolo de avaliação conforme ISO/IEC 25040

Atividade 1: Estabelecimento dos requisitos de avaliação

Propósito: Avaliar a adequação do sistema AgroMart Web às necessidades de agricultores familiares, focando na característica de usabilidade conforme (ISO, 2011a).

Critérios de avaliação:

  • Efetividade: Taxa de conclusão de tarefas críticas
  • Eficiência: Tempo necessário para realizar operações básicas
  • Satisfação: Percepção subjetiva de facilidade de uso
  • Acessibilidade: Adequação para usuários com baixo letramento digital
  • Adaptabilidade: Funcionamento em condições de conectividade limitada

Atividade 2: Especificação da avaliação

Métricas selecionadas:

  • Número e severidade de problemas identificados (escala (Nielsen, 1995) 0-4)
  • Taxa de concordância entre avaliadores (Fleiss, 1971)
  • Cobertura de funcionalidades críticas avaliadas
  • Adequação aos requisitos de contexto rural

Recursos necessários

Seguindo recomendações consolidadas após 15 anos de pesquisa em métodos de inspeção (Hollingsed & Novick, 2007):

  • 4-5 avaliadores especialistas com experiência em IHC e conhecimento do domínio agrícola
  • Ambiente de teste configurado com simulação de condições rurais
  • Instrumentos de avaliação padronizados

Atividade 3: Projeto da avaliação

Componentes para avaliação individual:

  • Módulo de cadastro e login
  • Funcionalidades de busca e navegação
  • Processo de compra/venda
  • Sistema de comunicação entre usuários
  • Interfaces de gestão de produtos

Cenários de teste prioritários:

  1. Primeiro acesso e cadastro no sistema: Realizar o cadastro de um novo usuário na plataforma.
  2. Autenticação no sistema: Efetuar o login com o usuário recém-criado.
  3. Navegação e identificação de funcionalidades: Acessar o dashboard e navegar até a funcionalidade de "Notificação".
  4. Envio de uma nova notificação: Preencher os campos de título e descrição e enviar uma notificação.
  5. Verificação do feedback do sistema: Observar a mensagem de confirmação e a atualização da lista de notificações.

Atividade 4: Execução da avaliação

A execução seguirá protocolo estruturado com documentação detalhada de cada problema encontrado, incluindo localização, heurística violada, severidade e sugestões de correção.

Atividade 5: Conclusão da avaliação

Produção de relatório consolidado seguindo formato (ISO, 2011c), incluindo resumo executivo, distribuição de problemas por severidade, análise por heurística e recomendações priorizadas.

Avaliação específica do módulo de notificações (GQM)

Conforme o modelo GQM, a funcionalidade de envio de notificações será avaliada através de 6 subcaracterísticas:

1. Apropriação Reconhecível

  • Question: Os agricultores reconhecem que o envio de notificações é adequado ao seu contexto?
  • Métricas: Avaliação visual (1-5), Relevância percebida, Clareza da linguagem rural

2. Apreensibilidade

  • Question: Agricultores com pouca familiaridade digital conseguem aprender rapidamente?
  • Métricas: Tempo para primeiro envio, Erros no primeiro uso, Taxa de sucesso sem auxílio, Dificuldade percebida (1-5)

3. Operabilidade

  • Question: O envio exige pouco esforço e segue um fluxo claro?
  • Métricas: Número de cliques, Tempo médio, Frequência de retorno por confusão

4. Proteção contra Erros

  • Question: O sistema previne erros e facilita recuperação?
  • Métricas: Mensagens de erro compreensíveis, Taxa de erros não recuperáveis, Confirmações antes do envio

5. Estética da Interface

  • Question: A tela apresenta visual atrativo e condizente com universo rural?
  • Métricas: Avaliação estética (1-5), Distrações visuais, Clareza de ícones, Destaque do botão enviar

6. Acessibilidade

  • Question: Funciona para diferentes níveis de habilidade?
  • Métricas: Tamanho de botões/textos, Navegação por teclado, Desempenho em rede instável

Instrumentos de avaliação

Formulários e instrumentos de coleta

1. Formulário de métricas quantitativas

  • Planilha para registro de TCT, tempos, cliques, erros por tarefa
  • Campos para cada uma das 8 tarefas dos cenários
  • Cálculo automático de médias e taxas

2. Questionário SUS adaptado

  • 10 perguntas em linguagem simplificada para contexto rural
  • Escala de 1-5 com representação visual
  • Cálculo de score final (0-100)

3. Cards de reação emocional

  • Conjunto de 20 adjetivos relevantes: Fácil, Difícil, Confuso, Claro, Rápido, Lento, Seguro, Inseguro, Frustrante, Satisfatório, etc.
  • Aplicado após cada cenário de teste

4. Checklist de acessibilidade rural

  • Verificação de tempo de carregamento em diferentes velocidades
  • Teste de compreensão de 15 termos/ícones chave
  • Funcionamento em 3 dispositivos diferentes

Formulário de avaliação heurística adaptado

O formulário incorpora as 10 heurísticas de (Nielsen, 1994) com exemplos e considerações específicas para o contexto agrícola:

Heurística Adaptação para Contexto Rural
H1 - Visibilidade do status Feedback claro mesmo em telas com brilho solar; indicadores de conectividade
H2 - Correspondência sistema-mundo Uso de terminologia agrícola regional; ícones familiares ao contexto rural
H3 - Controle e liberdade Navegação simplificada; opções claras de voltar/cancelar
H4 - Consistência e padrões Uniformidade com apps populares (WhatsApp); padrões visuais simples
H5 - Prevenção de erros Confirmações explícitas; validação imediata de dados
H6 - Reconhecimento vs. memorização Interface baseada em ícones; menus visuais claros
H7 - Flexibilidade e eficiência Atalhos para usuários experientes; modo básico padrão
H8 - Design estético e minimalista Simplicidade visual; elementos grandes e contrastantes
H9 - Recuperação de erros Mensagens em linguagem simples; soluções claras
H10 - Ajuda e documentação Tutoriais visuais; suporte via áudio/vídeo

Roteiro de walkthrough cognitivo

Estrutura do roteiro:

  1. Preparação: Seleção da persona, definição do cenário, objetivo da tarefa

  2. Execução passo-a-passo: Para cada ação necessária, responder:

    • A persona saberá qual ação tomar?
    • A ação estará visível e acessível?
    • A persona associará a ação correta com o efeito desejado?
    • O feedback confirmará que o progresso correto foi feito?

  3. Documentação: Registro de barreiras cognitivas, suposições sobre conhecimento prévio, problemas de linguagem ou navegação

Matriz de severidade e priorização

Utilizaremos escala de severidade (Nielsen, 1995) (0-4) com critérios de priorização baseados em:

  • Frequência: Problema afeta tarefa comum ou rara?
  • Impacto: Usuário consegue contornar facilmente?
  • Persistência: Problema ocorre uma vez ou repetidamente?
  • Criticidade para negócio: Impacto na adoção do sistema

Fórmula de priorização:

Prioridade = Severidade × (Frequência + Impacto) × Criticidade_Negócio

Módulos do sistema a avaliar

Conforme identificado na Fase 1, os seguintes módulos serão avaliados:

Módulos com interface disponível

  1. Autenticação e Cadastro

    • Tela de login
    • Tela de cadastro
    • Recuperação de senha

  2. Dashboard e Navegação

    • Dashboard com sidebar
    • Versão responsiva
    • Menu de navegação

  3. Sistema de Notificações (foco principal do GQM)

    • Formulário de envio
    • Lista de notificações
    • Feedback visual

Módulos identificados na API (avaliar via protótipos ou mockups)

  1. Gestão de Lojas

    • Cadastro e edição
    • Horários de funcionamento
    • Localização e área de entrega

  2. Gestão de Produtos

    • Produtos avulsos
    • Cestas de produtos
    • Upload de imagens
    • Controle de estoque

  3. Gestão de Assinantes e Planos

    • Visualização de clientes
    • Planos de assinatura
    • Extratos financeiros

Simulação de condições rurais

Configuração técnica do ambiente

Simulação de conectividade:

  • Limitação de banda: 2G/3G (max 150 Kbps)
  • Latência: 500-2000ms
  • Perda de pacotes: 5-20%
  • Desconexões intermitentes programadas

Simulação de dispositivos:

  • Smartphones Android com 1-2GB RAM
  • Telas de 4-5 polegadas
  • Versões antigas do sistema operacional
  • Limitação de armazenamento

Condições ambientais:

  • Teste de visibilidade com alta luminosidade
  • Simulação de uso com luvas/mãos sujas
  • Ruído ambiente característico

Protocolo de teste adaptado

  1. Configuração inicial: Preparar ambiente com todas as limitações ativas
  2. Briefing com persona: Contextualizar o avaliador no papel da persona selecionada
  3. Execução: Realizar tarefas mantendo limitações cognitivas e técnicas da persona
  4. Observação: Documentar dificuldades, erros e adaptações necessárias
  5. Debriefing: Reflexão sobre a experiência e insights adicionais

Processo de consolidação de resultados

Fase 1 - Avaliação independente: Cada avaliador conduz análise separadamente usando instrumentos padronizados, documentando problemas em planilha estruturada.

Fase 2 - Compilação e análise:

  • Criação de matriz problema-por-avaliador
  • Cálculo de frequência: (Avaliadores que encontraram) / (Total de avaliadores) × 100
  • Cálculo de severidade média ponderada
  • Identificação de padrões e problemas recorrentes

Fase 3 - Sessão de consolidação:

  • Discussão facilitada entre todos os avaliadores
  • Resolução de discrepâncias significativas
  • Priorização colaborativa de problemas
  • Geração de recomendações consensuais

Métricas de concordância

Utilizaremos o Kappa de Fleiss (Fleiss, 1971) para avaliar concordância entre múltiplos avaliadores:

κ = (P̄ - P̄e) / (1 - P̄e)

Interpretação:

  • κ < 0.40: Concordância insuficiente (revisar processo)
  • κ = 0.41-0.60: Concordância aceitável
  • κ > 0.61: Concordância forte

Documentação e rastreabilidade

Artefatos obrigatórios

  1. Metodologia de avaliação (Issue #13): Este documento
  2. Protocolo de avaliação heurística (Issue #14): Personas e heurísticas adaptadas
  3. Instrumentos de coleta (Issue #15): Formulários, checklists e roteiros
  4. Ambiente de teste (Issue #16): Configuração e simulações
  5. Plano de avaliação unificado (Issue #17): Compilação final
  6. Plano de análise de dados (Issue #18): Métodos de consolidação
  7. Relatório de teste piloto (Issue #19): Validação dos instrumentos

Matriz de rastreabilidade entre fases

Elemento Fase 1 Fase 2 Metodologia
Propósito Definido - Seção 2
Objetivos específicos 4 objetivos - Protocolo
Métricas - 12 métricas Seção métricas
Cenários Identificados 2 cenários, 8 tarefas Seção cenários
Modelo GQM - Notificações Seção GQM
Perfil usuários Censo 2017 - Personas

Validação da metodologia

Teste piloto (Issue #19)

Protocolo de validação:

  1. Seleção de módulo limitado para teste
  2. Aplicação com 2 avaliadores
  3. Análise de eficácia dos instrumentos
  4. Refinamento baseado em feedback
  5. Documentação de lições aprendidas

Critérios de sucesso:

  • Instrumentos capturam problemas relevantes
  • Tempo de execução dentro do planejado
  • Concordância inter-avaliadores aceitável
  • Resultados acionáveis para desenvolvimento

Considerações finais e recomendações

Esta metodologia integrada reconhece as particularidades do contexto de agricultura familiar brasileira e propõe adaptações específicas dos métodos tradicionais de avaliação de usabilidade. A combinação de avaliação heurística com walkthrough cognitivo (Mahatody et al., 2010), apoiada por personas baseadas em dados censitários e simulação realista de condições rurais, oferece uma abordagem robusta mesmo na ausência de usuários reais.

O sucesso da implementação dependerá de:

  • Rigorosa aderência aos protocolos estabelecidos
  • Seleção cuidadosa de avaliadores com conhecimento do domínio
  • Documentação sistemática e rastreável
  • Validação iterativa dos instrumentos
  • Foco constante nas necessidades reais dos agricultores familiares

A metodologia está alinhada com as normas (ISO, 2011b) e (ISO, 2011a), garantindo qualidade e comparabilidade dos resultados, enquanto mantém flexibilidade para adaptações necessárias ao contexto específico do projeto AgroMart Web.

Referências Bibliográficas

INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. ISO/IEC 25010:2011: Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models. Geneva: ISO, 2011a.

INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. ISO/IEC 25040:2011: Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Evaluation process. Geneva: ISO, 2011b.

INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Censo Agropecuário 2017: resultados definitivos. Rio de Janeiro: IBGE, 2019. Disponível em: https://censoagro2017.ibge.gov.br/. Acesso em: 06 jan. 2025.

SEARS, A. Heuristic Walkthroughs: Finding the Problems Without the Noise. International Journal of Human-Computer Interaction, v. 9, n. 3, p. 213-234, 1997.

NIELSEN, J. Usability Engineering. Boston: Academic Press, 1994.

NIELSEN, J. Severity Ratings for Usability Problems. Nielsen Norman Group, 1995. Disponível em: https://www.nngroup.com/articles/how-to-rate-the-severity-of-usability-problems/. Acesso em: 07 jan. 2025.

WILSON, E. A. Usability Testing. In: Health Literacy in Clinical Research. Multi-Regional Clinical Trials Center (MRCT), 2023. Disponível em: https://mrctcenter.org/health-literacy/tools/overview/usability-testing/. Acesso em: 07 jan. 2025.

HOLLINGSED, T.; NOVICK, D. G. Usability inspection methods after 15 years of research and practice. In: Proceedings of the 25th annual ACM international conference on Design of communication (SIGDOC '07). New York: ACM, 2007. p. 249-255.

Histórico de versão

Versão Data Descrição Autor Revisor
1.0 07/01/2025 Criação da metodologia integrada alinhada com Fases 1 e 2 e especificações Víctor Schmidt