Skip to content

Especificação da Avaliação

Especificação da Avaliação

1. Objetivo

O objetivo desta etapa é definir um conjunto de métricas que estejam alinhadas com os objetivos especificos para conseguir medir o grau da usabilidade do sistema.

2. Métricas

Como boa parte das funcionalidades não foram implementadas na interface web, também será definido um conjunto de métricas para aquelas que estão apenas na API.

  1. Eficácia

    Objetivo

    Verificar se os agricultores conseguem completar tarefas críticas sem assistência, identificar pontos de falha e medir a taxa de conclusão de tarefas essenciais. Isso se relaciona diretamente com a característica de Operabilidade da ISO 25010.

    1. Taxa de Conclusão de Tarefas

      Mede a porcentagem de usuários que conseguem completar com sucesso uma tarefa específica. É a métrica mais fundamental para determinar se a plataforma funciona para o usuário final. Se a taxa for baixa, a funcionalidade é ineficaz.

    2. Taxa de Erro por Tarefa

      Quantifica a frequência com que os usuários cometem erros ao tentar executar uma tarefa. Ajuda a identificar exatamente onde estão os "pontos de falha no fluxo", como um campo de formulário confuso ou um botão com nome ambíguo. Relaciona-se com a Proteção contra erros do usuário.

    3. Número de Assistências Requeridas

      Contabiliza quantas vezes um usuário precisa de ajuda do moderador do teste para conseguir prosseguir ou completar uma tarefa. Mede diretamente a capacidade do sistema de ser autoexplicativo e intuitivo. Relaciona-se com a Aprendizagem.

  2. Eficiência

    Objetivo

    Medir o tempo necessário para realizar operações, identificar redundâncias e avaliar a curva de aprendizado. Isso se relaciona com as características de Operabilidade e Aprendizagem da ISO 25010.

    1. Tempo Médio na Tarefa (TMT)

      Mede o tempo médio que os usuários levam para completar uma tarefa. Um tempo elevado pode indicar "redundâncias e complexidades desnecessárias". É um indicador claro de produtividade e esforço cognitivo exigido do usuário.

    2. Número de Cliques/Passos por Tarefa

      Compara o número de passos que o usuário realiza para completar uma tarefa com o número mínimo ideal. Um número excessivo de cliques/telas aponta para fluxos de trabalho ineficientes e é um forte candidato a otimização.

    3. Eficiência Relativa (Curva de Aprendizado)

      Mede o tempo na tarefa do mesmo usuário em sua primeira tentativa versus uma tentativa posterior (após alguma familiarização). Uma redução significativa no tempo indica uma boa curva de aprendizado. Se o tempo não diminui, a plataforma não é fácil de aprender, o que pode prejudicar a retenção.

  3. Satisfação

    Objetivo

    Compreender a percepção subjetiva, identificar frustrações e avaliar a confiança transmitida. Isso se relaciona com a Estética da Interface do Usuário, Reconhecimento da Adequação e a satisfação geral.

    1. Questionário de Usabilidade do Sistema (SUS - System Usability Scale)

      É um questionário padronizado de 10 perguntas que fornece uma pontuação de usabilidade global e confiável. É excelente para "compreender a percepção" geral e permite comparar o AgroMart com benchmarks de mercado.

    2. Teste de Reação Emocional (Card Sorting de adjetivos)

      Após uma tarefa, o usuário escolhe adjetivos (ex: "Fácil", "Confuso", "Seguro", "Frustrante") que melhor descrevem sua experiência. Essa métrica qualitativa é perfeita para "identificar frustrações e pontos de confusão" de forma direta.

    3. Net Promoter Score (NPS) Adaptado

      Medido com a pergunta: "Em uma escala de 0 a 10, o quanto você recomendaria a plataforma AgroMart a um colega agricultor?". É uma métrica poderosa para medir a lealdade e a "confiança transmitida pelo sistema", que são cruciais para a adoção e permanência.

  4. Acessibilidade

    Objetivo

    Verificar o funcionamento em condições adversas (internet, hardware) e para diferentes níveis de letramento digital. Isso se relaciona diretamente com a característica de Acessibilidade da ISO 25010.

    1. Tempo de Carregamento da Página (em redes simuladas)

      Utilizando ferramentas de desenvolvimento do navegador, simula-se uma conexão 3G lenta para medir quanto tempo as páginas críticas (Painel, Cadastro de Produto) levam para carregar e se tornar interativas. Um tempo de carregamento alto torna a plataforma inviável no campo.

    2. Índice de Compreensão de Termos e Ícones

      Durante o teste, perguntar ao usuário o que ele entende por certos termos ou ícones. A taxa de acerto mede a "adequação para diferentes níveis de alfabetização digital" e se a linguagem da plataforma é familiar ao agricultor. Relaciona-se com o Reconhecimento da Adequação.

    3. Taxa de Sucesso em Dispositivos de Baixo Custo/Tela Pequena

      Realizar os testes de eficácia (TCT) em celulares de entrada, comumente usados no campo. Isso verifica se a interface não apenas se adapta (responsividade), mas se permanece funcional e operável em telas menores e com menor poder de processamento.

3. Tarefas

As tarefas a seguir representam os caminhos que seriam de grande importância para o agricultor. Elas estão agrupadas em cenários para simular uma jornada de uso real, desde a configuração inicial até a gestão diária da loja.

Cenário 1: Login

  • Objetivo: Um agricultor acabou de conhecer a plataforma e precisa realizar seu primeiro acesso.
Tarefa Específica Descrição
Realizar o cadastro Acessar a plataforma preenchendo as informações de nome, e-mail e senha.
Recuperar senha O usuário esqueceu sua senha e precisa acionar o fluxo de "Esqueci minha senha" para redefinir o acesso à sua conta.
Realizar login com a nova senha Acessar a plataforma utilizando e-mail e nova senha.

Os cenários 2 e 3 são caminhos do usuário de funcionalidade que ainda não foram implementadas.

Cenário 2: Primeiro Acesso e Configuração da Loja

  • Objetivo: Um agricultor já tem acesso a plataforma e precisa organizar a loja para começar a vender.
Tarefa Específica Descrição
Cadastrar uma nova loja Após o login, preencher as informações essenciais da loja, como nome, descrição e informações de contato.
Atualizar informações da loja Editar os dados da loja para adicionar a localização e definir a área de entrega dos produtos.

Cenário 3: Gestão de Produtos e Estoque

  • Objetivo: O agricultor precisa adicionar seus produtos ao catálogo da loja e manter as informações de disponibilidade sempre atualizadas para seus clientes.
Tarefa Específica Descrição
Cadastrar um novo produto Adicionar um item avulso (ex: "Tomate Orgânico") ao catálogo, incluindo nome, preço, unidade (kg) e fazendo o upload de uma imagem.
Criar uma cesta de produtos Montar um pacote (ex: "Cesta de Legumes da Semana"), definindo um preço fixo e selecionando vários produtos já cadastrados.
Definir estoque de um produto Acessar um produto existente na lista e atualizar a quantidade disponível para venda (ex: alterar de 10 tomates para 20 tomates).
Marcar produto como esgotado Alterar o status de um produto para "indisponível" de forma rápida, sem precisar removê-lo do catálogo.

4. Grau de Relevância

Métrica Proposta Objetivo Específico Avaliado Grau de Relevância
Taxa de Conclusão de Tarefa (TCT) Eficácia 5/5
Taxa de Erro por Tarefa Eficácia 5/5
Número de Assistências Requeridas Eficácia 4/5
Tempo Médio na Tarefa (TMT) Eficiência 5/5
Número de Cliques/Passos por Tarefa Eficiência 4/5
Eficiência Relativa (Curva de Aprendizado) Eficiência 4/5
Questionário de Usabilidade (SUS) Satisfação 5/5
Teste de Reação Emocional Satisfação 4/5
Net Promoter Score (NPS) Adaptado Satisfação 4/5
Tempo de Carregamento da Página Acessibilidade Rural 5/5
Índice de Compreensão de Termos e Ícones Acessibilidade Rural 5/5
Taxa de Sucesso em Dispositivos de Baixo Custo Acessibilidade Rural 5/5

Referências

INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. ISO/IEC 25010:2011: Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models. Geneva: ISO, 2011.

Histórico de Versão

Versão Data Descrição Autor Revisor
1.0 06/07/2025 Criação do documento Bruno Reis Pedro Lopes
1.1 07/07/2025 Adicionando histórico de versão e referências explícitas Bruno Reis Víctor Schmidt
1.2 07/07/2025 Adicionadno uma tarefa da funcionlidade já implementadada Bruno Reis Víctor Schmidt