Pular para conteúdo

Projeção da Avaliação de Confiabilidade

Objetivo

A presente seção tem como objetivo estruturar o planejamento da avaliação das métricas de robustez e estabilidade do sistema, utilizando estratégias baseadas em testes de falha, análise de logs, testes de estresse e formulários de registro de incidentes. A avaliação será orientada pelas perguntas-chave definidas (Q1, Q2 e Q3), cujas métricas associadas serão medidas em sessões práticas e por meio de monitoramento contínuo.

Questões, Métricas e Estratégias de Avaliação

Q1: O sistema consegue se recuperar de falhas sem comprometer os dados ou a operação?

  • Métrica: Tempo médio para recuperação (MTTR)
    Avaliação: Formulário Manual/Eletrônico através de teste até a falha e cronometrar o tempo de recuperação. Podendo ser realizado pela própria equipe.

  • Métrica: Número de falhas com perda de dados
    Avaliação: Análise Pós-Incidente verificando se os dados do usuário continuam íntegros. Se possuir banco de dados, analisar as tabelas, senão, através do aplicativo.

  • Métrica: Taxa de recuperação automática bem-sucedida
    Avaliação: Através de observação de log do sistema. A taxa é calculada da seguinte forma: (Nº de falhas resolvidas automaticamente sem intervenção humana) / (Nº total de falhas). Ou verificando se o aplicativo consegue se recuperar bem de um erro sozinho.

Q2: O sistema continua funcionando corretamente diante de entradas inválidas ou condições inesperadas?

  • Métrica: Número de erros tratados com sucesso
    Avaliação: Formulário manual, anotando através de teste de usabilidade, tentando realizar o uso indevido, e anotando os casos tratados corretamente.

  • Métrica: Taxa de falhas críticas causadas por entradas incorretas
    Avaliação: Formulário manual, anotando através de teste de usabilidade, tentando realizar o uso indevido, e anotando os casos que não foram tratados corretamente.

  • Métrica: Resultados de testes de estresse ou entrada inválida
    Avaliação: Teste de Estresse: Use ferramentas como k6, JMeter ou Gatling para simular um grande número de usuários. Pensar em maneiras de simular um uso de estresse no aplicativo ou API.

Q3: O sistema funciona de forma estável durante o uso?

  • Métrica: Número de falhas/crashes por período
    Avaliação: Contar o número de issues de "Relatar um Problema" enviados por usuários que descrevem um crash do sistema.

  • Métrica: Tempo médio entre falhas (MTBF)
    Avaliação: (Propor uma avaliação)

  • Métrica: Taxa de interrupções não planejadas
    Avaliação: Através de formulário eletrônico com a equipe anotando casos de problemas relatados ao longo do tempo de uso do aplicativo no trabalho.

Etapas do Processo de Avaliação

1. Definição do Escopo

Seleção das métricas a serem avaliadas com base em critérios de robustez, resiliência e estabilidade.
Organização das métricas em torno de três perguntas principais:

  • Q1: O sistema consegue se recuperar de falhas sem comprometer os dados ou a operação?
  • Q2: O sistema continua funcionando corretamente diante de entradas inválidas ou condições inesperadas?
  • Q3: O sistema funciona de forma estável durante o uso?

2. Preparação dos Instrumentos

  • Roteiro de testes de falha: criação de cenários para induzir falhas e medir a recuperação.
  • Roteiro de testes de usabilidade indevida: criação de cenários com entradas inválidas e inesperadas.
  • Checklist de análise de logs: para identificar recuperações automáticas e falhas.
  • Planilha de registro: estruturação das variáveis que serão medidas (MTTR, MTBF, taxas de falha, etc.).
  • Formulário de registro de incidentes: para anotação de interrupções não planejadas.
  • Ferramentas de apoio: cronômetro, ferramentas de teste de estresse (k6, JMeter), sistema de logs, Google Forms.

3. Seleção dos Participantes

  • Perfil: Equipe de desenvolvimento e QA para testes controlados. Usuários finais para registro de falhas em uso real.
  • Amostra mínima: 2 participantes (Devido o tempo para realização da avaliação).
  • Consentimento: garantir autorização para gravação e coleta dos dados através do termo de consentimento.

4. Execução das Sessões

  • Aplicação dos testes de falha e de estresse de forma controlada.
  • Realização dos testes de usabilidade indevida com observação direta.
  • Monitoramento contínuo de logs e de issues reportados por usuários.
  • Preenchimento do formulário de interrupções pela equipe.

5. Análise dos Dados

  • Organização dos dados em planilhas segmentadas por tipo de teste e métrica.
  • Cálculo de MTTR, MTBF, taxas de sucesso de recuperação e de falhas críticas.
  • Classificação das métricas conforme níveis:
    🟢 Satisfatório
    🟡 Atenção
    🔴 Crítico
  • Análise qualitativa dos relatórios de incidente e logs.
  • Geração de gráficos de desempenho por métrica.

6. Validação dos Resultados

  • Discussão em equipe sobre os pontos críticos observados.
  • Comparação entre diferentes cenários de teste para avaliar consistência dos dados.
  • Identificação de padrões recorrentes de falhas.
  • Recomendações de melhorias baseadas nos resultados.

Ferramentas e Técnicas Utilizadas

  • Gravação de tela/vídeo: Gravador do Windows / Câmera
  • Cronometragem: Digital
  • k6 / JMeter / Gatling: medição de desempenho sob estresse
  • Planilhas Google ou Excel: análise estatística
  • Sistema de Logs: para análise pós-incidente Felipe Pedroza

Fluxo Resumido da Avaliação

Etapas:

  1. Definição das métricas
  2. Preparação dos instrumentos
  3. Seleção dos participantes/Ambiente
  4. Execução dos testes
  5. Coleta de dados
  6. Análise quantitativa e qualitativa
  7. Classificação e diagnóstico
  8. Recomendações de melhoria

Cronograma Previsto

Etapa Responsável Data prevista
Definição das métricas e critérios de análise com base nas perguntas-chave (Q1, Q2 e Q3) Equipe 19/05/2025
Elaboração do roteiro de tarefas Vinícius Mendes 01/07/2025
Elaboração das técnicas de testes Felipe Souto, Felipe Pedroza e Vinicius Mendes 02/07/2025
Testes-piloto Felipe Souto, Felipe Pedroza e Vinicius Mendes 03/07/2025
Aplicação inicial dos testes de estresse e erros Felipe Souto, Felipe Pedroza e Vinicius Mendes 04/07/2025
Realização dos testes realizados, em conjunto com anotação de evidências de falhas e sucessos Felipe Souto, Felipe Pedroza e Vinicius Mendes 06/07/2025
Tabulação e análise Felipe Souto, Felipe Pedroza e Vinicius Mendes 07/07/2025
Organização dos dados em planilhas, cálculo das médias de tempo, taxa de erros, frequência de feedback. Interpretação dos dados quantitativos e qualitativos. Felipe Souto, Felipe Pedroza e Vinicius Mendes 07/07/2025
Consolidação dos resultados, classificação dos achados (satisfatório, atenção, crítico) e proposta de testes unitários e de correções. Felipe Souto, Felipe Pedroza e Vinicius Mendes 07/07/2025
Criação de Issues/PR para o repositório oficial Felipe Souto, Felipe Pedroza e Vinicius Mendes 08/07/2025

📑 Histórico de Versão

Versão Data Descrição Autor
1.0 02/07/2025 Criação da página de Projeção da Avaliação de confiabilidade Vinícius Mendes