Projeção da Avaliação de Confiabilidade
Objetivo
A presente seção tem como objetivo estruturar o planejamento da avaliação das métricas de robustez e estabilidade do sistema, utilizando estratégias baseadas em testes de falha, análise de logs, testes de estresse e formulários de registro de incidentes. A avaliação será orientada pelas perguntas-chave definidas (Q1, Q2 e Q3), cujas métricas associadas serão medidas em sessões práticas e por meio de monitoramento contínuo.
Questões, Métricas e Estratégias de Avaliação
Q1: O sistema consegue se recuperar de falhas sem comprometer os dados ou a operação?
-
Métrica: Tempo médio para recuperação (MTTR)
Avaliação: Formulário Manual/Eletrônico através de teste até a falha e cronometrar o tempo de recuperação. Podendo ser realizado pela própria equipe. -
Métrica: Número de falhas com perda de dados
Avaliação: Análise Pós-Incidente verificando se os dados do usuário continuam íntegros. Se possuir banco de dados, analisar as tabelas, senão, através do aplicativo. -
Métrica: Taxa de recuperação automática bem-sucedida
Avaliação: Através de observação de log do sistema. A taxa é calculada da seguinte forma: (Nº de falhas resolvidas automaticamente sem intervenção humana) / (Nº total de falhas). Ou verificando se o aplicativo consegue se recuperar bem de um erro sozinho.
Q2: O sistema continua funcionando corretamente diante de entradas inválidas ou condições inesperadas?
-
Métrica: Número de erros tratados com sucesso
Avaliação: Formulário manual, anotando através de teste de usabilidade, tentando realizar o uso indevido, e anotando os casos tratados corretamente. -
Métrica: Taxa de falhas críticas causadas por entradas incorretas
Avaliação: Formulário manual, anotando através de teste de usabilidade, tentando realizar o uso indevido, e anotando os casos que não foram tratados corretamente. -
Métrica: Resultados de testes de estresse ou entrada inválida
Avaliação: Teste de Estresse: Use ferramentas como k6, JMeter ou Gatling para simular um grande número de usuários. Pensar em maneiras de simular um uso de estresse no aplicativo ou API.
Q3: O sistema funciona de forma estável durante o uso?
-
Métrica: Número de falhas/crashes por período
Avaliação: Contar o número de issues de "Relatar um Problema" enviados por usuários que descrevem um crash do sistema. -
Métrica: Tempo médio entre falhas (MTBF)
Avaliação: (Propor uma avaliação) -
Métrica: Taxa de interrupções não planejadas
Avaliação: Através de formulário eletrônico com a equipe anotando casos de problemas relatados ao longo do tempo de uso do aplicativo no trabalho.
Etapas do Processo de Avaliação
1. Definição do Escopo
Seleção das métricas a serem avaliadas com base em critérios de robustez, resiliência e estabilidade.
Organização das métricas em torno de três perguntas principais:
- Q1: O sistema consegue se recuperar de falhas sem comprometer os dados ou a operação?
- Q2: O sistema continua funcionando corretamente diante de entradas inválidas ou condições inesperadas?
- Q3: O sistema funciona de forma estável durante o uso?
2. Preparação dos Instrumentos
- Roteiro de testes de falha: criação de cenários para induzir falhas e medir a recuperação.
- Roteiro de testes de usabilidade indevida: criação de cenários com entradas inválidas e inesperadas.
- Checklist de análise de logs: para identificar recuperações automáticas e falhas.
- Planilha de registro: estruturação das variáveis que serão medidas (MTTR, MTBF, taxas de falha, etc.).
- Formulário de registro de incidentes: para anotação de interrupções não planejadas.
- Ferramentas de apoio: cronômetro, ferramentas de teste de estresse (k6, JMeter), sistema de logs, Google Forms.
3. Seleção dos Participantes
- Perfil: Equipe de desenvolvimento e QA para testes controlados. Usuários finais para registro de falhas em uso real.
- Amostra mínima: 2 participantes (Devido o tempo para realização da avaliação).
- Consentimento: garantir autorização para gravação e coleta dos dados através do termo de consentimento.
4. Execução das Sessões
- Aplicação dos testes de falha e de estresse de forma controlada.
- Realização dos testes de usabilidade indevida com observação direta.
- Monitoramento contínuo de logs e de issues reportados por usuários.
- Preenchimento do formulário de interrupções pela equipe.
5. Análise dos Dados
- Organização dos dados em planilhas segmentadas por tipo de teste e métrica.
- Cálculo de MTTR, MTBF, taxas de sucesso de recuperação e de falhas críticas.
- Classificação das métricas conforme níveis:
🟢 Satisfatório
🟡 Atenção
🔴 Crítico - Análise qualitativa dos relatórios de incidente e logs.
- Geração de gráficos de desempenho por métrica.
6. Validação dos Resultados
- Discussão em equipe sobre os pontos críticos observados.
- Comparação entre diferentes cenários de teste para avaliar consistência dos dados.
- Identificação de padrões recorrentes de falhas.
- Recomendações de melhorias baseadas nos resultados.
Ferramentas e Técnicas Utilizadas
- Gravação de tela/vídeo: Gravador do Windows / Câmera
- Cronometragem: Digital
- k6 / JMeter / Gatling: medição de desempenho sob estresse
- Planilhas Google ou Excel: análise estatística
- Sistema de Logs: para análise pós-incidente Felipe Pedroza
Fluxo Resumido da Avaliação
Etapas:
- Definição das métricas
- Preparação dos instrumentos
- Seleção dos participantes/Ambiente
- Execução dos testes
- Coleta de dados
- Análise quantitativa e qualitativa
- Classificação e diagnóstico
- Recomendações de melhoria
Cronograma Previsto
Etapa | Responsável | Data prevista |
---|---|---|
Definição das métricas e critérios de análise com base nas perguntas-chave (Q1, Q2 e Q3) | Equipe | 19/05/2025 |
Elaboração do roteiro de tarefas | Vinícius Mendes | 01/07/2025 |
Elaboração das técnicas de testes | Felipe Souto, Felipe Pedroza e Vinicius Mendes | 02/07/2025 |
Testes-piloto | Felipe Souto, Felipe Pedroza e Vinicius Mendes | 03/07/2025 |
Aplicação inicial dos testes de estresse e erros | Felipe Souto, Felipe Pedroza e Vinicius Mendes | 04/07/2025 |
Realização dos testes realizados, em conjunto com anotação de evidências de falhas e sucessos | Felipe Souto, Felipe Pedroza e Vinicius Mendes | 06/07/2025 |
Tabulação e análise | Felipe Souto, Felipe Pedroza e Vinicius Mendes | 07/07/2025 |
Organização dos dados em planilhas, cálculo das médias de tempo, taxa de erros, frequência de feedback. Interpretação dos dados quantitativos e qualitativos. | Felipe Souto, Felipe Pedroza e Vinicius Mendes | 07/07/2025 |
Consolidação dos resultados, classificação dos achados (satisfatório, atenção, crítico) e proposta de testes unitários e de correções. | Felipe Souto, Felipe Pedroza e Vinicius Mendes | 07/07/2025 |
Criação de Issues/PR para o repositório oficial | Felipe Souto, Felipe Pedroza e Vinicius Mendes | 08/07/2025 |
📑 Histórico de Versão
Versão | Data | Descrição | Autor |
---|---|---|---|
1.0 |
02/07/2025 | Criação da página de Projeção da Avaliação de confiabilidade | Vinícius Mendes |