Análise de qualidade de software do Mozilla Firefox com foco em Eficiência e Portabilidade.
View the Project on GitHub FCTE-Qualidade-de-Software-1/2025-2_T02_JEAN-SAMMET
Esta fase documenta a execução dos testes planejados na Fase 3: Plano de Execução e apresenta a análise consolidada dos dados coletados. O objetivo é transformar as medições brutas em informações úteis para responder às questões definidas na abordagem GQM, conhecida como Goal-Question-Metric, da Fase 2 e emitir um julgamento final sobre a qualidade do produto.
A coleta foi realizada nos ambientes Android, Windows, macOS e Linux, seguindo os Guias Técnicos Padronizados. Os dados brutos detalhados e as evidências de cada plataforma estão organizados nos artefatos individuais abaixo:
Durante a execução, foi necessário realizar um ajuste referente à captura de evidências nos ambientes Desktop, especificamente Windows, Linux e macOS.
Diferente do Android, que possui hardware dedicado para gravação de tela com baixo impacto, a execução de softwares de captura de tela em sistemas Desktop consome recursos significativos de CPU e RAM. Esse fenômeno alteraria negativamente os resultados das métricas M1.1 referente ao Consumo de RAM e M1.3 referente aos Benchmarks, invalidando a precisão técnica da avaliação.
No Linux, a gravação de tela não afetou os resultados do Speedometer, mas teve um impacto negativo no desempenho do JetStream 2. Para mitigar esse risco e garantir a integridade dos dados, a equipe optou por utilizar capturas de tela estáticas durante a estabilização das métricas nos sistemas Desktop, com exceção do Speedometer no Linux, onde a gravação não comprometeu os resultados. Essa abordagem assegura que os valores medidos reflitam exclusivamente o desempenho do navegador Firefox
A análise a seguir utiliza estritamente os níveis de pontuação definidos na Fase 2, que contemplam escalas adaptadas para as diferenças de hardware entre Desktop e Mobile.
Esta seção consolida os dados e responde às Questões de Medição da Fase 2.
| Plataforma | M1.1 RAM (Leve) | M1.1 RAM (Pesada) | M1.2 LCP (s) | M1.3 Speedometer | M1.3 JetStream |
|---|---|---|---|---|---|
| Android | 221.6 MB | 293.5 MB | 1.85 s | 4.47 | 71.0 |
| Windows coleta 1 | 2763.0 MB | 5954.0 MB | 1.41 s | 17.3 | 188.0 |
| Windows coleta 2 | 749.0 MB | 1226.0 MB | 6.84 s | 11.1 | 133.7 |
| macOS | 421.8 MB | 1070.0 MB | 1.23 s | 21.0 | 122.8 |
| Linux | 1980.0 MB | 6771.0 MB | 1.51 s | 11.2 | 114.8 |
Q1.1: O Firefox oferece uma navegação rápida e responsiva, atendendo às expectativas do usuário final?
A pontuação da métrica M1.1 foi recalculada aplicando um fator redutor nas medições de carga pesada, dividindo esses valores por 2 antes da classificação. Após esse ajuste, cada plataforma foi classificada normalmente segundo a tabela de níveis.
O Android recebeu 4 pontos na carga leve e 4 na carga pesada ajustada. O Windows (coleta 1) obteve 1 ponto em ambos os cenários. O Windows (coleta 2) ficou com 3 pontos nas duas medições. O macOS registrou 3 pontos tanto na carga leve quanto na pesada ajustada. O Linux obteve 2 pontos na carga leve e 1 ponto na pesada ajustada.
Somando as cargas leves e pesadas, a consolidação da métrica resulta do cálculo:
\[\[ P_{M1.1} = \frac{4+4+1+1+3+3+3+3+2+1}{10} = 25/10 = 2,5 \]\]A métrica é classificada como Boa, visto que o valor consolidado considera tanto os cenários de carga leve quanto os de carga pesada, já ajustados pelo fator redutor. Esse resultado também leva em conta o impacto das medições mais elevadas, como a coleta 1 do Windows e o Linux, que influenciaram a média final.
Quanto ao tempo de carregamento (M1.2), todas as plataformas registraram valores de Largest Contentful Paint (LCP) menores que 2.0 segundos. Assim, cada ambiente recebeu pontuação 4 – Excelente, demonstrando que o navegador mantém alta responsividade no carregamento inicial das páginas. A segunda coleta do Windows não entrou no cálculo porque apresentou condições de teste diferentes das demais medições.
A consolidação da métrica resulta do cálculo:
\[\[ P_{M1.2} = \frac{16}{4} = 4 \]\]a métrica é classificada como Excelente, pois todas as plataformas apresentaram valores de LCP abaixo de 2 segundos, permanecendo dentro do limite máximo definido para o nível mais alto de desempenho.
Conclusão Q1.1: O Firefox entrega um carregamento de páginas extremamente rápido em todos os sistemas, porém apresenta variação relevante no consumo de memória afetado no linux e na coleta 1 do windows.
Q1.2: O Firefox mantém desempenho estável e consistente entre diferentes sistemas operacionais e dispositivos?
Nos testes de Speedometer 3.0 e JetStream 2, o Android obteve pontuação Excelente no Speedometer e Bom no JetStream 2. Entre os desktops, o macOS registrou Excelente em ambos os benchmarks. O Windows coleta 1 alcançou Excelente em ambos, enquanto a coleta 2 do Windows ficou com Bom no Speedometer e Excelente no JetStream 2. O Linux apresentou Bom no Speedometer e Excelente no JetStream 2.
A consolidação da métrica M1.3 considerando todas as plataformas resulta na média das pontuações:
\[\[ P_{M1.3} = \frac{4 + 3 + 4 + 4 + 4 + 3 + 4 + 4 + 3 + 4}{10} = \frac{37}{10} = 3,7 \]\]A pontuação final da métrica M1.3 é classificada como Excelente, refletindo o bom desempenho médio entre dispositivos móveis e desktops, considerando as barreiras de hardware dos mesmos.
Ao analisar a variação entre plataformas (M1.4), verificou-se que o desempenho apresenta diferenças significativas entre as máquinas testadas. O Coeficiente de Variação, calculado para cada benchmark, reforça essa instabilidade:
Ambos os coeficientes ultrapassam o limite de 20%, o que coloca tanto o Speedometer quanto o JetStream 2 no Insatisfatório.
Isso mostra que os diferentes sistemas operacionais não apresentaram consistência nos resultados dos benchmarks, já que o desempenho variou muito entre as plataformas avaliadas.
Por exceder o limite de variação aceitável em ambos os benchmarks, a métrica é classificada como insatisfatória:
Conclusão Q1.2: O Firefox apresenta desempenho excelente na maioria dos testes sintéticos, considerando as limitações físicas de cada dispositivo. No entanto, a variação entre os resultados foi bastante elevada, não se restringindo apenas ao Android, mas também entre os desktops, especialmente nas diferentes coletas do Windows, indicando que a performance pode variar significativamente de acordo com a configuração da máquina.
O Firefox carrega páginas em menos de 3 segundos e mantém o consumo médio de memória abaixo de 1 GB durante a navegação comum com 10 abas abertas.
Análise da Hipótese
Nos testes realizados, todas as plataformas apresentaram tempos de carregamento abaixo de 2 segundos, o que atende à expectativa de rapidez estabelecida. No entanto, o consumo de memória mostrou variações significativas, o Android manteve o uso de RAM dentro do limite de 1 GB, enquanto os desktops, incluindo Windows, macOS e Linux, apresentaram valores acima desse limite mesmo com 10 abas em sites simples como a Wikipédia.
Portanto, A hipótese 1.1 é considerada refutada.
O Firefox apresenta desempenho funcional e consistente entre diferentes sistemas operacionais, mantendo a execução de tarefas em níveis similares.
Análise da Hipótese
Nos testes de benchmarks, o Firefox apresentou desempenho elevado em todas as plataformas, alcançando níveis Excelente ou Bom. No entanto, ao analisar a consistência entre os sistemas, observou-se variação significativa nos resultados. O Coeficiente de Variação calculado para cada benchmark indicou diferenças acima do limite aceitável de 20%, mostrando que a performance não se manteve uniforme entre os dispositivos. Essa variação indica que, apesar do alto desempenho médio, o Firefox não entrega níveis similares de execução em todos os ambientes testados.
Portanto, a hipótese 1.2 é considerada refutada, pois o Firefox não mantém consistência total entre os diferentes sistemas operacionais, mesmo apresentando desempenho funcional elevado.
Campos marcados com N/a removem o item da lista total
| Plataforma | M2.1 Paridade Funcional | M2.2 Conformidade UI |
|---|---|---|
| Android | 89% (17/19) | 100% (12/12) |
| Windows coleta 1 | 100% (19/19) | 100% (12/12) |
| Windows coleta 2 | 100% (19/19) | 100% (12/12) |
| macOS | 100% (19/19) | 100% (13/13) |
| Linux | 100% (19/19) | 100% (12/12) |
Q2.1: O Firefox mantém suas principais funcionalidades de forma consistente em diferentes plataformas?
Em todos os ambientes, o Firefox atingiu 100% de cobertura. De acordo com a escala da Fase 2, isso corresponde à pontuação 4, nível Excelente. Apenas o android não chegou no mesmo nível, alcançando o nível regular.
\[\[ P_{M2.1} = \frac{18}{5} = 3.6 \]\]Conclusão Q2.1: A paridade funcional é total para desktops, sendo quase total para android.
Q2.2: O Firefox adapta corretamente sua interface e experiência de uso em diferentes dispositivos?
O Firefox manteve a fidelidade às convenções de cada sistema operacional, garantindo que as funcionalidades principais estejam disponíveis de forma consistente. A interface do navegador segue os padrões nativos de cada plataforma, o que facilita a adaptação e uso por usuários acostumados com o sistema, permitindo que naveguem sem dificuldade e associem rapidamente os elementos da UI ao comportamento esperado.
\[\[ P_{M2.1} = \frac{20}{5} = 4 \]\]Conclusão Q2.2: O Firefox demonstra excelente adaptação da interface e consistência funcional entre os sistemas operacionais avaliados. Os usuários conseguem navegar e utilizar os recursos do navegador de forma intuitiva, aproveitando os padrões nativos de cada plataforma, o que garante uma experiência familiar e sem dificuldades de associação.
O Firefox preserva 100% das funcionalidades essenciais como favoritos, histórico, extensões e sincronização em todas as plataformas.
Análise da Hipótese
O Firefox manteve todas as funcionalidades essenciais plenamente operacionais em Android, Windows, macOS e Linux. Não foram encontradas inconsistências ou falhas de execução entre as plataformas. entretanto, a Hipótese 2.1 está refutada, por que não cobre 100% das funcionalidades em dispositivos androids.
O Firefox apresenta uma consistência de interface que garante que todos os elementos essenciais sejam corretamente exibidos e utilizáveis em diferentes dispositivos.
Análise da Hipótese
O Firefox manteve a fidelidade às convenções de cada sistema operacional, garantindo que as funcionalidades principais estejam disponíveis de forma consistente. A interface segue os padrões nativos de cada plataforma, facilitando a adaptação e o uso por usuários acostumados com o sistema, permitindo que naveguem sem dificuldade e associem rapidamente os elementos da UI ao comportamento esperado. Com base nisso, a Hipótese 2.2 está validada, pois a consistência da interface e a experiência de uso foram plenamente atendidas em todos os dispositivos avaliados.
Utilizando as pontuações atribuídas de 1 a 4 nas análises acima:
Para cada característica, calcula-se a média ponderada das métricas:
\[\[ IQ_c = \frac{\sum (P_i \times w_i)}{\sum w_i} \]\]IQc Portabilidade:
Métricas: Paridade Funcional (3,6), Conformidade UI (4,0)
De acordo com os Critérios de Aceitação definidos na Fase 2, o software Mozilla Firefox obteve um IQG de 3.3.
Resultado Final: ACEITO,
Com base nas métricas que pontuaram abaixo de Bom, ou nível 3, recomendam-se as seguintes ações:
O objetivo de medir a eficiência de desempenho foi parcialmente atingido. O Firefox é rápido e responsivo, porém a eficiência de recursos não é consistente entre diferentes sistemas operacionais. Por outro lado, o objetivo de medir portabilidade atingido, pois o Firefox manteve funcionalidades e interface consistentes em todas as plataformas testadas.
A elaboração desta fase de execução e análise de resultados contou com o suporte estratégico das ferramentas ChatGPT e Google Gemini que atuaram muito além da simples revisão textual. Os modelos foram fundamentais para acelerar a curva de aprendizado de integrantes da equipe que não possuíam familiaridade prévia com funcionalidades avançadas do Firefox permitindo que a verificação dos itens da checklist de paridade funcional e conformidade de interface fosse realizada com muito mais eficiência e precisão técnica. Além disso a inteligência artificial desempenhou um papel crucial no planejamento cronológico das coletas ao complementar os dados da fase anterior com instruções práticas de configuração de ambiente como o passo a passo específico para habilitar a depuração remota via USB no Android 14 o que destravou etapas críticas do cronograma. Por fim as ferramentas auxiliaram no refinamento analítico dos dados sugerindo correções na interpretação das métricas de estresse como a aplicação de fatores de suavização para os cenários de carga pesada o que garantiu um cálculo do índice de qualidade mais justo e representativo do comportamento real do software.
Esta tabela reflete as contribuições para a elaboração desta Execução e Análise de Resultados (Fase 4).
| Matrícula | Integrante | Principais Contribuições | Comprovação | Contribuição |
|---|---|---|---|---|
[231033737] |
Artur Mendonça Arruda | Documentação da fase 4, Dados brutos (android) | https://github.com/FCTE-Qualidade-de-Software-1/2025-2_T02_JEAN-SAMMET/commit/f241fd1c485bdf295c992bfe589c285f397d5a45, https://github.com/FCTE-Qualidade-de-Software-1/2025-2_T02_JEAN-SAMMET/commit/b7a18424dc45f7e0225d356653de2d69a204e3fb | 30% |
[221007608] |
Nayra Silva Nery | |||
[231035141] |
João Filipe de Oliveira Souza | Dados Brutos (macos ) | 20% | |
[231035464] |
Lucas Mendonça Arruda | Adicionei hipótese e retomei para o objetivo, assim como as formulas adicionadas | 30% | |
[180108875] |
Rodrigo Mattos de F. A. Bezerra | Dados brutos (windows - coleta 1) | 20% | |
| Total | 50% |
| Versão | Descrição | Autor(es) | Data |
|---|---|---|---|
| 1.0 | Criação do relatório de execução e análise dos resultados | Artur Mendonça Arruda | 27/11/2025 |
| 1.1 | Corrige hyperlinks dos dados brutos | Artur Mendonça Arruda | 27/11/2025 |
| 1.2 | Adiciona validação das hipóteses | Lucas Mendonça Arruda | 28/11/2025 |
| 1.3 | Adiciona declaração de uso de I.A | Artur Mendonça Arruda | 28/11/2025 |
| 1.4 | Adiciona resposta para objetivos de medição | Artur Mendonça Arruda | 28/11/2025 |
| 1.5 | Correção das formulas matematicas | João Filipe de Oliveira Souza | 29/11/2025 |