Testes de QA

O teste de conformidade prova que doze pessoas tiveram seu app instalado. Não diz nada sobre se o app funciona. Um teste de QA é a outra coisa: gente usando de propósito, em aparelhos que você não tem, anotando o que deu errado.

O que um teste abrangente cobre

Um teste superficial abre a aplicação e volta a fechá-la. Um teste abrangente é o contrário: chega-se a cada ecrã, conclui-se cada fluxo e depois atacam-se esses mesmos fluxos como os utilizadores reais tropeçam neles. É isto que os testadores percorrem.

• Cada ecrã e cada fluxo. Registo, início de sessão, recuperação de palavra-passe, a tarefa para a qual a sua aplicação existe, definições, partilha, terminar sessão e eliminar a conta — cada um concluído de ponta a ponta, não visto de relance.
• Regressão sobre o que já funcionava. As correções partem as vizinhas. Depois de cada compilação repetimos os fluxos que passaram da vez anterior, para que um conserto no pagamento não leve o início de sessão atrás de si sem ninguém dar por isso.
• Dispositivos que não tem. Telemóveis económicos e topo de gama, ecrãs pequenos e alongados, do Android 9 à versão atual. A fragmentação é de onde vem a maioria das avaliações de uma estrela, e não se reproduz num único telemóvel.
• Arranque a frio, engasgos e bateria. Quanto demora o primeiro ecrã num dispositivo lento, que listas engasgam ao deslizar e se a aplicação continua a gastar bateria muito depois de passar para segundo plano.
• Redes más, não apenas rápidas. Sem ligação, 2G, uma ligação que morre a meio de um carregamento e o modo de voo ativado no pior momento possível. Aplicações que só alguma vez funcionaram no wifi do escritório falham aqui.
• Instalação, atualização e reinstalação. Uma instalação limpa, uma atualização sobre a versão anterior já com dados reais lá dentro, e uma reinstalação depois de apagar. Os percursos de atualização são os menos testados e os que mais vezes se partem.
• Interrupções. Uma chamada a entrar a meio do pagamento, uma notificação por cima de um formulário meio preenchido, a rotação, o ecrã dividido, e a aplicação terminada em segundo plano e depois restaurada. É aqui que o estado desaparece em silêncio.
• Pagamentos e compras. Um pagamento bem-sucedido, um cartão recusado, uma folha cancelada e um toque duplo — cada um confrontado com o que o seu backend registou de facto, porque um ecrã que diz «concluído» não prova que algo tenha sido cobrado.
• Permissões, incluindo recusas. Concedida, negada, e negada agora mas concedida mais tarde. Uma aplicação que rebenta quando alguém diz não à câmara chumba na revisão da Play tal como falha ao utilizador.
• Acessibilidade. Navegação com TalkBack, ampliação de letra e contraste de cor — as coisas que tornam uma aplicação inutilizável para algumas pessoas, e a que a política da Play presta cada vez mais atenção.
• Idioma e disposição. Texto a transbordar do botão em alemão, datas na ordem errada e disposição da direita para a esquerda em árabe. Testamos nos idiomas que falamos, que são quase todos aqueles em que este site está escrito.
• Falhas e ANR, com os registos. Quando algo morre capturamos o rasto do logcat e anexamo-lo ao achado, para que receba uma pilha de chamadas e não a descrição que alguém faz dela.

O que um relatório contém

• Passos para reproduzir. Numerados, na ordem em que foram feitos — não “travou”.
• Aparelho e versão. Modelo e versão do Android em cada achado, porque metade dos bugs só aparece num aparelho.
• Esperado versus real. O que achavam que aconteceria, e o que aconteceu.
• Severidade. Bloqueador, maior, menor ou cosmético, para você planejar em vez de triar.
• Uma captura de tela. Onde uma imagem resolve.

Você pode orientá-los

Se quiser o fluxo de cadastro martelado, ou a tela de pagamento conferida em suaíli, diga ao contratar. Os testadores seguem a orientação e depois exploram livremente, e é daí que vêm os achados surpreendentes.

Retestes estão incluídos

Publique a correção e peça um reteste nos mesmos achados. Um bug marcado como corrigido que não está é pior do que um que ninguém encontrou, então conferimos em vez de acreditar na sua palavra.

A profundidade é decisão sua

Um teste focado aponta todos os testadores a uma única área — o pagamento, a introdução — e aprofunda-a. Um teste abrangente percorre em vez disso toda a aplicação, com vários testadores em paralelo em dispositivos diferentes, e costuma devolver dezenas de achados logo na primeira passagem. A maioria das equipas contrata um teste abrangente antes do lançamento e testes focados depois disso.

Preços de testes de QA →