Pruebas de QA
La prueba de cumplimiento demuestra que doce personas tuvieron tu app instalada. No dice nada sobre si la app funciona. Una prueba de QA es la otra cosa: gente usándola a propósito, en dispositivos que no tienes, anotando qué salió mal.
Qué cubre una prueba integral
Una prueba de humo abre la aplicación y vuelve a cerrarla. Una prueba integral es lo contrario: se llega a cada pantalla, se termina cada flujo y luego se atacan esos mismos flujos como los usuarios reales tropiezan con ellos. Esto es lo que recorren los testers.
- Cada pantalla y cada flujo. Registro, inicio de sesión, restablecimiento de contraseña, la tarea para la que existe tu aplicación, ajustes, compartir, cerrar sesión y eliminar la cuenta: cada uno completado de principio a fin, no mirado de pasada.
- Regresión sobre lo que ya funcionaba. Las correcciones rompen a sus vecinas. Después de cada compilación repetimos los flujos que pasaron la vez anterior, para que un arreglo en el pago no se lleve por delante el inicio de sesión sin que nadie lo note.
- Dispositivos que no tienes. Teléfonos económicos y de gama alta, pantallas pequeñas y alargadas, de Android 9 a la versión actual. La fragmentación es de donde vienen la mayoría de las reseñas de una estrella, y no se reproduce en un solo teléfono.
- Arranque en frío, tirones y batería. Cuánto tarda la primera pantalla en un dispositivo lento, qué listas se entrecortan al desplazarse y si la aplicación sigue consumiendo batería mucho después de pasar a segundo plano.
- Redes malas, no solo rápidas. Sin conexión, 2G, una conexión que muere a mitad de una subida y el modo avión activado en el peor momento posible. Las aplicaciones que solo han funcionado con el wifi de la oficina fallan aquí.
- Instalación, actualización y reinstalación. Una instalación limpia, una actualización sobre la versión anterior con datos reales dentro y una reinstalación tras borrarla. Las rutas de actualización son las menos probadas y las que más a menudo se rompen.
- Interrupciones. Una llamada que entra a mitad del pago, una notificación sobre un formulario a medio rellenar, la rotación, la pantalla dividida y la aplicación cerrada en segundo plano y luego restaurada. Aquí es donde el estado desaparece sin ruido.
- Pagos y compras. Un pago correcto, una tarjeta rechazada, una hoja cancelada y un doble toque: cada uno contrastado con lo que tu backend registró realmente, porque una pantalla que dice «listo» no prueba que se haya cobrado nada.
- Permisos, incluidas las negativas. Concedido, denegado, y denegado ahora pero concedido después. Una aplicación que se cierra cuando alguien dice que no a la cámara suspende la revisión de Play igual que le falla al usuario.
- Accesibilidad. Navegación con TalkBack, escalado de fuentes grandes y contraste de color: lo que vuelve una aplicación inutilizable para algunas personas, y a lo que la política de Play presta cada vez más atención.
- Idioma y maquetación. Texto que se desborda de su botón en alemán, fechas en el orden equivocado y maquetación de derecha a izquierda en árabe. Probamos en los idiomas que hablamos, que son casi todos en los que está escrito este sitio.
- Cierres y ANR, con los registros. Cuando algo se cae capturamos la traza de logcat y la adjuntamos al hallazgo, para que recibas una pila de llamadas y no la descripción que alguien hace de ella.
Qué contiene un informe
- Pasos para reproducirlo. Numerados, en el orden en que los hicieron, no «se cerró».
- Dispositivo y versión. Modelo y versión de Android en cada hallazgo, porque la mitad de los fallos sólo aparecen en un dispositivo.
- Esperado frente a real. Lo que creían que pasaría, y lo que pasó.
- Gravedad. Bloqueante, mayor, menor o cosmético, para que puedas planificar en vez de triar.
- Una captura. Donde una imagen lo zanja.
Puedes darles instrucciones
Si quieres que machaquen el registro, o que revisen la pantalla de pago en suajili, dilo al contratar. Los testers siguen las instrucciones y luego trastean libremente, que es de donde salen los hallazgos sorprendentes.
Las repruebas están incluidas
Publica la corrección y pide una reprueba de los mismos hallazgos. Un fallo marcado como corregido que no lo está es peor que uno que nadie encontró, así que lo comprobamos en vez de fiarnos de tu palabra.
La profundidad la decides tú
Una prueba enfocada dirige a todos los testers a una sola zona —el pago, el registro inicial— y profundiza en ella. Una prueba integral recorre en cambio toda la aplicación, con varios testers en paralelo en dispositivos distintos, y suele devolver decenas de hallazgos en la primera pasada. La mayoría de los equipos contratan una prueba integral antes del lanzamiento y pruebas enfocadas después.