اختبارات الجودة
اختبار الامتثال يثبت أن اثني عشر شخصًا ثبّتوا تطبيقك. وهو لا يقول شيئًا عمّا إذا كان التطبيق يعمل. اختبار الجودة شيء آخر: أشخاص يستخدمونه عن قصد، على أجهزة لا تملكها، ويكتبون ما الذي أخفق.
ما الذي يغطيه الاختبار الشامل
الاختبار السريع يفتح التطبيق ثم يغلقه. أما الاختبار الشامل فهو العكس: الوصول إلى كل شاشة، وإتمام كل مسار، ثم مهاجمة تلك المسارات نفسها بالطريقة التي يتعثر بها المستخدمون الحقيقيون. هذا ما يمرّ به المختبِرون.
- كل شاشة وكل مسار. إنشاء الحساب، وتسجيل الدخول، وإعادة تعيين كلمة المرور، والمهمة التي وُجد تطبيقك من أجلها، والإعدادات، والمشاركة، وتسجيل الخروج، وحذف الحساب — كل واحدة تُنجز من أولها إلى آخرها، لا يُكتفى بإلقاء نظرة عليها.
- اختبار انحدار لما كان يعمل من قبل. الإصلاحات تكسر جيرانها. بعد كل إصدار نعيد تشغيل المسارات التي نجحت في المرة السابقة، حتى لا يأخذ إصلاحٌ في الدفع تسجيلَ الدخول معه في صمت.
- أجهزة لا تملكها. هواتف اقتصادية وأخرى رائدة، شاشات صغيرة وأخرى طويلة، من Android 9 حتى الإصدار الحالي. تشتت الأجهزة هو مصدر معظم تقييمات النجمة الواحدة، ولا يمكن إعادة إنتاجه على هاتف واحد.
- البدء البارد، والتقطيع، والبطارية. كم تستغرق الشاشة الأولى على جهاز بطيء، وأي القوائم تتقطع أثناء التمرير، وهل ما زال التطبيق يستنزف البطارية بعد وقت طويل من انتقاله إلى الخلفية.
- شبكات سيئة، لا السريعة وحدها. دون اتصال، وعلى 2G، واتصال ينقطع في منتصف الرفع، ووضع الطيران يُفعَّل في أسوأ لحظة ممكنة. التطبيقات التي لم تعمل يومًا إلا على واي فاي المكتب تسقط هنا.
- التثبيت والترقية وإعادة التثبيت. تثبيت نظيف، وترقية فوق الإصدار السابق وبداخله بيانات حقيقية، وإعادة تثبيت بعد الحذف. مسارات الترقية هي الأقل اختبارًا والأكثر عطبًا.
- المقاطعات. مكالمة تصل في منتصف الدفع، وإشعار فوق نموذج نصف ممتلئ، وتدوير الشاشة، والشاشة المقسومة، والتطبيق يُغلق في الخلفية ثم يُستعاد. هنا تختفي الحالة بهدوء.
- المدفوعات والمشتريات. دفعة ناجحة، وبطاقة مرفوضة، وورقة دفع أُلغيت، ونقرة مزدوجة — كل حالة تُقارن بما سجّله خادمك فعليًا، لأن شاشة تقول «تم» ليست دليلًا على أن شيئًا قد حُصِّل.
- الأذونات، بما فيها الرفض. ممنوحة، ومرفوضة، ومرفوضة الآن ثم ممنوحة لاحقًا. التطبيق الذي ينهار حين يرفض أحدهم إذن الكاميرا يسقط في مراجعة Play كما يسقط أمام المستخدم.
- إمكانية الوصول. التنقل عبر TalkBack، وتكبير الخط، وتباين الألوان — الأمور التي تجعل التطبيق غير قابل للاستخدام لدى بعض الناس، والتي توليها سياسة Play اهتمامًا متزايدًا.
- اللغة والتخطيط. نص يفيض عن زره بالألمانية، وتواريخ بترتيب خاطئ، وتخطيط من اليمين إلى اليسار بالعربية. نختبر باللغات التي نتحدثها، وهي معظم اللغات التي كُتب بها هذا الموقع.
- الانهيارات وأخطاء ANR، مع السجلات. حين ينهار شيء نلتقط أثر logcat ونرفقه بالنتيجة، فتحصل على تتبع فعلي للمكدس لا على وصف أحدهم له.
ماذا يحتوي التقرير
- خطوات إعادة إظهار المشكلة. مرقّمة، بالترتيب الذي اتّبعوه — لا مجرد «تعطّل».
- الجهاز والإصدار. الطراز وإصدار Android مع كل ملاحظة، لأن نصف العلل تظهر على جهاز واحد فقط.
- المتوقّع مقابل الواقع. ما ظنّوا أنه سيحدث، وما حدث فعلًا.
- درجة الخطورة. معطِّل أو كبير أو صغير أو شكلي، لتخطّط بدل أن تفرز على عجل.
- لقطة شاشة. حيث تحسم الصورة الأمر.
يمكنك توجيههم
إن أردت اختبار مسار التسجيل بقسوة، أو فحص صفحة الدفع بالسواحيلية، فاذكر ذلك عند الحجز. يعمل المختبِرون وفق التوجيه ثم يستكشفون بحرية، ومن هناك تأتي الملاحظات المفاجئة.
إعادة الاختبار مشمولة
انشر الإصلاح ثم اطلب إعادة اختبار للملاحظات نفسها. علّة مكتوب أنها أُصلحت وهي لم تُصلَح أسوأ من علّة لم يجدها أحد، لذلك نتحقق بدل أن نأخذ بكلامك.
العمق قرارك أنت
الاختبار المركّز يوجّه كل المختبِرين إلى منطقة واحدة — الدفع، أو خطوات البدء — ويتعمق فيها. أما الاختبار الشامل فيجول التطبيق كله، بعدة مختبِرين في وقت واحد على أجهزة مختلفة، ويعيد عادةً عشرات النتائج من الجولة الأولى. معظم الفرق تحجز اختبارًا شاملًا واحدًا قبل الإطلاق، ثم اختبارات مركّزة بعده.