QA टेस्टिंग रन
अनुपालन टेस्टिंग यह साबित करती है कि बारह लोगों के पास आपका ऐप इंस्टॉल था। यह नहीं बताती कि ऐप काम करता है या नहीं। QA रन दूसरी चीज़ है: लोग जानबूझकर उसे इस्तेमाल करते हैं, ऐसे डिवाइसों पर जो आपके पास नहीं, और लिखते हैं कि क्या गड़बड़ हुआ।
एक व्यापक परीक्षण में क्या-क्या शामिल है
एक सतही परीक्षण ऐप खोलता है और फिर बंद कर देता है। व्यापक परीक्षण इसका उल्टा है: हर स्क्रीन तक पहुँचा जाता है, हर प्रवाह पूरा किया जाता है, और फिर उन्हीं प्रवाहों पर उसी तरह हमला किया जाता है जैसे असली उपयोगकर्ता उनसे टकराते हैं। परीक्षक इन सब से गुज़रते हैं।
- हर स्क्रीन और हर प्रवाह। साइन-अप, साइन-इन, पासवर्ड रीसेट, वह काम जिसके लिए आपका ऐप बना है, सेटिंग्स, साझा करना, साइन-आउट और खाता हटाना — हर एक को शुरू से अंत तक पूरा किया जाता है, बस सरसरी नज़र नहीं डाली जाती।
- जो पहले से चल रहा था उस पर रिग्रेशन। एक सुधार अपने पड़ोसियों को तोड़ देता है। हर बिल्ड के बाद हम उन प्रवाहों को दोबारा चलाते हैं जो पिछली बार पास हुए थे, ताकि चेकआउट की मरम्मत चुपचाप लॉगिन को अपने साथ न ले जाए।
- वे डिवाइस जो आपके पास नहीं हैं। सस्ते और फ्लैगशिप फ़ोन, छोटी और लंबी स्क्रीन, Android 9 से लेकर मौजूदा रिलीज़ तक। ज़्यादातर एक-सितारा समीक्षाएँ इसी विखंडन से आती हैं, और इसे एक फ़ोन पर दोहराया नहीं जा सकता।
- कोल्ड स्टार्ट, अटकन और बैटरी। धीमे डिवाइस पर पहली स्क्रीन कितनी देर लेती है, स्क्रॉल करते समय कौन-सी सूचियाँ अटकती हैं, और क्या ऐप पृष्ठभूमि में जाने के बहुत बाद तक भी बैटरी खाता रहता है।
- खराब नेटवर्क, केवल तेज़ नहीं। ऑफ़लाइन, 2G, अपलोड के बीच में टूट जाने वाला कनेक्शन, और सबसे बुरे क्षण पर चालू किया गया एयरप्लेन मोड। जो ऐप कभी केवल दफ़्तर के वाई-फ़ाई पर चले हैं, वे यहीं विफल होते हैं।
- इंस्टॉल, अपग्रेड और दोबारा इंस्टॉल। एक साफ़ इंस्टॉल, पहले से मौजूद असली डेटा के साथ पिछले संस्करण पर अपग्रेड, और हटाने के बाद दोबारा इंस्टॉल। अपग्रेड के रास्ते सबसे कम परखे जाते हैं और सबसे अधिक बार टूटते हैं।
- व्यवधान। भुगतान के बीच में आती कॉल, आधे भरे फ़ॉर्म के ऊपर आती सूचना, स्क्रीन घुमाना, स्प्लिट स्क्रीन, और पृष्ठभूमि में बंद कर दिए गए ऐप को फिर से खोलना। राज्य यहीं चुपचाप गायब होता है।
- भुगतान और खरीदारी। सफल भुगतान, अस्वीकृत कार्ड, रद्द की गई शीट और दोहरा टैप — हर एक की जाँच इस बात से की जाती है कि आपके बैकएंड ने वास्तव में क्या दर्ज किया, क्योंकि सफलता दिखाती स्क्रीन इस बात का प्रमाण नहीं कि कुछ वसूला भी गया।
- अनुमतियाँ, इनकार सहित। दी गई, अस्वीकृत, और अभी अस्वीकृत पर बाद में दी गई। जो ऐप कैमरे को मना करने पर क्रैश हो जाता है, वह Play समीक्षा में उतना ही विफल होता है जितना उपयोगकर्ता के सामने।
- सुगम्यता। TalkBack नेविगेशन, बड़े फ़ॉन्ट का स्केलिंग और रंग कंट्रास्ट — वे चीज़ें जो कुछ लोगों के लिए ऐप को अनुपयोगी बना देती हैं, और जिन पर Play की नीति लगातार अधिक ध्यान दे रही है।
- भाषा और लेआउट। जर्मन में बटन से बाहर बहता पाठ, गलत क्रम में तारीखें, और अरबी में दाएँ-से-बाएँ लेआउट। हम उन भाषाओं में परखते हैं जो हम बोलते हैं, जो इस साइट की अधिकांश भाषाएँ हैं।
- क्रैश और ANR, लॉग के साथ। जब कुछ बंद होता है तो हम logcat ट्रेस पकड़कर उसे निष्कर्ष के साथ जोड़ देते हैं, ताकि आपको किसी का विवरण नहीं, असली स्टैक मिले।
रिपोर्ट में क्या होता है
- दोहराने के चरण। क्रमांकित, उसी क्रम में जैसे उन्होंने किए — सिर्फ़ “क्रैश हो गया” नहीं।
- डिवाइस और वर्शन। हर फ़ाइंडिंग पर मॉडल और Android रिलीज़, क्योंकि आधे बग सिर्फ़ एक ही डिवाइस पर दिखते हैं।
- अपेक्षित बनाम वास्तविक। उन्हें क्या होने की उम्मीद थी, और क्या हुआ।
- गंभीरता। ब्लॉकर, बड़ा, छोटा या दिखावटी — ताकि आप जल्दबाज़ी में छाँटने के बजाय योजना बना सकें।
- एक स्क्रीनशॉट। जहाँ तस्वीर बात खत्म कर देती है।
आप उन्हें निर्देश दे सकते हैं
अगर आप चाहते हैं कि साइन-अप फ़्लो पर ज़ोर डाला जाए, या भुगतान स्क्रीन स्वाहिली में जाँची जाए, तो बुक करते समय बता दें। टेस्टर निर्देश के अनुसार काम करते हैं और फिर आज़ादी से खोजते हैं, और वहीं से चौंकाने वाली बातें निकलती हैं।
रीटेस्ट शामिल हैं
फ़िक्स भेजें और उन्हीं फ़ाइंडिंग पर रीटेस्ट माँगें। ऐसा बग जिसे ठीक बताया गया हो पर ठीक न हो, उससे भी बुरा है जिसे किसी ने पाया ही न हो — इसलिए हम आपकी बात मानने के बजाय जाँचते हैं।
कितनी गहराई तक जाना है, यह आप तय करें
केंद्रित परीक्षण हर परीक्षक को एक ही क्षेत्र पर लगाता है — चेकआउट, या शुरुआती ऑनबोर्डिंग — और उसमें गहराई तक जाता है। व्यापक परीक्षण इसके बजाय पूरे ऐप में घूमता है, अलग-अलग डिवाइस पर कई परीक्षक एक साथ, और पहली ही बार में आमतौर पर दर्जनों निष्कर्ष लौटाता है। ज़्यादातर टीमें लॉन्च से पहले एक व्यापक परीक्षण और उसके बाद केंद्रित परीक्षण बुक करती हैं।