Bagelny: BUgHunting. Πώς να βρείτε 200 σφάλματα σε μια μέρα

Γεια σε όλους! Το όνομά μου είναι Γιούλια και είμαι δοκιμαστής. Πέρυσι σας είπα για bagodelnya - μια εκδήλωση που πραγματοποιήθηκε στην εταιρεία μας για τον καθαρισμό του ανεκτέλεστου σφάλματος. Αυτή είναι μια απολύτως βιώσιμη επιλογή για να τη μειώσετε σημαντικά (διαφορετικές ομάδες από 10 σε 50%) σε μία μόνο μέρα.

Σήμερα θέλω να σας πω για την ανοιξιάτικη μορφή Bagodelny - BUgHunting (BUH). Αυτή τη φορά δεν διορθώσαμε παλιά σφάλματα, αλλά αναζητήσαμε νέα και προτείναμε ιδέες για χαρακτηριστικά. Κάτω από την περικοπή υπάρχουν πολλές λεπτομέρειες σχετικά με τη διοργάνωση τέτοιων εκδηλώσεων, τα αποτελέσματά μας και τα σχόλια από τους συμμετέχοντες.

Bagelny: BUgHunting. Πώς να βρείτε 200 σφάλματα σε μια μέρα

Έχοντας σκεφτεί και καταγράψει τους κανονισμούς, στείλαμε μια πρόσκληση σε όλα τα κανάλια του εταιρικού Slack, η οποία δεν περιείχε κανέναν περιορισμό:

Bagelny: BUgHunting. Πώς να βρείτε 200 σφάλματα σε μια μέρα

Ως αποτέλεσμα, εγγράφηκαν περίπου 30 άτομα - τόσο προγραμματιστές όσο και μη τεχνικοί ειδικοί. Διαθέσαμε μια ολόκληρη εργάσιμη ημέρα για την εκδήλωση, κλείσαμε μια μεγάλη αίθουσα συσκέψεων και οργανώσαμε γεύματα στην καντίνα του γραφείου.

Γιατί;

Φαίνεται ότι κάθε ομάδα δοκιμάζει τη λειτουργικότητά της. Οι χρήστες μας αναφέρουν σφάλματα. Γιατί καν να γίνει μια τέτοια εκδήλωση;

Είχαμε πολλούς στόχους.

  1. Παρουσιάστε τα παιδιά πιο κοντά σε σχετικά έργα/προϊόντα.
    Τώρα στην εταιρεία μας όλοι εργάζονται σε ξεχωριστές ομάδες – μονάδες. Αυτές είναι ομάδες έργου που εργάζονται στο δικό τους μέρος της λειτουργικότητας και δεν έχουν πάντα πλήρη επίγνωση του τι συμβαίνει σε άλλα έργα.
  2. Απλώς συστήστε τους συναδέλφους σας ο ένας στον άλλον.
    Έχουμε σχεδόν 800 υπαλλήλους στο γραφείο της Μόσχας· δεν γνωρίζονται όλοι οι συνάδελφοι οπτικά.
  3. Βελτιώστε την ικανότητα των προγραμματιστών να βρίσκουν σφάλματα στα προϊόντα τους.
    Τώρα προωθούμε το Agile Testing και εκπαιδεύουμε παιδιά προς αυτή την κατεύθυνση.
  4. Συμμετοχή περισσότερων από τεχνικούς ειδικούς στις δοκιμές.
    Εκτός από το τεχνικό τμήμα, έχουμε πολλούς συναδέλφους από άλλες ειδικότητες που ήθελαν να μιλήσουν περισσότερο για τις δοκιμές, για το πώς να αναφέρουμε σωστά ένα σφάλμα, ώστε να λαμβάνουμε λιγότερα μηνύματα όπως "Ααα... τίποτα δεν λειτουργεί".
  5. Και, φυσικά, βρείτε δύσκολα και αφανή σφάλματα.
    Ήθελα να βοηθήσω τις ομάδες να δοκιμάσουν νέες δυνατότητες και να τους δώσω την ευκαιρία να δουν την εφαρμοσμένη λειτουργικότητα από διαφορετική οπτική γωνία.

Реализация

Η μέρα μας περιελάμβανε πολλά τετράγωνα:

  • ενημέρωση;
  • μια σύντομη διάλεξη για τις δοκιμές, στην οποία θίξαμε μόνο τα κύρια σημεία (στόχους και αρχές της δοκιμής, κ.λπ.).
  • ενότητα για τους «κανόνες καλών τρόπων» κατά την εισαγωγή σφαλμάτων (εδώ οι αρχές περιγράφονται καλά).
  • τέσσερις συνεδρίες δοκιμών για έργα με περιγραφόμενα σενάρια υψηλού επιπέδου. Πριν από κάθε συνεδρία γινόταν μια σύντομη εισαγωγική διάλεξη για το έργο και χωρισμός σε ομάδες.
  • σύντομη έρευνα για την εκδήλωση?
  • συνοψίζοντας.

(Δεν ξεχάσαμε επίσης τα διαλείμματα μεταξύ των συνεδριών και του μεσημεριανού γεύματος).

Θεμελιωδών κανόνων

  • Η εγγραφή για τις εκδηλώσεις είναι ατομική, που λύνει το πρόβλημα της αποστράγγισης ολόκληρης της ομάδας λόγω αδράνειας εάν ένα άτομο αποφασίσει να μην πάει.
  • Οι συμμετέχοντες αλλάζουν ομάδες κάθε συνεδρία. Αυτό επιτρέπει στους συμμετέχοντες να έρχονται και να φεύγουν ανά πάσα στιγμή και μπορείτε επίσης να συναντήσετε περισσότερα άτομα.
  • Ομάδες δύο άτομα πριν από κάθε συνεδρία σχηματίζονται τυχαία, αυτό το κάνει πιο δυναμικό και πιο γρήγορο.
  • Για εισαγόμενα σφάλματα βραβεύεστε βαθμοί (από 3 έως 10) ανάλογα με την κρισιμότητα.
  • Δεν δίνονται πόντοι για διπλότυπα.
  • Τα σφάλματα πρέπει να υποβάλλονται από ένα μέλος της ομάδας σύμφωνα με όλα τα εσωτερικά πρότυπα.
  • Τα αιτήματα για δυνατότητες δημιουργούνται σε ξεχωριστή εργασία και συμμετέχουν σε ξεχωριστή υποψηφιότητα.
  • Η ομάδα ελέγχου παρακολουθεί τη συμμόρφωση με όλους τους κανόνες.

Bagelny: BUgHunting. Πώς να βρείτε 200 σφάλματα σε μια μέρα

Αλλες πληροφορίες

  • Αρχικά, ήθελα να κάνω μια "προχωρημένη" εκδήλωση δοκιμών, αλλά... Αρκετά παιδιά από ομάδες μη προϊόντων εγγράφηκαν (SMM, δικηγόροι, PR), έπρεπε να απλοποιήσουμε πολύ το περιεχόμενο και να αφαιρέσουμε περίπλοκες υποθέσεις/προφίλ.
  • Λόγω της εργασίας των μονάδων του Jira σε διαφορετικά έργα, ανάλογα με τη ροή μας, δημιουργήσαμε ειδικά ένα ξεχωριστό έργο στο οποίο δημιουργήσαμε ένα πρότυπο για την εισαγωγή σφαλμάτων.
  • Για τον υπολογισμό των πόντων, σχεδίαζαν να χρησιμοποιήσουν έναν πίνακα κατάταξης που ενημερωνόταν μέσω webhooks, αλλά κάτι πήγε στραβά και στο τέλος ο υπολογισμός έπρεπε να γίνει χειροκίνητα.

Όλοι αντιμετωπίζουν προβλήματα κατά τη διοργάνωση εκδηλώσεων και για να σας διευκολύνω λίγο, θα σας περιγράψω τα προβλήματά μας που μπορείτε να αποφύγετε.

Ένας από τους ομιλητές αρρώστησε ξαφνικά και έπρεπε να βρει ένα νέο.
Ήμουν πολύ τυχερός που βρήκα αντικαταστάτη από την ίδια ομάδα στις 9 το πρωί). Αλλά είναι καλύτερα να μην βασίζεστε στην τύχη και να έχετε ένα εφεδρικό. Ή να είστε έτοιμοι να δώσετε μόνοι σας την απαραίτητη αναφορά.

Δεν είχαμε χρόνο να αναπτύξουμε τη λειτουργικότητα, έπρεπε να ανταλλάξουμε τα μπλοκ.
Για να αποφύγετε να πετάξετε ένα ολόκληρο μπλοκ, είναι καλύτερο να έχετε ένα εφεδρικό σχέδιο.

Κάποιοι δοκιμαστικοί χρήστες έπεσαν, έπρεπε να δημιουργήσουμε ξανά γρήγορα νέους.
Διασταυρώστε τους χρήστες δοκιμών εκ των προτέρων ή μπορείτε να τις κάνετε γρήγορα.

Σχεδόν κανένας από τους τύπους για τους οποίους απλοποιήθηκε η μορφή δεν ήρθε.
Δεν χρειάζεται να σύρετε κανέναν με το ζόρι. Ταπεινώσου.
Υπάρχει μια επιλογή να ορίσετε αυστηρά τη μορφή της εκδήλωσης: "ερασιτεχνική"/"προχωρημένη" ή να προετοιμάσετε δύο επιλογές ταυτόχρονα και να αποφασίσετε ποια θα πραγματοποιήσετε εκ των υστέρων.

Χρήσιμα οργανωτικά σημεία:

  • κλείστε μια συνάντηση εκ των προτέρων.
  • τακτοποιήστε τραπέζια, μην ξεχνάτε τα καλώδια επέκτασης και τα προστατευτικά υπέρτασης (η φόρτιση φορητών υπολογιστών/τηλεφώνων μπορεί να μην είναι αρκετή για όλη την ημέρα).
  • αυτοματοποίηση της διαδικασίας βαθμολόγησης·
  • ετοιμάζει πίνακες κατάταξης.
  • φτιάξτε έντυπα σε χαρτί με στοιχεία σύνδεσης και κωδικούς πρόσβασης δοκιμαστικών χρηστών, οδηγίες για την εργασία με τον Jira, σενάρια.
  • Μην ξεχάσετε να στείλετε υπενθυμίσεις μια εβδομάδα πριν από την εκδήλωση και να αναφέρετε επίσης τι πρέπει να πάρετε μαζί σας (φορητοί υπολογιστές/συσκευές).
  • πείτε στους συναδέλφους σας για την εκδήλωση σε μια επίδειξη, σε γεύματα, πίνοντας ένα φλιτζάνι καφέ.
  • συμφωνήστε με τους devop να μην ενημερώσουν ή να διαθέσουν τίποτα αυτήν την ημέρα.
  • προετοιμασία ηχείων.
  • διαπραγματευτείτε με τους κατόχους δυνατοτήτων και γράψτε περισσότερα σενάρια για δοκιμή.
  • παραγγείλετε λιχουδιές (μπισκότα/ζαχαρωτά) για σνακ.
  • μην ξεχάσετε να μας πείτε για τα αποτελέσματα της εκδήλωσης.

Ευρήματα

Κατά τη διάρκεια ολόκληρης της ημέρας, τα παιδιά κατάφεραν να δοκιμάσουν 4 έργα και να δημιουργήσουν 192 σφάλματα (εκ των οποίων τα 134 ήταν μοναδικά) και 7 προβλήματα με αιτήματα για λειτουργίες. Φυσικά, οι ιδιοκτήτες του έργου γνώριζαν ήδη μερικά από αυτά τα σφάλματα. Υπήρξαν όμως και απροσδόκητα ευρήματα.

Όλοι οι συμμετέχοντες έλαβαν γλυκά δώρα.

Bagelny: BUgHunting. Πώς να βρείτε 200 σφάλματα σε μια μέρα

Και οι νικητές είναι θερμοσώματα, κονκάρδες, φούτερ.

Bagelny: BUgHunting. Πώς να βρείτε 200 σφάλματα σε μια μέρα

Τι αποδείχθηκε ενδιαφέρον:

  • Οι συμμετέχοντες βρήκαν τη μορφή των σκληρών συνεδριών απροσδόκητη, όταν ο χρόνος είναι περιορισμένος και δεν μπορείτε να αφιερώσετε πολύ χρόνο στη σκέψη.
  • κατάφερε να δοκιμάσει την έκδοση για υπολογιστές, φορητές συσκευές και εφαρμογές.
  • εξετάσαμε πολλά έργα ταυτόχρονα, δεν υπήρχε χρόνος να βαρεθούμε.
  • συνάντησε διάφορους συναδέλφους, εξέτασε τις προσεγγίσεις τους για την εισαγωγή σφαλμάτων.
  • ένιωσε όλο τον πόνο των δοκιμαστών.

Τι μπορεί να βελτιωθεί:

  • Κάντε λιγότερα έργα και αυξήστε τον χρόνο συνεδρίας σε 1,5 ώρα.
  • ετοιμάστε δώρα/αναμνηστικά πολύ εκ των προτέρων (μερικές φορές η έγκριση/η πληρωμή διαρκεί ένα μήνα).
  • χαλαρώστε και αποδεχτείτε ότι κάτι δεν θα πάει σύμφωνα με το σχέδιο και θα υπάρξει ανωτέρα βία.

Σχόλια

Bagelny: BUgHunting. Πώς να βρείτε 200 σφάλματα σε μια μέρα
Anna Bystrikova, διαχειριστής συστήματος: «Το ελεημοσύνη είναι πολύ εκπαιδευτικό για μένα. Έμαθα τη διαδικασία των δοκιμών και ένιωσα όλο τον «πόνο» των δοκιμαστών.
Αρχικά, κατά τη διαδικασία δοκιμής, ως υποδειγματικός χρήστης, ελέγχετε τα κύρια σημεία: αν κάνει κλικ στο κουμπί, αν πηγαίνει στη σελίδα, αν έχει μετακινηθεί η διάταξη. Αλλά αργότερα συνειδητοποιείτε ότι πρέπει να σκεφτείτε περισσότερο έξω από το κουτί και να προσπαθήσετε να «σπάσετε» την εφαρμογή. Οι δοκιμαστές έχουν μια δύσκολη δουλειά· δεν αρκεί να "σπρώχνετε" σε όλη τη διεπαφή· πρέπει να προσπαθήσετε να σκεφτείτε έξω από το κουτί και να είστε εξαιρετικά προσεκτικοί.
Οι εντυπώσεις ήταν μόνο θετικές, ακόμα και τώρα, λίγο καιρό μετά την εκδήλωση, βλέπω πώς γίνεται δουλειά στα σφάλματα που βρήκα. Είναι υπέροχο να νιώθεις συμμετοχή στη βελτίωση του προϊόντος ^_^."

Bagelny: BUgHunting. Πώς να βρείτε 200 σφάλματα σε μια μέρα

Dmitry Seleznev, προγραμματιστής front-end: «Η δοκιμή σε ανταγωνιστική λειτουργία μάς παρακινεί πολύ να βρούμε περισσότερα σφάλματα). Μου φαίνεται ότι όλοι πρέπει να προσπαθήσουν να συμμετέχουν στο Baghunting. Η διερευνητική δοκιμή σάς επιτρέπει να βρείτε εκείνες τις περιπτώσεις που δεν περιγράφονται στο σχέδιο δοκιμών. Επιπλέον, οι άνθρωποι που δεν γνωρίζουν το έργο μπορούν να δώσουν σχόλια σχετικά με την ευκολία της υπηρεσίας."

Bagelny: BUgHunting. Πώς να βρείτε 200 σφάλματα σε μια μέρα

Antonina Tatchuk, αρχισυντάκτρια: «Μου άρεσε να δοκιμάζω τον εαυτό μου ως δοκιμαστή. Αυτό είναι ένα εντελώς διαφορετικό στυλ δουλειάς. Προσπαθείτε να σπάσετε το σύστημα, όχι να κάνετε φίλους μαζί του. Είχαμε πάντα την ευκαιρία να ρωτήσουμε τους συναδέλφους μας κάτι σχετικά με τις δοκιμές. Έμαθα περισσότερα σχετικά με την ιεράρχηση σφαλμάτων (για παράδειγμα, έχω συνηθίσει να ψάχνω για γραμματικά λάθη στα κείμενα, αλλά το «βάρος» ενός τέτοιου σφάλματος είναι πολύ μικρό· και το αντίστροφο, κάτι που μου φαινόταν όχι πολύ σημαντικό κατέληξε να είναι ένα κρίσιμο σφάλμα, το οποίο διορθώθηκε αμέσως).
Στην εκδήλωση, τα παιδιά έκαναν μια περίληψη της θεωρίας δοκιμών. Αυτό ήταν χρήσιμο για μη τεχνικούς ανθρώπους. Και λίγες μέρες αργότερα έπιασα τον εαυτό μου να σκέφτεται ότι έγραφα για την υποστήριξη ενός άλλου ιστότοπου χρησιμοποιώντας τη φόρμουλα «τι-πού-πότε» και περιγράφοντας λεπτομερώς τις προσδοκίες μου από τον ιστότοπο και την πραγματικότητα».

Συμπέρασμα

Εάν θέλετε να διαφοροποιήσετε τη ζωή της ομάδας σας, ρίξτε μια νέα ματιά στη λειτουργικότητα, οργανώστε ένα μίνι «Φάε τη δική σου τροφή για σκύλους», τότε μπορείτε να προσπαθήσετε να πραγματοποιήσετε μια τέτοια εκδήλωση και μετά να το συζητήσουμε μαζί.

Ό,τι καλύτερο και λιγότερα σφάλματα!

Πηγή: www.habr.com

Προσθέστε ένα σχόλιο