Ahoj všem! Jmenuji se Julie a jsem testerka. Minulý rok jsem vám vyprávěla o — akci, kterou pořádáme v naší firmě na čištění backlogu chyb. To je zcela životaschopný způsob, jak jej významně snížit (v různých týmech od 10 do 50%) za pouhý jeden den.
Dnes vám chci povědět o našem jarním formátu BugHuntingu (BUH). Tentokrát jsme neopravovali staré chyby, ale hledali nové a navrhovali nápady na funkce. Pod katem je spousta podrobností o organizaci takových akcí, našich výsledcích a názorech účastníků.
Po pečlivém promyšlení a sepsání stanoviska jsme rozeslali do všech kanálů v korporátním Slacku pozvánku, ve které nebyla žádná omezení:
Nakonec se zaregistrovalo přibližně 30 lidí — jak vývojáři, tak i netechnici. Na akci byl vyčleněn celý pracovní den, zarezervovali jsme velkou zasedačku a obědy jsme zajistili na základě kancelářské jídelny.
Proč?
Zdálo by se, že každý tým testuje svou funkcionalitu. Uživatelé nám hlásí chyby. Proč vůbec pořádat takovou akci?
Měli jsme několik cílů.
- Seznámit lidi se souvisejícími projekty/produkty blíže.
V současné době pracují v naší firmě všichni v samostatných týmech — jednotkách. To jsou projektové skupiny, které vyvíjejí svou část funkcionality a ne vždy jsou plně informovány o tom, co se děje v jiných projektech. - Jednoduše se seznámit kolegy mezi sebou.
V našem moskevském kanceláři máme téměř 800 zaměstnanců, ne všichni kolegové se znají osobně. - Zvýšit dovednost hledání chyb u vývojářů ve svých produktech.
Aktuálně prosazujeme Agile Testing a zlepšujeme dovednosti týmů v tomto směru. - Přitáhnout k testování nejen technické specialisty.
Kromě technického oddělení máme mnoho kolegů z jiných profesí, kterým bychom chtěli více povědět o testování, o tom, jak správně hlásit chyby, abychom dostávali méně zpráv typu „Aaaa… nic nefunguje“. - A samozřejmě najít záludné a neviditelné chyby.
Chtěli jsme pomoci týmům s testováním nových funkcí a poskytnout možnost podívat se na realizovanou funkcionalitu z jiného úhlu.
Implementace
Náš den se skládal z několika bloků:
- briefing;
- krátká přednáška o testování, ve které jsme se dotkli pouze základních bodů (cíle a principy testování atd.);
- sekce o „pravidlech dobrého chování“ při zakládání chyb ( dobře popsány principy);
- čtyři testovací sezení pro projekty s vysoce úrovňově popsanými scénáři; před každým sezením byla krátká úvodní přednáška o projektu a rozdělení do týmů;
- krátký dotazník po akci;
- shrnutí.
(Na přestávky mezi sezeními a oběd jsme také nezapomněli).
Základní pravidla
- Registrace na akce je individuální, což řeší problém se spouštěním celé týmové práce, když se jeden člověk rozhodne nejít.
- Každé sezení účastníci mění tým. To umožňuje účastníkům odcházet a přicházet kdykoliv a také se seznámit s větším počtem lidí.
- Příkazy po dvou osobách před každým sezením formovány náhodně, je to tak dynamičtější a rychlejší.
- Za založené chyby jsou přidělovány body (od 3 do 10) v závislosti na závažnosti.
- Za duplicity body nejsou přidělovány.
- Chyby musí zakládat člen týmu podle všech interních standardů.
- Požadavky na funkce se zakládají v samostatném úkolu a účastní se samostatné nominace.
- Dodržování všech pravidel sleduje auditorský tým.
Další detaily
- Původně jsme chtěli udělat „pokročilou“ akci na testování, ale jelikož se zaregistrovalo dost lidí z neprodukčních týmů (SMM, právníci, PR), museli jsme výrazně zjednodušit obsah a odstranit složité/profilové případy.
- Kvůli práci jednotek v Jira v různých projektech podle svých toků jsme speciálně vytvořili samostatný projekt, ve kterém jsme nastavili šablonu pro zakládání chyb.
- Pro počítání bodů jsme plánovali použít leaderboard, který se aktualizoval přes webhooky, ale něco neklaplo a nakonec bylo třeba počítání provést ručně.
Každý, kdo pořádá akce, se potýká s problémy, a aby to pro vás bylo o něco snazší, popíšu naše problémy, kterým se můžete vyhnout.
Jeden z řečníků náhle onemocněl a museli jsme hledat nového.
Mě opravdu šťastně potkalo, že jsem našla náhradu ze stejného týmu v 9 ráno). Ale raději se na štěstí nespoléhejte a mít náhradníka. Nebo být sám připraven prezentovat potřebnou přednášku.
Nestihli jsme vydat funkcionalitu, museli jsme přesunout bloky.
Abychom nemuseli vyhazovat celý blok, je lepší mít záložní plán.
Část testovacích uživatelů vypadla, museli jsme rychle vytvořit nové..
Dopředu zkontrolujte testovací uživatele nebo mějte možnost je rychle vytvořit.
Skoro nikdo z kluků, pro které jsme zjednodušovali formát, nepřišel..
Nikoho není třeba nutit. Osvědčte se s tím.
Existuje možnost pevně nastavit formát akce: "amatérský"/"pokročilý", nebo připravit rovnou dvě varianty a nakonec se rozhodnout, kterou uskutečnit.
Užitečné organizační momenty:
- rezervujte si jednací místnost v předstihu;
- uspořádejte stoly, nezapomeňte na prodlužovačky a přepěťové ochrany (nabíjení notebooků/telefonů na celý den může být nedostatečné);
- automatizujte proces počítání bodů;
- připravte si žebříčky;
- vytvořte tištěné materiály s přihlašovacími údaji a pokyny pro práci s Jira, scénáři;
- nezapomeňte týden před akcí rozeslat připomínky, navíc uveďte, co je třeba vzít s sebou (notebooky/zařízení);
- informujte kolegy o akci na demu, při obědech, u šálku kávy;
- domluvte se s devops na tom, aby nic neaktualizovali a nezaváděli v tento den;
- připravte prezentátory;
- domluvte se s majiteli funkcí a připravte více scénářů pro testování;
- objednejte dobrůtky (sušenky/cukrovinky) na svačiny;
- nezapomeňte informovat o výsledcích akce.
Výsledky
Během celého dne se kluci stihli otestovat 4 projekty a vytvořili 192 chyb (z nichž 134 bylo unikátních) a 7 úkolů s funkčními požadavky. Samozřejmě, že část těchto chyb už majitelé projektů znali. Ale byly i nečekané objevy.
Všichni účastníci obdrželi sladké ceny.
A vítězové – termosky, odznaky, mikiny.
Co bylo zajímavé:
- pro účastníky byl překvapením formát přísných sezení, kdy je čas omezený a nelze trávit mnoho času přemýšlením;
- podařilo se otestovat desktop, mobilní verzi a aplikace;
- podívali jsme se na hned několik projektů, nebyl čas se nudit;
- seznámili jsme se s různými kolegy a podívali se na jejich přístupy při zakládání chyb;
- prožili jsme všechny bolesti testerů.
Co lze zlepšit:
- zajišťovat méně projektů a prodloužit čas sezení na 1,5 hodiny;
- připravit dárky/suvenýry s dostatečným předstihem (někdy může schvalování/platba trvat i měsíc);
- uvolnit se a smířit se s tím, že něco nepůjde podle plánu a mohou nastat nečekané situace.
Hodnocení
Anna Bystrikova, systémová administrátorka: „Bugfest pro mě byl velmi poučný. Naučila jsem se proces testování, pocítila jsem veškerou 'bolest' testerů.
Na začátku testování, jako běžný uživatel, kontroluješ základní aspekty: jestli funguje tlačítko, jestli se přechází na stránku, jestli se design neposunul. Ale později pochopíš, že je třeba přemýšlet kreativněji a snažit se 'zalomit' aplikaci. Práce testerů není jednoduchá, nestačí jen 'proklikávat' celé rozhraní, je třeba myslet nekonvenčně a být velmi pozorný.
Dojmy zůstaly jen pozitivní, dokonce i teď, po určitém čase od akce, vidím, jak se pracuje na chybách, které jsem našla. Skvělé je cítit se součástí zlepšování produktu ^_^.“
Dmitrij Seleznev, frontendový vývojář: „Testování v soutěžním režimu silně motivuje najít více chyb). Myslím, že by se měli všichni zúčastnit Bug Hunting. Explorativní testování umožňuje najít případy, které nejsou popsány v testovacím plánu. Navíc lidé, kteří projekt neznají, mohou poskytnout zpětnou vazbu ohledně pohodlí služby.“
Antonina Tatchuk, vedoucí redaktorka: „Líbilo se mi vyzkoušet si roli testera. Je to úplně jiný styl práce. Snažíš se systém 'rozbít', nikoliv s ním spřátelit. Měli jsme vždy možnost se na něco ohledně testování zeptat kolegů. Naučila jsem se víc o prioritizaci chyb (například jsem byla zvyklá vyhledávat gramatické chyby v textech, ale 'váha' takové chyby je velmi malá; a naopak, něco, co mi přišlo jako méně důležité, se nakonec ukázalo jako kritická chyba, kterou okamžitě opravili).
Na akci nám účastníci poskytli shrnutí testovací teorie. Bylo to užitečné pro netechnické specialisty. A za pár dní jsem si uvědomila, že píšu na podporu jiného webu podle vzorce 'co-kde-kdy' a podrobně popisuji svá očekávání od webu a realitu.
Závěr
Pokud chcete oživit život týmu, podívat se na funkčnost novým pohledem, uspořádat mini „Snězte svou vlastní psí potravu“, můžete zkusit uspořádat takovou akci, a pak si ji můžeme společně probrat.
Všem dobrou náladu a méně chyb!
Zdroj: habr.com
