Lühike juhend katsete ja PoC läbiviimiseks

Sissejuhatus

IT valdkonnas ja eriti IT müügis töötades olen näinud palju piloteerimise projekte, kuid enamik neist on lõppenud tühjalt, suure ajakulu tõttu.

Samuti, kui räägime riistvara lahenduste testimisest, näiteks andmesalvestusseadmest, siis igale demokeskkonnale on tavaliselt järjekord, mis ulatub peaaegu aastani ette. Iga testimine meie graafikus võib tuua müügi või vastupidi, müügi kaotada. Situatsioon, kus testimine ei mõjuta müüki, ei ole mõtet arutada, kuna ka testimine pole mõttekas — see on tühine ajakulu ja demokeskkonna hõivamine.

Nii et kuidas siis kõik õigesti teha, et kõik juhtuks?

Ettevalmistus

Piloodi eesmärgid

Kust algab piloot? Mitte seadmete ühendamisest rackis, absoluutselt mitte. Enne seadmetega töötamist käib ettevalmistus dokumentidega. Alustame piloodi eesmärkide määratlemisest.
Piloodi eesmärk on kõrvaldada lõppkasutaja vastuväited. Kui vastuväiteid pole — pole ka pilooti. Jah, just nii.
Aga millised on peamised vastuväidete klassid, mida me näha võime?
* Me kahtleme usaldusväärsuses
* Me kahtleme jõudluses
* Me kahtleme skaleeritavuses
* Me kahtleme ühilduvuses ja suutlikkuses töötada meie süsteemidega
* Me ei usu teie slaididesse ning soovime praktikas veenduda, et teie süsteem seda tõeliselt suudab
* See kõik saab olema väga keeruline, meie insenerid on juba koormatud ja neil on raske

Kokkuvõttes saame lõpuks kolm põhiliiki pilootkatsetust ja erijuhuna kontsepti tõendamist (PoC – proof of concept):
* Koormustestimine (+ skaleeritavus)
* Funktsionaalsuskatsetamine
* Tõrkekindluse testimine

Konkreetse juhtumi puhul, sõltuvalt konkreetse tellija kahtlustest, võivad piloodis olla ühendatud erinevad eesmärgid või vastupidi, esineda ainult üks neist.

Piloot algab dokumendist, mis selgitab eesti keeles, miks seda testimist viiakse läbi. Samuti sisaldab see tingimata mõõdetavaid kriteeriume, mis võimaldavad üheselt öelda, kas piloot on edukalt läbitud või mida täpselt ei saavutatud. Mõõdetavad kriteeriumid võivad olla numbrilised (näiteks viivitused millisekundites, IOPS) või binaarsed (jah/ei). Kui teie piloodi kriteeriumide hulgas on mõõtmatu näitaja – ei ole piloodi läbiviimine mõttekas, see on puhtalt manipuleerimise tööriist.

Seadmed

Pilooti saab läbiviia kas tootja/distriibutori/partneri demoseadmetel või kliendi seadmetel. Tõepoolest, erinevus on väike, üldine lähenemine on sama.

Peamine küsimus seadmete osas ENNE pilooti – kas kõik vajalikud seadmed on kohal (sh lülitid, andmeedastuskaablid, toitekaablid)? Kas seadmed on testimiseks valmis (õiged tarkvaraversioonid, kõik toega, kõik tulukesed on rohelised)?

Testimise eesmärkide määramise järel järgnev tegevuste järjestus on varustada testimiseks vajalikud seadmed enne nende edastamist kliendile. Loomulikult on ka mõningaid usaldusväärseid kliente, kes ei kiirusta, kuid need on pigem erandid. See tähendab, et kogu komplekt peab olema partnerite platsil kokku pandud, kõik peab olema kontrollitud ja kokku pandud. Soovitatav on, et süsteem oleks tööle pandud ning te peaksite veenduma, et kõik töötab, tarkvara laetakse ilma vigadeta jne. Tundub, et see pole keeruline, kuid 3 neljast pilootprojektist algab kaablite või SFP-transiiverite otsimisega.
Erakordselt oluline on rõhutada, et demoversiooni kontrollimise käigus peate veenduma selle puhtuses. Kõik varasemate testimise andmed peavad olema süsteemist kohustuslikus korras kustutatud enne edastamist. Pole välistatud, et katsetamine toimus reaalsete andmete põhjal, kus võivad olla nii ärisaladused kui ka isikuandmed.

Testimistegevus

Enne seadmete edastamist tellijale peab olema kohustuslikult valmis testimise programm, mis vastab testimise eesmärkidele. Igal testil peab olema mõõdetav tulemus ja selged edutegurid.
Testimisprogramm võib olla koostatud tarnija, partneri, tellija või ühiselt – kuid kindlasti enne testide algust. Tellija peab kohustuslikult allkirjastama, et see programm talle sobib.

Inimesed

Piloodi ettevalmistamise käigus tuleb kokku leppida piloodi läbiviimise kuupäevad ja kõigi vajalike isikute kohalolek ning nende valmisolek testimiseks, nii tarnija/partneri kui ka tellija poolt. O, kui palju pilote on alustatud siis, kui peamine isik tellija juures läheb järgmisel päeval pärast seadmete paigaldamist puhkusele!

Kohustuste / ligipääsu sfäärid

Piloodi programmis peavad olema selgelt määratletud ja ideaalis ka kirja pandud kõigi osalejate vastutusalad. Kui vaja, tuleks kooskõlastada kaugor või füüsiline ligipääs tarnija/partneri inseneridele tellija süsteemidele ja andmetele tellija turvateenistuse kaudu.

Piloot

Kui oleme täitnud kõik eelnevad punktid, siis kõige igavam osa on ise pilot. Kuid see peab kulgema nagu rööbaste peal. Kui ei, siis tähendab see, et ettevalmistuses on midagi valesti.

Piloodi lõpetamine

Piloodi lõpetamisel koostatakse dokument tehtud testide kohta. Ideaalis peaks kõik testid olema programmis rohelise linnukesega LÄBIDUD. On võimalik ette valmistada esitlus kõrgemale juhtkonnale, et saada heakskiit ostuotsusest või lisamisest lubatud süsteemide nimekirja.
Kui teil ei ole piloodi lõpus dokumenti lõpetatud testide loetelu ja märkustega läbitud – on piloot ebaõnnestunud ja seda ei oleks pidanud üldse alustama.

Allikas: habr.com