minn 12f-2
Fl-aħħar ta’ April, waqt li l-White Walkers kienu qed jassedjaw Winterfell, ġratilna xi ħaġa aktar interessanti; għamilna tnedija mhux tas-soltu. Fil-prinċipju, aħna kontinwament indaħħlu karatteristiċi ġodda fil-produzzjoni (bħal kulħadd). Iżda dan kien differenti. L-iskala tagħha kienet tali li kwalunkwe żball potenzjali li nistgħu nagħmlu jaffettwa s-servizzi u l-utenti kollha tagħna. Bħala riżultat, ħarġna kollox skond il-pjan, fil-perjodu ta 'waqfien ippjanat u mħabbar, mingħajr konsegwenzi għall-bejgħ. L-artiklu huwa dwar kif ksibna dan u kif kulħadd jista’ jirrepetih id-dar.
Issa mhux se niddeskrivi d-deċiżjonijiet arkitettoniċi u tekniċi li ħadna jew ngħid kif jaħdem kollox. Dawn huma pjuttost noti fil-marġini dwar kif seħħet waħda mill-aktar rollouts diffiċli, li osservajt u li fiha kont involut direttament. Jien ma nippretendix kompletezza jew dettalji tekniċi; forsi jidhru f'artiklu ieħor.
Sfond + x'tip ta' funzjonalità hija din?
Qed nibnu pjattaforma tas-sħab (MCS), fejn naħdem bħala direttur tekniku. U issa wasal iż-żmien li nżidu l-IAM (Ġestjoni tal-Identità u l-Aċċess) mal-pjattaforma tagħna, li tipprovdi ġestjoni unifikata tal-kontijiet kollha tal-utenti, utenti, passwords, rwoli, servizzi u aktar. Għaliex hija meħtieġa fis-sħaba hija mistoqsija ovvja: l-informazzjoni kollha tal-utent hija maħżuna fiha.
Normalment dawn l-affarijiet jibdew jinbnew fil-bidu nett ta 'kwalunkwe proġett. Iżda storikament l-affarijiet kienu ftit differenti fl-MCS. L-MCS inbniet f'żewġ partijiet:
- Openstack bil-modulu ta' awtorizzazzjoni Keystone tiegħu stess,
- Hotbox (ħażna S3) ibbażata fuq il-proġett Mail.ru Cloud,
li madwarhom imbagħad dehru servizzi ġodda.
Essenzjalment, dawn kienu żewġ tipi differenti ta' awtorizzazzjoni. Barra minn hekk, użajna xi żviluppi separati ta' Mail.ru, pereżempju, ħażna ġenerali ta' password ta' Mail.ru, kif ukoll konnettur openid li nkiteb waħdu, li grazzi għalih SSO (awtorizzazzjoni minn tarf sa tarf) ġiet ipprovduta fil-panel Orizzont. ta’ magni virtwali (native OpenStack UI).
Li nagħmlu IAM għalina kien ifisser li ngħaqqadha kollha f'sistema waħda, kompletament tagħna. Fl-istess ħin, ma nitilfu l-ebda funzjonalità tul it-triq, iżda se noħolqu pedament għall-futur li jippermettilna nirfinawha b'mod trasparenti mingħajr ma nirrefactoring u niskalawha f'termini ta 'funzjonalità. Fil-bidu wkoll, l-utenti kellhom mudell għall-aċċess għas-servizzi (RBAC ċentrali, kontroll tal-aċċess ibbażat fuq ir-rwol) u xi affarijiet żgħar oħra.
Il-kompitu rriżulta li mhux trivjali: python u perl, diversi backends, servizzi miktuba b'mod indipendenti, diversi timijiet ta 'żvilupp u amministraturi. U l-aktar importanti, hemm eluf ta 'utenti ħajjin fuq is-sistema tal-produzzjoni tal-ġlieda kontra. Dan kollu kellu jinkiteb u, l-aktar importanti, jinfirex mingħajr vittmi.
X'se noħorġu?
Biex ngħiduha bejn wieħed u ieħor, f'madwar 4 xhur ħejjejna dan li ġej:
- Ħloqna diversi daemons ġodda li aggregaw funzjonijiet li qabel kienu jaħdmu f'partijiet differenti tal-infrastruttura. Il-bqija tas-servizzi ġew preskritti backend ġdid fil-forma ta 'dawn id-demonji.
- Aħna ktibna l-ħażna ċentrali tagħna stess ta 'passwords u ċwievet, disponibbli għas-servizzi kollha tagħna, li jistgħu jiġu modifikati liberament kif għandna bżonn.
- Aħna ktibna 4 backends ġodda għal Keystone mill-bidu (utenti, proġetti, rwoli, assenjazzjonijiet ta 'rwoli), li, fil-fatt, issostitwixxu d-database tagħha, u issa jaġixxi bħala repożitorju wieħed għall-passwords tal-utenti tagħna.
- Aħna għallejna s-servizzi Openstack tagħna kollha biex imorru għand servizz ta’ politika ta’ parti terza għall-politiki tagħhom minflok ma naqraw dawn il-politiki lokalment minn kull server (iva, hekk jaħdem Openstack b’mod awtomatiku!)
Tali ħidma mill-ġdid maġġuri teħtieġ bidliet kbar, kumplessi u, l-aktar importanti, sinkroniċi f'diversi sistemi miktuba minn timijiet ta 'żvilupp differenti. Ladarba tkun immuntata, is-sistema kollha għandha taħdem.
Kif titfaċċa bidliet bħal dawn u ma jkabbruhx? L-ewwel iddeċidejna li nħarsu ftit lejn il-futur.
Strateġija ta' tnedija
- Ikun possibbli li l-prodott jitħaddem f'diversi stadji, iżda dan iżid iż-żmien ta 'żvilupp bi tliet darbiet. Barra minn hekk, għal xi żmien ikollna desinkronizzazzjoni sħiħa tad-data fid-databases. Ikollok tikteb l-għodod ta 'sinkronizzazzjoni tiegħek stess u tgħix ma' ħwienet tad-dejta multipli għal żmien twil. U dan joħloq varjetà wiesgħa ta’ riskji.
- Dak kollu li jista 'jiġi ppreparat b'mod trasparenti għall-utent sar minn qabel. Ħadu xahrejn.
- Ħallna nfusna waqfien għal diversi sigħat - biss għall-operazzjonijiet tal-utent biex joħolqu u jbiddlu r-riżorsi.
- Għat-tħaddim tar-riżorsi kollha diġà maħluqa, il-perijodi ta' waqfien kien inaċċettabbli. Ippjanajna li waqt it-tnedija, ir-riżorsi għandhom jaħdmu mingħajr waqfien u jaffettwaw lill-klijenti.
- Biex innaqqsu l-impatt fuq il-klijenti tagħna jekk xi ħaġa tmur ħażin, iddeċidejna li noħorġu l-Ħadd filgħaxija. Inqas klijenti jimmaniġġjaw magni virtwali bil-lejl.
- Aħna wissijna lill-klijenti kollha tagħna li matul il-perjodu magħżul għat-tnedija, il-ġestjoni tas-servizz mhux se tkun disponibbli.
Digressjoni: x'inhu rollout?
<kawtela, filosofija>
Kull speċjalista tal-IT jista’ faċilment iwieġeb x’inhi t-tnedija. Inti tinstalla CI/CD, u kollox jitwassal awtomatikament fil-maħżen. 🙂
Naturalment dan huwa minnu. Iżda d-diffikultà hija li b'għodod moderni ta 'awtomazzjoni tal-kunsinna tal-kodiċi, il-fehim tat-tnedija innifsu jintilef. Kif tinsa dwar l-epika tal-invenzjoni tar-rota meta tħares lejn it-trasport modern. Kollox huwa tant awtomatizzat li t-tnedija ħafna drabi titwettaq mingħajr ma tifhem l-istampa kollha.
U l-istampa kollha hija bħal din. It-tnedija tikkonsisti f'erba' aspetti ewlenin:
- Kunsinna tal-kodiċi, inkluża l-modifika tad-dejta. Per eżempju, il-migrazzjoni tagħhom.
- It-tkeċċija tal-kodiċi hija l-abbiltà li tmur lura jekk xi ħaġa tmur ħażin. Per eżempju, permezz tal-ħolqien ta 'backups.
- Ħin ta' kull operazzjoni ta' rollout/rollback. Trid tifhem iż-żmien ta 'kwalunkwe operazzjoni ta' l-ewwel żewġ punti.
- Funzjonalità affettwata. Huwa meħtieġ li jiġu evalwati kemm l-effetti pożittivi mistennija kif ukoll dawk negattivi possibbli.
Dawn l-aspetti kollha għandhom jitqiesu għal tnedija b'suċċess. Normalment l-ewwel punt biss, jew fl-aħjar mod it-tieni, jiġi evalwat, u mbagħad it-tnedija titqies bħala suċċess. Iżda t-tielet u r-raba' huma saħansitra aktar importanti. Liema utent jixtieq jekk it-tnedija ħa 3 sigħat minflok minuta? Jew jekk xi ħaġa mhux meħtieġa tiġi affettwata waqt it-tnedija? Jew il-perijodi ta' waqfien ta' servizz wieħed se jwassal għal konsegwenzi imprevedibbli?
Att 1..n, tħejjija għar-rilaxx
Għall-ewwel ħsibt biex niddeskrivi fil-qosor il-laqgħat tagħna: it-tim kollu, il-partijiet tiegħu, munzelli ta’ diskussjonijiet fil-punti tal-kafè, argumenti, testijiet, brainstorms. Imbagħad ħsibt li ma jkunx meħtieġ. Erba 'xhur ta' żvilupp dejjem jikkonsistu f'dan, speċjalment meta ma tkunx qed tikteb xi ħaġa li tista 'titwassal b'mod kostanti, iżda karatteristika waħda kbira għal sistema live. Li jaffettwa s-servizzi kollha, iżda xejn m'għandu jinbidel għall-utenti ħlief "buttuna waħda fl-interface tal-web."
Il-fehim tagħna ta 'kif nidħol inbidel minn kull laqgħa ġdida, u pjuttost sinifikanti. Pereżempju, konna se naġġornaw id-database tal-kontijiet kollha tagħna. Iżda kkalkulajna l-ħin u rrealizzajna li kien impossibbli li nagħmlu dan fi żmien raġonevoli ta 'tnedija. Domna kważi ġimgħa żejda biex nqattgħu u arkivjaw id-database tal-kontijiet. U meta l-veloċità tat-tnedija mistennija kienet għadha mhix sodisfaċenti, ordnajna ħardwer addizzjonali u aktar qawwi, fejn il-bażi kollha ġiet imkaxkra. Mhux talli ma ridniex nagħmlu dan qabel, iżda l-ħtieġa attwali li nidħlu ma ħalliena l-ebda għażla.
Meta wieħed minna kellu dubji li t-tnedija setgħet taffettwa d-disponibbiltà tal-magni virtwali tagħna, qattajna ġimgħa nagħmlu testijiet, esperimenti, analiżi tal-kodiċi u rċevejna fehim ċar li dan mhux se jiġri fil-produzzjoni tagħna, u anke l-aktar nies dubjużi qablu ma dan.
Sadanittant, il-guys mill-appoġġ tekniku wettqu l-esperimenti indipendenti tagħhom stess sabiex jiktbu struzzjonijiet għall-klijenti dwar metodi ta 'konnessjoni, li suppost kellhom jinbidlu wara t-tnedija. Huma ħadmu fuq l-UX tal-utent, ħejjew struzzjonijiet u pprovdew konsultazzjonijiet personali.
Aħna awtomatizzajna l-operazzjonijiet kollha tat-tnedija li kienu possibbli. Kull operazzjoni kienet miktuba, anke l-aktar sempliċi, u t-testijiet kienu kontinwament isiru. Huma argumentaw dwar l-aħjar mod biex titfi s-servizz - tħalli barra d-daemon jew timblokka l-aċċess għas-servizz b'firewall. Ħloqna lista ta’ kontroll ta’ timijiet għal kull stadju tat-tnedija u aġġornajna kontinwament. Ġibna u aġġornajna kontinwament chart ta' Gantt għax-xogħol kollu tat-tnedija, bil-ħinijiet.
U għalhekk…
L-att finali, qabel rolling out
...wasal iż-żmien li toħroġ.
Kif jgħidu, xogħol tal-arti ma jistax jitlesta, jintemm biss jaħdem fuqu. Trid tagħmel sforz ta 'rieda, tifhem li mhux se ssib kollox, imma temmen li għamilt is-suppożizzjonijiet raġonevoli kollha, ipprovda għall-każijiet kollha possibbli, għalaq il-bugs kritiċi kollha, u l-parteċipanti kollha għamlu dak kollu li setgħu. Iktar ma titfaċċa kodiċi, iktar ikun diffiċli li tikkonvinċi lilek innifsek b'dan (minbarra, kulħadd jifhem li huwa impossibbli li tipprevedi kollox).
Iddeċidejna li konna lesti li nwettqu meta konna konvinti li konna għamilna dak kollu possibbli biex inkopru r-riskji kollha għall-utenti tagħna assoċjati ma 'affetti u waqfien mhux mistennija. Jiġifieri, xi ħaġa tista' tmur ħażin ħlief:
- Affettwa (sagru għalina, l-aktar prezzjuż) infrastruttura tal-utenti,
- Funzjonalità: l-użu tas-servizz tagħna wara t-tnedija għandu jkun l-istess bħal qabel.
Rolling out
Żewġ roll, 8 ma jinterferixxux
Nieħdu waqfien għat-talbiet kollha mill-utenti għal 7 sigħat. F'dan iż-żmien, għandna kemm pjan ta 'tnedija kif ukoll pjan ta' rollback.
- It-tnedija innifsu jieħu madwar 3 sigħat.
- 2 sigħat għall-ittestjar.
- 2 sigħat - riżerva għal tibdil possibbli lura.
Ġiet imfassla diagramma ta' Gantt għal kull azzjoni, kemm tieħu żmien, x'jiġri b'mod sekwenzjali, x'jagħmel b'mod parallel.
Biċċa ta 'grafika ta' Gantt tat-tnedija, waħda mill-verżjonijiet bikrija (mingħajr eżekuzzjoni parallela). L-Għodda ta' Sinkronizzazzjoni l-Aktar Siewja
Il-parteċipanti kollha għandhom ir-rwol tagħhom fit-tnedija determinat, liema kompiti jagħmlu, u għal xiex huma responsabbli. Aħna nippruvaw inġibu kull stadju għall-awtomatità, ireġġgħuh, ireġġgħuh lura, niġbru feedback u jerġgħu jerġgħu.
Kronika tal-avvenimenti
Għalhekk, 15-il persuna ġew għax-xogħol nhar il-Ħadd, 29 ta’ April, fl-10 pm. Minbarra l-parteċipanti ewlenin, uħud ġew sempliċiment biex jappoġġjaw lit-tim, li għalihom grazzi speċjali.
Ta 'min isemmi wkoll li t-tester ewlieni tagħna jinsab fuq vaganza. Huwa impossibbli li titħaddem mingħajr ttestjar, qed nesploraw għażliet. Kollega taqbel li tittestjana mill-vaganza, li għaliha tirċievi gratitudni immens mit-tim kollu.
00:00. Waqfa
Inwaqqfu t-talbiet tal-utenti, hang up sinjal li jgħid xogħol tekniku. Il-monitoraġġ screams, iżda kollox huwa normali. Niċċekkjaw li ma waqa xejn ħlief dak li kellu jaqa’. U nibdew il-ħidma fuq il-migrazzjoni.
Kulħadd għandu pjan tat-tnedija stampat punt b'punt, kulħadd jaf min qed jagħmel xiex u f'liema mument. Wara kull azzjoni, niċċekkjaw il-ħinijiet biex niżguraw li ma naqbiżhomx, u kollox imur skond il-pjan. Dawk li mhux qed jipparteċipaw fit-tnedija direttament fl-istadju attwali qed iħejju billi jniedu ġugarell onlajn (Xonotic, quacks tat-tip 3) biex ma jfixklux lill-kollegi tagħhom. 🙂
02:00. Rolled out
Sorpriża pjaċevoli - aħna nispiċċaw it-tnedija siegħa qabel, minħabba l-ottimizzazzjoni tad-databases u l-iskripts tal-migrazzjoni tagħna. L-għajta ġenerali, "irrumblat!" Il-funzjonijiet ġodda kollha huma fil-produzzjoni, iżda s'issa biss nistgħu narawhom fl-interface. Kulħadd jidħol fil-modalità ta 'ttestjar, jagħżelhom fi gruppi, u jibda jara x'ġara fl-aħħar.
Ma rriżultax tajjeb ħafna, nirrealizzaw dan wara 10 minuti, meta xejn mhu konness jew jaħdem fil-proġetti tal-membri tat-tim. Sinkronizzazzjoni ta 'malajr, aħna nsemmu l-problemi tagħna, nistabbilixxu prijoritajiet, nidħlu f'timijiet u nidħlu fil-debugging.
02:30. Żewġ problemi kbar vs erba’ għajnejn
Insibu żewġ problemi kbar. Indunajna li l-klijenti ma kinux se jaraw xi servizzi konnessi, u se jinqalgħu problemi bil-kontijiet tal-imsieħba. It-tnejn huma dovuti għal skripts ta 'migrazzjoni imperfetti għal xi każijiet tat-tarf. Irridu nirranġawha issa.
Aħna niktbu talbiet li jirranġaw dan, b'mill-inqas 4 għajnejn. Nittestjawhom waqt il-pre-produzzjoni biex niżguraw li jaħdmu u ma jiksru xejn. Tista 'roll fuq. Fl-istess ħin, inwettqu l-ittestjar ta 'integrazzjoni regolari tagħna, li jiżvela ftit kwistjonijiet oħra. Dawn huma kollha żgħar, iżda jeħtieġ ukoll li jissewwew.
03:00. -2 problemi +2 problemi
Iż-żewġ problemi kbar preċedenti ġew irranġati, u kważi dawk minuri kollha wkoll. Dawk kollha mhux okkupati f'fixes qed jaħdmu b'mod attiv fil-kontijiet tagħhom u jirrappurtaw dak li jsibu. Aħna nipprijoritizzaw, inqassmu fost it-timijiet, u nħallu oġġetti mhux kritiċi għal filgħodu.
Erġgħu nwettqu t-testijiet, jiskopru żewġ problemi kbar ġodda. Mhux il-politiki tas-servizz kollha waslu b'mod korrett, għalhekk xi talbiet tal-utenti ma jgħaddux mill-awtorizzazzjoni. Flimkien ma' problema ġdida mal-kontijiet tal-imsieħba. Ejja ngħaġġlu biex inħarsu.
03:20. Sinkronizzazzjoni ta 'emerġenza
Kwistjoni ġdida ffissata. Għat-tieni, qed norganizzaw sinkronizzazzjoni ta 'emerġenza. Nifhmu x'qed jiġri: l-iffissar preċedenti rranġa problema waħda, iżda ħolqot oħra. Nieħdu pawża biex insemmu kif nagħmluha b'mod korrett u mingħajr konsegwenzi.
03:30. Sitt għajnejn
Nifhmu x'għandu jkun l-istat finali tal-bażi biex kollox imur tajjeb għall-imsieħba kollha. Aħna niktbu talba b'6 għajnejn, irromblaha fil-pre-produzzjoni, nittestjawha, irromblaha għall-produzzjoni.
04:00. Kollox qed jaħdem
It-testijiet kollha għaddew, ma jidhru l-ebda problemi kritiċi. Minn żmien għal żmien, xi ħaġa fit-tim ma taħdimx għal xi ħadd, nirreaġixxu fil-pront. Ħafna drabi l-allarm huwa falz. Imma kultant xi ħaġa ma tasalx, jew paġna separata ma taħdimx. Aħna noqogħdu, nirranġaw, nirranġaw, nirranġaw. Tim separat qed iniedi l-aħħar karatteristika kbira - il-kontijiet.
04:30. Punt ta' ebda ritorn
Qed joqrob il-punt ta’ ebda ritorn, jiġifieri, iż-żmien meta, jekk nibdew nerġgħu lura, ma nilħqux il-ħin ta’ waqfien mogħti lilna. Hemm problemi bil-kontijiet, li jaf u jirreġistra kollox, iżda b'mod obstinat jirrifjuta li jħassar il-flus mill-klijenti. Hemm diversi bugs fuq paġni, azzjonijiet, u status individwali. Il-funzjonalità prinċipali taħdem, it-testijiet kollha jgħaddu b'suċċess. Aħna niddeċiedu li t-tnedija saret, mhux se nirritornaw lura.
06:00. Miftuħ għal kulħadd fl-UI
Bugs iffissati. Xi wħud li ma jappellawx lill-utenti jitħallew għal aktar tard. Niftħu l-interface għal kulħadd. Aħna nkomplu naħdmu fuq il-kontijiet, nistennew ir-rispons tal-utenti u r-riżultati tal-monitoraġġ.
07:00. Problemi bit-tagħbija tal-API
Jidher ċar li ppjanajna kemmxejn ħażin it-tagħbija fuq l-API tagħna u ttestjajna din it-tagħbija, li ma setgħetx tidentifika l-problema. Bħala riżultat, ≈5% tat-talbiet ifallu. Ejja nimmobilizzaw u nfittxu r-raġuni.
Billing huwa iebsa u lanqas irid jaħdem. Niddeċiedu li nipposponuha għal aktar tard sabiex inwettqu l-bidliet b'mod kalm. Jiġifieri, ir-riżorsi kollha huma akkumulati fiha, iżda t-tħassir mill-klijenti ma jgħaddix. Naturalment, din hija problema, iżda meta mqabbla mat-tnedija ġenerali tidher mhux importanti.
08:00. Waħħal l-API
Aħna ħarġet soluzzjoni għat-tagħbija, in-nuqqasijiet marru. Nibdew immorru d-dar.
10:00. Kollha
Kollox huwa fiss. Huwa kwiet fil-monitoraġġ u fil-post tal-klijenti, it-tim gradwalment imur jorqod. Il-kontijiet jibqgħu, nirrestawrawha għada.
Imbagħad matul il-ġurnata kien hemm rollouts li ffissaw zkuk, notifiki, kodiċijiet ta 'ritorn u customizations għal xi wħud mill-klijenti tagħna.
Għalhekk, it-tnedija kienet suċċess! Jista’, ovvjament, ikun aħjar, imma ġibna konklużjonijiet dwar dak li ma kienx biżżejjed għalina biex niksbu l-perfezzjoni.
B'kollox
Matul 2 xhur ta 'preparazzjoni attiva għat-tnedija, tlestew 43 ħidma, li damu minn ftit sigħat sa diversi jiem.
Waqt it-tnedija:
- demons ġodda u mibdula - biċċiet 5, li jissostitwixxu 2 monoliti;
- bidliet fid-databases - is-6 databases kollha tagħna bid-data tal-utent ġew affettwati, saru downloads minn tliet databases qodma għal waħda ġdida;
- frontend kompletament iddisinjat mill-ġdid;
- ammont ta 'kodiċi mniżżel - 33 elf linja ta' kodiċi ġdid, ≈ 3 elf linja ta 'kodiċi fit-testijiet, ≈ 5 elf linja ta' kodiċi ta 'migrazzjoni;
- id-data kollha hija intatta, l-ebda magna virtwali ta 'klijent wieħed ma ġiet imħassra. 🙂
Prattiki tajbin għal tnedija tajba
Ggwidawna f’din is-sitwazzjoni diffiċli. Iżda, b'mod ġenerali, huwa utli li ssegwihom waqt kwalunkwe tnedija. Iżda iktar ma jkun kumpless it-tnedija, iktar ikun kbir ir-rwol li għandhom.
- L-ewwel ħaġa li trid tagħmel hu li tifhem kif it-tnedija tista' jew se taffettwa lill-utenti. Se jkun hemm waqfien? Jekk iva, x'inhu l-perijodi ta' waqfien? Dan kif se jaffettwa lill-utenti? X'inhuma l-aħjar u l-agħar xenarji possibbli? U tkopri r-riskji.
- Ippjana kollox. F'kull stadju, trid tifhem l-aspetti kollha tat-tnedija:
- kunsinna ta' kodiċi;
- rollback tal-kodiċi;
- ħin ta' kull operazzjoni;
- funzjonalità affettwata.
- Ilgħab fix-xenarji sakemm l-istadji kollha tat-tnedija, kif ukoll ir-riskji f'kull wieħed minnhom, isiru ovvji. Jekk għandek xi dubji, tista 'tieħu pawża u teżamina l-istadju dubjuż separatament.
- Kull stadju jista' u għandu jittejjeb jekk jgħin lill-utenti tagħna. Pereżempju, inaqqas il-perijodi ta' waqfien jew ineħħi xi riskji.
- L-ittestjar ta' rollback huwa ħafna aktar importanti mill-ittestjar tal-kunsinna tal-kodiċi. Huwa meħtieġ li jiġi ċċekkjat li bħala riżultat tar-rollback is-sistema terġa 'lura għall-istat oriġinali tagħha, u tikkonferma dan bit-testijiet.
- Dak kollu li jista 'jiġi awtomatizzat għandu jkun awtomatizzat. Dak kollu li ma jistax jiġi awtomatizzat għandu jinkiteb minn qabel fuq cheat sheet.
- Irreġistra l-kriterju tas-suċċess. Liema funzjonalità għandha tkun disponibbli u f'liema ħin? Jekk dan ma jseħħx, agħmel pjan ta' rollback.
- U l-aktar importanti - nies. Kulħadd għandu jkun konxju ta 'dak li qed jagħmel, għaliex u x'jiddependi fuq l-azzjonijiet tiegħu fil-proċess ta' tnedija.
U f'sentenza waħda, bi ppjanar u elaborazzjoni tajba tista 'ttella' dak kollu li trid mingħajr konsegwenzi għall-bejgħ. Anke xi ħaġa li se taffettwa s-servizzi kollha tiegħek fil-produzzjoni.
Sors: www.habr.com