Illum, is-servizz Bitrix24 m'għandux mijiet ta 'gigabits ta' traffiku, u lanqas m'għandux flotta enormi ta 'servers (għalkemm, ovvjament, hemm pjuttost ftit dawk eżistenti). Iżda għal ħafna klijenti hija l-għodda ewlenija għax-xogħol fil-kumpanija; hija applikazzjoni vera kritika għan-negozju. Għalhekk, m'hemm l-ebda mod li taqa '. X'jiġri jekk il-ħabta ġara, iżda s-servizz "irkupra" tant malajr li ħadd ma nnota xejn? U kif huwa possibbli li tiġi implimentata failover mingħajr ma titlef il-kwalità tax-xogħol u n-numru ta 'klijenti? Alexander Demidov, direttur tas-servizzi tal-cloud f'Bitrix24, tkellem għall-blog tagħna dwar kif is-sistema ta 'riservazzjoni evolviet matul is-7 snin tal-eżistenza tal-prodott.
“Ndejna Bitrix24 bħala SaaS 7 snin ilu. Id-diffikultà ewlenija probabbilment kienet din li ġejja: qabel ma tnediet pubblikament bħala SaaS, dan il-prodott kien sempliċement jeżisti fil-format ta 'soluzzjoni f'kaxxa. Il-klijenti xtrawh mingħandna, ospitawha fuq is-servers tagħhom, waqqfu portal korporattiv - soluzzjoni ġenerali għall-komunikazzjoni tal-impjegati, ħażna ta 'fajls, ġestjoni tal-kompiti, CRM, dak kollu. U sal-2012, iddeċidejna li ridna nnieduha bħala SaaS, namministrawh aħna stess, niżguraw it-tolleranza tal-ħsarat u l-affidabbiltà. Ksibna esperjenza tul it-triq, għax sa dak iż-żmien sempliċement ma kellniex - konna biss manifatturi tas-softwer, mhux fornituri tas-servizz.
Meta tniedi s-servizz, fhimna li l-iktar ħaġa importanti hija li niżguraw it-tolleranza tal-ħsarat, l-affidabbiltà u d-disponibbiltà kostanti tas-servizz, għax jekk għandek websajt ordinarja sempliċi, maħżen, pereżempju, u taqa 'fuqek u tiltaqa' hemm għal siegħa, inti biss tbati, titlef ordnijiet, titlef klijenti, iżda għall-klijent tiegħek innifsu, dan mhuwiex kritiku ħafna għalih. Huwa kien imdejjaq, ovvjament, iżda mar u xtrawh fuq sit ieħor. U jekk din hija applikazzjoni li fuqha x-xogħol kollu fi ħdan il-kumpanija, il-komunikazzjonijiet, id-deċiżjonijiet huwa marbut, allura l-iktar ħaġa importanti hija li tikseb il-fiduċja tal-utenti, jiġifieri, li ma jħalluhomx u ma jaqgħux. Għax ix-xogħol kollu jista’ jieqaf jekk xi ħaġa ġewwa ma taħdimx.
Bitrix.24 bħala SaaS
Immuntajna l-ewwel prototip sena qabel it-tnedija pubblika, fl-2011. Immontaha f'madwar ġimgħa, ħares lejha, iddawwarha - kienet saħansitra taħdem. Jiġifieri, tista 'tidħol fil-formola, daħħal l-isem tal-portal hemmhekk, jinfetaħ portal ġdid, u tinħoloq bażi ta' utenti. Ħarsa lejha, ivvalutajna l-prodott fil-prinċipju, skrappjawh, u komplejna nirfinawh għal sena sħiħa. Minħabba li kellna kompitu kbir: ma ridniex nagħmlu żewġ bażijiet ta 'kodiċi differenti, ma ridniex nappoġġjaw prodott ippakkjat separat, soluzzjonijiet ta' cloud separati - ridna nagħmlu dan kollu f'kodiċi wieħed.
Applikazzjoni tal-web tipika f'dak iż-żmien kienet server wieħed li fuqu jaħdem xi kodiċi PHP, database mysql, fajls jittellgħu, dokumenti, stampi jitpoġġew fil-folder tal-upload - ukoll, kollox jaħdem. Alas, huwa impossibbli li tniedi servizz tal-web b'mod kritiku u stabbli billi tuża dan. Hemmhekk, il-cache mqassma mhix appoġġjata, ir-replikazzjoni tad-database mhix appoġġjata.
Aħna fformulajna r-rekwiżiti: din hija l-abbiltà li tkun lokalizzata f'postijiet differenti, tappoġġja r-replikazzjoni, u idealment tkun tinsab f'ċentri tad-dejta distribwiti ġeografikament differenti. Separa l-loġika tal-prodott u, fil-fatt, il-ħażna tad-dejta. Ikunu kapaċi tiskala dinamikament skond it-tagħbija, u tittollera l-istatika għal kollox. Minn dawn il-kunsiderazzjonijiet, fil-fatt, ħarġu r-rekwiżiti għall-prodott, li aħna rfinajna tul is-sena. Matul dan iż-żmien, fil-pjattaforma, li rriżulta li kienet unifikata - għal soluzzjonijiet f'kaxxa, għas-servizz tagħna stess - għamilna appoġġ għal dawk l-affarijiet li kellna bżonn. Appoġġ għar-replikazzjoni mysql fil-livell tal-prodott innifsu: jiġifieri, l-iżviluppatur li jikteb il-kodiċi ma jaħsibx dwar kif se jitqassmu t-talbiet tiegħu, juża l-api tagħna, u nafu kif iqassmu b'mod korrett it-talbiet għall-kitba u l-qari bejn il-kaptani u skjavi.
Għamilna appoġġ fil-livell tal-prodott għal diversi ħażniet ta 'oġġetti tas-sħab: ħażna ta' google, amazon s3, flimkien ma 'appoġġ għal open stack swift. Għalhekk, dan kien konvenjenti kemm għalina bħala servizz kif ukoll għall-iżviluppaturi li jaħdmu b'soluzzjoni ppakkjata: jekk jużaw biss l-API tagħna għax-xogħol, ma jaħsbux dwar fejn fl-aħħar mill-aħħar jiġi ssejvjat il-fajl, lokalment fuq is-sistema tal-fajls jew fil-ħażna tal-fajl tal-oġġett.
Bħala riżultat, immedjatament iddeċidejna li nirriżervaw fil-livell taċ-ċentru tad-dejta kollu. Fl-2012, nedejna kompletament fuq Amazon AWS għaliex diġà kellna esperjenza b'din il-pjattaforma - il-websajt tagħna stess kienet ospitata hemmhekk. Ġibna attirati mill-fatt li f'kull reġjun Amazon għandha diversi żoni ta 'disponibbiltà - fil-fatt, (fit-terminoloġija tagħhom) diversi ċentri tad-dejta li huma xi ftit jew wisq indipendenti minn xulxin u jippermettulna nirriżervaw fil-livell ta' ċentru tad-dejta kollu: jekk f'daqqa waħda tfalli, id-databases huma replikati master-master, is-servers tal-applikazzjoni tal-web huma appoġġjati, u d-data statika titmexxa għall-ħażna tal-oġġett s3. It-tagħbija hija bilanċjata - dak iż-żmien mill-Amazon elb, iżda ftit aktar tard wasalna għall-bilanċjanti tat-tagħbija tagħna stess, għax kellna bżonn loġika aktar kumplessa.
Dak li riedu huwa dak li kisbu...
L-affarijiet bażiċi kollha li ridna niżguraw - it-tolleranza tal-ħsarat tas-servers infushom, l-applikazzjonijiet tal-web, id-databases - kollox ħadem tajjeb. L-aktar xenarju sempliċi: jekk waħda mill-applikazzjonijiet tal-web tagħna tfalli, allura kollox huwa sempliċi - huma mitfija mill-ibbilanċjar.
Il-balancer (dak iż-żmien kien l-elb ta 'Amazon) immarka magni li ma kinux ta' ordni bħala ħżiena għas-saħħa u mitfi d-distribuzzjoni tat-tagħbija fuqhom. Amazon autoscaling ħadem: meta t-tagħbija kibret, ġew miżjuda magni ġodda mal-grupp autoscaling, it-tagħbija tqassmet lil magni ġodda - kollox kien tajjeb. Mal-balancers tagħna, il-loġika hija bejn wieħed u ieħor l-istess: jekk jiġri xi ħaġa lis-server tal-applikazzjoni, inneħħu t-talbiet minnu, nefgħu dawn il-magni, nibdew oħrajn ġodda u nkomplu naħdmu. L-iskema nbidlet ftit matul is-snin, iżda tkompli taħdem: hija sempliċi, tinftiehem, u m'hemm l-ebda diffikultajiet magħha.
Naħdmu mad-dinja kollha, il-qċaċet tat-tagħbija tal-klijenti huma kompletament differenti, u, b'mod amikevoli, għandna nkunu nistgħu nwettqu ċertu xogħol ta 'servizz fuq kwalunkwe komponenti tas-sistema tagħna fi kwalunkwe ħin - mhux innutati mill-klijenti. Għalhekk, għandna l-opportunità li nitfi d-database mill-operazzjoni, u nqassmu mill-ġdid it-tagħbija għat-tieni ċentru tad-dejta.
Kif jaħdem kollox? — Naqilbu t-traffiku għal ċentru tad-dejta li jaħdem - jekk ikun hemm inċident fiċ-ċentru tad-dejta, allura kompletament, jekk dan huwa x-xogħol ippjanat tagħna b'dejtabejż waħda, allura naqlbu parti mit-traffiku li jaqdi lil dawn il-klijenti għat-tieni ċentru tad-dejta, u nissospendu hija replikazzjoni. Jekk ikunu meħtieġa magni ġodda għall-applikazzjonijiet tal-web minħabba li t-tagħbija fuq it-tieni ċentru tad-dejta żdiedet, dawn jibdew awtomatikament. Nispiċċaw ix-xogħol, ir-replikazzjoni tiġi restawrata, u nirritornaw it-tagħbija kollha lura. Jekk irridu nirrifletti xi xogħol fit-tieni DC, pereżempju, ninstallaw aġġornamenti tas-sistema jew nibdlu l-issettjar fit-tieni database, allura, b'mod ġenerali, nirrepetu l-istess ħaġa, biss fid-direzzjoni l-oħra. U jekk dan huwa inċident, allura nagħmlu kollox b'mod trivjali: nużaw il-mekkaniżmu tal-immaniġġjar tal-avvenimenti fis-sistema ta 'monitoraġġ. Jekk jiġu attivati diversi kontrolli u l-istatus imur għal kritiku, allura nħaddmu dan il-handler, handler li jista 'jesegwixxi din jew dik il-loġika. Għal kull database, aħna nispeċifikaw liema server huwa l-failover għaliha, u fejn it-traffiku jeħtieġ li jinbidel jekk ma jkunx disponibbli. Storikament, nużaw nagios jew xi frieket tiegħu f'forma jew oħra. Fil-prinċipju, mekkaniżmi simili jeżistu kważi f'kull sistema ta' monitoraġġ; għadna ma nużaw xejn aktar kumpless, imma forsi xi darba nagħmluh. Issa l-monitoraġġ huwa attivat min-nuqqas ta 'disponibbiltà u għandu l-abbiltà li jaqleb xi ħaġa.
Irriżervajna kollox?
Għandna ħafna klijenti mill-Istati Uniti, ħafna klijenti mill-Ewropa, ħafna klijenti li huma eqreb lejn il-Lvant - Ġappun, Singapor u l-bqija. Naturalment, sehem kbir ta 'klijenti huma fir-Russja. Jiġifieri, ix-xogħol mhuwiex f'reġjun wieħed. L-utenti jridu rispons rapidu, hemm rekwiżiti biex jikkonformaw ma 'diversi liġijiet lokali, u f'kull reġjun nirriżervaw żewġ ċentri tad-dejta, flimkien ma' xi servizzi addizzjonali, li, għal darb'oħra, huma konvenjenti biex jitqiegħdu f'reġjun wieħed - għal klijenti li huma f' dan ir-reġjun qed jaħdmu. REST handlers, servers ta 'awtorizzazzjoni, huma inqas kritiċi għall-operat tal-klijent kollu kemm hu, tista' taqleb minnhom b'dewmien żgħir aċċettabbli, iżda ma tridx tivvinta mill-ġdid ir-rota dwar kif timmonitorjahom u x'għandek tagħmel maghhom. Għalhekk, qed nippruvaw nużaw soluzzjonijiet eżistenti għall-massimu, aktar milli niżviluppaw xi tip ta 'kompetenza fi prodotti addizzjonali. U x'imkien nużaw b'mod trivjali l-bidla fil-livell tad-DNS, u niddeterminaw il-ħajja tas-servizz mill-istess DNS. Amazon għandha servizz ta 'Rotta 53, iżda mhux biss DNS li fih tista' tagħmel daħliet u dak hu—huwa ħafna aktar flessibbli u konvenjenti. Permezz tagħha tista’ tibni servizzi ġeo distribwiti bi ġeolokalizzazzjonijiet, meta tużaha biex tiddetermina minn fejn ġie l-klijent u tagħtih ċerti rekords – bl-għajnuna tagħha tista’ tibni arkitetturi ta’ failover. L-istess kontrolli tas-saħħa huma kkonfigurati fir-Rotta 53 innifisha, inti tissettja l-endpoints li huma mmonitorjati, issettja l-metriċi, issettja liema protokolli biex tiddetermina l-"ħajja" tas-servizz - tcp, http, https; issettja l-frekwenza tal-kontrolli li jiddeterminaw jekk is-servizz huwiex ħaj jew le. U fid-DNS innifsu inti tispeċifika x'se jkun primarju, x'se jkun sekondarju, fejn taqleb jekk il-kontroll tas-saħħa jiġi attivat ġewwa r-rotta 53. Dan kollu jista 'jsir b'xi għodod oħra, iżda għaliex huwa konvenjenti - aħna nissettjawh up darba u mbagħad ma taħsibx dwarha xejn kif nagħmlu l-kontrolli, kif naqlbu: kollox jaħdem waħdu.
L-ewwel "iżda": kif u b'xiex tirriserva r-rotta 53 innifsu? Min jaf, x’jiġrilu xi ħaġa? Fortunatament, qatt ma tlajna fuq dan ir-rake, iżda għal darb'oħra, se jkolli storja qabel għaliex ħsibna li għadna bżonn nagħmlu riserva. Hawnhekk aħna stabbiliti tibniet għalina nfusna bil-quddiem. Diversi drabi kuljum nagħmlu ħatt sħiħ taż-żoni kollha li għandna fir-rotta 53. L-API ta 'Amazon jippermettilek li tibgħathom faċilment f'JSON, u għandna diversi servers ta' backup fejn aħna jaqilbuh, intellgħuh fil-forma ta 'konfigurazzjonijiet u għandna, bejn wieħed u ieħor, konfigurazzjoni ta' backup. Jekk jiġri xi ħaġa, nistgħu niskjerawha manwalment mingħajr ma nitilfu d-dejta tas-settings tad-DNS.
It-tieni "imma": X'inhu f'din l-istampa għadu ma ġiex riservat? Il-balancer innifsu! Id-distribuzzjoni tagħna tal-klijenti skont ir-reġjun hija sempliċi ħafna. Għandna d-dominji bitrix24.ru, bitrix24.com, .de - issa hemm 13-il wieħed differenti, li joperaw f'varjetà ta 'żoni. Wasalna għal dan li ġej: kull reġjun għandu l-bilanċjanti tiegħu. Dan jagħmilha aktar konvenjenti li titqassam bejn ir-reġjuni, skont fejn tkun l-ogħla tagħbija fuq in-netwerk. Jekk dan huwa falliment fil-livell ta 'balancer wieħed, allura sempliċement jitneħħa mis-servizz u jitneħħa mid-DNS. Jekk ikun hemm xi problema ma 'grupp ta' balancers, allura dawn jiġu appoġġjati fuq siti oħra, u l-qlib bejniethom isir bl-użu tal-istess rotta53, minħabba li minħabba t-TTL qasir, il-bdil iseħħ f'massimu ta '2, 3, 5 minuti. .
It-tielet "imma": Dak li għadu mhux riżervat? S3, korrett. Meta poġġejna l-fajls li naħżnu għall-utenti f's3, aħna sinċerament emmnu li kien it-titqib tal-armatura u ma kien hemm l-ebda ħtieġa li nirriżervaw xi ħaġa hemmhekk. Iżda l-istorja turi li l-affarijiet jiġru differenti. B'mod ġenerali, Amazon tiddeskrivi S3 bħala servizz fundamentali, għax Amazon stess tuża S3 biex taħżen immaġini tal-magni, konfigurazzjonijiet, immaġini AMI, snapshots... U jekk s3 jiġġarraf, kif ġara darba matul dawn is-7 snin, sakemm ilna nużaw bitrix24, isegwiha bħal fann Hemm mazz sħiħ ta 'affarijiet li joħorġu - inkapaċità li jibdew magni virtwali, falliment tal-API, eċċ.
U S3 jista 'jaqa' - ġara darba. Għalhekk, wasalna għall-iskema li ġejja: ftit snin ilu ma kien hemm l-ebda faċilitajiet serji ta 'ħażna ta' oġġetti pubbliċi fir-Russja, u ikkunsidrajna l-għażla li nagħmlu xi ħaġa tagħna stess... Fortunatament, ma bdejniex nagħmlu dan, għaliex aħna se ħaffru fl-għarfien espert li m'għandniex għandna, u x'aktarx iħawdu. Issa Mail.ru għandu ħażna kompatibbli ma 's3, Yandex għandu, u numru ta' fornituri oħra għandhom dan. Eventwalment wasalna għall-idea li ridna li jkollna, l-ewwel, backup, u t-tieni, il-kapaċità li naħdmu b'kopji lokali. Għar-reġjun Russu speċifikament, nużaw is-servizz Mail.ru Hotbox, li huwa API kompatibbli ma 's3. Ma kellniex bżonn xi modifiki kbar għall-kodiċi ġewwa l-applikazzjoni, u għamilna l-mekkaniżmu li ġej: fl-s3 hemm triggers li jqanqlu l-ħolqien/tħassir ta 'oġġetti, Amazon għandha servizz imsejjaħ Lambda - dan huwa tnedija ta' kodiċi mingħajr server. li se jiġu esegwiti eżatt meta ċerti triggers jiġu attivati.
Għamilnieha b'mod sempliċi ħafna: jekk il-grillu tagħna jispara, nwettqu kodiċi li se tikkopja l-oġġett fil-ħażna ta 'Mail.ru. Biex iniedu bis-sħiħ ix-xogħol b'kopji lokali tad-dejta, għandna bżonn ukoll sinkronizzazzjoni inversa sabiex il-klijenti li jkunu fis-segment Russu jkunu jistgħu jaħdmu b'ħażna li tkun eqreb lejhom. Il-posta waslet biex tlesti triggers fil-ħażna tagħha - se jkun possibbli li titwettaq sinkronizzazzjoni inversa fil-livell tal-infrastruttura, iżda għalissa qed nagħmlu dan fil-livell tal-kodiċi tagħna stess. Jekk naraw li klijent poġġa fajl, allura fil-livell tal-kodiċi npoġġu l-avveniment fi kju, nipproċessawha u nagħmlu replikazzjoni inversa. Għaliex huwa ħażin: jekk nagħmlu xi tip ta 'xogħol bl-oġġetti tagħna barra mill-prodott tagħna, jiġifieri, b'xi mezzi esterni, mhux se nqisuh. Għalhekk, nistennew sa l-aħħar, meta triggers jidhru fil-livell tal-ħażna, sabiex irrispettivament minn fejn inwettqu l-kodiċi minn, l-oġġett li wasal għandna jiġi kkupjat fid-direzzjoni l-oħra.
Fil-livell tal-kodiċi, nirreġistraw iż-żewġ ħażniet għal kull klijent: wieħed huwa meqjus bħala wieħed ewlieni, l-ieħor huwa meqjus bħala wieħed ta 'backup. Jekk kollox huwa tajjeb, naħdmu mal-ħażna li hija eqreb tagħna: jiġifieri, il-klijenti tagħna li huma fl-Amazon, jaħdmu ma 'S3, u dawk li jaħdmu fir-Russja, jaħdmu ma' Hotbox. Jekk il-bandiera tiġi attivata, allura l-falliment għandu jiġi konness, u naqlbu l-klijenti għal ħażna oħra. Nistgħu niċċekkjaw din il-kaxxa b'mod indipendenti skont ir-reġjun u nistgħu naqilbuhom 'il quddiem u lura. Għadna ma użajnax dan fil-prattika, iżda pprovdejna għal dan il-mekkaniżmu u naħsbu li xi darba se jkollna bżonn dan is-swiċċ u jkun utli. Dan diġà ġara darba.
Oh, u Amazon ħarbet...
Dan April jimmarka l-anniversarju mill-bidu tal-imblukkar tat-Telegram fir-Russja. L-aktar fornitur affettwat li waqa’ taħt dan huwa Amazon. U, sfortunatament, il-kumpaniji Russi li ħadmu għad-dinja kollha sofrew aktar.
Jekk il-kumpanija hija globali u r-Russja hija segment żgħir ħafna għaliha, 3-5% - ukoll, b'xi mod jew ieħor, tista 'tissagrifikahom.
Jekk din hija kumpanija purament Russa - jien ċert li jeħtieġ li tkun lokalizzata - ukoll, sempliċement tkun konvenjenti għall-utenti nfushom, komda, u se jkun hemm inqas riskji.
X'jiġri jekk din hija kumpanija li topera globalment u għandha bejn wieħed u ieħor numri ugwali ta 'klijenti mir-Russja u x'imkien madwar id-dinja? Il-konnettività tas-segmenti hija importanti, u għandhom jaħdmu ma 'xulxin b'xi mod jew ieħor.
Fl-aħħar ta 'Marzu 2018, Roskomnadzor bagħat ittra lill-akbar operaturi fejn qalu li ppjanaw li jimblukkaw diversi miljuni ta' Amazon IPs sabiex jimblukkaw... il-messaġġier Zello. Grazzi għal dawn l-istess fornituri - ħarġu b'suċċess l-ittra lil kulħadd, u kien hemm fehim li l-konnessjoni ma 'Amazon tista' taqa 'barra. Kien il-Ġimgħa, ħejna f'paniku mal-kollegi tagħna minn servers.ru, u qalu: "Ħbieb, għandna bżonn diversi servers li se jkunu jinsabu mhux fir-Russja, mhux fl-Amazon, iżda, pereżempju, x'imkien f'Amsterdam," sabiex biex inkunu nistgħu ninstallaw tal-inqas b'xi mod il-VPN u l-prokura tagħna stess hemmhekk għal xi endpoints li ma nistgħu ninfluwenzaw bl-ebda mod, pereżempju endponts tal-istess s3 - ma nistgħux nippruvaw ngħollu servizz ġdid u niksbu ip differenti, aħna għad trid tasal hemm. Fi ftit jiem biss, waqqafna dawn is-servers, qabbniehom u jaħdmu, u, b'mod ġenerali, ippreparajna għall-mument li beda l-imblukkar. Hija kurjuża li RKN, waqt li ħares lejn it-taħwid u l-paniku, qal: "Le, issa mhu se nibblukkaw xejn." (Iżda dan huwa eżattament sal-mument meta Telegram beda jiġi mblukkat.) Wara li waqqafna l-kapaċitajiet tal-bypass u rrealizzaw li l-imblukkar ma kienx ġie introdott, aħna, madankollu, ma bdejniex issolvi l-kwistjoni kollha. Iva, fil-każ.
U fl-2019, għadna ngħixu f'kundizzjonijiet ta 'imblukkar. Fittixt ilbieraħ filgħaxija: madwar miljun IP ikomplu jiġu mblukkati. Veru, Amazon kienet kważi kompletament żblokkata, fil-quċċata tagħha laħqet 20 miljun indirizz... B'mod ġenerali, ir-realtà hija li jista 'ma jkunx hemm koerenza, koerenza tajba. F'daqqa waħda. Jista 'ma jeżistix għal raġunijiet tekniċi - nirien, excavators, dak kollu. Jew, kif rajna, mhux kompletament tekniku. Għalhekk, xi ħadd kbir u kbir, bl-ASs tagħhom stess, probabbilment jista 'jmexxi dan b'modi oħra - konnessjoni diretta u affarijiet oħra diġà huma fil-livell l2. Iżda f'verżjoni sempliċi, bħal tagħna jew saħansitra iżgħar, tista ', fil-każ, ikollok redundancy fil-livell ta' servers imqajma x'imkien ieħor, ikkonfigurat minn qabel vpn, prokura, bil-kapaċità li taqleb malajr il-konfigurazzjoni għalihom f'dawk is-segmenti li huma kritiċi għall-konnettività tiegħek. Dan kien utli għalina aktar minn darba, meta beda l-imblukkar tal-Amazon; fl-agħar xenarju, ippermettejna biss it-traffiku S3 minnhom, iżda gradwalment dan kollu ġie solvut.
Kif tirriżerva... fornitur sħiħ?
Bħalissa m'għandniex xenarju f'każ li l-Amażonja kollha tinżel. Għandna xenarju simili għar-Russja. Fir-Russja, konna ospitati minn fornitur wieħed, li minnu għażilna li jkollna diversi siti. U sena ilu ffaċċjajna problema: minkejja li dawn huma żewġ ċentri tad-dejta, jista 'jkun hemm problemi diġà fil-livell tal-konfigurazzjoni tan-netwerk tal-fornitur li xorta se jaffettwaw iż-żewġ ċentri tad-dejta. U nistgħu nispiċċaw mhux disponibbli fiż-żewġ siti. Naturalment hekk ġara. Spiċċajna nerġgħu nikkunsidraw l-arkitettura ta’ ġewwa. Ma nbidlitx ħafna, iżda għar-Russja issa għandna żewġ siti, li mhumiex mill-istess fornitur, iżda minn żewġ oħrajn differenti. Jekk wieħed ifalli, nistgħu naqilbu għall-ieħor.
Ipotetikament, għall-Amazon qed nikkunsidraw il-possibbiltà ta’ riservazzjoni fil-livell ta’ fornitur ieħor; forsi Google, forsi xi ħadd ieħor... Imma s'issa osservajna fil-prattika li filwaqt li Amazon għandha inċidenti fil-livell ta' żona ta' disponibbiltà waħda, l-inċidenti fil-livell ta' reġjun sħiħ huma pjuttost rari. Għalhekk, teoretikament għandna l-idea li nistgħu nagħmlu riżerva "Amazon mhix Amazon", iżda fil-prattika dan għadu mhux il-każ.
Ftit kliem dwar l-awtomazzjoni
L-awtomazzjoni hija dejjem meħtieġa? Hawnhekk huwa xieraq li wieħed ifakkar l-effett Dunning-Kruger. Fuq l-assi "x" hemm l-għarfien u l-esperjenza tagħna li niksbu, u fuq l-assi "y" hemm il-fiduċja fl-azzjonijiet tagħna. Għall-ewwel ma nafu xejn u m’aħna ċerti. Imbagħad nafu ftit u nsiru mega-kunfidenti - dan huwa l-hekk imsejjaħ "il-quċċata ta 'stupidità", illustrata tajjeb mill-istampa "dimenzja u kuraġġ". Imbagħad tgħallimna ftit u lesti nidħlu fil-battalja. Imbagħad ngħaddu fuq xi żbalji mega-serji u nsibu ruħna f’wied ta’ disprament, meta donnu nafu xi ħaġa, imma fil-fatt ma tantx nafu. Imbagħad, hekk kif niksbu esperjenza, insiru aktar kunfidenti.
Il-loġika tagħna dwar diversi swiċċijiet awtomatiċi għal ċerti inċidenti hija deskritta tajjeb ħafna minn dan il-graff. Bdejna - ma konna nafu kif nagħmlu xejn, kważi x-xogħol kollu sar bl-idejn. Imbagħad indunajna li nistgħu nagħtu l-awtomazzjoni ma’ kollox u, bħal, norqdu bil-paċi. U f'daqqa waħda ngħaddu fuq mega-rake: jiġi attivat pożittiv falz, u naqleb it-traffiku 'l quddiem u lura meta, b'mod tajjeb, ma kellniex nagħmlu dan. Konsegwentement, ir-replikazzjoni tkisser jew xi ħaġa oħra—dan huwa l-wied stess tad-disprament. U mbagħad nifhmu li rridu nersqu kollox bil-għaqal. Jiġifieri, jagħmel sens li tiddependi fuq l-awtomazzjoni, li tipprovdi għall-possibbiltà ta 'allarmi foloz. Imma! jekk il-konsegwenzi jistgħu jkunu devastanti, allura huwa aħjar li titħalla f'idejn ix-xift tad-dmir, lill-inġiniera fuq ix-xogħol, li jagħmlu ċert u jimmonitorjaw li verament ikun hemm inċident, u jwettqu l-azzjonijiet meħtieġa manwalment...
Konklużjoni
Matul is-snin 7, morna mill-fatt li meta waqgħet xi ħaġa, kien hemm paniku-paniku, għall-fehim li l-problemi ma jeżistux, hemm biss kompiti, iridu - u jistgħu - jissolvew. Meta tkun qed tibni servizz, ħares lejha minn fuq, ivvaluta r-riskji kollha li jistgħu jiġru. Jekk tarahom mill-ewwel, imbagħad ipprovdi għal redundancy bil-quddiem u l-possibbiltà li tinbena infrastruttura li tollera l-ħsarat, għax kull punt li jista 'jfalli u jwassal għall-inoperabilità tas-servizz żgur jagħmel dan. U anki jekk jidhirlek li xi elementi tal-infrastruttura żgur mhux se jfallu - bħal s3, xorta waħda żomm f'moħħok li jistgħu. U għall-inqas fit-teorija, għandek idea ta 'x'se tagħmel magħhom jekk jiġri xi ħaġa. Ikollok pjan ta' ġestjoni tar-riskju. Meta tkun qed taħseb biex tagħmel kollox awtomatikament jew manwalment, evalwa r-riskji: x'jiġri jekk l-awtomazzjoni tibda taqleb kollox - dan mhux se jwassal għal sitwazzjoni saħansitra agħar meta mqabbla ma 'inċident? Forsi x'imkien huwa meħtieġ li jintuża kompromess raġonevoli bejn l-użu tal-awtomazzjoni u r-reazzjoni tal-inġinier fuq ix-xogħol, li se jevalwa l-istampa reali u jifhem jekk xi ħaġa teħtieġx li tinbidel fuq il-post jew "iva, iżda mhux issa."
Kompromess raġonevoli bejn il-perfezzjoniżmu u l-isforz reali, ħin, flus li tista’ tonfoq fuq l-iskema li eventwalment ikollok.
Dan it-test huwa verżjoni aġġornata u estiża tar-rapport ta 'Alexander Demidov fil-konferenza .
Sors: www.habr.com