Failover: naše prehnané nároky a… lenivosť

Leto tradične znižuje nielen nákupnú aktivitu, ale aj intenzitu zmien v infraštruktúre webových projektov, hovorí nám Kapitán Zrejmosť. Je to jednoducho preto, že aj IT odborníci majú niekedy dovolenku. A tiež CTO. Tí, ktorí zostávajú na svojich postoch, to majú ťažšie, ale teraz nejde o to: možno práve preto je leto najlepší čas na to, aby ste si bez zbytočného zhonu premysleli existujúcu schému zálohovania a vytvorili plán na jej vylepšenie. A v tom vám bude užitočný skúsenosť Egora Andreeva z AdminDivision, o ktorej hovoril na konferencii Uptime deň.

Pri budovaní záložných lokalít a pri zálohovaní existuje niekoľko pascí, do ktorých môžeme spadnúť. A spadnúť do nich je úplne neprijateľné. A všetko to, ako aj v mnohých iných oblastiach, ničí náš perfekcionizmus a… lenivosť. Snažíme sa všetko spraviť dokonale, a to nie je potrebné! Je potrebné robiť len určité veci, ale urobiť ich správne a dotiahnuť do konca, aby fungovali normálne.

Failover – to nie je žiadna veselo zábavná vec „len tak pre istotu“; je to niečo, čo má splniť presne jednu funkciu – znížiť čas výpadku, aby služba, spoločnosť, stratila menej peňazí. A vo všetkých metódach zálohovania navrhujem premýšľať v nasledujúcom kontexte: kde sú peniaze?

Failover: naše prehnané nároky a… lenivosť

Prvá pasca: keď budujeme veľké spoľahlivé systémy a zaoberáme sa zálohovaním – znižujeme počet havárií. To je strašné omyl. Keď sa zaoberáme zálohovaním, počet havárií pravdepodobne zvyšujeme. A ak všetko urobíme správne, celkovo znížime čas výpadku. Havárií bude viac, ale budú sa diať s menšími nákladmi. Čo je to zálohovanie? – to je zloženie systému. Akékoľvek zloženie je zlé: objavujú sa nám viac skrutiek, viac ozubených kolies, jednoducho viac prvkov – a teda vyššia šanca na poruchu. A tie sa naozaj rozpadnú. A budú sa rozpadávať častejšie. Jednoduchý príklad: povedzme, že máme nejaký web, s PHP, MySQL. A jeho je naliehavo potrebné zálohovať.

Takže (c) Berieme druhú platformu, budujeme identický systém… Zložitosti je dvakrát viac — máme dve entity. A navyše pridávame určitú logiku prenášania údajov z jednej platformy na druhú — teda replikácia údajov, kopírovanie statického obsahu a tak ďalej. Takže logika replikácie — tá je zvyčajne veľmi zložitá, a teda celková zložitosti systému môže byť nie 2, ale 3, 5, 10-krát väčšia.

Druhá pasca: keď budujeme naozaj veľké zložité systémy, fantazírujeme, čo vlastne chceme dosiahnuť. Voilà: chceme získať superspoľahlivý systém, ktorý funguje úplne bez prestojov, prepína sa za pol sekundy (alebo ešte lepšie okamžite), a začíname pretvárať naše sny na realitu. Ale tu je aj nuansa: čím kratší je želaný čas prepínania, tým zložitejšia sa stáva logika systému. Čím zložitejšie musíme túto logiku navrhnúť, tým častejšie sa systém porušuje. A môžeme sa ocitnúť v veľmi nepríjemnej situácii: snažíme sa za každú cenu znížiť čas prestoja, ale v skutočnosti to všetko len komplikujeme, a keď niečo nejde podľa plánu, čas prestoja nakoniec bude väčší. Tu sa často chytáme na myšlienke: radšej by sme nerobili záložný systém. Radšej by to malo fungovať jedno ako tak a s jasným časom prestoja.

Ako sa s tým dá vyrovnať? Musíme prestať si klamať, prestať sa sebou lichotiť, že teraz budeme stavať vesmírnu loď, ale adekvátne si uvedomiť, koľko času môže projekt potrebovať. A na základe tohto maximálneho času vyberieme, akými vlastne metódami zvýšime spoľahlivosť nášho systému.

Failover: naše prehnané nároky a… lenivosť

Je čas na „príbehy zo života“… samozrejme.

Príklad číslo jeden

Predstavte si webovú stránku vizitku pre výrobňu rúrok č. 1 v meste N. Na nej je napísané obrovskými písmenami – VÝROBA RÚROK Č. 1. Trochu nižšie je slogan: „Naše rúry sú najkrajšie rúry v N“. A dole telefónne číslo generálneho riaditeľa a jeho meno. Rozumieme, že je potrebné rezervovať – je to veľmi dôležité! Začíname zisťovať, z čoho sa skladá. Html statika – teda pár obrázkov, kde generálny riaditeľ vlastne sedí za stolom v saune so svojím partnerom a diskutujú nejakú ďalšiu dohodu. Začíname premýšľať o dobe nečinnosti. Napadne nám: ležať tam treba päť minút, maximálne. A tu je otázka: koľko predajov bolo z našej stránky vôbec? Koľko-koľko? Čo znamená „nula“? A znamená to, že všetky štyri dohody za minulý rok generálny riaditeľ urobil za tým istým stolom, s tými istými ľuďmi, s ktorými chodia do sauny a sedia za stolom. A chápeme, že aj keby deň ležal web – nič strašného sa nestane.

Na základe vstupných informácií máme deň na to, aby sme túto históriu pozdvihli. Začínáme rozmýšľať nad schémou rezervácie. A vyberáme najideálnejšiu schému pre rezerváciu pre tento prípad: rezerváciu nepoužívame. Celá táto vec sa zdvihne akýmkoľvek administrátorom za pol hodiny s prestávkami. Nainštalovať webový server, preniesť súbory – hotovo. Bude to fungovať. Nieto sledovať, ničomu sa netreba osobitne venovať. To znamená, že výsledok z príkladu číslo jedna je celkom očividný: služby, ktoré nie je potrebné rezervovať – rezervovať nie je potrebné.

Failover: naše prehnané nároky a… lenivosť

Príklad číslo dva

Blog spoločnosti: špeciálne vyškolení napíšu správy, že sme sa zúčastnili takej a takej výstavy, alebo že sme vydali nový produkt a tak ďalej. Povedzme, že ide o štandardný PHP s WordPressom, malú databázu a trochu statického obsahu. Samozrejme, že mi opäť napadne, že ležať v žiadnom prípade nemôžeme — „nie viac ako päť minút!“, a tak ďalej. Ale zamyslime sa ďalej. Čo tento blog robí? Získava návštevnosť z Yandexu a Googlu na základe určitých dopytov, organicky. Super. A sú predaje s tým nejako prepojené? Osvietenie: nie veľmi. Reklamný traffic ide na hlavnú stránku, ktorá je na inom serveri. Začneme premýšľať o schéme zálohovania blogu. Správne by sa mal v priebehu pár hodín postaviť a bolo by dobré sa na to pripraviť. Rozumné by bolo vziať stroj v inom dátovom centre, nainštalovať naň prostredie, teda webový server, PHP, WordPress, MySQL a nechať to ležať neaktívne. V momente, keď pochopíme, že všetko sa pokazilo, potrebujeme urobiť dve veci — obnoviť dump MySQL na 50 MB, ktorý prebehne za minútu, a obnoviť nejaké množstvo obrázkov z backupu. To tiež nie je taká veľká námaha. Takto sa za polhodinu celá vec postaví. Žiadne replikácie, alebo, chráň Boh, automatický failover. Záver: to, čo môžeme rýchlo obnoviť z backupu — netreba rezervovať.

Failover: naše prehnané nároky a… lenivosť

Príklad číslo tri, zložitejší

Internetový obchod. PHP s mierne upraveným open heart, MySQL so solídnou databázou. Pomerne veľa statického obsahu (veď v internetovom obchode sú krásne HD obrázky a všetko okolo toho), Redis na relácie a Elasticsearch na vyhľadávanie. Začneme premýšľať o čase nečinnosti. A tu je samozrejme jasné, že deň bezbolestne internetový obchod nemôže ležať. Veď čím dlhšie je offline, tým viac peňazí strácame. Je potrebné urýchliť proces. A ako veľmi? Myslím si, že ak budeme ležať hodinu, nikto z toho nezblbne. Áno, niečo stratíme, ale ak začneme usilovne pracovať — bude to len horšie. Určujeme schému nečinnosti, ktorá je akceptovateľná za hodinu.

Ako sa dá toto všetko rezervovať? Stroj je potrebný v každom prípade: hodina času — to naozaj nie je veľa. Mysql: tu už potrebujeme replikáciu, živú replikáciu, pretože za hodinu 100 GB do dumpu pravdepodobne nevojde. Statika, obrázky: opäť, za hodinu 500 GB sa môže nestihnúť nahrnúť. Tak teda, je lepšie obrázky ihneď kopírovať. Redis: tu to je zaujímavejšie. V Redis sú uložené relácie — jednoducho ho nemôžeme vziať a zničiť. Pretože to nebude veľmi dobré: všetci používatelia by sa odhlásili, nákupné košíky by boli vyprázdnené a tak ďalej. Ľudia by boli nútení znovu zadať svoje prihlasovacie meno a heslo, a veľa z nich by sa mohlo odpojiť a nákup nedokončiť. Opäť, konverzia klesne. Na druhej strane, Redis je priamo aktuálny, s poslednými prihlásenými používateľmi, asi tiež nie je potrebný. A dobrý kompromis — zobrať Redis a obnoviť ho z backupu, včerajšieho, alebo, ak sa robí každý hodinu, - hodinového. Našťastie obnova z backupu je kopírovanie jedného súboru. A najzaujímavejšia situácia — to je Elasticsearch. Kto už niekedy zdvíhal replikáciu MySQL? Kto niekedy zdvíhal replikáciu Elasticsearch? A u koho to potom normálne fungovalo? Na čo chcem poukázať: vidíme v našom systéme určitú entitu. Zdá sa, že je užitočná — ale je zložitá.
Zložitá v tom smysle, že naši kolegové inženýři nemají s tímto zkušenosti. Buď mají negativní zkušenost, nebo si uvědomujeme, že technologie je stále poměrně nová s nuancemi či nedokonalostmi. Přemýšlíme... Sakra, elastic je taky velký, jeho obnova z zálohy trvá dlouho, co dělat? Uvědomujeme si, že elastic v našem případě slouží pro hledání. A jak prodává náš internetový obchod? Jdeme za marketingovými specialisty, ptáme se, odkud lidé přicházejí. Odpovídají: „90 % přichází přímo z Yandex-Marketu na stránku produktu.“ A buď nakoupí, nebo ne. Hledání tedy potřebuje 10 % uživatelů. A udržovat replikaci elasticu, obzvlášť mezi různými datovými centry v různých zónách, to má opravdu spoustu nuancí. Jaké je řešení? Bereme elastic na rezervované platformě a nic s ním neděláme. Pokud se záležitost zpozdí, tak ho někdy potom možná zvedneme, ale to není jisté. Vlastně, závěr je plus mínus stejný: služby, které nemají vliv na finance, opět nezálohujeme. Aby schéma zůstalo jednodušší.

Failover: naše prehnané nároky a… lenivosť

Příklad číslo čtyři, ještě složitější.

Integrátor: prodej květin, objednávání taxi, prodej zboží, vlastně cokoliv. Seriózní záležitost, která funguje 24/7 pro velké množství uživatelů. S plnohodnotným zajímavým stackem, kde jsou zajímavé databáze, řešení, vysoké zatížení a především, pokud leží déle než 5 minut, je to bolestivé. Nejen a ne tolik proto, že lidé nekoupí, ale proto, že lidé uvidí, že to nefunguje, zklamou se a mohou se už vůbec nevrátit.

OK. Pět minut. Co s tím uděláme? V tomto případě my, dospěláckým způsobem, investujeme všechny peníze do skutečné záložní platformy, s replikací všeho a možná dokonce automatizujeme co nejvíce přepnutí na tuto platformu. A vedle toho nesmíme zapomenout udělat jednu důležitou věc: napsat vlastní postup pro přepínání. Postup, i když máte všechno a všechno automatizováno, může být velmi jednoduchý. Něco jako „spustit takový scénář ansible“, „v route 53 zaškrtnout tuto volbu“ a tak dále — ale to musí být nějaký přesný seznam úkonů.

A zdá sa, že všetko je jasné. Prepnúť replikáciu je triviálna úloha, alebo sa prepne sama. Prepísať doménové meno v dns je z tej istej kategórie. Problém je v tom, že keď taký projekt spadne, nastáva panika, a aj tí najsilnejší, ostrieľaní administrátori môžu byť ňou ovplyvnení. Bez jasného pokynu „otvor terminál, choď sem, adresa našich serverov je stále takáto“ je 5-minútový čas na záchranu veľmi ťažko dodržateľný. A navyše, keď používame tento predpis, je ľahké zaznamenať niektoré zmeny v infraštruktúre a prípadne zmeniť predpis.
No, ak je systém zálohovania naozaj zložitý a v určitom momente urobíme chybu, môžeme zničiť aj našu záložnú lokalitu, a navyše, dáta môžeme premeniť na tekvicu na oboch lokalitách — to bude naozaj smutné.

Failover: naše prehnané nároky a… lenivosť

Príklad číslo päť, úplný hardcore

Medzinárodná služba s hundred million users around the world. Všetky časové pásma, ktoré existujú, highload na maximum, neexistuje žiadna možnosť pádu. Minúta — a bude smutno. Čo robiť? Zálohovať, zase naplno. Urobili sme všetko, čo som povedal v predchádzajúcom príklade, a ešte o čosi viac. Ideálny svet a naša infraštruktúra — je vo všetkých ohľadoch devops IaaC. Teda všetko je vôbec v gite, stačí len stlačiť tlačidlo.

Čo chýba? Jedno — cvičenia. Bez nich to nejde. Zdá sa, že všetko je dokonalé, všetko máme pod kontrolou. Stlačíme tlačidlo, všetko sa deje. Aj keď to tak je — a chápeme, že to tak nie je — náš systém interaguje s inými systémami. Napríklad, to je dns od route 53, s3 úložiská, integrácia s nejakými api. Všetko predpokladať v tomto hypotetickom experimente nebudeme schopní. A pokým naozaj neodpíname vypínač — nezistíme, či to funguje alebo nie.

Failover: naše prehnané nároky a… lenivosť

Na tomto asi všetko. Nezabudnite a nepreháňajte to. A nech s vami zostane uptime!

Zdroj: habr.com

Kúpte si spoľahlivý hosting pre webové stránky s ochranou proti DDoS, VPS VDS servery 🔥 Kúpte si spoľahlivý hosting pre webové stránky s ochranou proti DDoS, VPS VDS servery | ProHoster