Enkel failover för webbplatsen (övervakning + dynamisk DNS)

I den här artikeln vill jag visa hur enkelt och gratis man kan skapa en failover-schema för en webbplats (eller vilken annan internettjänst som helst) med hjälp av övervakning okerr och en dynamisk DNS-tjänst. Det vill säga, vid eventuella problem med den primära webbplatsen (från "PHP Error" på sidan till brist på utrymme eller bara ett misstänkt lågt antal beställningar i fallet med en webbutik), kommer nya besökare att dirigeras till en andra (tredje och så vidare) fungerande server, eller till en "Tyvärr"-sida där de artigt förklarar att "det är ett problem, vi är medvetna om det och åtgärdar det, snart fixar vi det" (och i detta fall kommer du faktiskt redan vara medveten och kunna åtgärda det).

Att leva med failover eller utan?

Innan någon problem uppstår finns det ingen större skillnad. Men när det väl händer, sker ofta följande utan failover: du försöker snabbt lista ut vad problemet är, men det går inte (backupen går inte att återställa, mjukvaran fungerar på något sätt inte som den ska enligt dokumentationen osv), och det finns ingen tid, servrar/webbplatser ligger nere, kunderna ringer, alla är nervösa, du försöker fixa det grovt och fult "med tejp", sedan verkar det som om det fungerar med provisoriska lösningar. Du tänker att du måste titta närmare på det i lugn och ro och göra allt snyggt, men inget är mer permanent än det temporära.

Så här går det till i den snygga varianten med failover:

• Ett fel inträffar
• Felet upptäcks automatiskt
• En avisering skickas ut
• Bytet till en av de reservservrarna görs
• Problemet hanteras lugnt och utan panik, åtgärdas och servern sätts tillbaka i drift.

I den här schemat kan det förstås också uppstå vissa problem, men trots allt är schemat linjärt, varje steg är enkelt och det viktigaste - det kan testas och justeras separat, så chansen för fel i detta schema är betydligt lägre, och alla åtgärder kan automatiseras och utföras snabbt (till skillnad från uppgiften att hitta och åtgärda en okänd episk bugg). Ditt flygplan har landat i ett avlägset land, du slår på telefonen och ser i Telegram att servern har kraschat, men allt är bra, den reservservern har aktiverats, du kan fortsätta din resa, du behöver varken flyga tillbaka eller fixa via SSH från det närmaste caféet med WiFi. Du kan ta itu med det när det är bekvämare.

Framtiden är redan här!

Tidigare var det huvudsakliga problemet som ofta gjorde failover till en oacceptabel lösning kostnaden för det. Antingen var man tvungen att köpa dyra hårdvaror (och anlita ännu dyrare specialister). Eller så fick man kludda ihop något komplicerat enligt guider (jag har till och med stött på en lösning där två servrar kopplas samman med en null-modem-kabel, och skickar heartbeat över den, så att reservservern vet när det är dags att ta över). Nu finns det enklare och gratis metoder. Om du har en webbplats med katter - du har ingen ursäkt om du ännu inte har implementerat failover för den!

Dessutom behöver du ännu en server (eller möjligtvis fler) för en failover-lösning, och tidigare var detta en stor kostnad, nu kan du få en VDS för en spottstyck.

Den mest pålitliga webbsidan med katter

För att praktiskt illustrera lösningen med okerr + dynamic dns har vi lanserat vår egen webbplats med katter cat.okerr.com. Vi hatar katter, så det kommer knappt att finnas några där. Det finns totalt tre webbplatser, som alla ser ungefär likadana ut (alla på samma mall), men med olika kattungar så att det är lätt att skilja dem åt, och varje skriver teknisk information för att visa hur failover fungerar. Sidan uppdateras automatiskt en gång i minuten, men man kan alltid trycka på reload i webbläsaren.

I den tekniska informationen finns det en rad “status=OK”. Ibland simulerar servrar problem och skriver status=ERR. Huvudservern "faller" liksom på 20 minuter varje timme (0:20, 1:20, 2:20, …). Reservservern (backup) gör det på 40 minuter. Den sista servern (”sorry”-server) är alltid aktiv. Vid 0 minuter varje timme, "återställs" huvud- och reservservern.

Om du öppnar webbplatsen och lämnar den i fliken — kommer du att se att den aldrig går ner (även om varje enskild server periodiskt simulerar ett problem), och i händelse av en serverproblem, hoppar den helt enkelt mellan aktiva servrar. Bilden, namnet och adressen till servern och dess roll kommer att förändras. Ibland kan du fånga ett ögonblick när status=ERR (det finns redan ett problem, men hela failover-schemat har ännu inte aktiverats), men nästa uppdatering kommer att visa dig en sida från den fungerande webbplatsen.

Failover på okerr + dynamisk DNS

Låt oss se hur detta fungerar under huven. Syftet med failover-systemet är att adressen cat.okerr.com alltid pekar på IP-adressen för den aktiva servern.
Bakom varje server som håller vår kattwebbplats på okerr finns en indikator som kontrollerar dess status varje minut.

På den här skärmen ser vi hur webbplatsen cat.okerr.com kontrolleras från servern alpha.okerr.com. Sidan ska innehålla status=OK, och som vi ser högst upp, är indikatorns status just nu OK. När servern ”går sönder” kommer det att bli ERR. (Detta är bara ett exempel på en indikator, okerr — är övervakning, så du kan fästa vilken typ av indikator som helst, till exempel kontrollera ledigt utrymme på disken, antalet nya beställningar i databasen, och även logiska indikatorer, exempelvis kommer det att finnas olika felkriterier på natten och på dagen).

I projektinställningarna skapade vi en failover-plan med dessa indikatorer:

I schemat finns tre indikatorer (tre servrar) med olika prioriteringar. Huvudservern för webbplatsen är charlie, om den inte fungerar (det kommer inte att finnas ”status=OK” eller den är helt enkel otillgänglig), då är det bravo och i sista hand — alpha. På höger sida av sidan visas statusen för DNS-posterna på olika servrar.

För dem som har lagt märke till att namnet cat.he.okerr.com används: Vi använder ett något mer komplex schema. Istället för att bara ändra DNS-posten cat.okerr.com, ändrar vi cat.he.okerr.com (på den dynamiska DNS-leverantören Hurricane Electric), och cat.okerr.com är en CNAME (alias), som inte ändras, alltid pekar på cat.he.okerr.com. Vi gillar helt enkelt Hurricane mer som dynamisk DNS, och de har nycklar för att hantera enskilda poster (inte hela zonen), vilket verkar säkrare för oss. Du kan också undvika att ange lösenord eller nycklar för att hantera hela domänen i okerr, utan bara för underdomänen eller posten.

Från fall till återhämtning

Steg för steg, hur detta schema fungerar:

1. Ett problem uppstår (simuleras) på servern
2. Sensorn okerr kontrollerar tillståndet för varje server en gång per minut och rapporterar till huvudservern för projektet i okerr.
3. Indikatorn för den aktuella servern ändrar tillstånd från OK till ERR.
4. Vid ändring av indikatorns status omberäknas failover, och det beräknas vilken adress som ska ställas in (om det behövs. Till exempel, om den primära servern fungerar medan den sekundära har kraschat, blir det inga ändringar).
5. Denna adress rapporteras till den dynamiska DNS-tjänsten. När detta steg är klart ser du status 'synced' till höger.
6. Mycket snart (inom sekunder) kommer posten att nå DNS-servrarna för din domän (i ditt fall ns1-ns5.he.net).
7. Från och med detta ögonblick kommer vissa användare redan att gå till den nya aktiva servern. Men ännu har inte alla DNS-servrar i världen uppdaterat posterna, och på vissa ställen kan den gamla posten fortfarande vara cachad. Du kan se hur data på offentliga DNS-servrar 'dansar', visar både den nya och den gamla värden. Om du uppdaterar failover-inställningssidan kommer okerr att begära nya data från DNS-servrarna.
8. Efter att uppgifterna har stabiliserats och den gamla cachade posten har föråldrats på alla ställen - går 100 % av förfrågningarna till den nya servern.

För att snabba upp steg 7 (ofta den längsta) bör TTL för den dynamiska DNS-posten sättas så lågt som möjligt. Vanligtvis tillåter tjänster intervall mellan 90-120 sekunder. Detta är en fullt rimlig kompromiss.

Ytterligare

Allt detta kan konfigureras på en kväll (om du redan har en duplicerande server). Både okerr och de dynamiska DNS-tjänsterna är gratis. För att få fler kontroller i okerr och kortare kontrollintervall måste du genomgå en utbildning (från profilen). Efter att ha genomgått utbildningen ökar nivån direkt (20 indikatorer per timme + 1 snabb, 10 minuter). Om detta är för lite - skriv till support@okerr.com, det är troligtvis möjligt att öka (hittills har det alltid funnits möjlighet, ingen har någonsin nekat, snarare har de erbjudit sig). Jag vill bara inte lova allt till alla från början, jag är osäker på att resurserna räcker för att hålla mitt löfte. Men för tillfället är antalet användare lågt, så det finns inga problem med att öka gränserna.

Vad okerr kan överhuvudtaget - kolla på webbplatsen. presentationen. Överhuvudtaget är detta övervakning (zabbix från molnet), och failover är en trevlig extra funktion. Du kan också besöka demon på webbplatsen utan registrering.

När indikatorns status ändras - skickas en notifikation via e-post eller Telegram. (Vi har tittat på vad som händer och har kommit fram till att, verkar det som, Telegram är den mest pålitliga meddelandetjänsten. Tack till RKN för stresstestet!) Vid rätt inställning av okerr, är varje notifikation antingen ett tecken på "släpp allt, det måste åtgärdas!", eller "återkallelse!". Det ska inte finnas några onödiga alerter från okerr (om det finns, behöver inställningarna justeras på något sätt). Till exempel, för vår kattwebbplats simulerar servern alpha aldrig ett fel. Om den går ner - måste vi veta. Men de andra servrarna simulerar konstant fel, så för att inte få alerter flera gånger i timmen, har de indikatorerna status "tyst".

Det är också värt att skapa en sorry-server (på den billigaste hostingtjänsten), som antingen kommer ha din ursäktssida (ifall alla huvud- och reservservrar går ner) eller omdirigera till den statusidan på okerr (till exempel vår cp.okerr.com/status/okerr) eller statuspage.io.

Källa: habr.com