Datu dublēšana, 7. daļa: Secinājumi

Datu dublēšana, 7. daļa: Secinājumi

Šis ieraksts noslēdz ciklu par dublēšanu. Tajā tiks runāts par veltīta servera (vai VPS) loģisko organizāciju, kas ir ērta dublēšanai, kā arī tiks piedāvāts ātrās atjaunošanas variants no dublējuma bez īpašiem pārtraukumiem avārijas gadījumā.

Izejvielas

Veltītajam serverim visbiežāk ir vismaz divi cietie diski, kas kalpo, lai izveidotu pirmā līmeņa RAID masīvu (spoguļošanas režīmā). Tas ir nepieciešams, lai varētu turpināt servera darbību, ja viens disks iziet no ierindas. Ja tas ir parasts veltītais serveris, var būt atsevišķs aparatūras RAID kontrolieris ar aktīvo SSD kešatmiņu, tādējādi parastajiem cietajiem diskiem var pievienot vienu vai vairākus SSD. Dažreiz tiek piedāvāti veltītie serveri, kuros no lokālajiem diskiem ir tikai SATADOM (mazie diski, kas konstrukcijas ziņā — USB atmiņa, pieslēdzama SATA portā), vai pat parasta maza (8-16 GB) USB atmiņa, pieslēdzama speciālā iekšējā portā, bet dati tiek ņemti no SAN, kas pieslēgta pa atsevišķu datu krātuves tīklu (Ethernet 10G, FC utt.), un ir arī veltītie serveri, kuri startē tieši no SAN. Šādus variantus es neiedziļināšos, jo šādās situācijās servera dublēšanas uzdevums pāriet speciālistam, kurš apkalpo SAN, parasti tur ir dažādas firmas tehnoloģijas, lai izveidotu stāvokļa attēlus, iebūvēta deduplikācija un citas sistēmas administratora priekšrocības, kas apskatītas iepriekšējās cikla daļās. Veltītā servera diska masīva apjoms var sasniegt vairākus desmitus terabaitu, atkarībā no disku skaita un lieluma, kas pieslēgti serverim. VPS gadījumā apjomi ir pieticīgāki: parasti ne vairāk kā 100 GB (bet ir arī lielāki), un maksa par šādiem VPS var būt pat dārgāka nekā vislētākajiem veltītajiem serveriem no tā paša hostinga pakalpojuma sniedzēja. VPS visbiežāk ir viens disks, jo zem tā būs SAN (vai kaut kas hiperkonverģents). Dažreiz VPS ir vairāki diski ar dažādām īpašībām, dažādiem mērķiem:

  • mazs sistēmas disks — operētājsistēmas uzstādīšanai;
  • liels disks — lietotāja datu glabāšanai.

Pārs installing a system using the control panel, the disk with user data is not erased, while the system disk is completely overwritten. Also, in the case of VPS, the host may offer a button to create a snapshot of the VPS (or disk) state, but if you install your own operating system or forget to activate the necessary service inside the VPS, some data may still be lost. In addition to the button, a data storage service is usually offered, which is often heavily limited. Usually, it is an account with access via FTP or SFTP protocol, sometimes along with SSH, with a restricted shell (for example, rbash), or a limitation on executing commands via authorized_keys (through ForcedCommand).

Veltīts serveris ir pievienots tīklam ar divām portām ar ātrumu 1 Gbit/s, dažreiz tam var būt 10 Gbit/s ātruma kartes. VPS tīkla interfeiss parasti ir viens. Datu centri parasti neierobežo tīkla ātrumu datu centrā, bet ierobežo piekļuvi internetam.

Standarta slodze šādam veltītam serverim vai VPS sastāv no tīmekļa servera, datu bāzes un lietojumprogrammu servera. Dažreiz tiek instalēti arī dažādi papildu palīgdienesti, tostarp tīmekļa serverim vai datu bāzei: meklētājprogramma, pasta sistēma utt.

Kā rezerves kopiju uzglabāšanas vieta kalpo speciāli sagatavots serveris, par ko tiks sīkāk rakstīts tālāk.

Loģiskā diskdzinēja organizācija

Ja, ja ir RAID kontrolieris vai tas ir VPS ar vienu disku, kā arī nav īpašu prasību attiecībā uz diskusistēmas darbību (piemēram, atsevišķs ātrs disks datu bāzei) — visa brīvā telpa tiek sadalīta šādi: tiek izveidots viens nodalījums, virs kura tiek izveidota LVM apjomu grupa, kurā tiek izveidoti vairāki apjomi: 2 mazi vienāda izmēra apjomi, ko izmanto kā sakņu failu sistēmu (tie tiek mainīti pārmaiņus atjauninājumu laikā, lai būtu iespēja ātri atgriezties, ideja pārņemta no Calculate Linux distribūcijas), vēl viens — swap sadaļai, pārējā brīvā telpa tiek sadalīta mazos apjomos, kas tiek izmantoti kā sakņu failu sistēmas pilnvērtīgiem konteineriem, diskiem virtuālajiem datoriem, failu sistēmām lietotāju mapei \/home (katrai lietotājai — sava failu sistēma), failu sistēmām aplikāciju konteineriem.

Svarīgs atgādinājums: apjomiem jābūt pilnībā patstāvīgiem, t.i., tiem nedrīkst būt savstarpējas atkarības, kā arī no sakņu failu sistēmas. Gadījumā ar virtuālajiem datoriem vai konteineriem šis punkts automātiski tiek ievērots. Ja tas ir aplikāciju konteineri vai mājas katalogi — ir vērts padomāt par konfigurācijas failu sadalīšanu tīmekļa serverī un citiem pakalpojumiem tā, lai maksimāli samazinātu apjomu atkarības viens no otra. Piemēram, katrs vietne darbojas no sava lietotāja, vietnes konfigurācijas faili atrodas lietotāja mājas katalogā, tīmekļa servera iestatījumos vietņu konfigurācijas faili tiek iekļauti ne caur \/etc\/nginx\/conf.d\/.conf, bet, piemēram, \/home\//configs/nginx/*.conf

Ja diskus ir vairāk — var izveidot programmatisko RAID masīvu (un iestatīt tā kešatmiņu SSD, ja ir nepieciešamība un iespējas), virs kura salikt LVM pēc iepriekš minētajiem noteikumiem. Arī šajā gadījumā var izmantot ZFS vai BtrFS, bet te ir vērts divreiz padomāt: abi prasa daudz nopietnāku pieeju resursiem, turklāt ZFS nav iekļauts Linux kodolā.

Neatkarīgi no izmantotās shēmas, vienmēr ir vērts iepriekš aptuveni novērtēt izmaiņu rakstīšanas ātrumu uz diskiem, pēc tam aprēķināt brīvās vietas apjomu, kas tiks rezervēts, lai izveidotu momentuzņēmumus. Piemēram, ja mūsu serveris raksta datus ar ātrumu 10 megabaiti sekundē, bet visa datu masīva lielums ir 10 terabaiti — sinhronizācijas laiks var sasniegt dienu (22 stundas — tik ilgi būs jāpārsūta šāds apjoms caur tīklu 1 Gbit/s) — ir vērts rezervēt apmēram 800 GB. Reālajā dzīvē šis skaitlis būs mazāks, to droši var dalīt ar loģisko tiltu skaitu.

Datu dublēšanas servera ierīce

Galvenā atšķirība starp datu dublēšanas serveriem ir lieli, lēti un salīdzinoši lēni diski. Tā kā mūsdienu HDD jau ir pārsnieguši 10 TB uz vienu disku — obligāti jāizmanto failu sistēmas vai RAID ar kontrolsummām, jo ​​disku masīva pārveidošanas vai failu sistēmas atjaunošanas laikā (dažas dienas!) otrais disks var iziet no ierindas palielinātas slodzes dēļ. Diskos, kuru ietilpība ir līdz 1 TB, tas nebija tik jūtams. Lai vienkāršotu aprakstu, pieņemsim, ka diska vieta ir sadalīta divās aptuveni vienāda lieluma daļās (atkal, piemēram, ar LVM):

  • tilti, kas atbilst serveriem, kas izmantoti, lai uzglabātu lietotāju datus (uz tiem tiks izvērsta pēdējā izveidotā dublēšana, lai to pārbaudītu);
  • tilti, kas tiek izmantoti kā BorgBackup krātuves (ši, tieši tiks iekļauti dati dublēšanai).

Darba princips ir tāds, ka tiek izveidoti atsevišķi tilti katram serverim BorgBackup krātuvēm, uz kuriem nonāks dati no produkcijas serveriem. Krātuves strādā tikai pievienošanas režīmā, kas izslēdz iespēju nodot datus, un, pateicoties deduplication un periodiskai krātuvju attīrīšanai no vecām dublēšanām (paliek gada kopijas, ikmēneša kopijas pēdējā gadā, iknedēļas kopijas pēdējā mēnesī, ikdienas kopijas pēdējā nedēļā, iespējams — īpašos gadījumos — ikstundas kopijas pēdējā dienā: kopā 24 + 7 + 4 + 12 + gada kopijas — aptuveni 50 kopijas katram serverim).
BorgBackup repozitorijās netiek aktivizēts tikai pievienošanas režīms, bet vietā tiek izmantots ForcedCommand failā .ssh/authorized_keys, apmēram šāds:

from="servera adrese",command="/usr/local/bin/borg serve --append-only --restrict-to-path /home/servera_vārds/borgbackup/",no-pty,no-agent-forwarding,no-port-forwarding,no-X11-forwarding,no-user-rc AAAAA.......

Norādītajā ceļā atrodas wrapper skripts ap borg, kas papildus tam, ka palaiž bināro failu ar parametriem, arī uzsāk dublēšanas atjaunošanas procesu pēc datu noņemšanas beigām. Šim nolūkam wrapper skripts izveido indikatora failu blakus attiecīgajam repozitorijam. Pēdējā veikta dublēšana pēc datu augšupielādes procesa beigām automātiski tiek atjaunota attiecīgā loģiskajā apjomā.

Šī konstrukcija ļauj periodiski tīrīt nevajadzīgās dublēšanas un neļauj ražošanas serveriem dzēst neko dublēšanas datu serverī.

Dublēšanas process

Dublēšanas iniciators ir pats veltītais serveris vai VPS, jo šāda shēma nodrošina lielāku kontroli pār dublēšanas procesu no šī servera puses. Pirmkārt, tiek izveidots aktīvās saknes failu sistēmas stāvokļa snapshots, kas tiek montēts un augšupielādēts ar BorgBackup uz dublēšanas datu serveri. Pēc datu noņemšanas beigām snapshots tiek demontēts un dzēsts.

Ja ir maza datubāze (līdz 1 GB katram vietnei), tiek veikts datubāzes dump, kas tiek saglabāts attiecīgajā loģiskajā apjomā, tur, kur atrodas pārējie šīs vietnes dati, bet tā, lai dump nebūtu pieejams caur tīmekļa serveri. Ja datubāzes ir lielas, ir jāiestata "karsts" datu noņemšanas process, piemēram, izmantojot xtrabackup MySQL, vai WAL darbu ar archive_command PostgreSQL. Šajā gadījumā datubāze tiks atjaunota atsevišķi no vietņu datiem.

Ja tiek izmantoti konteineri vai virtuālās mašīnas, ir jāiestata qemu-guest-agent, CRIU vai citas nepieciešamās tehnoloģijas. Citās situācijās papildu iestatījumi parasti nav nepieciešami — vienkārši izveidojiet snapshots no loģiskajiem apjomiem, kurus pēc tam apstrādā analogi saknes failu sistēmas snapshots. Pēc datu noņemšanas snapshots tiek dzēsti.

Tālākā darbība notiek uz dublēšanas datu servera:

  • pārbaudīta pēdējā izveidotā rezervētā kopija katrā krātuvē,
  • pārbaudīta faila marķieru esamība, kas norāda, ka datu noņemšanas process ir pabeigts,
  • tiek veiktas datu atjaunošanas darbības attiecīgajā lokālajā diskā,
  • izdzēsts faila marķieris,

Servera darbspējas atjaunošanas process

Ja galvenais serveris sabrūk, tiek palaists līdzīgs veltīts serveris, kas tiek ielādēts no standarta attēla. Iespējams, ka ielāde notiks pa tīklu, taču datu centra speciālists, kurš veic servera konfigurāciju, var uzreiz nokopēt šo standarta attēlu uz vienu no diskdziņiem. Ielāde notiek operatīvā atmiņā, pēc tam tiek uzsākts atjaunošanas process:

  • tiek veikts pieprasījums pievienot blokieru ierīci, izmantojot iscsinbd vai citu līdzīgu loģiskā diska protokolu, kas satur mirušā servera saknes failu sistēmu; tā kā saknes failu sistēmai jābūt mazai — šim posmam jābeidzas pāris minūtēs. Tāpat tiek atjaunots ielādētājs;
  • tiek atjaunota lokālo loģisko disku struktūra, pievienoti loģiskie diski no rezerves servera, izmantojot dm_clone kodola moduli: sākas datu atjaunošana, un izmaiņas tiek uzreiz ierakstītas vietējās diskos,
  • tiek uzsākts konteiners ar visiem pieejamajiem fiziskajiem diskiem — pilnībā atjaunota servera darbspēja, taču ar samazinātu veiktspēju;
  • pēc datu sinhronizācijas pabeigšanas loģiskie diski no rezerves servera tiek atvienoti, konteiners tiek izslēgts, serveris tiek restartēts;

Pēc restartēšanas serverim būs visi dati, kas bija rezervētās kopijas izveides brīdī, kā arī visi atjaunošanas procesa laikā veikti labojumi.

Citi raksti sērijā

Dublējumi, 1. daļa: Kāpēc nepieciešami dublējumi, metožu, tehnoloģiju apskats
Datu rezerves kopēšana, 2. daļa: Pārskats un rsync balstītu datu rezerves kopēšanas rīku testēšana
Dublējumi, 3. daļa: Duplicity, duplicati apskats un testēšana
Datu dublēšana, 4. daļa: zbackup, restic un borgbackup pārskats un testēšana
Datu dublēšana, 5. daļa: Bacula un Veeam Backup for Linux testēšana
Rezervēšana: daļa pēc lasītāju pieprasījumiem: AMANDA, UrBackup, BackupPC apskats
Datu dublēšana, 6. daļa: Datu dublēšanas rīku salīdzinājums
Datu dublēšana, 7. daļa: Secinājumi

Aicinu apspriest piedāvāto variantu komentāros, paldies par uzmanību!

Avots: habr.com

Iegādājieties uzticamu tīmekļa hostingu ar DDoS aizsardzību, VPS VDS serveriem 🔥 Iegādājieties uzticamu tīmekļa hostingu ar DDoS aizsardzību, VPS VDS serveriem | ProHoster