Tha an nota seo a’ crìochnachadh a’ chearcall mu chùl-taic. Bruidhnidh e mu eagrachadh loidsigeach frithealaiche sònraichte (no VPS), a tha iomchaidh airson cùl-taic, agus bheir e cuideachd roghainn airson frithealaiche a thoirt air ais gu sgiobalta bho chùl-taic gun mòran ùine downt ma thachras mòr-thubaist.
Fiosrachadh cruaidh
Mar as trice bidh co-dhiù dà dhràibhear cruaidh aig frithealaiche sònraichte a bhios a’ cur air dòigh sreath RAID aig a’ chiad ìre (sgàthan). Tha seo riatanach gus a bhith comasach air leantainn air adhart ag obrachadh an fhrithealaiche ma dh'fhàilligeas aon diosc. Mas e frithealaiche coisrigte cunbhalach a tha seo, is dòcha gu bheil rianadair RAID bathar-cruaidh air leth ann le teicneòlas caching gnìomhach air SSD, gus an tèid aon SSD no barrachd a cheangal a bharrachd air draibhearan cruaidh àbhaisteach. Aig amannan bidh frithealaichean sònraichte air an tabhann, anns a bheil na h-aon diosgan ionadail SATADOM (diosan beaga, gu structarail draibheadh flash ceangailte ri port SATA), no eadhon draibhear flash àbhaisteach beag (8-16GB) ceangailte ri port sònraichte a-staigh, agus an tha dàta air a thoirt bhon t-siostam stòraidh, ceangailte tro lìonra stòraidh sònraichte (Ethernet 10G, FC, msaa), agus tha frithealaichean sònraichte ann a tha air an luchdachadh gu dìreach bhon t-siostam stòraidh. Cha bheachdaich mi air na roghainnean sin, oir ann an leithid de chùisean bidh an obair taic a chumail ris an t-seirbheisiche gu rèidh a’ dol chun eòlaiche a bhios a’ cumail suas an t-siostam stòraidh; mar as trice tha grunn theicneòlasan seilbhe ann airson dealbhan a chruthachadh, dùblachadh togte agus toileachasan eile rianadair an t-siostaim. , air a dheasbad anns na pàirtean roimhe den t-sreath seo. Faodaidh meud raon diosc frithealaiche sònraichte ruighinn grunn deichean de terabytes, a rèir àireamh agus meud nan diosgan ceangailte ris an fhrithealaiche. A thaobh VPS, tha na h-àireamhan nas lugha: mar as trice chan eil barrachd air 100GB (ach tha barrachd ann cuideachd), agus faodaidh na taraidhean airson an leithid de VPS a bhith gu furasta nas daoire na na frithealaichean sònraichte as saoire bhon aon neach-aoigheachd. Mar as trice bidh aon diosc aig VPS, oir bidh siostam stòraidh (no rudeigin hyperconverged) fodha. Uaireannan tha grunn dhioscaichean aig VPS le feartan eadar-dhealaichte, airson diofar adhbharan:
- siostam beag - airson an siostam-obrachaidh a stàladh;
- mòr - a’ stòradh dàta luchd-cleachdaidh.
Nuair a nì thu ath-shuidheachadh air an t-siostam a’ cleachdadh a’ phannal smachd, chan eil an diosc le dàta luchd-cleachdaidh air a sgrìobhadh thairis, ach tha diosc an t-siostaim air ath-lìonadh gu tur. Cuideachd, a thaobh VPS, faodaidh an neach-aoigheachd putan a thabhann a bheir dealbh de staid an VPS (no diosc), ach ma stàlaicheas tu an siostam obrachaidh agad fhèin no ma dhìochuimhnicheas tu an t-seirbheis a tha thu ag iarraidh a chuir an gnìomh taobh a-staigh an VPS, cuid dh’ fhaodadh gun tèid an dàta a chall fhathast. A bharrachd air a’ phutan, mar as trice tha seirbheis stòraidh dàta air a thabhann, gu tric glè chuingealaichte. Mar as trice is e cunntas a tha seo le ruigsinneachd tro FTP no SFTP, uaireannan còmhla ri SSH, le slige air a thoirt sìos (mar eisimpleir, rbash), no cuingealachadh air òrdughan ruith tro ùghdarraichte_keys (tro ForcedCommand).
Tha frithealaiche sònraichte ceangailte ris an lìonra le dà phort le astar 1 Gbps, uaireannan faodaidh iad seo a bhith nan cairtean le astar 10 Gbps. Mar as trice bidh aon eadar-aghaidh lìonra aig VPS. Mar as trice, chan eil ionadan dàta a 'cuingealachadh astar lìonra taobh a-staigh an ionad dàta, ach bidh iad a' cuingealachadh astar ruigsinneachd eadar-lìn.
Is e an luchd àbhaisteach de fhrithealaiche sònraichte no VPS frithealaiche lìn, stòr-dàta, agus frithealaiche tagraidh. Aig amannan faodar grunn sheirbheisean taice a bharrachd a chuir a-steach, a’ toirt a-steach frithealaiche lìn no stòr-dàta: einnsean sgrùdaidh, siostam puist, msaa.
Bidh frithealaiche a chaidh ullachadh gu sònraichte ag obair mar àite airson lethbhric cùl-taic a stòradh; sgrìobhaidh sinn mu dheidhinn nas mionaidiche nas fhaide air adhart.
Eagrachadh loidsigeach an t-siostam diosg
Ma tha rianadair RAID agad, no VPS le aon diosc, agus nach eil roghainnean sònraichte ann airson obrachadh an fho-shiostam diosc (mar eisimpleir, diosc luath air leth airson an stòr-dàta), tha a h-uile àite an-asgaidh air a roinn mar a leanas: aon sgaradh air a chruthachadh, agus tha buidheann tomhas-lìonaidh LVM air a chruthachadh air a bharr , tha grunn leabhraichean air an cruthachadh ann: 2 fheadhainn bheaga den aon mheud, air an cleachdadh mar an siostam faidhle freumh (air atharrachadh aon ri aon rè ùrachaidhean airson comas gluasad air ais gu sgiobalta, chaidh am beachd a thogail bhon cuairteachadh Obraich a-mach Linux), tha fear eile airson an sgaradh suaip, tha an còrr den àite an-asgaidh air a roinn ann an meudan beaga, air a chleachdadh mar an siostam faidhle freumh airson soithichean làn-chuimseach, diosgan airson innealan brìgheil, faidhle siostaman airson cunntasan san / dachaigh (tha siostam faidhle fhèin aig gach cunntas), siostaman faidhle airson soithichean tagraidh.
Nòta cudromach: feumaidh leabhraichean a bhith gu tur fèin-chumte, i.e. cha bu chòir dha a bhith an urra ri chèile no air an t-siostam faidhle freumh. A thaobh innealan mas-fhìor no soithichean, thathas a’ cumail sùil air a’ phuing seo gu fèin-ghluasadach. Mas e soithichean tagraidh no clàran dachaigh a tha seo, bu chòir dhut smaoineachadh mu bhith a’ sgaradh faidhlichean rèiteachaidh an t-seirbheisiche lìn agus seirbheisean eile ann an dòigh a chuireas às do eisimeileachd eadar na leabhraichean cho mòr ‘s as urrainn. Mar eisimpleir, bidh gach làrach a’ ruith bhon neach-cleachdaidh aige fhèin, tha na faidhlichean rèiteachaidh làraich ann an eòlaire dachaigh an neach-cleachdaidh, ann an roghainnean an fhrithealaiche lìn, chan eil faidhlichean rèiteachaidh làraich air an toirt a-steach tro /etc/nginx/conf.d/.conf, agus, mar eisimpleir, / dachaigh//configs/nginx/*.conf
Ma tha grunn dhioscaichean ann, faodaidh tu sreath RAID bathar-bog a chruthachadh (agus an tasgadh aige a rèiteachadh air SSD, ma tha feum air agus cothrom), agus faodaidh tu LVM a thogail a rèir nan riaghailtean gu h-àrd. Cuideachd anns a 'chùis seo, faodaidh tu ZFS no BtrFS a chleachdadh, ach bu chòir dhut smaoineachadh dà uair mu dheidhinn seo: feumaidh an dà chuid dòigh-obrach mòran nas cunnartaiche a thaobh goireasan, agus a bharrachd air an sin, chan eil ZFS air a ghabhail a-steach leis an Linux kernel.
A dh'aindeoin an sgeama a thathar a 'cleachdadh, is fhiach tuairmse a dhèanamh ro-làimh air an astar tuairmseach airson sgrìobhadh atharrachaidhean air diosgan, agus an uairsin obrachadh a-mach na tha de rùm an-asgaidh air a ghleidheadh airson a bhith a' cruthachadh dhealbhan. Mar eisimpleir, ma sgrìobhas an frithealaiche againn dàta aig astar 10 megabytes gach diog, agus gu bheil meud an t-sreath dàta gu lèir 10 terabytes - faodaidh an ùine sioncronaidh latha a ruighinn (22 uair - is e seo an ìre a thèid an leithid de leabhar a ghluasad thairis air an lìonra 1 Gbps) - is fhiach e timcheall air 800 GB a ghlèidheadh. Ann an da-rìribh, bidh am figear nas lugha; faodaidh tu a roinn gu sàbhailte leis an àireamh de leabhraichean loidsigeach.
Inneal frithealaiche stòraidh cùl-taic
Is e am prìomh eadar-dhealachadh eadar frithealaiche airson lethbhreacan cùl-taic a stòradh na diosgan mòra, saor agus gu ìre mhath slaodach. Leis gu bheil HDDs an latha an-diugh air a dhol thairis air a’ bhàr 10TB ann an aon diosc, feumar siostaman faidhle no RAID a chleachdadh le checksums, oir rè ath-thogail an t-sreath no ath-nuadhachadh an t-siostam faidhle (grunn làithean!) Dh’ fhaodadh an dàrna diosc fàiligeadh ri linn gu àrdachadh eallach. Air diosgan le comas suas ri 1TB cha robh seo cho mothachail. Airson tuairisgeul sìmplidh, tha mi a 'gabhail ris gu bheil an t-àite diosg air a roinn ann an dà phàirt de mheud co-ionann (a-rithist, mar eisimpleir, a' cleachdadh LVM):
- leabhraichean a fhreagras ris na frithealaichean a thathas a’ cleachdadh gus dàta luchd-cleachdaidh a stòradh (thèid an cùl-taic mu dheireadh a chuir a-steach orra airson dearbhadh);
- leabhraichean air an cleachdadh mar stòran BorgBackup (thèid dàta airson cùl-taic gu dìreach an seo).
Is e am prionnsapal obrachaidh gum bi leabhraichean fa leth air an cruthachadh airson gach frithealaiche airson stòran BorgBackup, far an tèid dàta bho na frithealaichean sabaid. Bidh na tasgaidhean ag obair ann am modh eàrr-ràdh a-mhàin, a chuireas às don chomas dàta a dhubhadh às a dh’aona ghnothach, agus mar thoradh air dùblachadh agus glanadh bho àm gu àm de stòran bho seann chùl-taic (tha lethbhric bliadhnail ann, gach mìos airson na bliadhna a dh’ fhalbh, gach seachdain airson na mìos mu dheireadh, gach latha airson an an t-seachdain sa chaidh, is dòcha ann an cùisean sònraichte - san uair airson an latha mu dheireadh: iomlan 24 + 7 + 4 + 12 + bliadhnail - timcheall air 50 leth-bhreac airson gach frithealaiche).
Chan eil tasgaidhean BorgBackup a’ comasachadh modh eàrr-ràdh a-mhàin; an àite sin, tha ForcedCommand ann an .ssh/authorized_keys air a chleachdadh rudeigin mar seo:
from="адрес сервера",command="/usr/local/bin/borg serve --append-only --restrict-to-path /home/servername/borgbackup/",no-pty,no-agent-forwarding,no-port-forwarding,no-X11-forwarding,no-user-rc AAAAA.......Anns an t-slighe ainmichte tha sgriobt còmhdaich air mullach borg, a bhios, a bharrachd air a bhith a ’cur air bhog am binary le paramadairean, a’ tòiseachadh air a ’phròiseas ath-nuadhachadh an leth-bhreac cùl-taic às deidh an dàta a thoirt air falbh. Gus seo a dhèanamh, bidh an sgriobt pasgain a’ cruthachadh faidhle taga ri taobh an stòrais fhreagarrach. Thèid an cùl-taic mu dheireadh a chaidh a dhèanamh ath-nuadhachadh gu fèin-ghluasadach chun tomhas loidsigeach co-fhreagarrach às deidh don phròiseas lìonadh dàta a bhith deiseil.
Leigidh an dealbhadh seo leat cùl-taic neo-riatanach a ghlanadh bho àm gu àm, agus cuideachd casg a chuir air frithealaichean sabaid bho bhith a’ cuir às do rud sam bith air an t-seirbheisiche stòraidh cùl-taic.
Pròiseas cùl-taic
Is e neach-tòiseachaidh an cùl-taic an frithealaiche sònraichte no an VPS fhèin, leis gu bheil an sgeama seo a’ toirt barrachd smachd air a’ phròiseas cùl-taic bhon t-seirbheisiche seo. An toiseach, thèid dealbh de staid an t-siostam faidhle freumhaich gnìomhach a thogail, a thèid a chuir suas agus a luchdachadh suas le bhith a’ cleachdadh BorgBackup chun t-seirbheisiche stòraidh cùl-taic. Às deidh an dàta a bhith air a ghlacadh, thèid an dealbh a chuir dheth agus a dhubhadh às.
Ma tha stòr-dàta beag ann (suas gu 1 GB airson gach làrach), thèid dump stòr-dàta a dhèanamh, a thèid a shàbhaladh anns an tomhas loidsigeach iomchaidh, far a bheil an còrr den dàta airson an aon làrach suidhichte, ach gus am bi an dump nach fhaighear thuige tron t-seirbheisiche lìn. Ma tha na stòran-dàta mòr, bu chòir dhut toirt air falbh dàta “teth” a rèiteachadh, mar eisimpleir, a’ cleachdadh xtrabackup airson MySQL, no obrachadh le WAL le archive_command ann am PostgreSQL. Anns a 'chùis seo, thèid an stòr-dàta ath-nuadhachadh air leth bho dhàta na làraich.
Ma thèid soithichean no innealan brìgheil a chleachdadh, bu chòir dhut qemu-guest-agent, CRIU no teicneòlasan riatanach eile a rèiteachadh. Ann an cùisean eile, mar as trice chan eil feum air suidheachaidhean a bharrachd - bidh sinn dìreach a’ cruthachadh dealbhan de mheudan loidsigeach, a bhios an uairsin air an giullachd san aon dòigh ri dealbh de staid siostam freumh an fhaidhle. Às deidh an dàta a thogail, thèid na dealbhan a dhubhadh às.
Tha tuilleadh obrach ga dhèanamh air an fhrithealaiche stòraidh cùl-taic:
- tha an cùl-taic mu dheireadh a chaidh a dhèanamh anns gach stòr air a sgrùdadh,
- gu bheil làthaireachd faidhle comharra air a sgrùdadh, a’ nochdadh gu bheil am pròiseas cruinneachadh dàta crìochnaichte,
- tha an dàta air a leudachadh chun tomhas ionadail co-fhreagarrach,
- tha am faidhle taga air a sguabadh às
Pròiseas ath-bheothachaidh an fhrithealaiche
Ma bhàsaicheas am prìomh fhrithealaiche, thèid frithealaiche sònraichte coltach ris a chuir air bhog, a bhios a’ togail air ìomhaigh àbhaisteach. Is coltaiche gun tachair an luchdachadh sìos thairis air an lìonra, ach faodaidh teicneòlaiche an ionaid dàta a tha a’ stèidheachadh an fhrithealaiche an ìomhaigh àbhaisteach seo a chopaigeadh gu aon de na diosgan. Bidh an luchdachadh sìos a ’tachairt a-steach do RAM, agus às deidh sin tòisichidh am pròiseas ath-bheothachaidh:
- thathar ag iarraidh inneal bloca a cheangal tro iscsinbd no protocol eile coltach ri meud loidsigeach anns a bheil siostam faidhle freumh an fhrithealaiche a chaochail; Leis gum feum an siostam faidhle freumh a bhith beag, bu chòir an ceum seo a chrìochnachadh ann am beagan mhionaidean. Tha an bootloader air ath-nuadhachadh cuideachd;
- tha structar leabhraichean loidsigeach ionadail air ath-chruthachadh, tha leabhraichean loidsigeach air an ceangal bhon t-seirbheisiche cùl-taic a’ cleachdadh modal kernel dm_clone: tòisichidh ath-nuadhachadh dàta, agus thèid atharrachaidhean a sgrìobhadh sa bhad gu diosgan ionadail
- thèid soitheach a chuir air bhog leis a h-uile diosc corporra a tha ri fhaighinn - tha gnìomhachd an fhrithealaiche air ath-nuadhachadh gu h-iomlan, ach le coileanadh nas lugha;
- às deidh sioncronadh dàta a chrìochnachadh, tha na leabhraichean loidsigeach bhon t-seirbheisiche cùl-taic air an dì-cheangal, tha an soitheach air a chuir dheth, agus tha an frithealaiche air ath-thòiseachadh;
Às deidh ath-thòiseachadh, bidh an dàta gu lèir aig an fhrithealaiche a bha ann aig an àm a chaidh an cùl-taic a chruthachadh, agus bheir e a-steach cuideachd na h-atharrachaidhean uile a chaidh a dhèanamh tron phròiseas ath-nuadhachadh.
Artaigilean eile san t-sreath
Cùl-taic Pàirt 7: Co-dhùnaidhean
Tha mi a’ toirt cuireadh dhut bruidhinn mun roghainn a thathar a’ moladh anns na beachdan, tapadh leat airson d’ aire!
Source: www.habr.com