Sveiki visiem. Å is raksts tika rakstÄ«ts tiem, kuri joprojÄm ir plosÄ«juÅ”ies starp virtualizÄcijas platformu izvÄli un pÄc raksta izlasÄ«Å”anas no sÄrijas āInstalÄjÄm proxmox un kopumÄ viss ir kÄrtÄ«bÄ, 6 gadi darbspÄjas bez neviena pÄrtraukumaā. Bet pÄc viena vai otra gatavÄ risinÄjuma instalÄÅ”anas rodas jautÄjums: kÄ es varu to Å”eit labot, lai uzraudzÄ«ba bÅ«tu saprotamÄka, un Å”eit, lai kontrolÄtu dublÄjumus.... Un tad pienÄk brÄ«dis, un tu saproti, ka gribi kaut ko funkcionÄlÄku, vai arÄ« vÄlies, lai viss tavÄ sistÄmÄ kļūst skaidrs, nevis Ŕī melnÄ kaste, vai arÄ« tu vÄlies izmantot kaut ko vairÄk par hipervizoru un virkni virtuÄlo maŔīnu. Å ajÄ rakstÄ bÅ«s dažas pÄrdomas un prakse, kuras pamatÄ ir Opennebula platforma ā es to izvÄlÄjos, jo. tas neprasa resursus un arhitektÅ«ra nav tik sarežģīta.
Un tÄpÄc, kÄ mÄs redzam, daudzi mÄkoÅpakalpojumu sniedzÄji strÄdÄ pie kvm un veido ÄrÄjos savienojumus, lai kontrolÄtu maŔīnas. Ir skaidrs, ka lielie hosteri raksta savus mÄkoÅinfrastruktÅ«ras ietvarus, piemÄram, to paÅ”u YANDEX. KÄds izmanto openstack un izveido savienojumu, pamatojoties uz to - SELECTEL, MAIL.RU. Bet, ja jums ir sava aparatÅ«ra un neliels speciÄlistu personÄls, tad parasti izvÄlaties kaut ko gatavu - VMWARE, HYPER-V, ir bezmaksas un maksas licences, bet ne par to mÄs tagad runÄjam. ParunÄsim par entuziastiem ā tie ir tie, kas nebaidÄs piedÄvÄt un izmÄÄ£inÄt kaut ko jaunu, neskatoties uz to, ka uzÅÄmums skaidri pateica: āKas to apkalpos pÄc jumsā, āVai mÄs to vÄlÄk ieviesÄ«sim ražoÅ”anÄ ? Baisi." Bet vispirms Å”os risinÄjumus var pielietot testÄÅ”anas stendÄ, un, ja visiem tas patÄ«k, tad var izvirzÄ«t jautÄjumu par tÄlÄku attÄ«stÄ«bu un izmantoÅ”anu nopietnÄkÄ vidÄ.
Å eit ir arÄ« saite uz ziÅojumu no aktÄ«va Ŕīs platformas izstrÄdes dalÄ«bnieka.
VarbÅ«t Å”ajÄ rakstÄ kaut kas bÅ«s lieks un jau saprotams pieredzÄjuÅ”am speciÄlistam, un dažos gadÄ«jumos es visu neaprakstÄ«Å”u, jo lÄ«dzÄ«gas komandas un apraksti ir pieejami internetÄ. Å Ä« ir tikai mana pieredze ar Å”o platformu. Ceru, ka aktÄ«vie dalÄ«bnieki komentÄros papildinÄs, ko varÄtu izdarÄ«t labÄk un kÄdas kļūdas pieļÄvu. Visas darbÄ«bas notika mÄjas stendÄ, kas sastÄvÄja no 3 datoriem ar dažÄdÄm Ä«paŔībÄm. TÄpat es Ä«paÅ”i nenorÄdÄ«ju, kÄ Å”Ä« programmatÅ«ra darbojas un kÄ to instalÄt. NÄ, tikai administrÄcijas pieredze un problÄmas, ar kurÄm es saskÄros. VarbÅ«t kÄdam tas noderÄs pÄc izvÄles.
TÄtad, sÄksim. Man kÄ sistÄmas administratoram ir svarÄ«gi tÄlÄk norÄdÄ«tie punkti, bez kuriem es diez vai izmantoÅ”u Å”o risinÄjumu.
1. UzstÄdÄ«Å”anas atkÄrtojamÄ«ba
Opennebula uzstÄdÄ«Å”anai ir daudz instrukciju, problÄmÄm nevajadzÄtu bÅ«t. No versijas uz versiju parÄdÄs jaunas funkcijas, kas ne vienmÄr darbosies, pÄrejot no versijas uz versiju.
2. Uzraudzība
MÄs uzraudzÄ«sim paÅ”u mezglu, kvm un atvÄrto miglÄju. Par laimi, tas jau ir gatavs. Ir daudz iespÄju uzraudzÄ«t Linux hostus, to paÅ”u Zabbix vai mezglu eksportÄtÄju - kuram labÄk patÄ«k - Å”obrÄ«d es to definÄju kÄ sistÄmas metrikas (temperatÅ«ra, kur to var izmÄrÄ«t, diska masÄ«va konsistence) uzraudzÄ«bu, izmantojot zabbix , kÄ arÄ« pieteikumiem, izmantojot Prometheus eksportÄtÄju. PiemÄram, kvm monitoringam varat Åemt projektu un iestatiet palaist caur systemd, tas darbojas diezgan labi un rÄda kvm metriku, ir arÄ« gatavs informÄcijas panelis .
PiemÄram, Å”eit ir mans fails:
/etc/systemd/system/libvirtd_exporter.service
[Unit]
Description=Node Exporter
[Service]
User=node_exporter
ExecStart=/usr/sbin/prometheus-libvirt-exporter --web.listen-address=":9101"
[Install]
WantedBy=multi-user.targetUn tÄpÄc mums ir 1 eksportÄtÄjs, mums vajag otru, lai uzraudzÄ«tu paÅ”u opennebulu, es izmantoju Å”o
Var pievienot parastajam lai uzraudzÄ«tu sistÄmu, veiciet tÄlÄk norÄdÄ«tÄs darbÄ«bas.
FailÄ node_exporter mÄs mainÄm sÄkumu Å”Ädi:
ExecStart=/usr/sbin/node_exporter --web.listen-address=":9102" --collector.textfile.directory=/var/lib/opennebula_exporter/textfile_collectorIzveidojiet direktoriju mkdir -p /var/lib/opennebula_exporter
bash skripts, kas parÄdÄ«ts iepriekÅ”, vispirms mÄs pÄrbaudÄm darbu caur konsoli, ja tas parÄda, kas mums nepiecieÅ”ams (ja tas rada kļūdu, tad instalÄjiet xmlstarlet), kopÄjiet to uz /usr/local/bin/opennebula_exporter.sh
Pievienojiet cron uzdevumu katrai minūtei:
*/1 * * * * (/usr/local/bin/opennebula_exporter.sh > /var/lib/opennebula_exporter/textfile_collector/opennebula.prom)SÄka parÄdÄ«ties metrika, jÅ«s varat tos uztvert kÄ prometeju un veidot diagrammas un brÄ«dinÄt. GrafÄnÄ varat uzzÄ«mÄt, piemÄram, tik vienkÄrÅ”u informÄcijas paneli.
(skaidrs, ka Å”eit es pÄrvaru cpu, ram)
Tiem, kas mīl un izmanto Zabbix, ir
Kas attiecas uz uzraudzÄ«bu, galvenais, lai tas ir. Protams, papildus var izmantot iebÅ«vÄtos virtuÄlÄs maŔīnas uzraudzÄ«bas rÄ«kus un augÅ”upielÄdÄt datus norÄÄ·iniem, Å”eit katram ir savs redzÄjums, es vÄl neesmu sÄcis pie tÄ strÄdÄt.
Es vÄl Ä«sti neesmu sÄcis mežizstrÄdi. VienkÄrÅ”ÄkÄ iespÄja ir pievienot td-agent, lai parsÄtu direktoriju /var/lib/one ar regulÄrÄm izteiksmÄm. PiemÄram, sunstone.log fails atbilst nginx regexp un citiem failiem, kas parÄda platformas piekļuves vÄsturi - kÄda ir tÄ priekÅ”rocÄ«ba? PiemÄram, mÄs varam skaidri izsekot āKļūda, kļūdaā skaitam un Ätri izsekot, kur un kÄdÄ lÄ«menÄ« ir darbÄ«bas traucÄjumi.
3. DublÄjumkopijas
Ir arÄ« apmaksÄti pabeigti projekti - piemÄram, sept :OpenNebula_Backup. Å eit mums ir jÄsaprot, ka vienkÄrÅ”a maŔīnas attÄla dublÄÅ”ana Å”ajÄ gadÄ«jumÄ nepavisam nav vienÄda, jo mÅ«su virtuÄlajÄm maŔīnÄm ir jÄdarbojas ar pilnu integrÄciju (tas pats konteksta fails, kas apraksta tÄ«kla iestatÄ«jumus, VM nosaukumu un pielÄgotos iestatÄ«jumus jÅ«su lietojumprogrammÄm) . TÄpÄc Å”eit mÄs izlemjam, ko un kÄ dublÄsim. Dažos gadÄ«jumos labÄk ir izveidot kopijas no tÄ, kas atrodas paÅ”Ä vm. Un, iespÄjams, jums ir jÄdublÄ tikai viens disks no konkrÄtÄs maŔīnas.
PiemÄram, mÄs noteicÄm, ka visas maŔīnas sÄkas ar pastÄvÄ«giem attÄliem, tÄpÄc pÄc lasÄ«Å”anas
Tas nozÄ«mÄ, ka vispirms mÄs varam augÅ”upielÄdÄt attÄlu no mÅ«su VM:
onevm disk-saveas 74 3 prom.qcow2
Image ID: 77
Š”Š¼Š¾ŃŃŠøŠ¼, ŠæŠ¾Š“ ŠŗŠ°ŠŗŠøŠ¼ ŠøŠ¼ŠµŠ½ŠµŠ¼ Š¾Š½ ŃŠ¾Ń
ŃŠ°Š½ŠøŠ»ŃŃ
oneimage show 77
/var/lib/one//datastores/100/f9503161fe180658125a9b32433bf6e8
Š Š“Š°Š»ŠµŠµ ŠŗŠ¾ŠæŠøŃŃŠµŠ¼ ŠŗŃŠ“Š° Š½Š°Š¼ Š½ŠµŠ¾Š±Ń
Š¾Š“ŠøŠ¼Š¾. ŠŠ¾Š½ŠµŃŠ½Š¾, ŃŠ°Šŗ ŃŠµŠ±Šµ ŃŠæŠ¾ŃŠ¾Š±. ŠŃŠ¾ŃŃŠ¾ Ń
Š¾ŃŠµŠ» ŠæŠ¾ŠŗŠ°Š·Š°ŃŃ, ŃŃŠ¾ ŠøŃŠæŠ¾Š»ŃŠ·ŃŃ ŠøŠ½ŃŃŃŃŠ¼ŠµŠ½ŃŃ opennebula Š¼Š¾Š¶Š½Š¾ ŃŃŃŠ¾ŠøŃŃ ŠæŠ¾Š“Š¾Š±Š½ŃŠµ ŃŠµŃŠµŠ½ŠøŃ.Atradu arÄ« internetÄ un ir vÄl , bet ir tikai qcow2 krÄtuve.
Bet, kÄ mÄs visi zinÄm, agri vai vÄlu pienÄk brÄ«dis, kad gribas papildu dublÄjumkopijas, Å”eit ir grÅ«tÄk un, iespÄjams, vadÄ«ba atvÄlÄs naudu apmaksÄtam risinÄjumam, vai arÄ« ies citu ceļu un sapratÄ«s, ka Å”eit mÄs tikai griežam resursus, un dublÄjumkopiju veidoÅ”ana lietojumprogrammu lÄ«menÄ« un vairÄku jaunu mezglu un virtuÄlo maŔīnu pievienoÅ”ana - jÄ, Å”eit es saku, ka mÄkoni izmanto tikai lietojumprogrammu klasteru palaiÅ”anai un datu bÄzes palaiÅ”anu citÄ platformÄ vai gatavu. no piegÄdÄtÄja, ja iespÄjams.
4. LietoÅ”anas Ärtums
Å ajÄ rindkopÄ es aprakstÄ«Å”u problÄmas, ar kurÄm es saskÄros. PiemÄram, saskaÅÄ ar attÄliem, kÄ mÄs zinÄm, pastÄv noturÄ«ba - kad Å”is attÄls tiek pievienots VM, visi dati tiek ierakstÄ«ti Å”ajÄ attÄlÄ. Un, ja nav noturÄ«gs, tad attÄls tiek kopÄts uz krÄtuvi un dati tiek ierakstÄ«ti tajÄ, kas tika kopÄts no avota attÄla - Å”Ädi darbojas veidÅu veidnes. VairÄkkÄrt radÄ«ju sev problÄmas, aizmirstot norÄdÄ«t persistÄjoÅ”u un tika nokopÄts 200 GB attÄls, problÄma tÄda, ka Å”o procedÅ«ru noteikti nevar atcelt, jÄdodas uz mezglu un jÄnogalina paÅ”reizÄjais ācpā process.
Viens no svarÄ«giem trÅ«kumiem ir tas, ka jÅ«s nevarat atcelt darbÄ«bas, vienkÄrÅ”i izmantojot gui. PareizÄk sakot, tu tos atcelsi un redzÄsi, ka nekas nesanÄk un palaidÄ«si no jauna, atcelsi un patiesÄ«bÄ jau bÅ«s 2 cp procesi, kas kopÄ attÄlu.
Un tad nÄkas saprast, kÄpÄc opennebula numurÄ katru jaunu gadÄ«jumu ar jaunu id, piemÄram, tajÄ paÅ”Ä proxmox izveidoja vm ar id 101, izdzÄsa to, tad izveido vÄlreiz un id 101. OpennebulÄ tas nenotiks, katra jauna instance tiks izveidota ar jaunu ID, un tam ir sava loÄ£ika - piemÄram, veco datu dzÄÅ”ana vai neveiksmÄ«gas instalÄcijas.
Tas pats attiecas uz uzglabÄÅ”anu; Ŕī platforma galvenokÄrt ir paredzÄta centralizÄtai glabÄÅ”anai. Ir papildinÄjumi vietÄjai lietoÅ”anai, taÄu Å”ajÄ gadÄ«jumÄ mÄs nerunÄjam par to. DomÄju, ka nÄkotnÄ kÄds uzrakstÄ«s rakstu par to, kÄ izdevÄs lokÄlo krÄtuvi mezglos izmantot un veiksmÄ«gi izmantot ražoÅ”anÄ.
5. MaksimÄla vienkÄrŔība
Protams, jo tÄlÄk tu ej, jo mazÄk kļūst to, kas tevi sapratÄ«s.
Mana stenda apstÄkļos - 3 mezgli ar nfs krÄtuvi - viss darbojas labi. Bet, ja mÄs veicam eksperimentus ar strÄvas padeves pÄrtraukumu, piemÄram, palaižot momentuzÅÄmumu un izslÄdzot mezgla baroÅ”anu, mÄs datubÄzÄ saglabÄjam iestatÄ«jumus, ka momentuzÅÄmums ir, bet patiesÄ«bÄ tÄda nav (nu, mÄs visi saprotam, ka mÄs sÄkotnÄji datubÄzÄ par Å”o darbÄ«bu rakstÄ«ja sql , bet pati darbÄ«ba nebija veiksmÄ«ga). PriekÅ”rocÄ«ba ir tÄda, ka, veidojot momentuzÅÄmumu, tiek izveidots atseviŔķs fails un ir "vecÄks", tÄpÄc problÄmu gadÄ«jumÄ un pat ja tas nedarbojas caur gui, mÄs varam paÅemt qcow2 failu un atjaunot to atseviŔķi
DiemžÄl tÄ«klos ne viss ir tik vienkÄrÅ”i. Nu vismaz ir vienkÄrÅ”Äk kÄ openstackÄ, izmantoju tikai vlan (802.1Q) - tÄ«ri labi strÄdÄ, bet ja no template tÄ«kla veic iestatÄ«jumos izmaiÅas, tad jau darbojoÅ”Äm maŔīnÄm Å”ie uzstÄdÄ«jumi netiks piemÄroti, t.i. jÄizdzÄÅ” un jÄpievieno tÄ«kla karte, tad tiks piemÄroti jaunie iestatÄ«jumi.
Ja tomÄr gribas salÄ«dzinÄt ar openstack, tad var teikt tÄ: opennebulÄ nav skaidras definÄ«cijas, kuras tehnoloÄ£ijas izmantot datu glabÄÅ”anai, tÄ«kla, resursu pÄrvaldÄ«Å”anai ā katrs administrators pats izlemj, kas viÅam ÄrtÄk.
6. Papildu spraudÅi un instalÄcijas
Galu galÄ, kÄ mÄs saprotam, mÄkoÅa platforma var pÄrvaldÄ«t ne tikai kvm, bet arÄ« vmware esxi. DiemžÄl man nebija baseina ar Vcenter, ja kÄds ir mÄÄ£inÄjis, lÅ«dzu, rakstiet.
Tiek norÄdÄ«ts atbalsts citiem mÄkoÅa pakalpojumu sniedzÄjiem
AWS, AZURE.
MÄÄ£inÄju arÄ« pieslÄgt Vmware Cloud no Selectel, bet nekas neizdevÄs ā kopumÄ tas tika bloÄ·Äts, jo ir daudz faktoru, un nav jÄgas rakstÄ«t hostinga sniedzÄja tehniskajam atbalstam.
ArÄ« tagad jaunajÄ versijÄ ir petarde - tas ir microvm, kvm harness over docker veida palaiÅ”ana, kas nodroÅ”ina vÄl lielÄku daudzpusÄ«bu, droŔību un palielinÄtu veiktspÄju, jo nav jÄtÄrÄ resursi emulÄcijas aprÄ«kojumam. VienÄ«gÄ priekÅ”rocÄ«ba, ko es redzu salÄ«dzinÄjumÄ ar Docker, ir tÄ, ka tas neaizÅem papildu procesu skaitu un, izmantojot Å”o emulÄciju, nav aizÅemtas ligzdas, t.i. PilnÄ«gi iespÄjams to izmantot kÄ slodzes balansÄtÄju (taÄu, iespÄjams, ir vÄrts par to uzrakstÄ«t atseviŔķu rakstu, lÄ«dz esmu pilnÄ«bÄ pabeidzis visus testus).
7. Pozitīva lietoŔanas pieredze un kļūdu atkļūdoŔana
VÄlÄjos padalÄ«ties savos novÄrojumos par darbu, dažus aprakstÄ«ju augstÄk, gribÄtos vÄl uzrakstÄ«t. PatieÅ”Äm, es, iespÄjams, neesmu vienÄ«gais, kurÅ” sÄkumÄ domÄ, ka Ŕī nav pareizÄ sistÄma un kopumÄ Å”eit viss ir kÄ kruÄ·is - kÄ viÅi ar to vispÄr strÄdÄ? Bet tad nÄk izpratne, ka viss ir diezgan loÄ£iski. Protams, jÅ«s nevarat izpatikt visiem, un daži aspekti ir jÄuzlabo.
PiemÄram, vienkÄrÅ”a diska attÄla kopÄÅ”ana no viena datu krÄtuves uz citu. ManÄ gadÄ«jumÄ ir 2 mezgli ar nfs, sÅ«tu attÄlu - kopÄÅ”ana notiek caur frontend opennebulu, lai gan mÄs visi esam pieraduÅ”i, ka dati ir jÄkopÄ tieÅ”i starp hostiem - tajÄ paÅ”Ä vmware, hyper-v mÄs esam pie tÄ pieraduÅ”i, bet te pie cita. Ir cita pieeja un cita ideoloÄ£ija, un versijÄ 5.12 viÅi noÅÄma pogu āmigrÄt uz datu krÄtuviā - tiek pÄrsÅ«tÄ«ta tikai pati maŔīna, bet ne krÄtuve, jo nozÄ«mÄ centralizÄtu uzglabÄÅ”anu.
NÄkamÄ ir populÄra kļūda dažÄdu iemeslu dÄļ: āKļūda, izvietojot virtuÄlo maŔīnu: nevarÄja izveidot domÄnu no /var/lib/one//datastores/103/10/deployment.5ā. TÄlÄk ir norÄdÄ«ta galvenÄ lieta, kas jÄapskata.
- Oneadmin lietotÄja attÄla tiesÄ«bas;
- Oneadmin lietotÄja atļaujas palaist libvirtd;
- Vai datu krÄtuve ir pareizi uzstÄdÄ«ta? Ejiet un pÄrbaudiet ceļu paÅ”Ä mezglÄ, varbÅ«t kaut kas ir nokritis;
- Nepareizi konfigurÄts tÄ«kls, vai drÄ«zÄk priekÅ”galÄ tÄ«kla iestatÄ«jumos galvenais interfeiss vlan ir br0, bet mezglÄ tas ir rakstÄ«ts kÄ bridge0 - tam jÄbÅ«t vienÄdam.
sistÄmas datu krÄtuve saglabÄ jÅ«su VM metadatus, ja palaižat VM ar pastÄvÄ«gu attÄlu, tad VM ir jÄbÅ«t piekļuvei sÄkotnÄji izveidotajai konfigurÄcijai krÄtuvÄ, kurÄ izveidojÄt VM ā tas ir ļoti svarÄ«gi. TÄpÄc, pÄrsÅ«tot vm uz citu datu krÄtuvi, jums viss ir vÄlreiz jÄpÄrbauda.
8. DokumentÄcija, kopiena. TÄlÄka attÄ«stÄ«ba
Un pÄrÄjais, laba dokumentÄcija, kopÄ«ba un galvenais, lai projekts turpinÄtu dzÄ«vot arÄ« nÄkotnÄ.
KopumÄ viss ir diezgan labi dokumentÄts un pat izmantojot oficiÄlu avotu nebÅ«s problÄmu instalÄt un atrast atbildes uz jautÄjumiem.
Kopiena, aktÄ«va. PublicÄ daudzus gatavus risinÄjumus, kurus varat izmantot savÄs instalÄcijÄs.
Å obrÄ«d dažas politikas uzÅÄmumÄ ir mainÄ«juÅ”Äs kopÅ” 5.12 BÅ«s interesanti pavÄrot, kÄ projekts attÄ«stÄ«sies. SÄkumÄ es Ä«paÅ”i norÄdÄ«ju uz dažiem pÄrdevÄjiem, kuri izmanto viÅu risinÄjumus, un to, ko piedÄvÄ nozare. Protams, nav skaidras atbildes par to, ko lietot. TaÄu mazÄkÄm organizÄcijÄm sava mazÄ privÄtÄ mÄkoÅa uzturÄÅ”ana var nebÅ«t tik dÄrga, kÄ Å”Ä·iet. Galvenais ir precÄ«zi zinÄt, kas jums nepiecieÅ”ams.
RezultÄtÄ neatkarÄ«gi no tÄ, ko izvÄlaties kÄ mÄkoÅsistÄmu, nevajadzÄtu apstÄties pie viena produkta. Ja jums ir laiks, ir vÄrts apskatÄ«t citus atvÄrtÄkus risinÄjumus.
Ir laba tÄrzÄÅ”ana ViÅi aktÄ«vi palÄ«dz un nesÅ«ta meklÄt problÄmas risinÄjumu Google tÄ«klÄ. Pievienojies mums.
Avots: www.habr.com