
Sveiki visiem. Šis raksts ir uzrakstīts tiem, kuri joprojām šaubās par virtuālizācijas platformu izvēli un pēc tam, kad izlasīja rakstu no sērijas "Uzstādījām proxmox un viss ir lieliski, 6 gadi darbības bez pārtraukuma". Taču pēc kāda no šiem iekārtu risinājumiem uzstādīšanas rodas jautājums, kā šeit uzlabot un tur, lai uzraudzība būtu saprotamāka, un šeit, lai kontrolētu dublējumus…. Un tad pienāk laiks, kad saprotat, ka vēlaties kaut ko funkcionālāku, vai arī vēlaties, lai jūsu sistēmā viss būtu skaidrs, nevis šis melnais rūpals, vai arī vēlaties izmantot kaut ko vairāk nekā hipervizoru un kaudzi virtuālo mašīnu. Šajā rakstā būs nedaudz pārdomu un prakse, pamatojoties uz platformu Opennebula — izvēlējos to, jo tā nav prasīga attiecībā uz resursiem un arhitektūra nav tik sarežģīta.
Tātad, kā redzam, daudzi mākoņu pakalpojumu sniedzēji strādā uz kvm un veido ārēju apvalku mašīnu pārvaldībai. Ir skaidrs, ka lieli hostinga pakalpojumi raksta savus apvalkus mākoņu infrastruktūrai, piemēram, YANDEX. Daži izmanto openstack un veido uz tā pamata apvalku — SELECTEL, MAIL.RU. Taču, ja jums ir sava aparatūra un neliels speciālistu komanda, parasti izvēlas kaut ko no gatavajiem risinājumiem — VMWARE, HYPER-V, ir bezmaksas licences un maksas, bet tagad par to nerunāsim. Parunāsim par entuziastiem — tie ir tie, kas nebaidās ieteikt un izmēģināt jauno, neskatoties uz to, ka uzņēmumā skaidri lika saprast "Kas to pēc tevis apkalpos", "Vai mēs to vispār laidīsim klajā? Baigi šausmīgi". Bet taču sākumā šo risinājumu var pielietot testēšanas vidē, un, ja visiem patiks, tad var pacelt jautājumu par turpmāku attīstību un izmantošanu nopietnākās vidēs.
Tāpat šeit ir saite uz ziņojumu no aktīva dalībnieka, kas attīsta šo platformu.
Šajā rakstā var būt liekas informācijas, kas pieredzējušiem speciālistiem jau būs skaidra, un dažos gadījumos nebūšu aprakstījis visu, jo līdzīgas komandas un to apraksti ir pieejami internetā. Šeit ir tikai mans pieredzes stāsts par šo platformu. Ceru, ka aktīvie dalībnieki komentāros papildinās, ko varētu izdarīt labāk un kādas kļūdas es pieļāvu. Visi pasākumi tika veikti mājas apstākļos ar trīs datoriem ar atšķirīgu aparatūru. Arī es speciāli neuzrādīšu, kā šis rīks darbojas un kā to instalēt. Nē, tikai administrēšanas pieredze un problēmas, ar kurām saskāros. Varbūt kādam tas noderēs lēmuma pieņemšanā.
Tātad, sāksim. Man kā sistēmu administratoram svarīgi ir šādi punkti, bez kuriem es diez vai izmantotu šo risinājumu.
1. Instalācijas atkārtojamība
Ir pieejami daudzi norādījumi par opennebula instalāciju, te nevajadzētu rasties problēmām. No versijas uz versiju parādās jaunas funkcijas, kas ne vienmēr spēs darboties, pārejot no vienas versijas uz otro.
2. Monitorings
Mēs uzraudzīsim pašu mezglu, kvm un opennebula. Par laimi, jau ir sagatavots risinājums. Ir daudz iespēju Linux hostu monitorēšanai, piemēram, Zabbix vai Node Exporter — katram ir savs. Šobrīd nosaku, ka sistēmas metrikas (temperatūra tur, kur to var izmērīt, diskos konsistences pārbaude) tiks monitorētas caur Zabbix, bet attiecībā uz lietojumprogrammām, izmantojot eksportētāju Prometheus. Piemēram, kvm uzraudzībai var ņemt projektu un uzstādīt tā palaišanu caur systemd, tas darbojas ļoti labi un rāda kvm metrikas, ir arī gatavs dashboard. .
Piemēram, šeit ir mans fails:
/etc/systemd/system/libvirtd_exporter.service
[Unit]
Description=Node Exporter
[Service]
User=node_exporter
ExecStart=/usr/sbin/prometheus-libvirt-exporter --web.listen-address=":9101"
[Install]
WantedBy=multi-user.targetTātad, mums ir viens eksportētājs, nepieciešams otrs opennebula monitorēšanai, izmantoju šo.
Var pievienot parastajam lai uzraudzītu sistēmu sekojošo.
Failā node_exporter mainām startu šādā veidā:
ExecStart=/usr/sbin/node_exporter --web.listen-address=":9102" --collector.textfile.directory=/var/lib/opennebula_exporter/textfile_collectorIzveidojam direktoriju mkdir -p /var/lib/opennebula_exporter
bash skriptu, kas norādīts iepriekš, vispirms pārbaudām, vai tas darbojas caur konsoli, ja tas rāda, ko vajag (ja rodas kļūda, tad uzstādām xmlstarlet), kopējam to uz /usr/local/bin/opennebula_exporter.sh
Pievienojam krona uzdevumu katru minūti:
*1 * * * * (/usr/local/bin/opennebula_exporter.sh > /var/lib/opennebula_exporter/textfile_collector/opennebula.prom)Metricas ir sākušas parādīties, tās var iegūt ar Prometheus, veidot grafikus un iestatīt brīdinājumus. Grafānā var izveidot, piemēram, tādu vienkāršu informācijas paneļa risinājumu.

(redzams, ka šeit es esmu veicis pārkāpumu CPU un RAM piesaistē)
Tiem, kas mīl un lieto Zabbix, ir
Par monitoringu viss, galvenais, ka tas ir pieejams. Protams, papildus var izmantot iebūvētās virtuālo mašīnu uzraudzības iespējas un eksportēt datus uz billing, šeit katram ir savs redzējums, līdz šim neesmu tam pievērsies dziļāk.
Par žurnālu – līdz šim neesmu īpaši pievērsies. Vienkāršākais variants ir pievienot td-agent direktorijas /var/lib/one parsēšanai, izmantojot regulāros izteicienus. Piemēram, fails sunstone.log atbilst regexp nginx un citiem failiem, kas parāda piekļuves vēsturi platformai – kāds ir tā plus? Mēs varam skaidri izsekot 'Error, error' skaitļiem un ātrāk atrast, kur un kādā līmenī ir problēma.
3. Rezerves kopijas
Ir arī maksas uzlaboti projekti – piemēram, sep :OpenNebula_Backup. Šeit mums jāizprot, ka vienkārši dublēt mašīnas attēlu nav tas pats, jo mūsu virtuālajām mašīnām jādarbojas ar pilnu integrāciju (tas pats konteksta fails, kurā aprakstītas tīkla iestatījumi, VM nosaukums un pielāgoti iestatījumi jūsu lietojumprogrammām). Tādēļ mēs izlemjam, ko un kā dublēt. Dažos gadījumos labāk veikt kopijas no tā, kas atrodas pašā VM. Un, iespējams, jāveic dublēšana tikai vienam diskam no šīs mašīnas.
Piemēram, mēs nolēmām, ka visas mašīnas tiek palaistas ar persistent attēliem, tāpēc izlasījām
tādēļ vispirms no mūsu VM varam eksportēt attēlu:
onevm disk-saveas 74 3 prom.qcow2
Attēla ID: 77
Apskatām, zem kāda nosaukuma tas ir saglabājies
oneimage show 77
/var/lib/one//datastores/100/f9503161fe180658125a9b32433bf6e8
Un tālāk kopējam, kur mums nepieciešams. Protams, šis ir ne pārāk labs veids. Vienkārši gribēju parādīt, ka, izmantojot OpenNebula rīkus, var veidot līdzīgus risinājumus.Tāpat interneta plašumos atradu un ir vēl , bet šeit tas ir derīgs tikai qcow2 glabāšanai.
Bet mēs visi zinām, agri vai vēlu pienāk brīdis, kad ir vēlme veikt inkrementālās rezerves kopijas. Šeit tas ir sarežģītāk, un iespējams, vadība piešķirs līdzekļus maksas risinājumam, vai arī var izvēlēties citu ceļu, saprotot, ka šeit mēs izmantojam tikai resursus, bet rezervēšana tiek veikta lietojumprogrammu līmenī un pievienojot jaunas mezglu un virtuālo mašīnu skaitu. Jā, es saku, ka mākonis jāizmanto tikai lietojumprogrammu klasteru palaišanai, bet datu bāze jāpalaiž uz citas platformas vai jāņem gatava no piegādātāja, ja tāda iespēja ir.
4. Lietošanas ērtums
Šajā punktā aprakstīšu problēmas, ar kurām esmu saskāries. Piemēram, attiecībā uz attēliem, kā mēs zinām, ir pastāvīgi — kad šis attēls tiek pievienots VM, visas datu ieraksti tiek saglabāti šajā attēlā. Ja tas ir nepastāvīgs, tad attēls tiek kopēts uz krātuvēm un dati tiek rakstīti tajā, kas tika kopēts no sākotnējā attēla — tādā veidā darbojas veidņu sagataves. Es bieži radīju sev problēmas, jo aizmirsu norādīt pastāvīgo izvietojumu, un 200 GB attēls tika kopēts. Problēma ir tāda, ka šo procedūru, visticamāk, nav iespējams atcelt, jāiet uz mezglu un jāiznīcina pašreizējā procesa „cp”.
Viens no svarīgākajiem trūkumiem — to nevar atcelt, vienkārši izmantojot GUI. Patiesībā jūs varat tās atcelt, un redzēt, ka nekas nenotiek, un vēlreiz palaidīsiet, atcelsiet, un faktiski jau būs divi cp procesi, kas kopē attēlu.
Un šeit nāk izpratne, kāpēc opennebula katru jauno instanci numurē ar jaunu id, piemēram, tajā pašā proxmox izveidojot VM ar id 101, izdzēšat to, un pēc tam atkal izveidojat, tad id būs 101. Opennebula to nedarīs, katra jaunā instance tiks izveidota ar jaunu id, un tam ir savs loģika — piemēram, veco datu vai neveiksmīgu instalāciju attīrīšana.
Tāpat ir ar krātuvēm; šī platforma ir vērsta uz centralizētu krātuvi. Ir paplašinājumi, lai izmantotu lokālo, bet šajā gadījumā tas nav par to. Domāju, ka nākotnē kāds uzrakstīs rakstu par to, kā izdevās izmantot lokālo krātuvi mezglos un veiksmīgi izmantot ražošanas vidē.
5. Maksimālā vienkāršība
Protams, šeit, jo tālāk ej, jo mazāk cilvēku tevi sapratīs.
Manā stendā – 3 mezgli ar NFS glabātuvi – viss darbojas kā paredzēts. Bet, ja veicat eksperimentus ar enerģijas izslēgšanu, piemēram, uzsākot snapshot un izslēdzot mezgla barošanu, mēs saglabājam iestatījumus datubāzē, ka ir snapshot, bet reāli tā nav (nu, mēs jau saprotam, ka sākotnēji ir ierakstīts SQL datubāzē par šo darbību, bet pati darbība nebija veiksmīga). Ir plus tas, ka, veidojot attēlu, tiek izveidots atsevišķs faila un ir „vecākais”, līdz ar to, ja rodas problēmas, un pat ja GUI nedarbojas, mēs varam paņemt qcow2 failu un atjaunoties atsevišķi.
Par tīkliem, diemžēl, ne viss ir tik vienkārši. Nu, vismaz vieglāk nekā OpenStack, es izmantoju tikai VLAN (802.1Q) – diezgan labi darbojas, bet, ja no veidnes tīkla veicat izmaiņas iestatījumos, tad šie iestatījumi netiks piemēroti jau strādājošām mašīnām, t.i., ir jāizdzēš un jāpievieno tīkla karte, tad jauni iestatījumi tiks piemēroti.
Ja vēl vēlies salīdzināt ar OpenStack, var teikt tā, OpenNebula nav skaidras definīcijas, kādas tehnoloģijas izmantot datu uzglabāšanai, tīklu pārvaldībai, resursu pārvaldībai – katrs administrators pats izlemj, kā viņam ērtāk.
6. Papildu spraudņi un instalācijas
Jo, kā mēs saprotam, mākoņu platforma var pārvaldīt ne tikai KVM, bet arī VMware ESXi. Diemžēl man nebija Vcenter, ja kāds ir izmēģinājis, rakstiet.
Citās mākoņu pakalpojumu sniedzēju atbalsta dokumentācijās ir norādīts
AWS, AZURE.
Arī mēģināju pieslēgt VMware Cloud no Selectel, bet nekas nesanāca – kopumā nolaidu rokas, jo ir daudz faktoru, un nav jēgas rakstīt hostinga pakalpojumu sniedzēja tehniskajā atbalstā.
Tāpat tagad jaunajā versijā ir Firecracker – tas ir mikro vm palaišana, veida KVM apvalks virs Docker, kas nodrošina vēl lielāku universālumu, drošību un veiktspēju, jo nav jātērē resursi aparatūras emulācijai. Es redzu tikai priekšrocības salīdzinājumā ar Docker tajā, ka netiek tērēti papildu procesi un nav ieņemtu soketu, lietojot šo emulāciju, t.i., to pilnīgi var izmantot kā slodzes līdzsvarotāju (bet par to, iespējams, vajadzētu uzrakstīt atsevišķu rakstu, pagaidām neesmu veicis visus testus pilnā apmērā).
7. Pozitīva pieredze izmantošanā un kļūdu novēršanā
Vēlējos dalīties ar saviem novērojumiem par darbu, daļu jau aprakstīju iepriekš, gribu parakstīt vairāk. Patiesībā, iespējams, neesmu vienīgais, kurš vispirms domā, ka šī nav tā sistēma un vispār šeit viss ir salabots — kā ar to vispār strādā? Bet pēc tam nāk izpratne, ka viss ir diezgan loģiski. Protams, nevar visiem patikt un daži momenti prasa uzlabošanas.
Piemēram, vienkārša operācija, kas attiecas uz diska attēla kopēšanu no viena datu krātuves uz otru. Manā gadījumā ir 2 mezgli ar NFS, nosūtu attēlu — kopēšana notiek caur OpenNebula frontend, lai gan visi mēs esam pieraduši, ka dati jākopē tieši starp saimniekiem — tādā pašā VMware, Hyper-V mēs esam pieraduši tieši tā, bet šeit ir citādāk. Šeit ir cita pieeja un cita ideoloģija, un 5.12 versijā tika izņemta poga "migrate to datastore" — tiek pārvietota tikai pati mašīna, bet ne krātuve, jo tiek pieņemts centralizēts krājums.
Tālāk populāra kļūda ar dažādām pazīmēm "Error deploying virtual machine: Could not create domain from /var/lib/one//datastores/103/10/deployment.5". Zemāk būs top, kas jāpārbauda.
- Tiesības uz attēlu lietotājam oneadmin;
- Tiesības lietotājam oneadmin, lai uzsāktu libvirtd;
- Vai pareizi ir montēta datu krātuve? Iet un pārbaudiet ceļu uz paša mezgla, iespējams, kaut kas ir atslēdzies;
- Nepareizi konfigurēta tīkla iestatījumi, precīzāk, uz frontend ir iestatījuma tīklā, ka kā pamatinterfeiss VLAN ir br0, bet mezglā ir norādīts — bridge0 — ir jābūt vienādiem.
System datastore glabā metadatus jūsu VM, ja jūs uzsākat VM ar noturīgu attēlu, tad VM ir jābūt piekļuvei sākotnēji izveidotajai konfigurācijai tajā glabātuvē, kur jūs izveidojāt VM — tas ir ļoti svarīgi. Tādēļ, kad pārvietojat VM uz citu datu krātuvi, jāpārbauda viss.
8. Dokumentācija, kopiena. Turpmāka attīstība.
Un viss pārējais, laba dokumentācija, kopiena un galvenais, lai projekts turpinātu dzīvot arī nākotnē.
Šeit kopumā viss ir diezgan labi dokumentēts un pat no oficiālā avota nebūs problēmu uzstādīt un atrast atbildes uz jautājumiem.
Kopiena ir aktīva. Publicē daudz gatavu risinājumu, kurus varat izmantot savās uzstādēs.
Pašlaik ar 5.12 ir mainījušās dažas politikas uzņēmumā. Interesanti uzzināt, kā projekts attīstīsies. Sākumā es speciāli norādīju dažus piegādātājus, kas izmanto savus risinājumus un to, ko piedāvā nozare. Skatiena uz to, ko jums izmantot, protams, nav skaidra. Bet nelielām organizācijām atbalsts savam mazajam privātajam mākoņiem var izmaksāt ne tik dārgi, kā šķiet. Galvenais ir precīzi zināt, ka tas jums ir nepieciešams.
Kopumā, neatkarīgi no tā, ko jūs izvēlējāties kā mākoni, nevajadzētu apstāties pie viena produkta. Ja jums ir laiks, vērts pievērst uzmanību citām atvērtākām risinājumu iespējām.
Ir labs čats aktīvi palīdz un nesūta meklēt problēmas risinājumu Google. Pievienojieties.
Avots: habr.com
