
Hei alle sammen. Denne artikkelen er skrevet for de som fortsatt vakler mellom valg av virtualiseringsplattformer, etter Ă„ ha lest artikler i serien "Vi installerte Proxmox og alt fungerer utmerket, 6 Ă„rs oppetid uten avbrudd". Men etter installasjon av en eller annen boks-lĂžsning, kommer spĂžrsmĂ„let om hvordan man kan fikse dette og dette, slik at overvĂ„kningen blir mer forstĂ„elig, og sĂ„nn at man kan kontrollere backupene... SĂ„ kommer tiden hvor man innser at man Ăžnsker noe mer funksjonelt, eller at man vil at alt i systemet skal vĂŠre klart, og ikke bare en svart boks, eller kanskje Ăžnsker man Ă„ bruke noe mer enn en hypervisor og en haug med virtuelle maskiner. Denne artikkelen vil inneholde noen refleksjoner og praksis basert pĂ„ plattformen OpenNebula â valgt fordi den ikke er ressurskrevende og arkitekturen ikke er sĂ„ kompleks.
Som vi ser, jobber mange skytilbydere med KVM og lager eksterne grensesnitt for Ă„ administrere maskiner. Det er klart at store hostingfirmaer lager sine egne grensesnitt for skyinfrastruktur, som YANDEX for eksempel. Noen bruker OpenStack og lager grensesnitt basert pĂ„ det â SELECTEL, MAIL.RU. Men hvis du har eget utstyr og et lite team av spesialister, velger man vanligvis noe ferdig â VMWARE, HYPER-V, det finnes bĂ„de gratis og betalte lisenser, men det er ikke temaet nĂ„. La oss snakke om entusiaster â det er de som ikke er redde for Ă„ foreslĂ„ og prĂžve noe nytt, til tross for at selskapet tydelig har gjort det klart at "Hvem skal vedlikeholde dette etter deg?", "Skal vi rulle dette ut i produksjon? Skummelt." Men man kan jo begynne med Ă„ bruke disse lĂžsningene under testforhold, og hvis alle liker det, kan man ta opp spĂžrsmĂ„let om videre utvikling og bruk i mer seriĂžse miljĂžer.
Her er ogsÄ lenken til foredraget fra en aktiv deltaker i utviklingen av denne plattformen.
Kanskje det er noe overflÞdig i denne artikkelen som allerede er klart for erfarne spesialister, og i noen tilfeller vil jeg ikke beskrive alt, da lignende kommandoer og beskrivelser er tilgjengelige pÄ nettet. Her er det bare min erfaring med denne plattformen. Jeg hÄper aktive deltakere vil bidra i kommentarene om hva som kan forbedres og hvilke feil jeg har gjort. Alle handlingene ble utfÞrt i et hjemmelaboratorium bestÄende av 3 PC-er med forskjellige spesifikasjoner. Jeg har ogsÄ unnlatt Ä si hvordan denne programvaren fungerer og hvordan man installerer den. Nei, bare administrasjonsopplevelsen og problemene jeg har stÞtt pÄ. Kanskje det vil vÊre nyttig for noen i deres valg.
La oss begynne. For meg som systemadministrator er fĂžlgende punkter viktige, uten hvilke jeg sannsynligvis ikke vil bruke denne lĂžsningen.
1. Gjentakbar installasjon
Det finnes mange instruksjoner for installasjon av opennebula, sÄ det burde ikke oppstÄ problemer. Nye funksjoner dukker opp fra versjon til versjon, som ikke alltid vil fungere ved overgang fra en versjon til en annen.
2. OvervÄking
Vi skal overvĂ„ke selve noden, kvm og opennebula. Heldigvis finnes det allerede klare lĂžsninger. Det er mange alternativer for overvĂ„king av linux-verter, for eksempel Zabbix eller Node Exporter â hva som helst som passer best â for Ăžyeblikket bestemmer jeg at overvĂ„king av systemmetrikker (temperatur der det kan mĂ„les, konsistens i diskarrayet) skal vĂŠre via Zabbix, mens det som gjelder applikasjoner overvĂ„kes via eksportĂžren i Prometheus. For overvĂ„king av kvm kan man for eksempel bruke prosjektet og sette opp oppstart via systemd, det fungerer ganske bra og viser kvm-metrikker, det finnes ogsĂ„ en ferdig dashboard .
Her er for eksempel filen min:
/etc/systemd/system/libvirtd_exporter.service
[Unit]
Description=Node Exporter
[Service]
User=node_exporter
ExecStart=/usr/sbin/prometheus-libvirt-exporter --web.listen-address=":9101"
[Install]
WantedBy=multi-user.targetOg sÄ har vi 1 eksportÞr, vi trenger en til for Ä overvÄke selve opennebula, jeg brukte en slik
Kan legges til i vanlig for systemovervÄking som fÞlger.
I filen for node_exporter endrer vi oppstart som fĂžlger:
ExecStart=/usr/sbin/node_exporter --web.listen-address=":9102" --collector.textfile.directory=/var/lib/opennebula_exporter/textfile_collectorOpprett katalogen mkdir -p /var/lib/opennebula_exporter
Bash-skriptet presentert ovenfor sjekker fĂžrst om det fungerer via konsollen, hvis det viser det som er nĂždvendig (hvis det gir feil, installerer vi xmlstarlet), kopierer det til /usr/local/bin/opennebula_exporter.sh
Legger til en cron-jobb som kjĂžrer hvert minutt:
*1 * * * * (/usr/local/bin/opennebula_exporter.sh > /var/lib/opennebula_exporter/textfile_collector/opennebula.prom)Metrikkene har begynt Ă„ dukke opp, de kan hentes med Prometheus for Ă„ bygge grafer og lage alarmer. I Grafana kan man for eksempel lage et enkelt dashbord.

(her kan man se at jeg har gjort overcommit pÄ cpu, ram)
For dem som liker og bruker Zabbix, finnes det
NÄr det gjelder overvÄking, er det greit. SelvfÞlgelig kan man ogsÄ bruke de innebygde verktÞyene for overvÄking av virtuelle maskiner og eksportere data til fakturering, her har alle sin egen oppfatning, jeg har ikke begynt Ä jobbe med dette pÄ nÊrt hold ennÄ.
NĂ„r det gjelder logging, har jeg ikke begynte sĂŠrlig. Den enkleste mĂ„ten er Ă„ legge til td-agent for Ă„ parse mappen /var/lib/one med regulĂŠre uttrykk. For eksempel passer filen sunstone.log med regexp nginx og andre filer som viser historikken av forespĂžrslene mot plattformen â hva er fordelene med dette? Man kan for eksempel tydelig overvĂ„ke antall «Error, error» og raskere finne ut hvor og pĂ„ hvilket nivĂ„ det er en feil.
3. Sikkerhetskopier
Det finnes ogsĂ„ betalte, tilpassede prosjekter â for eksempel sep :OpenNebula_Backup. Her mĂ„ vi forstĂ„ at det Ă„ bare sikkerhetskopiere et bilde av maskinen, i dette tilfellet, er ikke helt tilstrekkelig, siden vĂ„re virtuelle maskiner mĂ„ fungere med full integrasjon (den samme kontekstfilen, hvor innstillingene for nettverket, navnet pĂ„ vm og tilpassede innstillinger for applikasjonene dine beskrives). Derfor mĂ„ vi definere hva og hvordan vi skal sikkerhetskopiere. I noen tilfeller er det bedre Ă„ lage kopier av det som er i selve vm-en. Og kanskje er det nĂždvendig Ă„ bare sikkerhetskopiere Ă©n disk fra denne maskinen.
For eksempel har vi bestemt oss for at alle maskiner starter med vedvarende bilder, sÄ vi leser
det betyr at fÞrst med vÄr vm kan vi eksportere bildet:
onevm disk-saveas 74 3 prom.qcow2
Image ID: 77
Se pÄ hvilket navn den ble lagret med
oneimage show 77
/var/lib/one//datastores/100/f9503161fe180658125a9b32433bf6e8
Og sÄ kopierer vi den dit vi trenger det. SelvfÞlgelig, det er ikke den beste metoden. Jeg ville bare vise at ved Ä bruke verktÞyene fra OpenNebula kan man bygge lignende lÞsninger.Jeg fant ogsÄ og det finnes ogsÄ , men her er det kun for qcow2-lagring.
Som vi alle vet, kommer det et punkt hvor man Þnsker inkrementelle sikkerhetskopier. Her blir det mer komplisert, og kanskje ledelsen vil bevilge penger til en betalt lÞsning, eller vi kan gÄ en annen vei med forstÄelsen av at her vil vi kun bruke ressurser, mens sikkerhetskopiering bÞr gjÞres pÄ applikasjonsnivÄ og ved Ä legge til flere noder og virtuelle maskiner. Ja, her mener jeg at man bÞr bruke skyen kun for Ä starte applikasjonsklasser og kjÞre databaser pÄ en annen plattform eller ta en ferdig lÞsning fra leverandÞren hvis det er mulig.
4. Brukervennlighet
I dette punktet vil jeg beskrive de problemene jeg har stĂžtt pĂ„. For eksempel, nĂ„r det gjelder bilder, vet vi at det finnes persistent â nĂ„r dette bildet er montert til en virtuell maskin, blir alle data lagret i dette bildet. Og hvis det er non-persistent, sĂ„ kopieres bildet til lagringen, og dataene skrives til det som ble kopiert fra originalbildet â slik fungerer malene. Jeg har gjentatte ganger havnet i problemer fordi jeg glemte Ă„ angi persistent, og 200 GB-bildet ble kopiert. Problemet er at denne prosessen mest sannsynlig ikke kan avbrytes; man mĂ„ gĂ„ til noden og drepe den nĂ„vĂŠrende prosessen «cp».
En av de viktige ulempene â er at man ikke kan annullere handlingene bare ved Ă„ bruke GUI. Man kan si at man annullerer dem, men man ser at ingenting skjer, og sĂ„ starter man dem igjen. Annullerer, og faktiske vil det allerede vĂŠre to cp-prosesser som kopierer bildet.
Og her kommer forstĂ„elsen av hvorfor opennebula numrerer hver ny instans med et nytt id. For eksempel, i proxmox laget jeg en VM med id 101, fjernet den, og sĂ„ laget jeg den igjen, og id 101 ble brukt. I opennebula vil dette ikke skje; hver ny instans vil bli opprettet med et nytt id, og det er en logikk bak dette â for eksempel, rensing av gamle data eller mislykkede installasjoner.
Det samme gjelder lagringen; denne plattformen er mest fokusert pÄ sentralisert lagring. Det finnes tillegg for Ä bruke lokal lagring, men i dette tilfellet handler det ikke om det. Jeg tror at i fremtiden vil noen skrive en artikkel om hvordan man klarte Ä bruke lokal lagring pÄ nodene og bruke det effektivt i produksjon.
5. Maksimal enkelhet
SelvfÞlgelig, jo lenger man gÄr, desto fÊrre blir de som vil forstÄ deg.
I min stand med 3 noder og NFS-lagring fungerer alt som det skal. Men hvis vi gjennomfÞrer eksperimenter med strÞmutkobling, sÄ for eksempel ved oppstart av et snapshot og strÞmutkobling av noden, blir innstillingene lagret i databasen, som om det er et snapshot, men i realiteten er det ikke (vi vet alle at gjeldende dato er lagret i SQL-databasen angÄende denne handlingen, men selve operasjonen ble ikke fullfÞrt). Det positive er at nÄr det opprettes et snapshot, genereres en egen fil, og det finnes en
NÄr det gjelder nettverk, er det dessverre ikke sÄ enkelt. Men lettere enn i OpenStack. Jeg har kun brukt VLAN (802.1Q) - det fungerer fint, men hvis du gjÞr endringer i innstillingene fra nettverksmalen, vil ikke disse innstillingene bli anvendt pÄ allerede kjÞrende maskiner, sÄ du mÄ slette og legge til nettverkskortet, da vil de nye innstillingene bli anvendt.
Hvis man Ăžnsker Ă„ sammenligne med OpenStack, kan man si det slik: i OpenNebula er det ikke en klar definisjon av hvilke teknologier som skal brukes for datalagring, nettverksledelse og ressursforvaltning - hver enkelt administrator bestemmer selv hva som er mest praktisk.
6. Ytterligere plugins og installasjoner
Som vi forstÄr, kan skyplattformen hÄndtere ikke bare KVM, men ogsÄ VMware ESXi. Dessverre hadde jeg ikke tilgang til en VCenter-pool, men hvis noen har prÞvd, vennligst skriv.
Det er pÄstÄtt i stÞtte fra andre skyleverandÞrer.
AWS, AZURE.
Jeg har ogsÄ prÞvd Ä koble til VMware Cloud fra Selectel, men det fungerte ikke - generelt ga jeg opp, da det er mange faktorer, og det gir ikke mening Ä kontakte teknisk stÞtte hos leverandÞren.
I den nye versjonen er det ogsÄ Firecracker - dette er oppstart av microVM, en slags KVM-wrapper over Docker, som gir enda mer allsidighet, sikkerhet og ytelsesforbedring, da det ikke krever ressurser til Ä emulere maskinvare. Jeg ser bare fordeler med dette i forhold til Docker, da det ikke opptar ekstra prosesser og ingen sokler kreves ved bruk av denne emuleringen, sÄ det kan fint brukes som en lastbalanserer (men dette bÞr kanskje skrives om i en egen artikkel, da jeg ikke har fÄtt utfÞrt alle tester fullt ut ennÄ).
7. Positiv erfaring med bruk og feilsĂžking av feil
Jeg Ăžnsket Ă„ dele mine observasjoner om systemets funksjon, som jeg delte tidligere, men jeg har lyst til Ă„ skrive mer. Det er faktisk sannsynligvis ikke bare jeg som fĂžrst tenker at dette ikke er det rette systemet, og at alt her er kludrete â hvordan skal man i det hele tatt jobbe med dette? Men sĂ„ kommer forstĂ„elsen om at alt faktisk er ganske logisk. SelvfĂžlgelig kan man ikke glede alle, og enkelte aspekter trenger forbedringer.
For eksempel, en enkel oppgave med Ă„ kopiere en diskbilde fra en datastore til en annen. I mitt tilfelle har jeg to noder med NFS, og jeg sender bildet â kopieringen gĂ„r gjennom frontend OpenNebula, selv om vi alle er vant til at dataene skal kopieres direkte mellom vertene â i VMware, Hyper-V er vi vant til dette, men her er det annerledes. Her er det en annen tilnĂŠrming og en annen ideologi, og i versjon 5.12 fjernet de knappen «migrate to datastore» â bare selve maskinen overfĂžres, men ikke lagringen, ettersom et sentralisert lagringssystem er forutsatt.
Deretter er det en vanlig feil med forskjellige Ärsaker «Error deploying virtual machine: Could not create domain from /var/lib/one//datastores/103/10/deployment.5» Nedenfor vil det vÊre en liste over hva man bÞr se pÄ.
- Rettigheter til bildet for brukeren oneadmin;
- Rettigheter for brukeren oneadmin for Ă„ starte libvirtd;
- Er datastore montert riktig? GÄ og sjekk stien pÄ selve noden, kanskje noe har falt bort;
- Feilkonfigurert nettverk; nĂŠrmere bestemt stĂ„r det i frontend-innstillingene at br0 er hovedgrensesnittet for VLAN, men pĂ„ noden er det oppgitt â bridge0 â dette mĂ„ vĂŠre likt.
System datastore lagrer metadata for din VM, hvis du kjĂžrer en VM med et vedvarende bilde, mĂ„ VM ha tilgang til den opprinnelig opprettede konfigurasjonen pĂ„ lagringsenheten der du opprettet VM â dette er veldig viktig. Derfor mĂ„ alt dobbeltsjekkes nĂ„r VM overfĂžres til en annen datastore.
8. Dokumentasjon, samfunn. Videre utvikling
Og ellers, god dokumentasjon, et aktivt samfunn, og viktigst av alt, at prosjektet fortsetter Ă„ eksistere.
Generelt er alt godt dokumentert, og selv fra de offisielle kildene vil det ikke vÊre noen problemer med Ä installere og finne svar pÄ spÞrsmÄl.
Samfunnet er aktivt. Publiserer mange ferdige lĂžsninger som du kan bruke i dine installasjoner.
For tiden har enkelte retningslinjer endret seg i selskapet siden 5.12. Det vil vÊre interessant Ä se hvordan prosjektet utvikler seg. I starten spesifiserte jeg noen leverandÞrer som bruker sine egne lÞsninger og hva industrien tilbyr. Det finnes selvfÞlgelig ikke noe klart svar pÄ hva dere bÞr bruke. Men for smÄ organisasjoner kan stÞtte for sitt eget lille private sky vÊre rimeligere enn det virker. Det viktigste er Ä vite nÞyaktig hva dere trenger.
Som et resultat, uansett hva dere velger som skybasert system, bÞr dere ikke stoppe ved ett produkt. Hvis dere har tid, er det verdt Ä se nÊrmere pÄ andre, mer Äpne lÞsninger.
Det finnes en god chat. De hjelper aktivt og sender ikke bare deg ut for Ä finne lÞsninger pÄ problemer i Google. Bli med.
Kilde: habr.com
