Buildroot: Ühelt platvormilt teisele ülemineku tarkvara loomine zabbix-serveriga

Ülesande ajalugu

Väikeste ettevõtete poolelt on ühelt poolt vajadus kvaliteetse infrastruktuuri järele (eriti üldise virtualiseerimise valguses), teisest küljest on rahaliselt keeruline uut varustust soetada. Samuti esinevad sageli serveri / riistvara probleemid: sageli seisavad 1-3 torni-serverid kasutajate töökohtade läheduses või väikeses nišis / keldris.

On lihtsam kasutada juba valmis kogumit (distributsi), mille lihtsalt laadida microSD-kaardile ja sisestada see laialdaselt kasutatavasse ühteplaadile arvutisse (beaglebone, raspberry pi ja orange pi perekond, asus tinker board). Lisaks sellele on selline varustus odav ning seda saab paigaldada igasse kohta.

Ülesande seadmine

Projekt arenes suuresti kui laboratoorne töö, mille tulemusi oli võimalik rakendada.

Monitooringusüsteemiks valiti zabbix, kuna see on võimas, tasuta ja hästi dokumenteeritud süsteem.

Tekkis terav küsimus riistvara platvormi üle. Eraldi masin monitooringuks pole samuti väga hea lahendus – kas on kallis osta uut varustust või otsida vanemat ning väikestes ettevõtetes on sageli probleeme serveri / riistvara osas.

Buildrooti kogumissüsteemi kasutamine võimaldab luua spetsialiseeritud lahendusi, mida saavad haldada töötajad, kellel on minimaalne Linuxi operatsioonisüsteemi tundmine. See süsteem on algajatele sõbralik, kuid samas annab laiad võimalused kohandamiseks kogenud arendaja käes. See on suurepärane lahendus IT-infrastruktuuri madala hinnaga, kuid täisfunktsionaalse monitooringu jaoks, mis ei nõua suuremaid ettevalmistusi selle haldajalihala.

Lahenduse sammud

Otsustati algselt luua x86_64 jaoks püsivara QEMU-s käivitamiseks, kuna see on mugav ja kiire lahendus silumise jaoks. Pärast seda portida üheplaadilisele arvutile arm (minule meeldis asus tinker board).

Kogumissüsteemiks valiti buildroot. Esialgselt ei sisaldanud see zabbix paketti, seega tuli see portida. Seal olid probleemid vene locale'iga, mis lahendati vastavate plaastrite pealekandmise abil (märkus: uutes buildrooti versioonides ei ole need plaastrid enam vajalikud).

Zabbixi paketi portimine kirjeldatakse eraldi artiklis.

Kuna kõik peab toimima nagu püsiv tarkvara (muutumatud süsteemi pildid + taastatavad konfiguratsioonifailid / andmebaasid), tuli kirjutada oma systemd sihtmärgid, teenused ja taimerid (target, service, timer).

Otsustati jagada andmekandja kaheks osaks — süsteemifailide osa ja osa, kus asuvad muudetavad konfiguratsioonid ja zabbix'i andmefailid.

Andmebaasi probleemide lahendamine osutus pisut keerulisemaks. Ei olnud mugav hoida seda otse andmekandjal. Samas võib andmebaasi suurus ulatuda üle ramdisk’i suuruse. Seetõttu valiti kompromisslahendus: andmebaas asub sd-kaardi teises osas (kaasaegsetel SLC-kaartidel on kuni 30 000 kirjutamisringi), kuid on seadistus, mis võimaldab kasutada välist andmekandjat (nt usb-hdd).

Temperatuuri jälgimine toimus RODOS-5 seadme kaudu. Loomulikult saab kasutada otse dallas 1820, kuid kiiremini ja lihtsam on see USB-porti ühendada.

x86_64 jaoks valiti buutlaaduriks grub2. Vaja oli kirjutada minimaalne konfiguratsioon, et käivitada.

Pärast qemu-debugi lõppu viidi portimine läbi asus tinker boardile. Minu ülekatte struktuuris oli algselt ette nähtud krossplatvormilisus — iga plaadi jaoks spetsiifiliste konfiguratsioonide esiletoomine (plaadi defconfig, buutlaadur, süsteemi ossa kuuluv pildi genereerimine) ja maksimaalne ühtsus failisüsteemi täiendamisel / andmete pildi loomisel. Sellise ettevalmistuse tõttu läks portimine kiiresti.

Soovitame tungivalt lugeda sissejuhatavaid artikleid:
https://habr.com/ru/post/448638/
https://habr.com/ru/post/449348/

Kuidas kokku panna

Projekt asub githubis
Pärast hoidla kloonimist saadakse järgmine failistruktuur:

[alexey@comp monitor]$ ls -1
buildroot-2019.05.tar.gz
overlay
README.md
run_me.sh

buildroot-2019.05.tar.gz — puhta buildroot'i arhiiv
overlay — minu kataloog external-tree'ga. See sisaldab kõike vajalikku, et koostada püsiv tarkvara buildroot'i abil
README.md — projekti kirjeldus ja juhend inglise keeles.
run_me.sh — skript, mis valmistab ette ehitussüsteemi. See avab buildroot'i arhiivist, lisab sellele overlay (external-tree mehhanismi kaudu) ja võimaldab valida sihtplaadi ehitamiseks

[0] my_asus_tinker_defconfig
[1] my_beaglebone_defconfig
[2] x86_64_defconfig
Valige defconfig, vajutage A, et tühistada. Vaikimisi [0]

Pärast seda piisab, kui liikuda katalooge buildroot-2019.05 ja käivitada käsk make.
Pärast kogumise lõpetamist on kõik kogumise tulemused kataloogis output/images:

[alexey@comp buildroot-2019.05]$ ls -1 output/images/
boot.img
boot.vfat
bzImage
data
data.img
external.img
external.qcow2
grub-eltorito.img
grub.img
intel-ucode
monitor-0.9-beta.tar.gz
qemu.qcow2
rootfs.cpio
sdcard.img
sys
update

Vajalikud failid:

• sdcard.img — pilt meediumist, mis tuleb kirjutada sd-kaardile (dd või rufus kasutades Windowsis).
• qemu.qcow2 — pilt meediumist QEMU käivitamiseks.
• external.qcow2 — external-meediumi pilt andmebaasi jaoks.
• monitor-0.9-beta.tar.gz — arhiv uuendamiseks läbi veebiliidese.

Juhendite genereerimine

Ei ole mõtet sama juhendit mitu korda kirjutada. Logilisem on kirjutada see üks kord markdownis, seejärel konverteerida PDF-ks allalaadimiseks ja HTML-iks veebiliidese jaoks. See on võimalik pandoci paketi abil.

Kõik need failid tuleb genereerida enne süsteemipildi koostamist, post-build skriptid on sel puhul juba kasutud. Seetõttu on genereerimine tehtud paketina manuals. Seda saab vaadata overlay/package/manuals.

Fail manuals.mk (mis teeb kogu töö)

################################################################################
#
# manuals
#
################################################################################

MANUALS_VERSION:= 1.0.0
MANUALS_SITE:= ${BR2_EXTERNAL_monitorOverlay_PATH}/package/manuals
MANUALS_SITE_METHOD:=local

define MANUALS_BUILD_CMDS
    pandoc -s -o ${TARGET_DIR}/var/www/manual_en.pdf ${BR2_EXTERNAL_monitorOverlay_PATH}/../README.md
    pandoc -f markdown -t html -o ${TARGET_DIR}/var/www/manual_en.html ${BR2_EXTERNAL_monitorOverlay_PATH}/../README.md
endef

$(eval $(generic-package))

systemd

Linuxi maailm liigub aktiivselt systemd-le, pidin seda ka mina tegema.
Heade uuenduste seas on ka taimerite olemasolu. Üldiselt kirjutatakse neist (ja mitte ainult neist) eraldi artiklid, kuid räägin lühidalt.

On tegevusi, mida tuleb teostada regulaarselt. Mul oli vaja käivitada logrotate lighttpd ja php-fpm logide puhastamiseks. Harjumuspärasem oleks olnud kirjutada käsud cron'i, kuid otsustasin kasutada systemd monotoonset taimerit. Nii et logrotate käivitatakse kindla ajavahemiku järel.

Muidugi on võimalik luua taime, mis töötab kindlatel kuupäevadel, kuid mul seda ei olnud vaja.
Taimeri näide:

• Taimeri fail

  
  [Unit]
  Description=RODOS ajutine daemon taimer

[Timer]
OnBootSec=1min
OnUnitActiveSec=1min

[Install]
WantedBy=timers.target

- Teenuse fail, mida kutsub üles taimer:
```bash
[Unit]
Description=RODOS ajutine daemon

[Service]
ExecStart=/usr/bin/rodos.sh

Toetatud plaadid

Asus tinker board — peamine plaat, millel kõik peaks töötama. Valitud kui odav ja üsna võimas.

Beaglebone black — esimene plaat, millega kontrolliti tööd (rohkem võimsa plaadi otsimise perioodil).

Qemu x86_64 — kasutatakse arendamiseks ja tõrkeotsinguks.

Kuidas see töötab

Käivitamisel toimub seadmestiku taastamine kahel etapil:

• käivitamine skripti settings_restore (teenuse kaudu). See taastab süsteemi põhiülesanded — ajavöönd, lokaal, võrgu seadistused jne.
• käivitamine skripti prepare (teenuse kaudu) — siin ettevalmistatakse zabbix, andmebaas, IP kuvamine konsoolis.

Esimese käivitamise ajal määratakse teise partitsiooni suurus SD-kaardil. Kui on veel märkimata ruumi, jagatakse seade ümber, et andmede partitsioon hõivaks kogu vaba ruumi. See on tehtud installatsioonipildi (sdcard.img) mahu vähendamiseks. Lisaks luuakse sel hetkel töökaust postgresql-i jaoks. Seetõttu on esimene käivitamine uue seadmega pikem kui järgmised.

Välist ketast ühendades otsib süsteem käivitamise hetkel vaba ketast ja vormindab selle ext4-failisüsteemiga, kasutades nime external.

Tähelepanu! Välist ketast ühendades (nagu ka seda eemaldades või asendades) on vajalik teha varukoopia ja taastada seaded!

Temperatuuri jälgimiseks kasutatakse seadet RODOS 5. Tootja pakub oma utiliidi lähtekoodi seadmega töötamiseks. Süsteemi käivitamisel algab rodos ajastus, mis käivitab selle utiliidi kord minutis. Praegune temperatuur salvestatakse faili /tmp/rodos_current_temp, seejärel saab zabbix jälgida seda faili kui sensorit.

Konfiguratsiooni salvestamiseks mountitakse seade katalooge /data.

Süsteemi käivitamisel ja tööks ettevalmistamisel kuvatakse konsoolis sõnum:

Süsteem käivitub, palun oodake

Pärast ettevalmistustööde lõpetamist vahetub see IP-aadressi väljundiks:

praegune ip 192.168.1.32
Valmis tööks

Zabbixi seadistamine temperatuuri jälgimiseks

Temperatuuri jälgimiseks on piisav, kui teha 2 sammu:

• ühendada seade RODOS usb-porti
• luua zabbixis andmeelement

Avame zabbixi veebiliidese:

• Avame jaotise Configuration → Hosts
• Klõpsame meie zabbixi serveri reas Items
• Klõpsame nuppu Create item

Sisestame järgmised andmed:

• name — teie enda valikul (näiteks serverRoomTemp)
• Type — zabbix agent
• Key — rodos
• Type — numeriline
• Units — C
• History storage period — ajalugu säilitamise periood. Jätsin 10 päeva
• Trend storage period — dünaamika säilitamise periood. Jätsin 30 päeva
• New application — server Room Temp

Ja klõpsame nuppu ADD.

Seadete haldamine veebiliidese kaudu

Veebiliides on kirjutatud php-s. Seal on peamised funktsioonid:

• seadmise oleku vaatamine
• võrgu seadete muutmine
  
• kasutaja parooli muutmine
• ajavööndi valimine
• varundamine/taastamine/tehaseseadete lähtestamine
• välist ketast ühendamise võimalus
• Süsteemi uuendamine
  

Veebiliidesele sisenemine on parooliga kaitstud. Ava leht — juhend.

Zabbixi liidese aadress: ${ip/dns}/zabbix
Haldusliidese aadress: ${ip/dns}/manage

Käivitamine qemu-s

qemu-system-x86_64 -smp 4 -m 4026M -enable-kvm -machine q35,accel=kvm -device intel-iommu -cpu host -net nic -net bridge,br=bridge0 -device virtio-scsi-pci,id=scsi0 -drive file=output/images/qemu.qcow2,format=qcow2,aio=threads -device virtio-scsi-pci,id=scsi0 -drive file=output/images/external.qcow2,format=qcow2,aio=threads

See käsk käivitab süsteemi 4 tuumaga, 2048 RAM-iga, KVM aktiveerituna, võrkaartidega sildadel bridge0 ning kahe kettaga: süsteemide jaoks ja external postgresql jaoks.

Pilte saab konverteerida ja käivitada Virtualboxis:

qemu-img convert -f qcow2  qemu.qcow2 -O vdi qcow2.vdi
qemu-img convert -f qcow2  external.qcow2 -O vdi external.vdi

Pärast seda tuleb need Virtualboxi importida ja ühendusele saata SATA kaudu.

Kokkuvõte

Protsessi käigus tekkis huvi luua töötav toode — mitte liiga ilus üliäär (ma ei armasta nende kirjutamist), kuid töötav ja lihtne seadistada.

Viimane katse installida zabbix-appliance KVM-is näitas selle sammu õigsust (pärast installatsiooni lõppu süsteem ei käivitu). Võib-olla teen ma midagi valesti 😉

Materjalid

https://buildroot.org/

Allikas: habr.com