Buildroot: Krosseplatvormi firmware'i loomine zabbix-serveriga

Ülesande ajalugu

Väikestel ettevõtetel on ühelt poolt vajadus kvaliteetse infrastruktuuri jälgimise järele (eriti virtuaalsuse laialdase kasutuse kontekstis), kuid teiselt poolt on neil finantsiliselt keeruline uut varustust osta. Samuti esinevad sageli serveri/hardware probleeme: tihti asuvad 1-3 torniserverit otse kasutajate töökohtade kõrval või väikestes niššides.

Lihtsam on kasutada juba olemasolevat jaotust, mille saab lihtsalt laadida microSD-kaardile ja sisestada levinud ühetahulisse arvutisse (beaglebone, raspberry pi ja orange pi perekonnad, asus tinker board). Pealegi on selline varustus odav ja saab paigutada igasse kohta.

Ülesande seadmine

Projekt arenes ulatuslikult kui laboratoorne töö, kus tulemusi sai rakendada.

Jälgimisse süsteemina valiti zabbix, kuna see on võimas, tasuta ja hästi dokumenteeritud süsteem.

Teknoloogia platvormiga seotud küsimus on teravalt esile kerkinud. Eraldi masina seadistamine jälgimise jaoks pole samuti hea lahendus — kas on liiga kallis uus varustus või tuleb otsida vanad masinad; väikestes firmades esinevad sageli serveri/hardware probleemid.

Buildroot ehitussüsteemi kasutamine võimaldab luua spetsialiseeritud lahendusi, mida saavad kasutada töötajad, kellel on minimaalne teadmiste tase Linuxi operatsioonisüsteemide pere kohta. See süsteem on algajatele sõbralik, kuid samas pakub kogenud arendajatele laialdasi kohandamisvõimalusi. See sobib suurepäraselt ülesande täitmiseks, et luua odav, kuid täisfunktsionaalne IT-infrastruktuuri jälgimise lahendus, mis ei nõua sellele rakenduvatelt töötajatelt palju ettevalmistust.

Lahendamise sammud

Otsustati algselt luua x86_64 jaoks uus püsivara, et käivitada qemu-s, kuna see on mugav ja kiire lahendus tõrgete tõrjumiseks. Seejärel portida see ühesilmaarvutile arm-platvormil (minu lemmik oli asus tinker board).

Kogumiseks valiti buildroot. Alguses ei olnud seal paketti zabbix, seega tuli see portida. Esines probleeme vene lokaliseerimisega, kuid need lahendati vastavate plaastrite rakendamisega (märkus: uutes buildrooti versioonides ei ole neid plaastreid enam vaja).

Zabbixi paketi portimise üksikasjad on kirjeldatud eraldi artiklis.

Kuna kõik peaks töötama nagu püsiv tarkvara (muutmatu süsteemi pilt + taastatavad konfiguratsioonifailid / andmebaasid), tuli kirjutada oma systemd sihtmärgid, teenused ja ajastajad (target, service, timer).

Otsustati jagada kandja kaheks jaotuseks — süsteemifailide ja zabbixi muudetavate konfigureerimisfailide ja andmebaaside jaotuseks.

Andmebaasi ülesannete lahendamine osutus veidi keerulisemaks. Ei soovitud seda otse mäluseadmest käitada. Samal ajal võib andmebaasi suurus ulatuda mõõtmeteni, mis ületavad võimaliku ramdisk’i suuruse. Seetõttu valiti kompromisslahendus: andmebaas paigutatakse SD-kaardi teisele partitsioonile (kui räägime kaasaegsetest SLC-kaartidest, siis nende kirjutamis tsüklite arv võib ulatuda kuni 30 000). Kuid on olemas seade, mis võimaldab kasutada välist salvestusseadet (nt USB-HDD).

Temperatuuri jälgimine tehti läbi seadmestikuga RODOS-5. Loomulikult saab kasutada otse Dallas 1820, kuid kiirem ja lihtsam viis oli USB-sse pistmine.

X86_64 jaoks valiti käivituslaaduriks grub2. Vaja oli kirjutada minimaalne konfiguratsioon selle käivitamiseks.

Pärast QEMU peal silumist viidi portimine läbi ASUS Tinker Boardile. Minu overlay struktuuris oli algselt sisse ehitatud platvormidevaheline tugi — iga plaadi jaoks spetsiifiliste konfiguratsioonide (defconfig, käivituslaadur, süsteemi partitsiooniga pildi genereerimine) eraldamine ja failisüsteemi/andmete pildi kohandamises maksimaalne ühtsus. Tänu sellisele ettevalmistusele kulges portimine kiiresti.

Soovitame tungivalt lugeda sissejuhatavaid artikleid:
https://habr.com/ru/post/448638/
https://habr.com/ru/post/449348/

Kuidas koguda

Projekt on salvestatud githubis
Pärast reposiitori kloonimist saadakse järgmine failistruktuur:

[alexey@comp monitor]$ ls -1
buildroot-2019.05.tar.gz
overlay
README.md
run_me.sh

buildroot-2019.05.tar.gz — puhta buildrooti arhiv
overlay — minu kataloog external-tree'iga. Just siin on kõik vajalik, et koguda firmware'i buildrooti abil
README.md — projekti kirjeldus ja juhised inglise keeles.
run_me.sh — skript, mis ette valmistab kogumissüsteemi. See lahti pakib buildrooti arhiivist, ühendab selle overlay'ga (external-tree mehhanismi kaudu) ning võimaldab valida sihtplatvormi kogumiseks

[0] my_asus_tinker_defconfig
[1] my_beaglebone_defconfig
[2] x86_64_defconfig
Valige defconfig, vajutage A, et katkestada. Vaikimisi [0]

Pärast seda piisab, kui liikuda katalooge buildroot-2019.05 ja käivitada käsk make.
Pärast kogumist on kõik kogumise tulemused kataloogis output/images:

[alexey@comp buildroot-2019.05]$ ls -1 output/images/
boot.img
boot.vfat
bzImage
data
data.img
external.img
external.qcow2
grub-eltorito.img
grub.img
intel-ucode
monitor-0.9-beta.tar.gz
qemu.qcow2
rootfs.cpio
sdcard.img
sys
update

Vajalike failide loetelu:

• sdcard.img — meedia pilt kirjutamiseks SD-kaardile (kasutage dd või rufus Windowsis).
• qemu.qcow2 — meedia pilt QEMU käivitamiseks.
• external.qcow2 — andmebaasi jaoks mõeldud external-meedia pilt
• monitor-0.9-beta.tar.gz — värskenduse arhiiv veebiliidese kaudu

Käsiraamatute genereerimine

Ühe ja sama juhendi mitu korda kirjutamine ei ole mõistlik. Loogilisem on kirjutada see kord markdownis, seejärel konverteerida PDF-iks allalaadimiseks ja HTML-iks veebiliidese jaoks. See on võimalik paketi pandoc abil.

Kõiki neid faile tuleb genereerida enne süsteemi pildi kokkupanemist, hilisemaid post-konstruktsiooniskripte enam ei kasutata. Seetõttu on genereerimine teostatud manuals pakendina. Vaadata saab failist overlay/package/manuals.

Fail manuals.mk (mis teeb kogu töö)

################################################################################
#
# manuals
#
################################################################################

MANUALS_VERSION:= 1.0.0
MANUALS_SITE:= ${BR2_EXTERNAL_monitorOverlay_PATH}/package/manuals
MANUALS_SITE_METHOD:=local

define MANUALS_BUILD_CMDS
    pandoc -s -o ${TARGET_DIR}/var/www/manual_en.pdf ${BR2_EXTERNAL_monitorOverlay_PATH}/../README.md
    pandoc -f markdown -t html -o ${TARGET_DIR}/var/www/manual_en.html ${BR2_EXTERNAL_monitorOverlay_PATH}/../README.md
endef

$(eval $(generic-package))

systemd

Linuxi maailm liigub aktiivselt systemd peale, mis tähendas, et pidin ka seda tegema.
Positiivsete uuenduste seas on olemas ajastajad. Nende (ja mitte ainult nende) kohta on kirjutatud eraldi artikkel, aga räägin lühidalt.

On tegevusi, mida tuleks regulaarselt teha. Mul oli vaja käivitada logrotate lighttpd ja php-fpm logide puhastamiseks. Harjumuslikum oleks olnud kirjutada käsud croni, kuid otsustasin kasutada ühtset systemd ajastajat. Nii käivitatakse logrotate rangete ajavahemike kaupa.

Muidugi on võimalik luua ajastajaid, mis käivituvad kindlatel kuupäevadel, kuid seda ei olnud mul vaja.
Näidikell:

• Kella fail

  
  [Unit]
  Description=RODOS ajutine demonikella

[Timer]
OnBootSec=1min
OnUnitActiveSec=1min

[Install]
WantedBy=timers.target

- Teenuse fail, mida ajutine kell kutsub:
```bash
[Unit]
Description=RODOS ajutine demon

[Service]
ExecStart=/usr/bin/rodos.sh

Toetatud plaadid

Asus tinker board — peamine plaat, millel kõik peab töötama. Valitud kui odav ja üsna võimas.

Beaglebone black — esimene plaat, millel tööd testiti (selleks, et leida võimsamat plaati).

Qemu x86_64 — kasutatakse arendamiseks ja silumiseks.

Kuidas see töötab

Käivitamisel toimub kahekordne seadistuste taastamine:

• kelle käivitamine skripti settings_restore (teenuse kaudu). See taastab süsteemi põhiseaded — ajavööndi, lokaali, võrgu seaded jne.
• kelle käivitamine skripti prepare (teenuse kaudu) — siin valmistatakse ette zabbix, andmebaas ja IP kuvatakse konsoolis.

Esimese käivitamise ajal määratakse SD-kaardi teise jaotise suurus. Kui on veel määramata ruumi, siis seadmed vormindatakse ümber, ja andmete jaotis hõlmab kogu vabade ruumide mahtu. See on tehtud installeerimise pildi (sdcard.img) suuruse vähendamiseks. Lisaks luuakse sel hetkel PostgreSQLi töökaust. Just seetõttu on esimene käivitamine uue seadmega pikem kui järgnev.

Välist ketast ühendades otsib süsteem käivitamise ajal vabade ketaste hulgast ja vormindab selle ext4 formaati, mille sildiks on 'external'.

Tähtis! Välist ketast ühendades (nagu ka selle eemaldamisel või vahetamisel) on vajalik teha seadete varukoopia ja taastamine!

Temperatuuri jälgimiseks kasutatakse seadet RODOS 5. Toote tootja annab oma tööriistade lähtekoodid seadmega töötamiseks. Süsteemi käivitamisel käivitub rodos ajastusteller, mis käivitab seda tööriista kord minutis. Aga praegune temperatuur salvestatakse faili /tmp/rodos_current_temp, pärast mida Zabbix saab seda faili jälgida nagu sensorit.

Konfiguratsiooni salvestamiseks mõeldud seadmed monteeritakse katalooge /data.

Süsteemi käivitamisel ja selle tööks ettevalmistamisel kuvatakse konsoolis sõnum:

Süsteem käivitub, palun oota

Pärast ettevalmistustöid vahetub see IP-aadressi väljundiks:

praegune ip 192.168.1.32
Valmis töötama

Zabbixi seadistamine temperatuuri jälgimiseks

Temperatuuri jälgimiseks piisab kahest sammust:

• ühendage seade RODOS USB-porti
• looge Zabbixis andmeelement

Avame Zabbixi veebiliidese:

• Avame jaotise Konfiguratsioon → Hostid
• Kliiklik Items meie Zabbixi serveri real
• Kliiklik Create item

Sisestage järgmised andmed:

• name — teie valikul (näiteks serverRoomTemp)
• Tüüp — Zabbixi agent
• Võti — rodos
• Tüüp — numbriline
• Ühik — C
• Ajaloo säilitamise periood — ajaloo säilitamise kestus. jätsin 10 päeva
• Trendi säilitamise periood — muutuste dünaamika säilitamise kestus. Jätsin 30 päeva
• Uus rakendus — serveri ruumi temperatuur

Ja klõpsame nuppu ADD.

Seadistuste haldamine veebiliidese kaudu

Veebiliides on kirjutatud PHP-s. Peamised funktsioonid on:

• seadme oleku vaatamine
• võrguseadete muutmine
  
• kasutaja parooli muutmine
• ajavööndi valimine
• varundamine/taastamine/taastehaseseade
• võimalus ühendada väline ketas
• Süsteemi uuendamine
  

Veebiliidese sisselogimine on parooliga kaitstud. Algeleht — kasutusjuhend.

Zabbixi liidese aadress: ${ip/dns}/zabbix
Halduse liidese aadress: ${ip/dns}/manage

Käivita qemu

qemu-system-x86_64 -smp 4 -m 4026M -enable-kvm -machine q35,accel=kvm -device intel-iommu -cpu host -net nic -net bridge,br=bridge0 -device virtio-scsi-pci,id=scsi0 -drive file=output/images/qemu.qcow2,format=qcow2,aio=threads -device virtio-scsi-pci,id=scsi0 -drive file=output/images/external.qcow2,format=qcow2,aio=threads

See käsk käivitab süsteemi 4 tuuma, 2048 RAM, aktiveeritud KVM, võrguadapteriga sillal bridge0 ja kahe kettaga: süsteem ja external postgresql-i jaoks.

Pilte saab konverteerida ja käivitada Virtualboxis:

qemu-img convert -f qcow2  qemu.qcow2 -O vdi qcow2.vdi
qemu-img convert -f qcow2  external.qcow2 -O vdi external.vdi

Seejärel impordige need virtualboxi ja ühendage läbi sata.

Kokkuvõte

Protsessi käigus huvi valmistada töövalmis toode — mitte liiga ilusaga liidesega (ma ei armasta neid kirjutada), kuid toimiv ja lihtne seadistada.

Viimane katse installida zabbix-appliance KVM-is näitas selle sammu õigsust (pärast installatsiooni lõpetamist süsteem ei käivitu). Võib-olla teen midagi valesti 😉

Materjalid

https://buildroot.org/

Allikas: habr.com