
Kreirati aplikaciju za backup koja radi na bilo kojem distribuciji – nije lak zadatak. Da bismo omogućili rad Veeam Agenta za Linux na distribucijama od Red Hat 6 do Debian 6, pa sve do OpenSUSE 15.1 i Ubuntu 19.04, potrebno je rešiti širok spektar problema, posebno kada uzmemo u obzir da program uključuje kernel modul.
Članak je napisan na osnovu materijala izlaganja na konferenciji .
Linux nije samo jedna od najpopularnijih operativnih sistema. U suštini, to je platforma na osnovu koje možete napraviti nešto jedinstveno, nešto svoje. Zbog toga Linux ima brojne distribucije, koje se razlikuju po setu programskih komponenti. I tu se javlja problem: kako bi proizvod radio na bilo kojoj distribuciji, potrebno je uzeti u obzir karakteristike svake od njih.
Upravljači paketima. .deb vs .rpm
Počnimo s očiglednim problemom distribucije proizvoda za različite distribucije.
Najtipičniji način distribucije softverskih proizvoda je postavljanje paketa na repozitorij, kako bi ugrađeni upravljač paketima mogao da ga instalira odatle.
Međutim, imamo dva popularna formata paketa: rpm i deb. To znači da će biti potrebno podržati svaki od njih.
U svetu deb paketa nivo kompatibilnosti je zapanjujući. Isti paket se jednako dobro instalira i funkcioniše na Debian 6 i Ubuntu 19.04. Standardi procesa izgradnje paketa i rad s njima, postavljeni u starim Debian distribucijama, ostaju relevantni i u modernim Linux Mint i elementary OS. Zbog toga je za Veeam Agenta za Linux dovoljan jedan deb paket za svaku hardversku platformu.
S druge strane, u svetu rpm paketa razlike su velike. Prvo, zbog toga što postoje dva potpuno nezavisna distributera Red Hat i SUSE, za koje kompatibilnost nije potrebna. Drugo, ti distributeri imaju distribucije sa tehničkom podrškom i eksperimentalne. Između njih kompatibilnost takođe nije potrebna. Izgleda da za el6, el7 i el8 imamo svoje pakete. Poseban paket za Fedora. Paketi za SLES11 i 12 te poseban za openSUSE. Glavni problem su zavisnosti i imena paketa.
Problem zavisnosti
Nažalost, isti paketi često se nalaze pod različitim imenima u različitim distribucijama. Ispod je nepotpun spisak zavisnosti paketa veeam.
Za EL7:
Za SLES 12:
- libblkid
- libgcc
- libstdc++
- ncurses-libs
- fuse-libs
- file-libs
- veeamsnap = 3.0.2.1185
- libblkid1
- libgcc_s1
- libstdc++6
- libmagic1
- libfuse2
- veeamsnap-kmp = 3.0.2.1185
Kao rezultat, lista zavisnosti postaje jedinstvena za distribuciju.
Lošije je kada se ispod starog imena paketa krije ažurirana verzija.
Primer:
U Fedora 24 ažuriran je paket ncurses sa verzije 5 na verziju 6. Naš proizvod je pravljen sa verzijom 5, kako bi se osigurala kompatibilnost sa starim distribucijama. Da bismo koristili staru verziju 5 biblioteke u Fedora 24, morali smo upotrebiti paket ncurses-compat-libs.
Kao rezultat, za Fedora postoji dva paketa, sa različitim zavisnostima.
Nakon toga postaje zanimljivije. Nakon još jednog ažuriranja distribucije, paket ncurses-compat-libs sa verzijom 5 biblioteke postaje nedostupan. Za distributera je skupo vući stare biblioteke u novu verziju distribucije. Nakon nekog vremena problem se ponovio i u distribucijama SUSE.
Kao rezultat, za neke distribucije morali smo da se odriknemo očigledne zavisnosti od ncurses-libs, a proizvod prilagoditi tako da može raditi sa bilo kojom verzijom biblioteke.
Usput, u 8. verziji Red Hat više ne postoji meta-paket python, koji se odnosio na stari dobri python 2.7. Ima python2 i python3.
Alternativa paketnim menadžerima
Problem sa zavisnostima je star i odavno očigledan. Setite se samo Dependency hell-a.
Kombinovati raznolike biblioteke i aplikacije tako da sve stabilno rade i ne sukobljavaju se — to je zapravo problem koji svaki Linux distribucija pokušava da reši.
Sasvim drugačije ovaj problem pokušava da reši paketni menadžer Snappy od Canonical-a. Osnovna ideja: aplikacija se izvršava u izolovanoj i zaštićenoj od osnovnog sistema peščaniku. Ako aplikaciji trebaju biblioteke, one se isporučuju zajedno sa samom aplikacijom.
Flatpak takođe omogućava pokretanje aplikacija u peščaniku, koristeći Linux Containers. Ideju peščanika koristi i AppImage.
Ova rešenja omogućavaju kreiranje jednog paketa za sve distribucije. U slučaju sa Flatpak instalacija i pokretanje aplikacije je moguće čak i bez znanja administratora.
Osnovni problem je u tome što ne mogu sve aplikacije raditi u peščaniku. Neke trebaju direktan pristup platformi. O drugim kernel modulima, koji su čvrsto vezani za kernel i ne uklapaju se u koncept peščanika, da ne govorim.
Druga poteškoća – popularne distribucije iz enterprise područja od Red Hata i SUSE-a još uvijek ne podržavaju Snappy i Flatpak.
Zbog toga Veeam Agent for Linux nije dostupan ni na ni na .
Na kraju pitanja o upraviteljima paketa, napominjem da postoji opcija potpuno odustati od upravitelja paketa, spajajući binarne datoteke i skriptu za njihovu instalaciju u jedan paket.
Takav bundle omogućava kreiranje jednog zajedničkog paketa za različite distribucije i platforme, te interaktivni proces instalacije uz potrebnu prilagodbu. S takvim paketima za Linux susreo sam se samo od VMware-a.
Problema s ažuriranjima

Čak i ako su svi problemi s zavisnostima riješeni, program može raditi različito na istoj distribuciji. Razlog leži u ažuriranjima.
Postoje 3 strategije ažuriranja:
- Najjednostavnija – nikada ne ažurirati. Podesite server i zaboravite. Zašto ažuriranja, ako sve radi? Problemi počinju pri prvom pozivu u službu podrške. Kreator distribucije podržava samo ažuriranu verziju.
- Možete se osloniti na distributera i postaviti automatsko ažuriranje. U tom slučaju, poziv u službu podrške je vjerojatan odmah nakon neuspješnog ažuriranja.
- Opcija ručnog ažuriranja tek nakon testiranja na testnoj infrastrukturi – najsigurnija, ali skupa i radno intenzivna. Daleko ne mogu svi to priuštiti.
Budući da različiti korisnici primjenjuju različite strategije ažuriranja, potrebno je održavati i najnoviju verziju i sve ranije izdate. To otežava proces razvoja i testiranja, dodaje glavobolju službi podrške.
Raznolikost hardverskih platformi
Različite hardverske platforme – to je problem koji je u značajnoj mjeri specifičan za native kod. Najmanje, potrebno je sklopiti binarike za svaku podržanu platformu.
U projektu Veeam Agent for Linux još uvijek ne možemo podržati ništa RISC-ovo.
Neću se detaljno zadržavati na ovom pitanju. Samo ću istaknuti glavne probleme: platformno zavisne vrste, poput size_t, poravnanje struktura i redoslijed bajtova.
Statička i/ili dinamička vezivanje

A pitanje „Kako se vezivati s bibliotekama – dinamički ili statički?“ treba raspraviti.
U pravilu, C/C++ aplikacije na Linuxu koriste dinamičko linkovanje. To odlično funkcioniše kada je aplikacija sastavljena posebno za određenu distribuciju.
Međutim, ako je cilj obuhvatiti različite distribucije jednim binarnim fajlom, onda se mora orijentisati na najstariju podržanu distribuciju. Za nas je to Red Hat 6. On sadrži gcc 4.4, koji čak ni standard C++11 ne podržava potpuno. .
Svoj projekat gradimo pomoću gcc 6.3, koji potpuno podržava C++14. Naravno, u tom slučaju na Red Hat 6 biblioteku libstdc++ i boost treba poneti sa sobom. Najlakše je linkovati se sa njima statički.
Nažalost, ne sa svim bibliotekama je moguće linkovati se statički.
Prvo, sistemske biblioteke, kao što su libfuse, libblkid moraju se linkovati dinamički, kako bi se osigurala njihova kompatibilnost sa kernelom i njegovim modulima.
Drugo, postoji finese povezane sa licencama.
GPL licenca generalno dozvoljava linkovanje biblioteka samo sa opensource kodom. MIT i BSD dozvoljavaju statičko linkovanje i omogućavaju uključivanje biblioteka u projekat. Dok LGPL izgleda ne protivreči statičkom linkovanju, ali zahteva da se obezbede javno dostupni fajlovi potrebni za povezivanje.
U opštem slučaju, korišćenje dinamičkog linkovanja će obezbediti da se ne mora ništa pružati.
Gradnja C/C++ aplikacija
Za izgradnju C/C++ aplikacija za različite platforme i distribucije dovoljno je odabrati ili sastaviti odgovarajuću verziju gcc i koristiti krosover kompajlere za specifične arhitekture, te prikupiti ceo set biblioteka. Ovaj posao je prilično izvodljiv, ali i poprilično komplikovan. I nema nikakvih garancija da će odabrani kompajler i biblioteke obezbediti funkcionalnu verziju.
Očigledna prednost: infrastruktura se značajno pojednostavljuje, jer se ceo proces izgradnje može obaviti na jednoj mašini. Osim toga, dovoljno je izgraditi jedan set binarnih fajlova za jednu arhitekturu i ti fajlovi se mogu pakovati u pakete za različite distribucije. Tako se prave paketi veeam za Veeam Agent for Linux.
Nasuprot ovoj varijanti, možete jednostavno pripremiti build farmu, tj. nekoliko mašina za kompajliranje. Svaka takva mašina obezbjeđuje kompajlaciju aplikacije i izradu paketa za određeni distribucijski sistem i određenu arhitekturu. U tom slučaju, kompajlacija se vrši sredstvima koje je pripremio distributer. To znači da se korak pripreme kompajlera i odabir biblioteka isključuje. Pored toga, proces izrade može se lako paralelizovati.
Ima, naravno, i nedostatak ovog pristupa: za svaki distribucijski sistem unutar jedne arhitekture moraće se izraditi svoj set binarnih datoteka. Takođe, nedostatak je što takav broj mašina zahteva održavanje, kao i značajnu količinu diskovnog prostora i radne memorije.
Na taj način se prave KMOD paketi modula jezgra veeamsnap za distribucije Red Hat.
Open Build Service
Kolege iz SUSE-a su pokušale da realizuju neku zlatnu sredinu u vidu specijalne usluge za kompajliranje aplikacija i izradu paketa — .
U suštini, to je hipervizor koji kreira virtuelnu mašinu, instalira sve potrebne pakete u njoj, vrši kompajlaciju aplikacije i izradu paketa u ovom izolovanom okruženju, nakon čega se ta virtuelna mašina oslobađa.

Planer ugrađen u OpenBuildService sam će odrediti koliko virtuelnih mašina može pokrenuti za optimalnu brzinu izrade paketa. Ugrađeni mehanizam potpisivanja sam će potpisati pakete i postaviti ih u ugrađeni repozitorij. Ugrađeni sistem za verzionisanje sačuvaće istoriju promena i izrada paketa. Ostaje samo dodati u ovaj sistem svoje izvore. Čak ni server nije potrebno samostalno podizati, već se može koristiti otvoreni.
Međutim, postoji problem: takav kombajn se teško uklapa u postojeću infrastrukturu. Na primer, kontrola verzija nije potrebna, već imamo svoju za izvore. Mehanizam potpisivanja se razlikuje: koristi se poseban server. Repozitorij takođe nije potreban.
Pored toga, podrška za druge distribucije — na primer, Red Hat — je prilično oskudna, što je sasvim razumljivo.
Prednost ove usluge je brza podrška za sledeću verziju SUSE distribucije. Pre zvanične objave o izdanju, potrebni paketi za izgradnju se postavljaju na javni repozitorijum. U listi dostupnih distribucija na OpenBuildService se pojavljuje nova. Postavljamo oznaku, i ona se dodaje u plan izgradnje. Na taj način, dodavanje nove verzije distribucije se vrši praktično jednim klikom.
U našoj infrastrukturi se koristeći OpenBuildService prikuplja celokupna raznolika KMP paketa modula jezgra veeamsnap za SUSE distribucije.
Dalje bih želeo da se osvrnem na pitanja koja su specifična za module jezgra.
kernel ABI
Moduli jezgra Linux-a su se istorijski distribuirali u obliku izvornih kodova. Činjenica je da se autori jezgra ne opterećuju podrškom stabilnog API-ju za module jezgra, a pogotovo na binarnom nivou, poznatom kao kABI.
Da bi se izgradio modul za vanilu jezgro, neophodni su header-i upravo ovog jezgra, i radiće samo na tom jezgru.
DKMS omogućava automatizaciju procesa izgradnje modula prilikom ažuriranja jezgra. Kao rezultat, korisnici Debian repozitorijuma (i njegovih brojnih srodnika) koriste module jezgra ili iz repozitorijuma distributera, ili ih prikupljaju iz izvora koristeći DKMS.
Međutim, ova situacija nije u potpunosti zadovoljavajuća za Enterprise segment. Distributeri proprietarnog koda žele da šire proizvod u obliku već sastavljenih binarnih datoteka.
Administratori ne žele da drže sredstva za razvoj na produkcionim serverima iz bezbednosnih razloga. Distributeri Enterprise Linux-a — poput Red Hat-a i SUSE-a — su zaključili da će moći da podrže stabilno kABI za svoje korisnike. Kao rezultat, pojavili su se KMOD paketi za Red Hat i KMP paketi za SUSE.
Suština ovog rešenja je prilično jednostavna. Za određenu verziju distribucije, API jezgra se zamrzava. Distributer tvrdi da koristi konkretno jezgro, na primer, 3.10, i unosi samo ispravke i poboljšanja koja nikako ne utiču na interfejse jezgra, a moduli sastavljeni za najranije jezgro mogu se koristiti za sve naredne bez ponovne kompilacije.
Red Hat tvrdi da će kABI biti kompatibilan za distribuciju tokom celog životnog ciklusa. To znači da bi generisani modul za rhel 6.0 (izdanje novembar 2010) trebao raditi i na verziji 6.10 (izdanje jun 2018). A to je skoro 8 godina. Naravno, to je prilično složen zadatak.
Zabeležili smo nekoliko slučajeva kada je modul veeamsnap prestao raditi zbog problema s kABI kompatibilnošću.
Nakon što je modul veeamsnap, napravljen za RHEL 7.0, postao nekompatibilan sa kernelom iz RHEL 7.5, ali se pritom učitavao i sigurno obarao server, odlučili smo da napustimo korišćenje kABI kompatibilnosti za RHEL 7 uopšte.
Trenutno KMOD paket za RHEL 7 sadrži kompilaciju za svaku verziju izdanja i skriptu koja osigurava učitavanje modula.
SUSE je k zadatku kABI kompatibilnosti pristupio pažljivije. Oni obezbeđuju kABI kompatibilnost samo unutar jednog servisnog paketa.
Na primer, izdanje SLES 12 je objavljeno u septembru 2014. A SLES 12 SP1 već u decembru 2015, što znači da je prošlo nešto više od godinu dana. Iako oba izdanja koriste kernel 3.12, nisu kABI kompatibilni. Očigledno je da je održavanje kABI kompatibilnosti tokom samo jedne godine značajno lakše. Godišnji ciklus ažuriranja modula kernela ne bi trebao izazvati probleme u stvaranju modula.
Kao rezultat takve politike SUSE nismo zabeležili nijedan problem sa kABI kompatibilnošću našeg modula veeamsnap. Ipak, broj paketa za SUSE je skoro red veličine veći.
Zakrpavanje i bBackportovi
Iako distributeri nastoje obezbediti kABI kompatibilnost i stabilnost kernela, takođe se trude da poboljšaju performanse i reše greške ovog stabilnog kernela.
Pored svojeg "rada na greškama", programeri kernela enterprise linux prate promene u vanilija kernelu i prenose ih u svoj "stabilni".
Ponekad to dovodi do novih .
U poslednjem izdanju Red Hat 6 u jednoj od manjih ažuriranja dogodila se greška. Ona je dovela do toga da je modul veeamsnap garantovano obarao sistem prilikom oslobađanja snimka. Uporedivši izvore kernela pre i posle ažuriranja, otkrili smo da je problem bio u backportu. Slična ispravka izvršena je u vanilija kernelu verzije 4.19. Samo što je u vanilija kernelu ta ispravka normalno radila, dok je prilikom prenošenja u "stabilni" 2.6.32 došlo do problema sa spin-lockingom.
Naravno, greške se dešavaju svima i uvek, ali da li je stvarno bilo potrebno prebacivati kod iz 4.19 u 2.6.32, rizikujući stabilnost?.. Nisam siguran…
Najgore je kada se u vuču konopca „stabilnost“„modernizacija“ uključuje marketing. Marketingu je potrebno da je jezgro ažuriranog distribuiranja stabilno, s jedne strane, a s druge strane da bude bolje po performansama i da ima nove funkcije. To dovodi do čudnih kompromisa.
Kada sam pokušao da sastavim modul na jezgru 4.4 iz SLES 12 SP3, sa iznenađenjem sam otkrio u njemu funkcionalnost iz vanilnog 4.8. Po mom mišljenju, implementacija blokovnog ulaza/izlaza jezgra 4.4 iz SLES 12 SP3 više liči na jezgro 4.8 nego na prethodno izdanje stabilnog jezgra 4.4 iz SLES 12 SP2. Ne mogu da sudim o procentu prebačenog koda iz jezgra 4.8 u SLES-ovski 4.4 za SP3, ali ne mogu da nazovem jezgro još uvek stabilnim 4.4.
Najneprijatnije u svemu je to što se pri pisanju modula koji bi jednako dobro radio na različitim jezgrima, više ne može osloniti na verziju jezgra. Takođe se mora uzeti u obzir i distribucija. Dobro je što se ponekad može vezati na define koji se pojavljuje zajedno sa novom funkcionalnošću, ali takva mogućnost nije uvek dostupna.
Kao rezultat, kod se obogaćuje čudnim direktivama uslovne kompilacije.
Sreću se i zakrpe koje menjaju dokumentovano API jezgra.
Naišao sam na distribuciju 5.16 i bio sam veoma iznenađen kada sam video da je poziv lookup_bdev u ovoj verziji jezgra promenio spisak ulaznih parametara.
Da bih se sastavio, morao sam u makefile dodati skriptu koja proverava da li postoji parametar mask kod funkcije lookup_bdev.
Potpis modula jezgra
Ali da se vratimo na pitanje distribucije paketa.
Jedna od prednosti stabilnog kABI je ta da se moduli jezgra u obliku binarnih datoteka mogu potpisati. U tom slučaju, programer može biti siguran da modul nije slučajno oštećen ili namerno izmenjen. To se može proveriti komandom modinfo.
Distribucije Red Hat i SUSE omogućavaju proveru potpisa modula i učitavanje istog samo ako je u sistemu registrovan odgovarajući sertifikat. Sertifikat predstavlja javni ključ kojim se potpisuje modul. Distribuiramo ga u obliku posebnog paketa.
Problem ovde je što sertifikati mogu biti ili ugrađeni u jezgro (koriste ih distributeri) ili moraju biti zapisani u nevolatilnu EFI memoriju pomoću alata mokutil. Alat mokutil prilikom instalacije sertifikata zahteva ponovno pokretanje sistema i pre nego što se jezgro operativnog sistema učita, nudi administratoru da dozvoli učitavanje novog sertifikata.
Dakle, dodavanje sertifikata zahteva fizički pristup administratora sistemu. Ako je mašina smeštena negde u oblaku ili jednostavno na udaljenom serveru i pristup postoji samo putem mreže (na primer, putem ssh), dodavanje sertifikata neće biti moguće.
EFI na virtuelnim mašinama
Iako EFI već dugo podržava gotovo svi proizvođači matičnih ploča, prilikom instalacije sistema administrator može ne razmišljati o potrebi za EFI, pa može biti isključen.
Nisu svi hipervizori podržavaju EFI. VMWare vSphere podržava EFI od verzije 5.
Microsoft Hyper-V takođe je dobio podršku za EFI, počevši od Hyper-V za Windows Server 2012R2.
Međutim, u podrazumevanoj konfiguraciji ova funkcionalnost je isključena za Linux mašine, što znači da sertifikat nije moguće instalirati.
U vSphere 6.5 podešavanje opcije Secure Boot može se izvršiti samo u staroj verziji veb-interfejsa koji funkcioniše preko Flash-a. Web UI na HTML-5 još uvek značajno zaostaje.
Eksperimentalni distribucije
Na kraju, razmotrićemo pitanje eksperimentalnih distribucija i distribucija bez zvanične podrške. S jedne strane, takve distribucije se retko sreću na serverima ozbiljnih organizacija. Zvanične podrške za takve distribucije nema. Stoga se i obezbeđivanje tehničke podrške proizvoda na takvoj distribuciji ne može realizovati.
Međutim, takve distribucije postaju prikladna platforma za isprobavanje novih eksperimentalnih rešenja. Na primer, Fedora, OpenSUSE Tumbleweed ili nestabilne verzije Debiana. One su prilično stabilne. U njima su uvek nove verzije programa i uvek novo jezgro. Kroz godinu, ova eksperimentalna funkcionalnost može se naći u ažuriranom RHEL-u, SLES-u ili Ubuntu.
Dakle, ako nešto ne funkcioniše na eksperimentalnoj distribuciji — to je povod za istraživanje problema i njegovo rešenje. Treba biti spreman na to da će ova funkcionalnost uskoro biti dostupna na produkcionim serverima korisnika.
Aktuelna lista službeno podržanih distribucija za verziju 3.0 može se ispitati . Međutim, stvarna lista distribucija na kojima naš proizvod može raditi je znatno šira.
Meni je bio zanimljiv eksperiment s operativnim sistemom "Elbrus". Nakon dorade paketa veeam, naš proizvod se instalirao i počeo raditi. O tom eksperimentu sam pisao na Habru u .
Podrška novim distribucijama se nastavlja. Očekujemo izlazak verzije 4.0. Beta verzija bi trebala uskoro biti dostupna, tako da pratite !
Izvor: habr.com
