U Čeljabinsku se održavaju mitapovi sistemskih administratora Sysadminka, a na posljednjem od njih imao sam predavanje o našem rješenju za rad aplikacija na 1C-Bitrix u Kubernetesu.
Bitrix, Kubernetes, Ceph — izvrsna kombinacija?
Ispričat ću kako smo sve to spojili u funkcionalno rješenje.
Idemo!

Mitap se održao 18. travnja u Čeljabinsku. O našim mitapovima možete pročitati na i pogledati na .
Ako želite doći k nama kao predavač ili slušatelj — dobrodošli, pišite na vadim.isakanov@gmail.com i na Telegram t.me/vadimisakanov.
Moje predavanje
Rješenje 'Bitrix u Kubernetesu, verzija Southbridge 1.0'
Ispričat ću o našem rješenju u formatu 'za početnike u Kubernetesu', kako je to bilo prikazano na mitapu. Pretpostavljam da su vam pojmovi Bitrix, Docker, Kubernetes i Ceph barem poznati iz članaka na Wikipediji.
Što uopće postoji gotovog o Bitrixu u Kubernetesu?
Na internetu ima jako malo informacija o radu aplikacija na Bitrixu u Kubernetesu.
Našao sam samo takve materijale:
Predavanje Aleksandra Serbula, 1C-Bitrix, i Antona Tuzlukova iz Qsofta:

Preporučujem da ga poslušate.
Razvoj vlastitog rješenja od korisnika .
Našao sam još .
Iii... zapravo, to je to.
Upozoravam, kvalitetu rada rješenja sa poveznicama iznad nismo provjeravali 🙂
Usput, prilikom pripreme našeg rješenja, razgovarao sam s Aleksandrom Serbulom, tada njegovog predavanja još nije bilo, pa u mojim slajdovima postoji točka 'Bitrix ne koristi Kubernetes'.
Ali zato postoji mnogo gotovih Docker slika za rad Bitrixa u Dockeru:
Je li to dovoljno za izradu cjelovitog rješenja za Bitrix u Kubernetesu?
Ne. Postoji mnogo problema koje treba riješiti.
Koji su problemi s Bitrixom u Kubernetesu?
Prvi — gotove slike iz Dockerhuba nisu prikladne za Kubernetes
Ako želimo izgraditi mikroservisnu arhitekturu (a u Kubernetesu obično to želimo), aplikaciju u Kubernetesu treba razdvojiti na kontejnere i težiti da svaki kontejner obavlja jednu malu funkciju (i to radi dobro). Zašto samo jednu? Ukratko — što je jednostavnije, to je pouzdanije.
Ako tražite dulje objašnjenje — molim vas, pogledajte ovaj članak i video:
Docker slike u Dockerhub-u uglavnom su izgrađene na načelu 'sve u jednom', pa smo ipak morali napraviti svoj bicikl i čak slike izraditi ispočetka.
Drugo — kod web stranice mijenja se iz administrativne ploče.
Stvorili smo novu sekciju na web stranici – ažuriran je kod (dodana je direktorija s nazivom nove sekcije).
Izmijenili smo svojstva komponente iz administratorskog sučelja – kod se promijenio.
Kubernetes "po defaultu" ne radi s tim, konteinerima moraju biti nepromjenjivi (Stateless).
Razlog: svaki kontejner (pod) u klasteru obrađuje samo dio prometa. Ako se kod promijeni samo u jednom kontejneru (podu), onda će u različitim podovima kod biti različit, web stranica će raditi na različite načine, različitim korisnicima će se prikazivati različite verzije web stranice. Tako se ne može živjeti.
Treće – treba riješiti pitanje s deploy-em.
Ako imamo monolit i jedan "klasični" server, sve je potpuno jednostavno: razvijamo novu kodnu bazu, provodimo migraciju baze podataka, prebacujemo promet na novu verziju koda. Prebacivanje se događa trenutno.
Ako imamo web stranicu u Kubernetesu, raspoređenu na mikroservise, ima puno kontejnera s kodom – oh. Treba sastaviti kontejnere s novom verzijom koda, zamijeniti ih s onima starim, pravilno izvršiti migraciju baze podataka, a idealno to raditi neprimjetno za posjetitelje. Srećom, Kubernetes nam pomaže u tome, podržavajući mnoge vrste deploya.
Četvrto – treba riješiti pitanje s pohranom statike.
Ako vaša web stranica teži "samo" 10 gigabajta i razvijete je u potpunosti u kontejnerima, dobit ćete kontejnere teške 10 gigabajta, koji će se deployati vječno.
Treba pohraniti naj"teže" dijelove web stranice izvan kontejnera, a postavlja se pitanje kako to ispravno učiniti.
Što nema u našem rješenju.
Cijeli Bitrix kod nije rasklopljen na mikrofunkcije/mikroservise (tako da je registracija odvojena, modul internetske trgovine odvojen, itd.). Cijelu kodnu bazu čuvamo u svakom kontejneru u cjelini.
Bazu također ne čuvamo u Kubernetesu (iako sam implementirao rješenja s bazom u Kubernetesu za okruženja programera, ali ne za produkciju).
Administratori web stranice će ipak primijetiti da web stranica radi u Kubernetesu. Funkcija "provjera sustava" ne radi ispravno, za uređivanje koda web stranice iz administrativnog sučelja prvo treba pritisnuti gumb "želim urediti kod".
Riješili smo probleme, dogovorili se o potrebi za implementacijom mikroservisa, cilj je jasan — dobiti funkcionalan sustav za rad aplikacija na Bitrixu u Kubernetesu, zadržavajući i mogućnosti Bitrixa i prednosti Kubernetesa. Počinjemo s implementacijom.
Arhitektura
Mnoge 'radne' podspecijalizacije s web poslužiteljem (radnici).
Jedan pod s cron poslovima (obavezno samo jedan).
Jedan upgrade pod za uređivanje koda stranice iz administracijske ploče (također obavezno samo jedan).

Rješavamo pitanja:
- Gdje čuvati sesije?
- Gdje čuvati predmemoriju?
- Gdje pohraniti statiku, ne možemo li smjestiti gigabajte statike u hrpu kontejnera?
- Kako će raditi baza podataka?
Docker slika
Počinjemo sa sastavljanjem Docker slike.
Idealna opcija — imamo jednu univerzalnu sliku, na temelju koje dobivamo i radne pode, i pode s cron poslovima, i upgrade pode.
.
Uključuje nginx, apache/php-fpm (može se odabrati pri sastavljanju), msmtp za slanje mailova, i cron.
Pri sastavljanju slike u direktorij /app kopira se cijela kodna baza stranice (osim dijelova koje ćemo izdvojiti u zasebnu zajedničku pohranu).
Mikroservisi, usluge
radne pode:
- Kontejner s nginxom + kontejner apache/php-fpm + msmtp
- msmtp se nije uspjelo izdvojiti u zasebni mikroservis, Bitrix se počinje buniti da ne može izravno slati mailove
- U svakom kontejneru je cijela kodna baza.
- Zabrana promjene koda u kontejnerima.
cron pod:
- kontejner s apacheom, php-om, cron-om
- u paketu je cijela kodna baza
- zabrana promjene koda u kontejnerima
upgrade pod:
- kontejner s nginxom + kontejner apache/php-fpm + msmtp
- nema zabrana promjene koda u kontejnerima
pohrana sesija
pohrana predmemorije Bitrixa
Također je važno: lozinke za pristup svemu, od baze podataka do maila, čuvamo u Kubernetes tajnama. Dobivamo pogodnost, lozinke su vidljive samo onima kojima dajemo pristup tajnama, a ne svima koji imaju pristup kodnoj bazi projekta.
Pohrana za statiku
Može se koristiti bilo što: ceph, nfs (ali nfs ne preporučujemo za produkciju), mrežna pohrana od 'oblačnih' pružatelja, itd.
Pohrana će se morati spojiti u kontejnerima u direktorij /upload/ stranice i druge direktorije sa statikom.
Baza podataka
Radi jednostavnosti preporučujemo premještanje baze izvan Kubernetesa. Baza u Kubernetesu — zaseban složen zadatak, učinit će shemu znatno složenijom.
Pohrana sesija
Koristimo memcached 🙂
On dobro upravlja skladištenjem sesija, klasterira se i „nativno“ se podržava kao session.save_path u php. Ovakav sustav je višekratno testiran u klasičnoj monolitnoj arhitekturi, kada smo gradili klastere s velikim brojem web poslužitelja. Za implementaciju koristimo helm.
$ helm install stable/memcached --name sessionphp.ini — ovdje su u slici zadane postavke za skladištenje sesija u memcached
Koristili smo Environment Variables za prijenos podataka o poslužiteljima s memcached .
To omogućuje korištenje istog koda u okruženjima dev, stage, test, prod (nazivi poslužitelja memcached u njima će se razlikovati, stoga je za svako okruženje potrebno prenijeti jedinstveno ime poslužitelja za sesije).
Skladište predmemorije Bitrix
Trebamo otpornu predmemoriju u koju bi svi podovi mogli pisati i iz koje bi mogli čitati.
Također koristimo memcached.
Ovo rješenje preporučuje sam Bitrix.
$ helm install stable/memcached --name cachebitrix/.settings_extra.php — ovdje u Bitrixu postavljamo gdje se nalazi naša predmemorija
Također koristimo Environment Variables.
Kron zadaci
Postoje različiti pristupi za izvršavanje kron zadataka u Kubernetesu.
- odvojen deployment s podom za izvršavanje kron zadataka
- cronjob za izvršavanje kron zadataka (ako je to web aplikacija — s wget , ili kubectl exec unutar jednog od radnih podova, itd.)
- itd.
Može se raspraviti o najprikladnijem, ali u ovom slučaju smo odabrali varijantu „odvojeni deployment s podovima za kron zadatke“
Kako je to učinjeno:
- kron zadatke dodajemo putem ConfigMap ili putem datoteke config/addcron
- u jednom primjerku pokrećemo kontejner, identičan radnom podu + dopuštamo izvršavanje kron zadataka u njemu
- koristi se ista kodna baza, zahvaljujući unifikaciji izrada kontejnera je jednostavna
Što dobro dobivamo:
- imamo operativne kron zadatke u okruženju, identičnom okruženju programera (docker)
- kron zadatke nije potrebno „prepisivati“ za Kubernetes, oni rade u istom obliku i u istoj kodnoj bazi kao i ranije
- kron zadatke mogu dodavati svi članovi tima s pravima za commit u produkcijsku granu, a ne samo administratori
Modul Southbridge K8SDeploy i uređivanje koda iz administratorske ploče
Pa, govorili smo o nadogradnji poda?
A kako usmjeravati promet prema njemu?
Hura, napisali smo za to modul na php 🙂 To je mali klasični modul za Bitrix. Još nije dostupan javnosti, ali planiramo ga otvoriti.
Modul se instalira kao običan modul u Bitrixu:

I izgleda ovako:

Ovo omogućuje postavljanje kolačića koji identificira administratore stranice i omogućuje Kubernetesu usmjeravanje prometa na nadogradnju pod.
Kada su promjene završene, potrebno je pritisnuti git push, a promjene u kodu će biti poslane u git, a zatim će sustav izgraditi sliku s novom verzijom koda i "rasprostrijeti" je po klasteru, zamjenjujući stare pode.
Da, pomalo nezgrapno, ali tako zadržavamo mikroservisnu arhitekturu i ne oduzimamo korisnicima Bitrix njihovu omiljenu mogućnost ispravka koda iz administracije. Na kraju krajeva, to je opcija, problem ispravka koda može se riješiti na drugi način.
Helm graf
Za izgradnju aplikacija u Kubernetesu obično koristimo upravitelja paketa Helm.
Za naše Bitrix rješenje u Kubernetesu, Sergej Bondarev, naš vodeći sistemski administrator, napisao je posebni Helm graf.
Zadužen je za izgradnju worker, upgrade, cron podova, podesiti ingress, servise, prenijeti varijable iz Kubernetes tajni u podove.
Kod čuvamo u Gitlabu, a izgradnju Helma također pokrećemo iz Gitlaba.
Ako ukratko, to izgleda ovako
$ helm upgrade --install project .helm --set image=registrygitlab.local/k8s/bitrix -f .helm/values.yaml --wait --timeout 300 --debug --tiller-namespace=productionHelm također omogućuje "neprimjetan" povratak, ako se tijekom implementacije nešto ne uspije. Ugodno je kada ne morate panično "ispraviti kod putem FTP-a jer je produkcija pala", već Kubernetes to automatski radi, a pritom bez zastoja.
Deploy
Da, obožavamo Gitlab & Gitlab CI, koristimo ga 🙂
Pri komitu u Gitlabu, projektni repozitorij pokreće pipeline koji izvršava implementaciju nove verzije okruženja.
Faze:
- build (izgradnja nove Docker slike)
- test (testiranje)
- clean up (brisanje testnog okruženja)
- push (slanje u Docker registry)
- deploy (implementacija aplikacije u Kubernetes putem Helma).

Ura, gotovo, uvodimo!
Ili postavljamo pitanja, ako ih ima.
Dakle, što smo napravili
S tehničkog stajališta:
- dockerizirali Bitrix;
- "srezali" Bitrix u kontejere, od kojih svaki obavlja minimalne funkcije;
- postigli stateless stanje kontejnera;
- riješili problem s ažuriranjem Bitrixa u Kubernetesu;
- sve funkcije Bitrixa nastavile su raditi (gotovo sve);
- uspjeli smo s implementacijom u Kubernetes i povratkom između verzija.
S poslovnog stajališta:
- otpornost na kvarove;
- alati Kubernetes (jednostavna integracija s Gitlab CI, neprimjetna implementacija, itd);
- lozinke u tajnama (vidljive samo onima kojima je izričito odobren pristup lozinkama);
- jednostavno je kreirati dodatna okruženja (za razvoj, testiranje itd.) unutar jedinstvene infrastrukture.
Izvor: habr.com
