Southbridge u Čeljabinsku i Bitrix u Kubernetesu

U Čeljabinsku se održavaju mitapovi sistemskih administratora Sysadminka, a na posljednjem od njih imao sam predavanje o našem rješenju za rad aplikacija na 1C-Bitrix u Kubernetesu.

Bitrix, Kubernetes, Ceph — izvrsna kombinacija?

Ispričat ću kako smo sve to spojili u funkcionalno rješenje.

Idemo!

Southbridge u Čeljabinsku i Bitrix u Kubernetesu

Mitap se održao 18. travnja u Čeljabinsku. O našim mitapovima možete pročitati na Timepad i pogledati na YouTubeu.

Ako želite doći k nama kao predavač ili slušatelj — dobrodošli, pišite na vadim.isakanov@gmail.com i na Telegram t.me/vadimisakanov.

Moje predavanje

Southbridge u Čeljabinsku i Bitrix u Kubernetesu

Slajdovi

Rješenje 'Bitrix u Kubernetesu, verzija Southbridge 1.0'

Ispričat ću o našem rješenju u formatu 'za početnike u Kubernetesu', kako je to bilo prikazano na mitapu. Pretpostavljam da su vam pojmovi Bitrix, Docker, Kubernetes i Ceph barem poznati iz članaka na Wikipediji.

Što uopće postoji gotovog o Bitrixu u Kubernetesu?

Na internetu ima jako malo informacija o radu aplikacija na Bitrixu u Kubernetesu.
Našao sam samo takve materijale:

Predavanje Aleksandra Serbula, 1C-Bitrix, i Antona Tuzlukova iz Qsofta:

Pogledajte video

Preporučujem da ga poslušate.

Razvoj vlastitog rješenja od korisnika serkyron na Habré.
Našao sam još takvo rješenje.

Iii... zapravo, to je to.

Upozoravam, kvalitetu rada rješenja sa poveznicama iznad nismo provjeravali 🙂
Usput, prilikom pripreme našeg rješenja, razgovarao sam s Aleksandrom Serbulom, tada njegovog predavanja još nije bilo, pa u mojim slajdovima postoji točka 'Bitrix ne koristi Kubernetes'.

Ali zato postoji mnogo gotovih Docker slika za rad Bitrixa u Dockeru: https://hub.docker.com/search?q=bitrix&type=image

Je li to dovoljno za izradu cjelovitog rješenja za Bitrix u Kubernetesu?
Ne. Postoji mnogo problema koje treba riješiti.

Koji su problemi s Bitrixom u Kubernetesu?

Prvi — gotove slike iz Dockerhuba nisu prikladne za Kubernetes

Ako želimo izgraditi mikroservisnu arhitekturu (a u Kubernetesu obično to želimo), aplikaciju u Kubernetesu treba razdvojiti na kontejnere i težiti da svaki kontejner obavlja jednu malu funkciju (i to radi dobro). Zašto samo jednu? Ukratko — što je jednostavnije, to je pouzdanije.
Ako tražite dulje objašnjenje — molim vas, pogledajte ovaj članak i video: https://habr.com/ru/company/southbridge/blog/426637/

Docker slike u Dockerhub-u uglavnom su izgrađene na načelu 'sve u jednom', pa smo ipak morali napraviti svoj bicikl i čak slike izraditi ispočetka.

Drugo — kod web stranice mijenja se iz administrativne ploče.

Stvorili smo novu sekciju na web stranici – ažuriran je kod (dodana je direktorija s nazivom nove sekcije).

Izmijenili smo svojstva komponente iz administratorskog sučelja – kod se promijenio.

Kubernetes "po defaultu" ne radi s tim, konteinerima moraju biti nepromjenjivi (Stateless).

Razlog: svaki kontejner (pod) u klasteru obrađuje samo dio prometa. Ako se kod promijeni samo u jednom kontejneru (podu), onda će u različitim podovima kod biti različit, web stranica će raditi na različite načine, različitim korisnicima će se prikazivati različite verzije web stranice. Tako se ne može živjeti.

Treće – treba riješiti pitanje s deploy-em.

Ako imamo monolit i jedan "klasični" server, sve je potpuno jednostavno: razvijamo novu kodnu bazu, provodimo migraciju baze podataka, prebacujemo promet na novu verziju koda. Prebacivanje se događa trenutno.
Ako imamo web stranicu u Kubernetesu, raspoređenu na mikroservise, ima puno kontejnera s kodom – oh. Treba sastaviti kontejnere s novom verzijom koda, zamijeniti ih s onima starim, pravilno izvršiti migraciju baze podataka, a idealno to raditi neprimjetno za posjetitelje. Srećom, Kubernetes nam pomaže u tome, podržavajući mnoge vrste deploya.

Četvrto – treba riješiti pitanje s pohranom statike.

Ako vaša web stranica teži "samo" 10 gigabajta i razvijete je u potpunosti u kontejnerima, dobit ćete kontejnere teške 10 gigabajta, koji će se deployati vječno.
Treba pohraniti naj"teže" dijelove web stranice izvan kontejnera, a postavlja se pitanje kako to ispravno učiniti.

Što nema u našem rješenju.

Cijeli Bitrix kod nije rasklopljen na mikrofunkcije/mikroservise (tako da je registracija odvojena, modul internetske trgovine odvojen, itd.). Cijelu kodnu bazu čuvamo u svakom kontejneru u cjelini.

Bazu također ne čuvamo u Kubernetesu (iako sam implementirao rješenja s bazom u Kubernetesu za okruženja programera, ali ne za produkciju).

Administratori web stranice će ipak primijetiti da web stranica radi u Kubernetesu. Funkcija "provjera sustava" ne radi ispravno, za uređivanje koda web stranice iz administrativnog sučelja prvo treba pritisnuti gumb "želim urediti kod".

Riješili smo probleme, dogovorili se o potrebi za implementacijom mikroservisa, cilj je jasan — dobiti funkcionalan sustav za rad aplikacija na Bitrixu u Kubernetesu, zadržavajući i mogućnosti Bitrixa i prednosti Kubernetesa. Počinjemo s implementacijom.

Arhitektura

Mnoge 'radne' podspecijalizacije s web poslužiteljem (radnici).
Jedan pod s cron poslovima (obavezno samo jedan).
Jedan upgrade pod za uređivanje koda stranice iz administracijske ploče (također obavezno samo jedan).

Southbridge u Čeljabinsku i Bitrix u Kubernetesu

Rješavamo pitanja:

  • Gdje čuvati sesije?
  • Gdje čuvati predmemoriju?
  • Gdje pohraniti statiku, ne možemo li smjestiti gigabajte statike u hrpu kontejnera?
  • Kako će raditi baza podataka?

Docker slika

Počinjemo sa sastavljanjem Docker slike.

Idealna opcija — imamo jednu univerzalnu sliku, na temelju koje dobivamo i radne pode, i pode s cron poslovima, i upgrade pode.

Upravo smo napravili takvu sliku.

Uključuje nginx, apache/php-fpm (može se odabrati pri sastavljanju), msmtp za slanje mailova, i cron.

Pri sastavljanju slike u direktorij /app kopira se cijela kodna baza stranice (osim dijelova koje ćemo izdvojiti u zasebnu zajedničku pohranu).

Mikroservisi, usluge

radne pode:

  • Kontejner s nginxom + kontejner apache/php-fpm + msmtp
  • msmtp se nije uspjelo izdvojiti u zasebni mikroservis, Bitrix se počinje buniti da ne može izravno slati mailove
  • U svakom kontejneru je cijela kodna baza.
  • Zabrana promjene koda u kontejnerima.

cron pod:

  • kontejner s apacheom, php-om, cron-om
  • u paketu je cijela kodna baza
  • zabrana promjene koda u kontejnerima

upgrade pod:

  • kontejner s nginxom + kontejner apache/php-fpm + msmtp
  • nema zabrana promjene koda u kontejnerima

pohrana sesija

pohrana predmemorije Bitrixa

Također je važno: lozinke za pristup svemu, od baze podataka do maila, čuvamo u Kubernetes tajnama. Dobivamo pogodnost, lozinke su vidljive samo onima kojima dajemo pristup tajnama, a ne svima koji imaju pristup kodnoj bazi projekta.

Pohrana za statiku

Može se koristiti bilo što: ceph, nfs (ali nfs ne preporučujemo za produkciju), mrežna pohrana od 'oblačnih' pružatelja, itd.

Pohrana će se morati spojiti u kontejnerima u direktorij /upload/ stranice i druge direktorije sa statikom.

Baza podataka

Radi jednostavnosti preporučujemo premještanje baze izvan Kubernetesa. Baza u Kubernetesu — zaseban složen zadatak, učinit će shemu znatno složenijom.

Pohrana sesija

Koristimo memcached 🙂

On dobro upravlja skladištenjem sesija, klasterira se i „nativno“ se podržava kao session.save_path u php. Ovakav sustav je višekratno testiran u klasičnoj monolitnoj arhitekturi, kada smo gradili klastere s velikim brojem web poslužitelja. Za implementaciju koristimo helm.

$ helm install stable/memcached --name session

php.ini — ovdje su u slici zadane postavke za skladištenje sesija u memcached

Koristili smo Environment Variables za prijenos podataka o poslužiteljima s memcached https://kubernetes.io/docs/tasks/inject-data-application/define-environment-variable-container/.
To omogućuje korištenje istog koda u okruženjima dev, stage, test, prod (nazivi poslužitelja memcached u njima će se razlikovati, stoga je za svako okruženje potrebno prenijeti jedinstveno ime poslužitelja za sesije).
Skladište predmemorije Bitrix

Trebamo otpornu predmemoriju u koju bi svi podovi mogli pisati i iz koje bi mogli čitati.

Također koristimo memcached.
Ovo rješenje preporučuje sam Bitrix.

$ helm install stable/memcached --name cache

bitrix/.settings_extra.php — ovdje u Bitrixu postavljamo gdje se nalazi naša predmemorija

Također koristimo Environment Variables.

Kron zadaci

Postoje različiti pristupi za izvršavanje kron zadataka u Kubernetesu.

  • odvojen deployment s podom za izvršavanje kron zadataka
  • cronjob za izvršavanje kron zadataka (ako je to web aplikacija — s wget https://$host$cronjobname, ili kubectl exec unutar jednog od radnih podova, itd.)
  • itd.

Može se raspraviti o najprikladnijem, ali u ovom slučaju smo odabrali varijantu „odvojeni deployment s podovima za kron zadatke“

Kako je to učinjeno:

  • kron zadatke dodajemo putem ConfigMap ili putem datoteke config/addcron
  • u jednom primjerku pokrećemo kontejner, identičan radnom podu + dopuštamo izvršavanje kron zadataka u njemu
  • koristi se ista kodna baza, zahvaljujući unifikaciji izrada kontejnera je jednostavna

Što dobro dobivamo:

  • imamo operativne kron zadatke u okruženju, identičnom okruženju programera (docker)
  • kron zadatke nije potrebno „prepisivati“ za Kubernetes, oni rade u istom obliku i u istoj kodnoj bazi kao i ranije
  • kron zadatke mogu dodavati svi članovi tima s pravima za commit u produkcijsku granu, a ne samo administratori

Modul Southbridge K8SDeploy i uređivanje koda iz administratorske ploče

Pa, govorili smo o nadogradnji poda?
A kako usmjeravati promet prema njemu?
Hura, napisali smo za to modul na php 🙂 To je mali klasični modul za Bitrix. Još nije dostupan javnosti, ali planiramo ga otvoriti.
Modul se instalira kao običan modul u Bitrixu:

Southbridge u Čeljabinsku i Bitrix u Kubernetesu

I izgleda ovako:

Southbridge u Čeljabinsku i Bitrix u Kubernetesu

Ovo omogućuje postavljanje kolačića koji identificira administratore stranice i omogućuje Kubernetesu usmjeravanje prometa na nadogradnju pod.

Kada su promjene završene, potrebno je pritisnuti git push, a promjene u kodu će biti poslane u git, a zatim će sustav izgraditi sliku s novom verzijom koda i "rasprostrijeti" je po klasteru, zamjenjujući stare pode.

Da, pomalo nezgrapno, ali tako zadržavamo mikroservisnu arhitekturu i ne oduzimamo korisnicima Bitrix njihovu omiljenu mogućnost ispravka koda iz administracije. Na kraju krajeva, to je opcija, problem ispravka koda može se riješiti na drugi način.

Helm graf

Za izgradnju aplikacija u Kubernetesu obično koristimo upravitelja paketa Helm.
Za naše Bitrix rješenje u Kubernetesu, Sergej Bondarev, naš vodeći sistemski administrator, napisao je posebni Helm graf.

Zadužen je za izgradnju worker, upgrade, cron podova, podesiti ingress, servise, prenijeti varijable iz Kubernetes tajni u podove.

Kod čuvamo u Gitlabu, a izgradnju Helma također pokrećemo iz Gitlaba.

Ako ukratko, to izgleda ovako

$ helm upgrade --install project .helm --set image=registrygitlab.local/k8s/bitrix -f .helm/values.yaml --wait --timeout 300 --debug --tiller-namespace=production

Helm također omogućuje "neprimjetan" povratak, ako se tijekom implementacije nešto ne uspije. Ugodno je kada ne morate panično "ispraviti kod putem FTP-a jer je produkcija pala", već Kubernetes to automatski radi, a pritom bez zastoja.

Deploy

Da, obožavamo Gitlab & Gitlab CI, koristimo ga 🙂
Pri komitu u Gitlabu, projektni repozitorij pokreće pipeline koji izvršava implementaciju nove verzije okruženja.

Faze:

  • build (izgradnja nove Docker slike)
  • test (testiranje)
  • clean up (brisanje testnog okruženja)
  • push (slanje u Docker registry)
  • deploy (implementacija aplikacije u Kubernetes putem Helma).

Southbridge u Čeljabinsku i Bitrix u Kubernetesu

Ura, gotovo, uvodimo!
Ili postavljamo pitanja, ako ih ima.

Dakle, što smo napravili

S tehničkog stajališta:

  • dockerizirali Bitrix;
  • "srezali" Bitrix u kontejere, od kojih svaki obavlja minimalne funkcije;
  • postigli stateless stanje kontejnera;
  • riješili problem s ažuriranjem Bitrixa u Kubernetesu;
  • sve funkcije Bitrixa nastavile su raditi (gotovo sve);
  • uspjeli smo s implementacijom u Kubernetes i povratkom između verzija.

S poslovnog stajališta:

  • otpornost na kvarove;
  • alati Kubernetes (jednostavna integracija s Gitlab CI, neprimjetna implementacija, itd);
  • lozinke u tajnama (vidljive samo onima kojima je izričito odobren pristup lozinkama);
  • jednostavno je kreirati dodatna okruženja (za razvoj, testiranje itd.) unutar jedinstvene infrastrukture.

Izvor: habr.com

Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere 🔥 Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere | ProHoster