Southbridge u Čeljabinsku i Bitrix u Kubernetesu

U Čeljabinsku se održavaju mitapovi sistemskih administratora Sysadminka, i na poslednjem od njih sam održao izlaganje o našem rešenju za rad aplikacija na 1C-Bitrix u Kubernetesu.

Bitrix, Kubernetes, Ceph — odlična kombinacija?

Ispričaću kako smo od svega ovoga sastavili funkcionalno rešenje.

Idemo!

Southbridge u Čeljabinsku i Bitrix u Kubernetesu

Mitap se održao 18. aprila u Čeljabinsku. O našim mitapovima možete pročitati na Timepad i pogledati na YouTube-u..

Ako želite da dođete kod nas kao učesnik ili kao slušalac — dobrodošli, pišite na vadim.isakanov@gmail.com ili na Telegram t.me/vadimisakanov.

Moje izlaganje

Southbridge u Čeljabinsku i Bitrix u Kubernetesu

Slajdovi

Rešenje „Bitrix u Kubernetesu, verzija Southbridge 1.0“

Ispričaću o našem rešenju na način „za početnike u Kubernetesu“, kako je to predstavljeno na mitapu. Pretpostavljam da su vam reči Bitrix, Docker, Kubernetes, Ceph bar poznate na nivou članaka na Vikipediji.

Šta uopšte postoji o Bitrixu u Kubernetesu?

Na internetu ima veoma malo informacija o radu aplikacija na Bitrixu u Kubernetesu.
Našao sam samo takve materijale:

Izlaganje Aleksandra Serbula, 1C-Bitrix, i Antona Tuzlukova iz Qsofta:

Igraj video

Preporučujem da ga poslušate.

Razvoj sopstvenog rešenja od strane korisnika serkyron na Habré..
Našao sam još takvo rešenje..

Iii… to je to.

Obaveštavam vas da kvalitet rešenja iz gorenavedenih linkova nismo proveravali 🙂
Usput, prilikom pripreme našeg rešenja razgovarao sam sa Aleksandrom Serbulom, tada još nije bilo njegovog izlaganja, pa su u mojim slajdovima navedeni stavovi „Bitrix ne koristi Kubernetes“.

Ali, ima mnogo gotovih Docker slika za rad Bitrixa u Dockeru: https://hub.docker.com/search?q=bitrix&type=image

Da li je to dovoljno za stvaranje potpunog rešenja za Bitrix u Kubernetesu?
Ne. Postoji veliki broj problema koje treba rešiti.

Koji su problemi sa Bitrixom u Kubernetesu?

Prvi — gotove slike iz Dockerhuba nisu pogodne za Kubernetes.

Ako želimo izgraditi mikroservisnu arhitekturu (a obično to želimo u Kubernetesu), aplikaciju u Kubernetesu treba podeliti na kontejnere i težiti tome da svaki kontejner obavlja jednu malu funkciju (i radi to dobro). Zašto samo jednu? Ukratko — što je jednostavnije, to je pouzdanije.
Ako želite detaljnije — pogledajte ovaj članak i video, molim vas: https://habr.com/ru/company/southbridge/blog/426637/

Docker slike u Dockerhub-u se uglavnom grade po principu „sve u jednom“, pa smo morali napraviti svoj bicikl i čak slike praviti od nule.

Drugi — kod sajta se menjaju iz admin panela.

Kreirali smo novu sekciju na sajtu - kod je ažuriran (dodana je direktorija sa nazivom nove sekcije).

Promenili smo svojstva komponente iz administratorskog panela - kod je promenjen.

Kubernetes podrazumevano ne može da radi sa tim, kontejneri moraju biti nepromenljivi (Stateless).

Razlog: svaki kontejner (pod) u klasteru obrađuje samo deo saobraćaja. Ako se kod promeni samo u jednom kontejneru (pod-u), u različitim pod-ovima kod će biti različit, sajt će raditi drugačije, različitim korisnicima će biti prikazane različite verzije sajta. Tako ne može da ide.

Treće - potrebno je rešiti pitanje sa deploy-om.

Ako imamo monolit i jedan 'klasični' server, sve je vrlo jednostavno: postavljamo novu kod bazu, izvršavamo migraciju Baze podataka, prebacujemo saobraćaj na novu verziju koda. Prebacivanje se dešava trenutnom brzinom.
Ako imamo sajt u Kubernetes-u, podeljen na mikroservise, sa mnogo kontejnera sa kodom - problem. Potrebno je sastaviti kontejner sa novom verzijom koda, zameniti ih starim, pravilno izvršiti migraciju Baze podataka, i idealno je raditi to neprimetno za posetioce. Na sreću, Kubernetes nam pomaže u tome, podržavajući razne vrste deploy-a.

Četvrto - potrebno je rešiti pitanje sa skladištem statike.

Ako vaš sajt teži 'samo' 10 gigabajta i postavite ga u celosti u kontejnerima, dobićete kontejnere teške 10 gigabajta, koji će se deploy-ovati večnost.
Najteže delove sajta treba skladištiti van kontejnera, i postavlja se pitanje kako to pravilno uraditi.

Šta nema u našem rešenju.

Ceo kod Bitrix-a nije podeljen na mikro funkcije/mikro servise (tako da registracija bude odvojeno, modul internet prodaje odvojeno, itd.). Celu kod bazu čuvamo u svakom kontejneru u celosti.

Bazu u Kubernetes-u takođe ne čuvamo (iako sam implementirao rešenja sa bazom u Kubernetes-u za okruženja razvijača, ali ne za produkciju).

Administratori sajta će primetiti da sajt radi u Kubernetes-u. Funkcija 'provera sistema' ne radi ispravno, za uređivanje koda sajta iz administratorskog panela prvo morate pritisnuti dugme 'želim da uredim kod'.

Identificirali smo probleme, dogovorili se o neophodnosti implementacije mikroservisa, cilj je jasan – dobiti funkcionalan sistem za rad aplikacija na Bitrixu u Kubernetesu, zadržavajući i mogućnosti Bitrixa i prednosti Kubernetesa. Počinjemo s implementacijom.

Arhitektura

Mnogo 'radnih' podova s veb serverom (radnici).
Jedan pod s cron zadacima (obavezno samo jedan).
Jedan upgrade pod za uređivanje koda sajta iz admin panela (takođe obavezno samo jedan).

Southbridge u Čeljabinsku i Bitrix u Kubernetesu

Rešavamo pitanja:

  • Gde čuvati sesije?
  • Gde čuvati keš?
  • Gde čuvati statičke datoteke, ne možemo staviti gigabajte statike u gomilu kontejnera?
  • Kako će raditi baza podataka?

Docker slika

Počinjemo sa izradom Docker slike.

Idealna varijanta – imamo jednu univerzalnu sliku, na osnovu koje dobijamo radne pode, podove s cron zadacima i upgrade pode.

Napravili smo upravo takvu sliku.

Ona uključuje nginx, apache/php-fpm (može se izabrati pri izradi), msmtp za slanje pošte, i cron.

Pri izradi slike u direktorijum /app kopira se cela kodna osnova sajta (osim dela koji ćemo izneti u poseban shared storage).

Mikroservisi, servisi

radni podovi:

  • Kontejner s nginx + kontejner apache/php-fpm + msmtp
  • msmtp nije mogao da se izdvaja u poseban mikroservis, Bitrix se počinje buniti jer ne može direktno slati poštu
  • U svakom kontejneru je cela kodna osnova.
  • Zabranjena su izmena koda u kontejnerima.

cron pod:

  • kontejner s apache, php, cron
  • u paketu je cela kodna osnova
  • zabranjena su izmena koda u kontejnerima

upgrade pod:

  • kontejner s nginx + kontejner apache/php-fpm + msmtp
  • nema zabrane na izmenu koda u kontejnerima

skladište sesija

skladište keša Bitrix

Još važno: lozinke za povezivanje sa svime, od baze podataka do pošte, čuvamo u kubernetes tajnama. Dobijamo bonus, lozinke su vidljive samo onima kojima dajemo pristup tajnama, a ne svima koji imaju pristup kodnoj bazi projekta.

Skladište za statiku

Može se koristiti bilo šta: ceph, nfs (ali nfs ne preporučujemo za produkciju), mrežno skladište od 'oblačnih' provajdera itd.

Skladište će biti potrebno povezati u kontejnerima u direktorijum /upload/ sajta i druge direktorijume sa statikom.

Baza podataka

Radi jednostavnosti preporučujemo iznošenje baze van Kubernetesa. Baza u Kubernetesu je poseban složen zadatak, učiniće shemu znatno složenijom.

Skladište sesija

Koristimo memcached 🙂

Dobro se nosi s pohranom sesija, klasteruje se, a 'nativno' se podržava kao session.save_path u php-u. Ovaj sistem je više puta testiran još u klasičnoj monolitnoj arhitekturi, kada smo gradili klastere s velikim brojem web poslužitelja. Za implementaciju koristimo helm.

$ helm install stable/memcached --name session

php.ini — ovde su podešene postavke za pohranu sesija u memcached

Koristili smo Environment Variables za prenos podataka o hostovima s memcached https://kubernetes.io/docs/tasks/inject-data-application/define-environment-variable-container/.
To omogućava korišćenje istog koda u okruženjima dev, stage, test, prod (imena hostova memcached će se razlikovati, zato je potrebno preneti jedinstveno ime hosta za sesije u svako okruženje).
Keš skladište Bitrixa

Potrebno nam je otporno skladište u koje bi svi podovi mogli pisati i iz kojeg bi mogli čitati.

Takođe koristimo memcached.
Ovo rešenje preporučuje sam Bitrix.

$ helm install stable/memcached --name cache

bitrix/.settings_extra.php — ovde se u Bitrixu definiše gde se čuva keš

Takođe koristimo Environment Variables.

Kron zadaci

Postoje različiti pristupi izvođenju kron zadataka u Kubernetesu.

  • odvojeni deployment sa podom za izvođenje kron zadataka
  • cronjob za izvođenje kron zadataka (ako je to web aplikacija — s wget https://$host$cronjobname, ili kubectl exec unutar jednog od radnih podova, itd.)
  • itd.

Može se raspravljati o najispravnijem, ali u ovom slučaju smo izabrali opciju 'odvojeni deployment s podovima za kron zadatke'

Kako je to učinjeno:

  • kron zadatke dodajemo putem ConfigMap-a ili putem fajla config/addcron
  • u jednom uzorku pokrećemo kontejner koji je identičan worker-podu + omogućavamo izvršavanje kron zadataka u njemu
  • koristi se ista kodna baza, zahvaljujući unifikaciji, sastavljanje kontejnera je jednostavno

Šta dobijamo:

  • imamo aktivne kron zadatke u okruženju identičnom okruženju programera (docker)
  • kron zadatke nije potrebno 'prepisivati' za Kubernetes, funkcionišu u istom obliku i sa istom kodnom bazom kao ranije
  • kron zadatke mogu dodavati svi članovi tima s pravima commit-a u produkcionu granu, a ne samo administratori

Modul Southbridge K8SDeploy i uređivanje koda iz admin panela

Zar nismo pričali o nadogradnji poda?
A kako usmeriti saobraćaj ka njemu?
Ura, napisali smo za to modul na php-u 🙂 To je mala klasična modula za Bitrix. Još nije javno dostupan, ali planiramo da ga otvorimo.
Modul se installira kao običan modul u Bitrixu:

Southbridge u Čeljabinsku i Bitrix u Kubernetesu

I izgleda ovako:

Southbridge u Čeljabinsku i Bitrix u Kubernetesu

Ovo omogućava postavljanje kolačića koji identifikuje administratora sajta i omogućava Kubernetes-u da šalje saobraćaj na upgrade pod.

Kada su izmene završene, potrebno je pritisnuti git push, a izmene koda će biti poslate u git, zatim će sistem izgraditi sliku sa novom verzijom koda i „rasporediti” je po klasteru, zamenjujući stare pode.

Da, pomalo nespretno, ali mi čuvamo mikroservisnu arhitekturu i ne oduzimamo korisnicima Bitrix omiljenu mogućnost da ispravljaju kod iz administracije. Na kraju krajeva, ovo je opcija, problem sa ispravkom koda može se rešiti na drugačiji način.

Helm chart

Za izgradnju aplikacija u Kubernetes-u obično koristimo paket menadžer Helm.
Za naše rešenje Bitrix u Kubernetes-u, Sergej Bondarev, naš vodeći sistemski administrator, napisao je poseban Helm chart.

On obavlja izgradnju worker, upgrade, cron pode, podešava ingress-e, servise, prenosi promenljive iz Kubernetes secrets u pode.

Kod čuvamo u Gitlab-u, a izgradnju Helma takođe pokrećemo iz Gitlab-a.

Ukratko, to izgleda ovako

$ helm upgrade --install project .helm --set image=registrygitlab.local/k8s/bitrix -f .helm/values.yaml --wait --timeout 300 --debug --tiller-namespace=production

Helm takođe omogućava „besprekorno” vraćanje, ako nešto pođe po zlu prilikom implementacije. Prijatno je kada niste u panici da „popravite kod putem ftp-a, jer je produkcija pala”, već Kubernetes automatski to rešava, bez zastoja.

Deploy

Da, obožavamo Gitlab & Gitlab CI, koristimo ga 🙂
Prilikom komitovanja u Gitlab u repozitorijum projekta, Gitlab pokreće pipeline koji izvodi implementaciju nove verzije okruženja.

Faze:

  • build (izgradnja nove Docker slike)
  • test (testiranje)
  • clean up (uklanjanje testnog okruženja)
  • push (slanje u Docker registry)
  • deploy (implementacija aplikacije u Kubernetes putem Helma).

Southbridge u Čeljabinsku i Bitrix u Kubernetesu

Ura, gotovo, sprovodimo!
Ili postavljamo pitanja, ako ih ima.

Dakle, šta smo uradili

Sa tehničkog stanovišta:

  • dokazali smo Bitrix;
  • „podelili” Bitrix na kontejnere, svaki od kojih obavlja minimum funkcija;
  • postigli stateless stanje kontejnera;
  • rešili problem sa ažuriranjem Bitrix-a u Kubernetes-u;
  • sve funkcije Bitrix-a su nastavile da rade (skoro sve);
  • proveden je deployment u Kubernetes-u i rollback između verzija.

Sa poslovnog stanovišta:

  • otpornost na greške;
  • alatke Kubernetes (jednostavna integracija sa Gitlab CI, besprekidan deployment, itd);
  • lozinke u tajnama (vidljive samo onima kojima je direktno dat pristup lozinkama);
  • Povoljno je kreirati dodatne okvire (za razvoj, testiranje itd.) unutar jedinstvene infrastrukture.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster