Southbridge Čeljabinskā un Bitrix Kubernetes

Čeljabinskā notiek sistēmu administratoru Sysadminka meetup, un pēdējā no tām es prezentēju mūsu risinājumu 1C-Bitrix lietojumprogrammu darbībai Kubernetes.

Bitrix, Kubernetes, Ceph - lieliska kombinācija?

Pastāstīšu, kā mēs no visa šī izveidojām funkcionējošu risinājumu.

Aiziet!

Southbridge Čeljabinskā un Bitrix Kubernetes

Meetup notika 18. aprīlī Čeljabinskā. Par mūsu meetup iespējams lasīt Timepad un apskatīt YouTube.

Ja vēlaties pie mums ierasties ar prezentāciju vai kā klausītājs - laipni lūdzam, rakstiet uz vadim.isakanov@gmail.com un Telegram t.me/vadimisakanov.

Mana prezentācija

Southbridge Čeljabinskā un Bitrix Kubernetes

Slaidi

Risinājums „Bitrix Kubernetes, Southbridge versija 1.0”

Es pastāstīšu par mūsu risinājumu formātā „kā iesācējiem Kubernetes”, kā tas tika izdarīts meetupā. Bet pieņemu, ka vārdi Bitrix, Docker, Kubernetes, Ceph jums ir zināmi vismaz līmenī ar rakstiem Vikipēdijā.

Ko vispār var atrast par Bitrix Kubernetes?

Internetā ir ļoti maz informācijas par Bitrix lietojumprogrammu darbību Kubernetes.
Es atradu tikai tādus materiālus:

Alekseja Serbula, 1C-Bitrix, un Antona Tuzlukova no Qsoft prezentācija:

Atskaņot video

Iesaku to noklausīties.

Paša risinājuma izstrāde no lietotāja puses serkyron Habrā.
Atradu arī šādu risinājumu.

Un… pati būtība ir viss.

Brīdinu, mēs neesam pārbaudījuši risinājumu kvalitāti, kas norādīta iepriekš.
Starpcitu, sagatavojot mūsu risinājumu, es komunicēju ar Alekseju Serbulu, kad viņa prezentācija vēl nebija, tāpēc manā slaidā ir punkts „Bitrix neizmanto Kubernetes”.

Bet jau ir daudz gatavu Docker attēlu, lai strādātu ar Bitrix Docker: https://hub.docker.com/search?q=bitrix&type=image

Vai tas ir pietiekami, lai izveidotu pilnvērtīgu risinājumu Bitrix Kubernetes?
Nē. Ir daudz problēmu, kas jārisina.

Kādas ir problēmas ar Bitrix Kubernetes?

Pirmais - gatavie attēli no Dockerhub nav piemēroti Kubernetes

Ja mēs vēlamies uzbūvēt mikroservisu arhitektūru (un Kubernetes mēs parasti vēlamies), lietojumprogrammu Kubernetes jānodala konteineros un jāsasniedz, ka katrs konteiners pilda vienu mazu funkciju (un veic to labi). Kāpēc tikai vienu? Ja īsi - jo vienkāršāk, jo drošāk.
Ja garāk, lūdzu, skatiet šo rakstu un video: https://habr.com/ru/company/southbridge/blog/426637/

Docker attēli Dockerhub galvenokārt ir veidoti pēc principa „viss vienā”, tāpēc mums tomēr bija jāizstrādā sava velosipēda risinājums un pat jādara attēli no nulles.

Otrais - vietnes kods tiek labots no admin paneles

Esam izveidojuši jaunu sadaļu vietnē – kods ir atjaunināts (pievienota jaunas sadaļas direktorija).

Ir mainīti komponenta īpašības no administratīvās paneļa – kods ir mainījies.

Kubernetes «pēc noklusējuma» ar to nespēj strādāt, konteineriem jābūt nemaināmiem (Stateless).

Iemesls: katrs konteineris (pods) klasterī apstrādā tikai daļu no satiksmes. Ja kods tiek mainīts tikai vienā konteinerī (podā), tad dažādos podos kods būs atšķirīgs, vietne darbosies atšķirīgi, dažādiem lietotājiem tiks rādītas atšķirīgas versijas vietnes. Tādu dzīvi nevar dzīvot.

Trešā – jāatrisina jautājums par izdošanu.

Ja mums ir monolīts un viens «klasiskā» servera, viss ir pavisam vienkārši: izveidojam jaunu kodu bāzi, veicam datubāzes migrāciju, pāradresējam satiksmi uz jauno koda versiju. Pāradresēšana notiek acumirklī.
Ja mums ir vietne Kubernetes, sadalīta mikropakalpojumos, daudz konteineru ar kodu – ak. Jāveido konteineri ar jauno koda versiju, jāaizvieto tie pret vecajiem, pareizi jāveic datubāzes migrācija, un ideālā gadījumā jāveic tas nepamanāmi apmeklētājiem. Par laimi, Kubernetes mums palīdz, atbalstot dažādu veidu izdošanu.

Ceturtā – jāatrisina jautājums par statikas uzglabāšanu.

Ja jūsu vietne sver «tikai» 10 gigabaitus un jūs to pilnībā izveidosiet konteineros, jūs saņemsiet konteinerus ar 10 gigabaitu svaru, kas tiks izsniegti mūžīgi.
Jāuzglabā vissmagākās vietnes daļas ārpus konteineriem, un uzdod jautājumu, kā to pareizi izdarīt.

Kas nav mūsu risinājumā.

Viss koda bits uz mikrofunkcijām/mikropakalpojumiem nav sadalīts (tā, lai reģistrācija atsevišķi, interneta veikala modulis atsevišķi un tamlīdzīgi). Mēs katrā konteinerā glabājam visu kodu bāzi kopā.

Datu bāzi Kubernetes arī neglabājam (es tomēr esmu realizējis risinājumus ar datubāzi Kubernetes izstrādātāju vidē, bet ne ražošanas apstākļos).

Vietnes administrators tomēr pamanīs, ka vietne darbojas Kubernetes. Funkcija «sistēmas pārbaude» darbojas nepareizi, lai rediģētu vietnes kodu no administratīvās paneļa, vispirms jānospiež poga «gribu rediģēt kodu».

Mēs esam atrisinājuši problēmas, noskaidrojuši nepieciešamību pēc mikrosistēmām, mērķis ir skaidrs — izveidot darbojošu sistēmu, lai lietojumi Bitrix darbotos Kubernetes, saglabājot gan Bitrix iespējas, gan Kubernetes priekšrocības. Sākam īstenošanu.

Arhitektūra

Daudz 'darba' podu ar tīmekļa serveri (darbinieki).
Viens pods ar cron uzdevumiem (noteikti tikai viens).
Viens atjaunošanas pods, lai rediģētu vietnes kodu no administratīvās paneļa (arī noteikti tikai viens).

Southbridge Čeljabinskā un Bitrix Kubernetes

Risina jautājumus:

  • Kur glabāt sesijas?
  • Kur glabāt kešatmiņu?
  • Kur glabāt statiku, neizvietojot gigabaitus statikas kaudzes konteineros?
  • Kā darbosies datu bāze?

Docker attēls

Sāksim ar Docker attēla izveidi.

Ideālais variants — mums ir viens universāls attēls, uz tā bāzes iegūstam gan darbinieku podus, gan podus ar cron uzdevumiem, gan atjaunošanas podus.

Mēs esam izveidojuši tieši tādu attēlu.

Tas ietver nginx, apache/php-fpm (var izvēlēties izveides laikā), msmtp, lai sūtītu e-pastu, un cron.

Izveidojot attēlu, katalogā /app kopējas tiek kopēta visa vietnes kodu bāze (izņemot tās daļas, kuras mēs pārvietosim atsevišķā kopīgā krātuvē).

Mikrosistēmiskums, pakalpojumi

darbinieku podi:

  • Konteiners ar nginx + konteineru apache/php-fpm + msmtp
  • msmtp pārvietot atsevišķā mikrosistēmā neizdevās, Bitrix sāk protestēt, ka nevar tieši sūtīt e-pastu
  • Katram konteineram ir visa kodu bāze.
  • Aizliegums mainīt kodu konteineros.

cron pods:

  • konteiners ar apache, php, cron
  • komplektā visa kodu bāze
  • aizliegums mainīt kodu konteineros

atjaunošanas pods:

  • konteiners ar nginx + konteineru apache/php-fpm + msmtp
  • aizlieguma mainīt kodu konteineros nav

sesiju krātuve

Bitrix kešatmiņas krātuve

Vēl svarīgi: parole pieslēgšanai visam, no datu bāzes līdz e-pastam, tiek glabāta Kubernetes slepeno informāciju. Mums ir bonuss, paroles redz tikai tie, kuriem mēs dodam piekļuvi noslēpumiem, nevis visi, kam ir piekļuve projekta kodu bāzei.

Statikas krātuve

Var izmantot jebko: ceph, nfs (bet nfs neiesakam ražošanā), tīkla krātuves no 'mākoņa' pakalpojumu sniedzējiem utt.

Krātuve būs jāpievieno konteineriem direktorijā /upload/ vietnes direktorijā un citās direktorijās ar statiku.

Datu bāze

Vienkāršības labad iesakām pārvietot datu bāzi ārpus Kubernetes. Datu bāze Kubernetes — atsevišķa sarežģīta uzdevums, tas padarīs shēmu ievērojami sarežģītāku.

Sesiju krātuve

Izmantojam memcached 🙂

Tas labi tiek galā ar sesiju glabāšanu, tiek klasterizēts, un to «nativizē» atbalsta kā session.save_path php. Šāda sistēma ir daudzreiz izstrādāta klasiskajā monolītā arhitektūrā, kad mēs veidojām klasterus ar lielu skaitu tīmekļa serveru. Izvietošanai mēs izmantojam helm.

$ helm install stable/memcached --name session

php.ini — šeit attēloti iestatījumi sesiju glabāšanai memcached

Mēs izmantojām Environment Variables, lai nodotu datus par memcached saimniekiem https://kubernetes.io/docs/tasks/inject-data-application/define-environment-variable-container/.
Tas ļauj izmantot to pašu kodu dev, stage, test, prod vidēs (memcached saimnieku nosaukumi tajās atšķirsies, tādēļ katrā vidē mums ir jānosūta unikāls sesiju saimnieku nosaukums).
Bitrix kešu glabātuve

Mums nepieciešama atvērta glabātuve, kurā visi podi varētu rakstīt un no kuras varētu lasīt.

Tāpat izmantojam memcached.
Šo risinājumu paši ieteic Bitrix.

$ helm install stable/memcached --name cache

bitrix/.settings_extra.php — šeit Bitrix norādīts, kur glabājas kešatmiņa

Tāpat izmantojam Environment Variables.

Kronuzdevumi

Ir dažādi pieejas veidi kronuzdevumu izpildei Kubernetes.

  • separāts izvietojums ar podu kronuzdevumu veikšanai
  • cronjob kronuzdevumu izpildei (ja tas ir web app — ar wget https://$host$cronjobname, vai kubectl exec iekš kāda no darba podiem, utt.)
  • utt.

Par to var diskutēt, kas ir vispareizāk, bet šajā gadījumā mēs izvēlējām variantu «separāts izvietojums ar podiem kronuzdevumiem»

Kā tas tiek veikts:

  • kronuzdevumus pievienojam caur ConfigMap vai caur failu config/addcron
  • vienā eksemplārā startējam konteineru, kas ir identisks darba podam + atļaujam veikt kronuzdevumus tajā
  • tiek izmantota tā pati kodu bāze, pateicoties standartizācijai konteineru veidošana ir vienkārša

Ko labu iegūstam:

  • mums ir darbojoši kronuzdevumi vidē, kas ir identiska izstrādātāju videi (docker)
  • kronuzdevumus nav jāpārraksta Kubernetes, tie darbojas tajā pašā formā un tajā pašā kodu bāzē kā iepriekš
  • kronuzdevumus var pievienot visi komandas locekļi ar tiesībām veikt izmaiņas produkcijas zarā, nevis tikai administrators

Modulis Southbridge K8SDeploy un koda rediģēšana no admin paneļa

Mēs taču runājām par podu atjaunināšanu?
Kā novirzīt tur satiksmi?
Jā, mēs rakstījām moduli tam 🙂 Tas ir neliels klasiskā modulis Bitrix. To vēl nav publiski pieejams, bet mēs plānojam to atvērt.
Moduli instalē kā parastu moduli Bitrix:

Southbridge Čeljabinskā un Bitrix Kubernetes

Un izskatās šādi:

Southbridge Čeljabinskā un Bitrix Kubernetes

Tas ļauj iestatīt sīkdatni, kas identificē vietnes administratoru un ļauj Kubernetes nosūtīt trafiku uz uzlaboto podu.

Kad izmaiņas ir pabeigtas, ir jānospiež git push, izmaiņas kodā tiks nosūtītas uz git, pēc tam sistēma izveidos attēlu ar jauno koda versiju un 'izkaisīs' to pa klusteri, nomainot vecos podus.

Jā, tas ir nedaudz apgrūtināti, bet tajā pašā laikā mēs saglabājam mikrosistēmu arhitektūru un nenorakstām Bitrix lietotājiem iecienīto iespēju labot kodu no administrācijas paneļa. Beigās, tas ir izvēles jautājums, uzdevumu kodu labot var risināt arī citādi.

Helm charts

Lai izveidotu lietojumprogrammas Kubernetes vidē, parasti mēs izmantojam pakotņu pārvaldnieku Helm.
Mūsu Bitrix risinājumam Kubernetes vidē Sergejs Bondarjovs, mūsu galvenais sistēmu administrators, ir uzrakstījis īpašu Helm chart.

Tas veic worker, ugrade, cron podu izveidi, iestata ieejas, servisus, nodod mainīgos no Kubernetes slepenām vērtībām podiem.

Mēs kodu glabājam Gitlab, un arī Helm būvniecību uzsākam no Gitlab.

Ja īsi, tas izskatās šādi

$ helm upgrade --install project .helm --set image=registrygitlab.local/k8s/bitrix -f .helm/values.yaml --wait --timeout 300 --debug --tiller-namespace=production

Helm arī ļauj veikt 'bezšuvju' atgriešanu, ja nu, veidojot, kaut kas noiet greizi. Patīkami, kad neesat panikā 'labo koda pa FTP, jo ražošana ir palikusi', bet Kubernetes to automātiski dara, turklāt bez dīkstāves.

Izvietošana

Jā, mēs esam Gitlab un Gitlab CI fani, izmantojam to 🙂
Kad tiek veiktas izmaiņas Gitlab projektā, Gitlab uzsāk pipeline, kas veic jaunās versijas izplatīšanu.

Posmi:

  • build (izveidojam jaunu Docker attēlu)
  • test (testējam)
  • clean up (noņemam testēšanas vidi)
  • push (nosūtām to uz Docker reģistru)
  • deploy (izvietojam lietojumprogrammu Kubernetes caur Helm).

Southbridge Čeljabinskā un Bitrix Kubernetes

Jā, gatavs, ieviešam!
Nu vai uzdodam jautājumus, ja tādi ir.

Tātad, ko mēs izdarījām

No tehniskā viedokļa:

  • dockerizējām Bitrix;
  • izrādījām Bitrix uz konteiners, katrs no kuriem veic minimālas funkcijas;
  • sasniegām stateless stāvokli konteineros;
  • atrisinājām Bitrix atjaunināšanas problēmu Kubernetes vidē;
  • visas Bitrix funkcijas turpināja strādāt (gandrīz visas);
  • izstrādājām izvietošanu Kubernetes un atgriešanu starp versijām.

No biznesa viedokļa:

  • noturība pret kļūdām;
  • Kubernetes rīki (vienkārša integrācija ar Gitlab CI, bezšuvju izvietošana utt.);
  • paroles slepenībā (redzamas tikai tiem, kam tieši piešķirta piekļuve pie parolēm);
  • ērti izveidot papildu vidus (izstrādei, testēšanai utt.) vienotā infrastruktūrā.

Avots: habr.com

Iegādājieties uzticamu tīmekļa hostingu ar DDoS aizsardzību, VPS VDS serveriem 🔥 Iegādājieties uzticamu tīmekļa hostingu ar DDoS aizsardzību, VPS VDS serveriem | ProHoster