Përshëndetje të gjithëve! Unë quhem Pavel Agalecki. Punoj si lider i ekipit që zhvillon sistemin e shpërndarjes për Lamoda. Në vitin 2018, kam folur në konferencën HighLoad++, dhe sot dëshiroj të paraqes transkriptingun e fjalës sime.
Tema ime është e përkushtuar për përvojën e kompanisë sonë në shpërndarjen e sistemeve dhe shërbimeve në mjedise të ndryshme. Duke filluar nga kohët tona prehistorike, kur ne shpërndanim të gjitha sistemet në servera virtualë të zakonshëm, deri në kalimin gradual nga Nomad në shpërndarjen në Kubernetes. Do të flas për arsyet pse e bëmë këtë dhe cilat ishin problemet tona në proces.

Shpërndarja e aplikacioneve në VM
Le të fillojmë duke thënë se 3 vjet më parë, të gjitha sistemet dhe shërbimet e kompanisë shpërndaheshin në servera virtualë të zakonshëm. Teknikisht, ishte organizuar në mënyrë që të gjithë kodi i sistemeve tona të ishte i vendosur dhe të mblidhte përmes mjeteve të ndihmës së automatizuar, duke përdorur Jenkins. Me ndihmën e Ansible, ai u shpërndante nga sistemi ynë i kontrollit të versioneve në serverat virtualë. Në këtë mënyrë, çdo sistem që kishte kompania jonë, shpërndahej në të paktën 2 servera: njëri prej tyre ishte head, tjetri ishte tail. Këto dy sisteme ishin të identike në të gjitha cilësitë e tyre, fuqinë, konfigurimin dhe të tjera. Diferenca midis tyre ishte vetëm se head merrte trafikun e përdoruesve, ndërsa tail kurrë nuk merrte trafik nga përdoruesit.
Pse ishte bërë kjo?
Kur ne shpërndanim versione të reja të aplikacionit tonë, dëshironim të siguronim mundësinë e shpërndarjes pa shqetësime, pra pa pasoja të dukshme për përdoruesit. Kjo arrihej përmes përdorimit të Ansible për të shpërndarë versionin e mbledhur në tail. Atje, njerëzit që ishin angazhuar me shpërndarjen mund të kontrolonin dhe të siguroheshin se gjithçka ishte mirë: të gjitha metrikat, ndarjet dhe aplikacionet funksiononin; përdoreshin skenarët e nevojshëm. Vetëm pasi ata ishin të sigurt se gjithçka ishte në rregull, trafiku do të kalonte. Ai fillonte të shkonte në atë server që deri atëherë ishte tail. Ndërsa ai që kishte qenë head, mbetej pa trafik nga përdoruesit, përkundrazi me versionin e mëparshëm të aplikacionit tonë.
Në këtë mënyrë, për përdoruesit, gjithçka ishte pa ndërprerje. Sepse kalimi është në një moment, pasi është thjesht një ndërrim balancuesi. Shumë lehtë mund të ktheheni në versionin e mëparshëm, thjesht duke ndërruar balancuesin prapa. Gjithashtu, ne mundëm të sigurojmë kapacitetin e aplikacionit në prodhim edhe para se të fillonte trafik përdoruesish, që ishte mjaft e përshtatshme.
ĂfarĂ« pĂ«rfitimesh pamĂ« nĂ« gjithĂ« kĂ«tĂ«?
- Së pari, kjo është mjaft thjesht funksionon. Të gjithëve iu duket e qartë si funksionon një skemë e tillë e publikuar, sepse shumica e njerëzve ndonjëherë e kanë publikuar në serverë virtualë të zakonshëm.
- Kjo Ă«shtĂ« mjaft e sigurt, pasi teknologjia e publikimit Ă«shtĂ« e thjeshtĂ« dhe e provuar nga mijĂ«ra kompani. Miliona serverĂ« publikohen nĂ« kĂ«tĂ« mĂ«nyrĂ«. ĂshtĂ« e vĂ«shtirĂ« tĂ« thyesh diçka.
- Dhe përfundimisht, ne mundëm të marrim publikime atomike. Publikimet, të cilat për përdoruesit ndodhin në një moment, pa ndonjë fazë të dukshme kalimi midis versionit të vjetër dhe atij të ri.
Por në këtë të gjithë, ne gjithashtu pamë disa disavantazhe:
- Përveç mjedisit të prodhimit, mjedisi i zhvillimit, ka edhe mjedise të tjera. Për shembull, qa dhe parprodhuese. Në atë kohë, ne kishim shumë servera dhe rreth 60 shërbime. Për këtë arsye, duhej të mbajmë një version të përditësuar për secilin shërbim të makinerisë virtuale. Dhe nëse dëshironi të përditësoni bibliotekat ose të instaloni varësi të reja, duhet ta bëni këtë në të gjitha mjediset. Gjithashtu, duhej të synchronizoni kohën kur do të bëni publikimin e versionit të ri të aplikacionit tuaj, me kohën kur devops do të realizojë konfiguratat e nevojshme të mjedisit. Në këtë rast, është e lehtë të përfundoni në një situatë kur mjedisi ynë do të ndryshojë në disa mjedise njëra pas tjetrës. Për shembull, në mjedisin QA do të ketë njëra versione bibliotekash, ndërsa në prodhim do të jetë një tjetër, që do të sillte probleme.
- Vështirësia në përditësimin e varësive të aplikacionit tuaj. Kjo nuk varet nga ju, por nga një ekip tjetër. Saktësisht, nga ekipi devops, i cili mban serverët. Ju duhet të vendosni detyrën për ta dhe t'u jepni përshkrimin e asaj që doni të bëni.
- Në atë kohë, ne gjithashtu doja të ndanim monolitët e mëdhenj që kishim në shërbime më të vogla, sepse e kuptonim se ata do të rriteshin dhe më shumë. Në atë moment, ne kishim më shumë se 100 prej tyre. Ishte e nevojshme të krijoheshin makina virtuale të reja për çdo shërbim të ri, të cilat gjithashtu duhej të mbaheshin dhe të deploiheshin. Përveç kësaj, ne duhej jo një, por të paktën dy makina. Dhe kësaj i shtohet edhe një mjedis QA. Kjo shkaktonte probleme dhe e bënte krijimin dhe fillimin e sistemeve të reja më të komplikuar, të shtrenjta dhe të ngadalta.
Prandaj, ne morëm vendimin se do të ishte më e lehtë të kalonim nga depolimi i makinave virtuale të zakonshme në depolimin e aplikacioneve tona në konteinerin docker. Me docker, ju nevojitet një sistem që mund të shkojë aplikacionin në një grumbull, sepse nuk mund ta ngarkoni një konteiner thjesht kështu. Normalisht, dëshirohet të monitoroni se sa konteinerë janë ngarkuar, për të siguruar që ata ngarkohen automatikisht. Për këtë arsye, na duhej të zgjidhnim një sistem menaxhimi.
Ne menduam gjatë se cilin prej tyre mund të merrnim. Problemi është se në atë moment, ky stendë depolimi në servera virtualë të zakonshëm ishte disi e vjetruar, sepse kishte versione të pakta të sistemeve operative. Në një moment, aty madje kishte edhe FreeBSD, që nuk ishte shumë e lehtë për t'u mbështetur. Ne kuptuam se të ishim sa më shpejt të migronim në docker. DevOps-ët tanë shqyrtuan përvojën e tyre me zgjidhje të ndryshme dhe zgjodhën një sistem të tillë si Nomad.
Kalimi në Nomad
Nomad është një produkt i kompanisë "HashiCorp". Ata janë gjithashtu të njohur për zgjidhje të tjera:

"Consul" është një mjet për zbulimin e shërbimeve.
"Terraform" është një sistem për menaxhimin e serverëve, që ju lejon t'i konfiguroni ato përmes një konfigurimi, e ashtuquajtur infrastructure-as-code.
"Vagrant" ju lejon të ngrini makina virtuale në lokal ose në cloud përmes skedarëve të caktuar të konfigurimit.
Nomad në atë kohë na u duk një zgjidhje e mjaftueshme e thjeshtë, në të cilën mund të kalonim shpejt pa ndryshuar gjithë infrastrukturën. Për më tepër, është relativisht i lehtë për t'u mësuar. Prandaj, pikërisht atë e zgjodhëm si sistemin tonë të filtrimit të konteinerëve.
ĂfarĂ« nevojitet pĂ«r tĂ« depoluar sistemin tuaj nĂ« Nomad?
- Para sĂ« gjithash, nevojitet njĂ« imazh docker aplikacionit tuaj. Duhet ta grumbulloni atĂ« dhe ta vendosni nĂ« magazinĂ«n e imazheve docker. NĂ« rastin tonĂ«, kjo Ă«shtĂ« artifactory â njĂ« sistem qĂ« ju lejon tĂ« shtoni nĂ« tĂ« artefakte tĂ« ndryshme tĂ« llojeve tĂ« ndryshme. Ajo mund tĂ« ruajĂ« arkiva, imazhe docker, paketa composer PHP, paketa NPM dhe kĂ«shtu me radhĂ«.
- Gjithashtu kërkohet skedës së konfigurimit, i cili do t'i thotë Nomad-it se çfarë, ku dhe në çfarë sasie dëshironi të derdhni.
Kur flasim për Nomad, si format informativ ai përdor gjuhën HCL, që shkurtimisht do të thotë HashiCorp Configuration Language. Kjo është një superset mbi Yaml, që ju lejon të përshkruani shërbimin tuaj në terma të Nomad.

Ai lejon të deklaroni sa kontejnerë dëshironi të derdhni, nga cilat imazhe t'u kaloni atyre parametra të ndryshëm gjatë derdhjes. Në këtë mënyrë, i ushqeni këtij skedari Nomad, dhe ai nis kontejnerët në përputhje me të.
Në rastin tonë, ne e kuptuam se thjesht të shkruajmë skedarë HCL identikë për çdo shërbim do të ishte jo shumë e përshtatshme, sepse ka shumë shërbime dhe ndonjëherë dëshirojme t'i përditësojmë ato. Ndonjëherë ndodh që një shërbim të jetë i derdhur në një vetë, por në shumë variante. Për shembull, një nga sistemet që kemi në prodhim, ka më shumë se 100 instanca në prodhim. Ato nisin nga të njëjtat imazhe, por dallojnë për konfigurimet dhe skedarët e konfigurimeve.
Prandaj, ne vendosĂ«m se do tĂ« ishte e pĂ«rshtatshme tĂ« ruajmĂ« tĂ« gjithĂ« skedarĂ«t tanĂ« tĂ« konfigurimit pĂ«r derdhje nĂ« njĂ« depo tĂ« pĂ«rbashkĂ«t. KĂ«shtu, ato bĂ«heshin tĂ« shikueshme: ishte e lehtĂ« t'i mirĂ«mbash dhe mund tĂ« shikoje se cilat sisteme kemi. NĂ« rast nevoje, gjithashtu nuk Ă«shtĂ« e komplikuar tĂ« pĂ«rditĂ«sosh ose tĂ« ndryshosh diçka. TĂ« shtosh njĂ« sistem tĂ« ri gjithashtu nuk do tĂ« jetĂ« njĂ« problem â mjafton tĂ« krijosh njĂ« skedar konfigurimi brenda njĂ« direktoriumi tĂ« ri. Brenda saj ka skedarĂ«: service.hcl, i cili pĂ«rmban pĂ«rshkrimin e shĂ«rbimit tonĂ«, dhe disa skedarĂ« env qĂ« lejojnĂ« qĂ« ky shĂ«rbim, duke u derdhur nĂ« prodhim, tĂ« konfigurohet.

Megjithatë, disa nga sistemet tona janë të derdhura në prodhim jo në një vetë, por në disa në të njëjtën kohë. Prandaj, ne vendosëm se do të ishte më e përshtatshme të ruajmë jo konfiguracionet në formën e pastër, por formën e tyre të templatuar. Dhe si gjuhë templatuese ne zgjodhëm jinja 2. Në këtë format ruajmë si konfigurimet e shërbimit, ashtu edhe skedarët env që i duhet atij.
Përveç kësaj, ne vendosëm në repository një skenar-deploy të përbashkët për të gjithë projektet, i cili lejon të ndizni dhe implementoni shërbimin tuaj në prodhim, në mjedisin e duhur, në destinacionin e duhur. Në rast se kthejmë konfigurimin tonë HCL në një model, skedari HCL që më parë ishte një konfigurim i zakonshëm Nomad tani duket disi ndryshe.

Kjo do të thotë se ne zëvendësuam disa variabla vendesh të konfigurimit me vendosje variablash që merren nga skedarët env ose burime të tjera. Përveç kësaj, ne fituam mundësinë për të ndërtuar skedarë HCL në mënyrë dinamike, pra mund të aplikojmë jo vetëm vendosje të zakonshme variablash. Duke qenë se jinja mbështet ciklet dhe kushtet, gjithashtu mund të bëjmë skedarë konfigurimi që ndryshojnë varësisht nga vendi ku e implantoni aplikacionin tuaj.
Për shembull, ju dëshironi të implantoni shërbimin tuaj në përpara-prodhuese dhe në prodhim. Le të themi se në përpara-prodhuese nuk dëshironi të ndizni skriptet cron, por vetëm dëshironi të shihni shërbimin në një domain të veçantë për të siguruar që po funksionon. Për çdo kush që implanton shërbimin, procesi duket shumë i thjeshtë dhe i qartë. Mjafton të ekzekutoni skedarin deploy.sh, të specifikoni se cilin shërbim dëshironi të implantoni dhe në cilin destinacion. Për shembull, dëshironi të implantoni një sistem në Rusi, në Bjellorusi apo në Kazakistan. Për këtë, mjafton të ndërroni një nga parametrat dhe do të krijohet skedari i saktë i konfigurimit.
Kur shërbimi Nomad tashmë është implantuar në klaster, ai duket kështu.

Në fillim, ju nevojitet një balancues i jashtëm që do të pranojë të gjithë trafik-in e përdoruesve. Ai do të funksionojë së bashku me Consul dhe do të mësojë nga ai, ku, në cilën nodë, për cilin adresë IP ndodhet shërbimi konkret që i përgjigjet emrit të caktuar të domainit. Shërbimet në Consul shfaqen nga Nomad vetë. Duke qenë se këto janë produkte të së njëjtës kompani, ato janë të lidhura mirë me njëra-tjetrën. Mund të thuhet se Nomad nga kutia regjistron të gjitha shërbimet e aktivizuara brenda tij në Consul.
Kur pasi balancuesi juaj i jashtĂ«m mĂ«son se nĂ« cilin shĂ«rbim duhet tĂ« drejtojĂ« trafikun, ai e redirekton atĂ« nĂ« tĂ« pĂ«rkatĂ«sin kontejner ose nĂ« disa kontejnerĂ«, tĂ« cilĂ«t i pĂ«rgjigjen aplikacionit tuaj. Natyrisht, Ă«shtĂ« e nevojshme tĂ« mendojmĂ« edhe pĂ«r sigurinĂ«. Edhe pse tĂ« gjithĂ« shĂ«rbimet ekzekutohen nĂ« tĂ« njĂ«jtat makina virtuale nĂ« kontejnerĂ«, zakonisht kĂ«rkohet tĂ« ndalohet qasja e lirĂ« nga çdo shĂ«rbim nĂ« çdo shĂ«rbim tjetĂ«r. KĂ«tĂ« e arritĂ«m pĂ«rmes segmentimit. Ădo shĂ«rbim ishte nĂ« njĂ« rrjet tĂ« vetin virtual, nĂ« tĂ« cilin ishin shkruar rregullat e rrugĂ«zimit dhe rregullat e lejes/ndalimit tĂ« qasjes nĂ« sisteme dhe shĂ«rbime tĂ« tjera. Ato mund tĂ« ishin brenda kĂ«tij klasteri ose jashtĂ« tij. PĂ«r shembull, nĂ«se dĂ«shironi tĂ« ndaloni njĂ« shĂ«rbim qĂ« tĂ« lidhet me njĂ« bazĂ« tĂ« dhĂ«nash tĂ« caktuar, kjo mund tĂ« bĂ«het pĂ«rmes segmentimit nĂ« nivel rrjeti. Pra, ashtu siç thashĂ«, edhe me njĂ« gabim nuk mund tĂ« lidheni rastĂ«sisht nga ambienti testues me bazĂ«n tuaj tĂ« tĂ« dhĂ«nave prodhuese.
Sa na kushtoi procesi i kalimit në aspektin e burimeve njerëzore?
NjĂ« periudhĂ« prej rreth 5-6 muajsh zgjati kalimi i tĂ« gjithĂ« kompanisĂ« nĂ« Nomad. Ne kaluam shĂ«rbim pas shĂ«rbimi, por me njĂ« ritĂ«m mjaft tĂ« shpejtĂ«. Ădo skuadĂ«r duhej tĂ« krijonte kontejnerĂ«t e saj pĂ«r shĂ«rbimet.
Ne kemi pranuar një qasje të tillë, që çdo skuadër është përgjegjëse për imazhet docker të sistemeve të saj në mënyrë të pavarur. DevOps ofron infrastrukturën e përgjithshme të nevojshme për deploy, pra mbështetje për vetë klasterin, mbështetje për sistemin CI etj. Dhe në atë kohë, mbi 60 sisteme ishin transferuar në Nomad, duke arritur rreth 2,000 kontejnerë.
DevOps është përgjegjës për infrastrukturën e përgjithshme të gjithçkaje që lidhet me deploy, me serverët. Ndërsa çdo skuadër zhvillimi, nga ana e saj, është përgjegjëse për implementimin e kontejnerëve për sistemin e saj konkret, pasi vetë skuadra e di se çfarë i nevojitet në atë ose atë kontejner.
Arsyet për refuzimin e Nomad
Cilat janë përfitimet që kemi marrë duke kaluar në deploy me Nomad dhe docker gjithashtu?
- Ne siguruam kushte të barabarta për të gjitha mjediset. Në zhvillim, mjedisin QA, në pra-prodhuese dhe prodhim përdoren të njëjtat image konteinerësh, me të njëjtat varësi. Prandaj, ju praktikisht nuk keni shansin që në prodhim të bëni ndonjë ndryshim nga ajo që keni testuar lokalisht apo në mjedisin e testimit.
- Gjithashtu, ne zbulua mĂ« se lehtĂ« mund tĂ« shtoni njĂ« shĂ«rbim tĂ« ri. Ădo sistem i ri nga perspektiva e deploy-it aktivizohet shumĂ« lehtĂ«. Mjafton tĂ« shkoni nĂ« repository-n qĂ« mban konfigurat e, tĂ« shtoni aty konfigun pĂ«r sistemin tuaj dhe gjithçka Ă«shtĂ« gati. Ju mund tĂ« deploy-oni sistemin tuaj nĂ« prodhim pa pĂ«rpjekje shtesĂ« nga DevOps.
- Të gjitha skedarët konfiguruese në një repository të vetëm shfaqeshin të rishikueshme. Në momentin kur ne deploy-onim sistemet tona përmes serverave virtuale, ne përdorëm Ansible, ku konfigurat ndodheshin në të njëjtin repository. Megjithatë, për shumicën e zhvilluesve, punimi me këtë ishte pak më i ndërlikuar. Këtu volumi i konfigurat dhe kodit që duhet të shtoni për të deploy-uar shërbimin u bë ndjeshëm më i vogël. Plus, për DevOps është shumë e lehtë ta rregullojnë ose ta ndryshojnë atë. Në rast të kalimeve, për shembull, në versionin e ri të Nomad-it, ata mund të marrin dhe të përditësojnë masivisht të gjitha skedarët operativë që ndodhen në të njëjtin vend.
Por përballëm edhe me disa disavantazhe:
E para, ne nuk arritëm të arrinim pa ndonjë problem deploy-et në rastin e Nomad-it. Kur kontejnerët shpërndaheshin nga kushte të ndryshme, mund të ndodhte që ai të ishte aktivizuar dhe Nomad e perceptonte atë si një kontejner të gatshëm për të pranuar trafik. Kjo ndodhte edhe para se aplikacioni brenda tij të kishte mundësinë të aktivizohej. Për këtë arsye, sistemi për një periudhë të shkurtër fillonte të jepte gabime 500, sepse trafiku fillonte të shkonte në kontejnerin që ende nuk ishte i gatshëm ta priste atë.
Ne hasĂ«m ndonjĂ« defekte. Problemi mĂ« i rĂ«ndĂ«sishĂ«m Ă«shtĂ« se Nomad nuk e pĂ«rballon shumĂ« mirĂ« njĂ« klaster tĂ« madh, nĂ«se keni shumĂ« sisteme dhe konteinerĂ«. Kur dĂ«shironi tĂ« nxirrni pĂ«r mirĂ«mbajtje njĂ« nga serverĂ«t qĂ« Ă«shtĂ« pjesĂ« e klasterit Nomad, ka njĂ« probabilitet tĂ« madh qĂ« klasteri tĂ« ketĂ« probleme dhe tĂ« shpĂ«rbĂ«het. Disa nga konteinerĂ«t mund tĂ« bien dhe tĂ« mos ngrihen mĂ« â kjo do t'ju kushtojĂ« shumĂ« nĂ«se tĂ« gjitha sistemet tuaja nĂ« prodhim janĂ« nĂ« klasterin e menaxhuar nga Nomad.
Prandaj, ne vendosëm të mendojmë për hapat e ardhshëm. Në atë moment, ne filluam të kuptonim më mirë se çfarë dëshironim të arrinim. Konkretisht: donim besueshmëri, pak më shumë funksionalitete se ato që ofron Nomad, dhe një sistem më të pjekur, më stabil.
Në këtë aspekt, zgjedhja jonë ra mbi Kubernetes si platforma më popullore për të drejtuar klasterë. Sidomos duke pasur parasysh se madhësia dhe numri i konteinerëve tanë ishin mjaft të mëdha. Për këto qëllime, Kubernetes dukej si sistemi më i përshtatshëm nga ato që mund të shqyrtonim.
Kalimi në Kubernetes
Do të flas pak për konceptet kryesore të Kubernetes dhe se si ato dallojnë nga Nomad.

SĂ« pari, koncepti mĂ« themelor nĂ« Kubernetes Ă«shtĂ« koncepti i pod. Pod â Ă«shtĂ« njĂ« grup i njĂ« ose mĂ« shumĂ« konteinerĂ«ve, tĂ« cilĂ«t ekzekutohen gjithmonĂ« sĂ« bashku. Ato punojnĂ« sikur gjithmonĂ« tĂ« ishin nĂ« njĂ« makinĂ« virtuale. Ato janĂ« tĂ« aksesueshme pĂ«r njĂ«ra-tjetrĂ«n pĂ«rmes IP adresĂ«s 127.0.0.1 nĂ« porte tĂ« ndryshme.
Supozoni se keni njĂ« aplikacion PHP, i cili pĂ«rbĂ«het nga nginx dhe php-fpm â njĂ« skemĂ« klasike. MĂ« shumĂ« gjasa, do tĂ« dĂ«shironit qĂ« dhe konteinerĂ«t nginx dhe php-fpm tĂ« ishin gjithmonĂ« sĂ« bashku. Kubernetes e lejon kĂ«tĂ« pĂ«rmes pĂ«rshkrimit tĂ« tyre si njĂ« pod tĂ« pĂ«rbashkĂ«t. Kjo Ă«shtĂ« pikĂ«risht ajo qĂ« ne nuk mund ta arrinim me Nomad.
Koncepti i dytĂ« Ă«shtĂ« deployment. E vĂ«rteta Ă«shtĂ« se pod vetĂ« â Ă«shtĂ« njĂ« gjĂ« efemere, ajo ngrihet dhe zhduket. A dĂ«shironi ta ndihmoni tĂ« gjithĂ« konteinerĂ«t tuaj tĂ« mĂ«parshĂ«m ose dĂ«shironi t'i lĂ«shoni gradualisht â pikĂ«risht pĂ«r kĂ«tĂ« proces pĂ«rgjigjet koncepti i deployment. Ai pĂ«rshkruan se si e grumbulloni pod-at tuaj, nĂ« sa sasi dhe si t'i rifreskoni ato.
Koncepti i tretë është shërbim. Shërbimi juaj është në thelb sistemi juaj që merr një trafik të caktuar dhe më pas e drejton atë në një ose disa pod-e që përputhen me shërbimin tuaj. Kështu që, ai lejon të thuhet se të gjithë trafiku i ardhshëm në shërbimin me emrin e tillë duhet të dërgohet në këto pod-e të caktuara. Dhe në të njëjtën kohë, ai siguron balancimin e trafikut. Kështu që mund të nisni dy pod-e të aplikacionit tuaj dhe të gjithë trafiku i ardhshëm do të balancohet në mënyrë të barabartë mes pod-eve që lidhen me këtë shërbim.
Dhe koncepti i katĂ«rt kryesor â Ingress. Ky Ă«shtĂ« njĂ« shĂ«rbim qĂ« aktivizohet nĂ« njĂ« klaster Kubernetes. Ai vepron si njĂ« balancues i ngarkesĂ«s jashtĂ«, qĂ« merr tĂ« gjitha kĂ«rkesat. PĂ«rmes API Kubernetes Ingress, ai mund tĂ« pĂ«rcaktojĂ« se ku duhet dĂ«rguar kĂ«to kĂ«rkesa. Dhe e bĂ«n kĂ«tĂ« nĂ« mĂ«nyrĂ« shumĂ« fleksibile. Mund tĂ« thoni se tĂ« gjitha kĂ«rkesat nĂ« kĂ«tĂ« host dhe kĂ«tĂ« URL dĂ«rgohen nĂ« kĂ«tĂ« shĂ«rbim. NdĂ«rsa ato kĂ«rkesa qĂ« vijnĂ« nĂ« kĂ«tĂ« host dhe nĂ« njĂ« URL tjetĂ«r, dĂ«rgohen nĂ« njĂ« shĂ«rbim tjetĂ«r.
Më e shkëlqyera nga pikëpamja e atij që zhvillon aplikacionin është se ju keni mundësinë të menaxhoni gjithçka vetë. Duke vendosur konfigurimin e Ingress, mund të dërgoni gjithë trafikun që vjen në një API të caktuar në kontejnerë të veçantë, të shkruar, për shembull, në Go. Ndërsa ky trafik, që vjen në të njëjtin domen, por në një URL tjetër, dërgohet në kontejnerë të shkruar në PHP, ku ka shumë logjikë, por ata nuk janë shumë të shpejtë.
Nëse e krahasojmë të gjitha këto koncepte me Nomad, mund të thoshim se tre konceptet e para janë së bashku Shërbimi. Ndërsa koncepti i fundit në Nomad është i munguar. Ne përdorëm një balancues të jashtëm për këtë: mund të jetë haproxy, nginx, nginx+ dhe kështu me radhë. Në rastin e kubit, nuk keni nevojë të futni këtë koncept të shtuar veçmas. Megjithatë, nëse shikoni brenda Ingress, atëherë është ose nginx, ose haproxy, ose traefik, por si një funksionalitet i integruar në Kubernetes.
TĂ« gjitha konceptet qĂ« pĂ«rshkrova â nĂ« thelb janĂ« burime qĂ« ekzistojnĂ« brenda klasterit Kubernetes. PĂ«r pĂ«rshkrimin e tyre nĂ« kube pĂ«rdoret formati yaml, mĂ« i lexueshĂ«m dhe mĂ« i njohur se skedarĂ«t HCL nĂ« rastin e Nomad. Por strukturisht ata pĂ«rshkruajnĂ« tĂ« njĂ«jtĂ«n gjĂ« nĂ« rastin e, pĂ«r shembull, pod-it. Ata thonĂ« â dĂ«shiroj tĂ« depozitoj ato pod-e atje, me kĂ«to imazhe, nĂ« kĂ«tĂ« numĂ«r.

Përveç kësaj, ne kuptuam se nuk dëshironim të krijonim manualisht çdo burim të veçantë: deployment, shërbime, Ingress dhe të tjera. Në vend të kësaj, ne donim që gjatë deployment-it të përshkruanim çdo sistem tonin në terminologjinë e Kubernetes, në mënyrë që të mos e kishim të nevojshme të ripërsërisnim manualisht të gjitha varësitë e nevojshme të burimeve në rendin e duhur. Si një sistem që na lejonte ta bënim këtë, u zgjodh Helm.
Koncepte kryesore në Helm
Helm është , një grup utilitarësh standard (binutils, coreutils, netutils, extrautils), shell-in e komandave për Kubernetes. Ai është shumë i ngjashëm me mënyrën se si funksionojnë menaxherët e pakove në gjuhët e programimit. Ata ju lejojnë të ruani një shërbim që përbëhet, për shembull, nga një deployment nginx, një deployment php-fpm, një konfigurim për Ingress, configmaps (kjo është një entitet që ju lejon të përcaktoni env dhe parametra të tjerë për sistemin tuaj) në formën e ashtuquajturve charts. Në këtë rast, Helm funksionon mbi Kubernetes. Pra, kjo nuk është ndonjë sistem që qëndron jashtë, por thjesht një shërbim tjetër që ekzekutohet brenda kubit. Ju ndërveproni me të nëpërmjet API-t të tij përmes komandës në konsolë. Komforti dhe bukuria e tij është se madje edhe nëse helm dështojnë ose e fshini atë nga klasteri, shërbimet tuaja nuk do të zhduken, pasi helm shërben në thelb vetëm për të nisur sistemin. Për funksionimin dhe gjendjen e shërbimeve përgjigjet vetë Kubernetes.
Gjithashtu ne kuptuam se templating, e cila deri tani kishim qenë të detyruar ta bënim vetë përmes integrimit të jinja në konfigurimet tona, është një nga mundësitë kryesore të helm. Të gjitha konfigurimet që krijoni për sistemet tuaja ruhen në helm në formën e shablloneve, disi të ngjashme me jinja, por në të vërtetë përdorin një templating të gjuhës Go, në të cilën është shkruar helm, ashtu si Kubernetes.
Helm na sjell disa koncepte shtesë.
Grafiku â Ă«shtĂ« pĂ«rshkrimi i shĂ«rbimit tuaj. NĂ« menaxherĂ«t e tjerĂ« tĂ« pakove mund ta quajnĂ« atĂ« paketĂ«, bundle ose diçka tĂ« ngjashme. KĂ«tu quhet chart.
Values â janĂ« variablat qĂ« dĂ«shironi tĂ« pĂ«rdorni pĂ«r ndĂ«rtimin e konfigurimeve tuaja nga shabllonet.
ReleaseĂdo herĂ« qĂ« shĂ«rbimi, i cili deploy-het pĂ«rmes helm, merr njĂ« version incremental tĂ« lĂ«shimit. Helm mban mend se cili ka qenĂ« konfigurimi i shĂ«rbimit nĂ« lĂ«shimet e mĂ«parshme. Prandaj, nĂ«se Ă«shtĂ« e nevojshme tĂ« kthehemi prapa, mjafton tĂ« ekzekutojmĂ« komandĂ«n helm callback dhe tĂ« especificojmĂ« versionin e mĂ«parshĂ«m tĂ« lĂ«shimit. Edhe nĂ«se nĂ« momentin e rikthimit, konfigurimi pĂ«rkatĂ«s nuk Ă«shtĂ« i disponueshĂ«m nĂ« depot tuaj, helm akoma do ta mbajĂ« mend si ka qenĂ« dhe do ta kthejĂ« sistemin tuaj nĂ« gjendjen qĂ« kishte nĂ« lĂ«shimin e mĂ«parshĂ«m.
Në rastin kur ne përdorim helm, konfigurimet e zakonshme për Kubernetes gjithashtu shndërrohen në shabllone, ku ka mundësi të përdoren variabla, funksione dhe të aplikohen operatorë kushtorë. Kështu, ju mund të ndërtoni konfigurimin e shërbimit tuaj në varësi të mjedisit.

Në praktikë kemi vendosur të veprojmë pak ndryshe nga si kemi bërë në rastin me Nomad. Nëse në Nomad në një depo ruheshin si konfigurimet për deploy dhe variablat n që nevojiten për të deploy-uar shërbimin tonë, këtu kemi vendosur t'i ndajmë ato në dy depo të veçanta. Në depon "deploy" ruhen vetëm variablat n të nevojshëm për deploy, ndërsa në depon "helm" ruhen konfigurimet ose chartet.

ĂfarĂ« na dha kjo?
Megjithëse në vetë skedat konfiguratore nuk ruajmë ndonjë të dhënë vërtet të ndjeshëm, për shembull, fjalëkalimet për bazat e të dhënave. Ato ruhen në formë secrets në Kubernetes, megjithatë, ka disa elemente për të cilat nuk duam të japim akses për të gjithë. Prandaj, aksesit në depon "deploy" është më i kufizuar, ndërsa depon "helm" përmban thjesht përshkrimin e shërbimit. Për këtë arsye, në të mund të jepet akses në mënyrë të sigurt për më shumë njerëz.
MeqenĂ«se ne kemi jo vetĂ«m prodhimin, por edhe mjedise tĂ« tjera, pĂ«rmes kĂ«tij ndarjeje mund tĂ« ripĂ«rdorim chartet tona helm pĂ«r tĂ« deploy-uar shĂ«rbimet jo vetĂ«m nĂ« prodhim, por edhe, pĂ«r shembull, nĂ« ambientin QA. Edhe pĂ«r tĂ« zhvilluar ato nĂ« mĂ«nyrĂ« lokale, duke pĂ«rdorur Minikube â kjo Ă«shtĂ« njĂ« gjĂ« pĂ«r nisjen lokale tĂ« Kubernetes.
Brenda çdo repozitor ne kemi lĂ«nĂ« ndarjen nĂ« drejtoritĂ« e veçanta pĂ«r çdo shĂ«rbim. KĂ«shtu qĂ« brenda çdo drejtorie ndodhen shabllone qĂ« i pĂ«rkasin chart-it pĂ«rkatĂ«s dhe pĂ«rshkruajnĂ« burimet qĂ« duhet tĂ« vendosen pĂ«r tĂ« nisur sistemin tonĂ«. NĂ« repozitorin "deploy" kemi lĂ«nĂ« vetĂ«m envar. NĂ« kĂ«tĂ« rast, nuk e pĂ«rdorĂ«m shabllonizimin pĂ«rmes jinja, sepse helm vetĂ« ofron shabllonizim nga kuti â kjo Ă«shtĂ« njĂ« nga funksionet e tij kryesore.
Kemi lĂ«nĂ« skenarin pĂ«r vendosjen â deploy.sh, i cili e thjeshtĂ«son dhe standardizon lançimin pĂ«r vendosjen me helmin. KĂ«shtu, pĂ«r çdo person qĂ« dĂ«shiron tĂ« vendosĂ«, ndĂ«rfaqja e vendosjes duket saktĂ«sisht siç ishte nĂ« rastin e vendosjes pĂ«rmes Nomad. I njĂ«jti deploy.sh, emri i shĂ«rbimit tuaj dhe vendi ku dĂ«shironi ta vendosni. Kjo çon nĂ« atĂ« qĂ« helm nis. Ai ngaana e tij mbledh konfigurimet nga shabllonet, i vendos ato nĂ« skedarĂ«t e nevojshĂ«m tĂ« vlerave, pastaj vendos, duke i dĂ«rguar nĂ« Kubernetes.
Përfundimet
Shërbimi Kubernetes duket më i komplikuar se Nomad.

Këtu trafiku dalës vjen në Ingress. Ky është pikërisht kontrolluesi i përparë, i cili merr të gjitha kërkesat dhe më pas i dërgon ato në shërbimet përkatëse për kërkesat. Ai i përcakton ata në bazë të konfigurimeve, të cilat janë pjesë e përshkrimit të aplikacionit tuaj në helm dhe që zhvilluesit i caktuan vetë. Shërbimi pastaj dërgon kërkesat në pod-et e tij, pra në kontejnerët specifik, duke balancuar trafikun e hyrës ndërmjet të gjithë kontejnerëve që i përkasin këtij shërbimi. Dhe, sigurisht, nuk duhet harruar se nga siguria në nivelin e rrjetit, ne nuk duhet të largohemi. Prandaj në klastrin Kubernetes funksionon segmentimi, i cili bazohet në etiketim. Të gjithë shërbimet kanë etiketa të caktuara, të cilat lidhen me të drejtat e aksesit të shërbimeve në burime të ndryshme/ brenda ose jashtë klastri.
Përmes kalimit, ne vëmë re se Kubernetes ka të gjitha aftësitë që kishte Nomad, të cilin ne e përdornim më parë, dhe gjithashtu sjell shumë gjëra të reja. Ai mund të zgjerohet përmes plug-in-ëve, dhe në fakt përmes tipave të personalizuar të burimeve. Kështu që keni mundësinë të mos përdorni vetëm atë që vjen me Kubernetes nga fillimi, por të krijoni burimin dhe shërbimin tuaj, të cilët do të lexojnë burimin tuaj. Kjo ofron mundësi të tjera për zgjerimin e sistemit tuaj pa pasur nevojë për riinstalimin e Kubernetes dhe pa ndryshime të nevojshme.
Një shembull i këtij përdorimi është Prometheus, i cili funksionon brenda klasterit Kubernetes. Për ta bërë atë të fillojë të mbledhë metrika nga një shërbim i caktuar, na nevojitet të shtojmë në përshkrimin e shërbimit një tip të ri burimi, të ashtuquajturin monitor-shërbimi. Prometheus, për shkak se di të lexojë, duke u ekzekutuar në Kubernetes, tipin e personalizuar të burimeve, automatikisht fillon të mbledhë metrika nga sistemi i ri. Kjo është mjaft e përshtatshme.
Deploy-i i parë që bëmë në Kubernetes ishte në mars 2018. Dhe gjatë kësaj kohe ne nuk kemi përjetuar kurrfarë problemi me të. Ai punon mjaft stabilisht pa ndonjë defekt të rëndësishëm. Gjithashtu, ne mund ta zgjerim më tej. Aktualisht, na mjaftojnë ato mundësi që ka, dhe ritmi i zhvillimit të Kubernetes na pëlqen shumë. Në këtë moment, mbi 3000 konteinerë ndodhen në Kubernetes. Klasteri përbëhet nga disa Node. Ndërkohë, ai është i mbështetur, stabil dhe shumë i kontrollueshëm.
Burimi: habr.com
