{"id":33654,"date":"2019-10-31T21:53:58","date_gmt":"2019-10-31T18:53:58","guid":{"rendered":"https:\/\/prohoster.info\/blog\/deploj-prilozhenij-v-vm-nomad-i-kubernetes\/"},"modified":"2019-10-31T21:53:58","modified_gmt":"2019-10-31T18:53:58","slug":"deploj-prilozhenij-v-vm-nomad-i-kubernetes","status":"publish","type":"post","link":"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/deploj-prilozhenij-v-vm-nomad-i-kubernetes","title":{"rendered":"Deployment aplikacija u VM, Nomad i Kubernetes","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Zdravo svima! Moje ime je Pavel Agaletski. Radim kao tim lider u ekipi koja razvija sistem isporuke za Lamodu. Godine 2018. govorio sam na konferenciji HighLoad++, a danas \u017eelim predstaviti transkript svog predavanja.<\/p>\n<p>Moja tema se fokusira na iskustva na\u0161e kompanije u vezi sa deployom sistema i servisa u razli\u010ditim okru\u017eenjima. Po\u010dev\u0161i od na\u0161ih praistorijskih vremena, kada smo sve sisteme deployovali na obi\u010dne virtuelne servere, do postepenog prelaska sa Nomad-a na deploy u Kubernetes. Pri\u010da\u0107u o tome za\u0161to smo to uradili i koje smo probleme imali tokom procesa.<\/p>\n<p><center><div class=\"youtube-placeholder\" data-id=\"oqrb7dWECSo\" onclick=\"loadVideo(this)\">\r\n        <img decoding=\"async\" src=\"https:\/\/img.youtube.com\/vi\/oqrb7dWECSo\/hqdefault.jpg\" alt=\"Igraj video\" loading=\"lazy\" width=\"480\" height=\"360\" style=\"width:100%;height:auto;\">\r\n        <div class=\"play-button\"><\/div>\r\n    <\/div><\/center><noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h1>Deploy aplikacija na VM<\/h1>\n<p>\nDa po\u010dnemo, pre 3 godine svi sistemi i servisi na\u0161e kompanije deployovali su se na obi\u010dne virtuelne servere. Tehni\u010dki, organizovano je tako da je sav kod na\u0161ih sistema bio pohranjen i sastavljen putem automatizovanog sastavljanja, uz pomo\u0107 Jenkins-a. Pomo\u0107u Ansible-a, kod je iz na\u0161eg sistema kontrole verzija razra\u0111ivan na virtuelne servere. Pri tome je svaki sistem koji je bio u na\u0161oj kompaniji deployovan na najmanje 2 servera: jedan je bio head, a drugi tail. Ova dva sistema su bila apsolutno identi\u010dna po svim svojim pode\u0161avanjima, snagama, konfiguracijama i ostalom. Razlika izme\u0111u njih bila je jedino u tome \u0161to je head primao korisni\u010dki saobra\u0107aj, dok tail nikada nije primao korisni\u010dki saobra\u0107aj. <\/p>\n<p>Za\u0161to je to ura\u0111eno? <\/p>\n<p>Kada smo deployovali nove verzije na\u0161e aplikacije, \u017eeleli smo obezbediti mogu\u0107nost be\u0161avne raspodele, bez primetnih posledica za korisnike. To je postignuto tako \u0161to je slede\u0107a sastavljena verzija putem Ansible-a implementirana na tail. Tamo su ljudi koji su se bavili deployem mogli proveriti i uveriti se da je sve u redu: svi metri\u010dki podaci, odeljci i aplikacije rade; pokre\u0107u se potrebni skripti. Tek nakon \u0161to su se uverili da je sve u redu, saobra\u0107aj je preusmeren. Po\u010deo je i\u0107i na onaj server koji je do tada bio tail. A onaj koji je pre toga bio head ostao je bez korisni\u010dkog saobra\u0107aja, ali sa prethodnom verzijom na\u0161e aplikacije.<\/p>\n<p>Na taj na\u010din, korisnicima je to bilo besprijekorno. Jer je prebacivanje trenutna stvar, kao \u0161to je jednostavno prebacivanje balansera. Lako se mo\u017ee vratiti na prethodnu verziju jednostavnim prebacivanjem balansera nazad. Tako\u0111er smo mogli provjeriti sposobnost aplikacije na produkciji prije nego \u0161to korisni\u010dki promet krene, \u0161to je bilo vrlo prakti\u010dno. <\/p>\n<p>Koje smo prednosti vidjeli u svemu ovome?<\/p>\n<ol>\n<li>Prije svega, to je dovoljno <b>jednostavno funkcionira.<\/b> Svima je jasno kako funkcioni\u0161e ovakav na\u010din implementacije, jer su ve\u0107ina ljudi ikada implementirali na obi\u010dnim virtualnim serverima.<\/li>\n<li>To je dovoljno <b>pouzdano<\/b>, jer je tehnologija implementacije jednostavna, isprobana od strane hiljada kompanija. Milioni servera se upravo tako implementiraju. Te\u0161ko je ne\u0161to pokvariti. <\/li>\n<li>I kona\u010dno, mogli smo dobiti <b>atomarne implementacije<\/b>. Implementacije koje se za korisnike doga\u0111aju u trenutku, bez vidljive faze prelaska izme\u0111u stare i nove verzije. <\/li>\n<\/ol>\n<p>\nAli smo u svemu ovome tako\u0111er vidjeli nekoliko nedostataka: <\/p>\n<ol>\n<li>Pored produkcijskog okru\u017eenja, postoji i razvojno okru\u017eenje, kao i druga okru\u017eenja. Na primjer, QA i preprodukcija. U to vrijeme imali smo mnogo servera i oko 60 servisa. Zbog toga je bilo potrebno <b>odr\u017eavati aktuelnu verziju <\/b>virtuelne ma\u0161ine za svaki servis. Osim toga, ako \u017eelite a\u017eurirati biblioteke ili postaviti nove zavisnosti, to morate u\u010diniti u svim okru\u017eenjima. Tako\u0111er je bilo potrebno uskladiti vrijeme kada namjeravate implementirati novu verziju va\u0161e aplikacije s vremenom kada \u0107e devops izvr\u0161iti potrebne postavke okru\u017eenja. U tom slu\u010daju lako mo\u017eete do\u0107i u situaciju u kojoj \u0107e na\u0161e okru\u017eenje malo varirati izme\u0111u svih okru\u017eenja. Na primjer, u QA okru\u017eenju \u0107e biti jedne verzije biblioteka, a u produkciji druge, \u0161to \u0107e dovesti do problema. <\/li>\n<li><b>Kompleksnost u a\u017euriranju zavisnosti<\/b> va\u0161e aplikacije. To ne zavisi od vas, ve\u0107 od drugog tima. Naime, od tima devops, koji odr\u017eava servere. Morate im postaviti odgovaraju\u0107i zadatak i dati opis onoga \u0161to \u017eelite u\u010diniti.<\/li>\n<li>U to vreme smo tako\u0111e \u017eeleli da podelimo velike monolite koje smo imali na male usluge, jer smo shvatili da \u0107e ih biti sve vi\u0161e i vi\u0161e. Ve\u0107 tada smo imali vi\u0161e od 100 njih. Bilo je potrebno za svaku novu uslugu kreirati novu virtuelnu ma\u0161inu, koju je tako\u0111e bilo potrebno odr\u017eavati i implementirati. Pored toga, potrebna su barem dva servera. Sve to dodatno zahteva i QA okru\u017eenje. To izaziva probleme i ote\u017eava vam kreiranje i pokretanje novih sistema. <b>Ovo \u010dini proces slo\u017eenijim, skupljim i du\u017eim.<\/b><\/li>\n<\/ol>\n<p>\nZato smo odlu\u010dili da \u0107e biti lak\u0161e pre\u0107i sa implementacije obi\u010dnih virtuelnih ma\u0161ina na implementaciju na\u0161ih aplikacija u Docker kontejneru. Uz Docker vam je potreban sistem koji mo\u017ee da pokrene aplikaciju u klasteru, jer ne mo\u017eete jednostavno podi\u0107i kontejner. Obi\u010dno \u017eelite da pratite koliko je kontejnera podignuto, kako bi se automatski pokretali. Iz tog razloga, morali smo da izaberemo upravlja\u010dki sistem. <\/p>\n<p>Dugo smo razmi\u0161ljali o tome koju od njih da uzmemo. Problem je bio \u0161to je tada na\u0161 stek za implementaciju na obi\u010dnim virtuelnim serverima bio donekle zastareo, jer su tamo bile starije verzije operativnih sistema. U nekom trenutku je \u010dak bio i FreeBSD, koji je bilo nezgodno odr\u017eavati. Shvatili smo da moramo \u0161to pre migrirati na Docker. Na\u0161 DevOps tim je pregledao svoje postoje\u0107e iskustvo sa raznim re\u0161enjima i izabrao sistem kao \u0161to je Nomad. <\/p>\n<h1>Prelazak na Nomad<\/h1>\n<p>\nNomad je proizvod kompanije \u201cHashiCorp\u201d. Poznati su i po drugim re\u0161enjima:<\/p>\n<p><img decoding=\"async\" alt=\"Deployment aplikacija u VM, Nomad i Kubernetes\" src=\"\/wp-content\/uploads\/2019\/05\/25dfbfe20b92f6e6865bdd8a2f15d8fa.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<b>\u00abConsul\u00bb<\/b> \u2014 to je sredstvo za otkrivanje servisa.<\/p>\n<p><b>\u00abTerraform\u00bb<\/b> \u2014 sistem za upravljanje serverima koji vam omogu\u0107ava da ih konfiguri\u0161ete kroz infrastrukturu kao kod.<\/p>\n<p><b>\u00abVagrant\u00bb<\/b> omogu\u0107ava vam da pokre\u0107ete virtuelne ma\u0161ine lokalno ili u oblaku putem odre\u0111enih datoteka konfiguriacije. <\/p>\n<p>Nomad nam se tada u\u010dinio kao dovoljno jednostavno re\u0161enje na koje mo\u017eemo brzo pre\u0107i bez promene cele infrastrukture. Tako\u0111e, vrlo je lako savladati. Zato smo ga izabrali kao sistem za filtriranje na\u0161eg kontejnera. <\/p>\n<p>\u0160ta je potrebno da biste uop\u0161te implementirali va\u0161 sistem u Nomad? <\/p>\n<ol>\n<li>Pre svega, potreban vam je <b>docker image<\/b> aplikacije. Potrebno je da se sakupi i smesti u skladi\u0161te slika docker. U na\u0161em slu\u010daju, to je artifactory \u2014 sistem koji omogu\u0107ava da se razni artefakti razli\u010ditih tipova postave u njega. Mo\u017ee \u010duvati arhive, docker slike, PHP composer pakete, NPM pakete i tako dalje. <\/li>\n<li>Tako\u0111e je potrebno<b> konfiguracijski fajl<\/b>, koji \u0107e re\u0107i Nomadu \u0161ta, gde i u kojoj koli\u010dini \u017eelite da deploy-ujete. <\/li>\n<\/ol>\n<p>\nKada govorimo o Nomadu, kao format informativnog fajla, koristi HCL jezik, \u0161to se de\u0161ava kao <i>HashiCorp Configuration Language<\/i>. To je nadmno\u017eak nad Yaml-om, koji vam omogu\u0107ava da opi\u0161ete svoj servis u terminima Nomada. <\/p>\n<p><img decoding=\"async\" alt=\"Deployment aplikacija u VM, Nomad i Kubernetes\" src=\"\/wp-content\/uploads\/2019\/05\/bee3d1feedd52249c4325d8a3984a766.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nOmogu\u0107ava da ka\u017eete koliko kontejnera \u017eelite da deploy-ujete, iz kojih slika da im prosledite razne parametre prilikom deploy-a. Tako, vi hranite ovaj fajl Nomadu, a on pokre\u0107e kontejnere prema njemu u produkciji. <\/p>\n<p>U na\u0161em slu\u010daju, shvatili smo da bi pisanje potpuno identi\u010dnih HCL fajlova za svaki servis bilo neprakti\u010dno, jer servisa ima mnogo i ponekad ih \u017eelimo a\u017eurirati. De\u0161ava se da jedan servis nije deploy-ovan u jednom instanci, ve\u0107 u raznim. Na primer, jedan od sistema koji imamo u produkciji ima vi\u0161e od 100 instanci u produkciji. Pokre\u0107u se iz istih slika, ali se razlikuju po konfiguracionim postavkama i konfiguracionim fajlovima. <\/p>\n<p>Zbog toga smo odlu\u010dili da nam je zgodno da sve na\u0161e konfiguracione fajlove za deploy \u010duvamo u jednom zajedni\u010dkom repozitorijumu. Tako postaju pregledni: lako ih je odr\u017eavati i mo\u017ee se videti koje sisteme imamo. U slu\u010daju potrebe, jednostavno je ne\u0161to a\u017eurirati ili promeniti. Dodavanje novog sistema tako\u0111e ne\u0107e biti te\u0161ko \u2014 dovoljno je samo da napravite konfiguracijski fajl unutar nove direktorije. Unutar nje se nalaze fajlovi: service.hcl, koji sadr\u017ei opis na\u0161eg servisa, i neki env-fajlovi koji omogu\u0107avaju da taj servis, nakon deploy-a u produkciju, bude pode\u0161en. <\/p>\n<p><img decoding=\"async\" alt=\"Deployment aplikacija u VM, Nomad i Kubernetes\" src=\"\/wp-content\/uploads\/2019\/05\/c0b0bdb763d3c3bb84fbc9e5dfecff82.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nMe\u0111utim, neki na\u0161i sistemi nisu deploy-ovani u produkciji u jednoj instanci, ve\u0107 odjednom u nekoliko. Zbog toga smo odlu\u010dili da nam bude zgodno da \u010duvamo ne \u010diste konfiguracije, ve\u0107 njihov templaterizovani oblik. Kao jezik za templaterizaciju izabrali smo <i>jinja 2<\/i>. U ovom formatu skladi\u0161timo kako konfiguracije samog servisa, tako i env datoteke potrebne za njega. <\/p>\n<p>Pored toga, stavili smo u repozitorij zajedni\u010dki skript za deployment koji omogu\u0107ava pokretanje i implementaciju va\u0161eg servisa u produkciji, u potrebnom okru\u017eenju i cilju. U slu\u010daju da smo na\u0161 HCL konfiguracijski fajl pretvorili u \u0161ablon, taj HCL fajl, koji je pre bio obi\u010dan konfiguracija Nomad-a, sada izgleda potpuno druga\u010dije.<\/p>\n<p><img decoding=\"async\" alt=\"Deployment aplikacija u VM, Nomad i Kubernetes\" src=\"\/wp-content\/uploads\/2019\/05\/202472f109ba09798d592418b1774a29.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nTo jest, zamenili smo neka varijantna mesta konfiguracije ulo\u017ecima varijabli koje se uzimaju iz env datoteka ili iz drugih izvora. Pored toga, dobili smo mogu\u0107nost dinami\u010dkog sastavljanja HCL fajlova, \u0161to zna\u010di da mo\u017eemo primeniti ne samo obi\u010dne varijabilne ulo\u0161ke. Po\u0161to jinja podr\u017eava petlje i uslove, tako\u0111e mo\u017eemo kreirati konfiguracijske fajlove koji se menjaju u zavisnosti od toga gde ta\u010dno implementirate svoje aplikacije. <\/p>\n<p>Na primer, \u017eelite da implementirate va\u0161 servis u pre-produkciju i u produkciju. Recimo, da u pre-produkciji ne \u017eelite da pokre\u0107ete cron skripte, nego jednostavno \u017eelite da vidite servis na posebnoj domeni kako biste se uverili da funkcioni\u0161e. Za svakoga ko implementira servis, ovaj proces izgleda veoma jednostavno i prozirno. Dovoljno je izvr\u0161iti fajl deploy.sh, navesti koji servis \u017eelite da implementirate i u koji cilj. Na primer, \u017eelite da implementirate neki sistem u Rusiju, Belorusiju ili Kazahstan. Za to je dovoljno samo promeniti jedan od parametara i dobi\u0107ete ispravan konfiguracijski fajl. <\/p>\n<p>Kada je servis Nomad ve\u0107 implementiran u va\u0161 klaster, izgleda ovako.<\/p>\n<p><img decoding=\"async\" alt=\"Deployment aplikacija u VM, Nomad i Kubernetes\" src=\"\/wp-content\/uploads\/2019\/05\/60e2e2b5502936809d643d73c6d853e2.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nPrvo vam je potreban neki vanjski balansirnik koji \u0107e primati sav korisni\u010dki saobra\u0107aj. On \u0107e raditi zajedno sa Consul-om i saznati od njega gde, na kojoj nodu, po kojem <a class=\"wpil_keyword_link\" href=\"https:\/\/prohoster.info\/bs\/lir\/ipv4\/\"   title=\"IP-adresu\" data-wpil-keyword-link=\"linked\"  data-wpil-monitor-id=\"585\">IP-adresu<\/a> se nalazi konkretan servis koji odgovara odre\u0111enom imenu domena. Servisi u Consul-u dolaze direktno iz Nomad-a. Po\u0161to su to proizvodi iste kompanije, oni su dobro me\u0111usobno povezani. Mo\u017ee se re\u0107i da Nomad od samog po\u010detka mo\u017ee registrovati sve servise koje pokre\u0107e unutar Consul-a. <\/p>\n<p>Nakon \u0161to va\u0161 spolja\u0161nji balansirnik saobra\u0107aja sazna na koju uslugu treba da usmeri saobra\u0107aj, preusmerava ga u odgovaraju\u0107i kontejner ili u vi\u0161e kontejnera koji odgovaraju va\u0161oj aplikaciji. Naravno, pritom se mora razmi\u0161ljati i o bezbednosti. Iako se sve usluge pokre\u0107u na istim virtuelnim ma\u0161inama u kontejnerima, obi\u010dno je potrebno zabraniti slobodan pristup iz bilo koje usluge ka bilo kojoj drugoj. To smo postigli segmentacijom. Svaka usluga pokretana je u svojoj virtuelnoj mre\u017ei, na kojoj su postavljena pravila usmeravanja i pravila o odobrenju\/zabrani pristupa drugim sistemima i uslugama. Mogle su se nalaziti kako unutar tog klastera, tako i van njega. Na primer, ako \u017eelite da zabranite usluzi da se pove\u017ee sa odre\u0111enom bazom podataka, to mo\u017eete u\u010diniti putem segmentacije na nivou mre\u017ee. To zna\u010di da \u010dak ni gre\u0161kom ne mo\u017eete slu\u010dajno povezati iz testnog okru\u017eenja sa va\u0161om produkcijskom bazom.<\/p>\n<p>Koliko nas je ko\u0161tao proces prelaska u smislu ljudskih resursa? <\/p>\n<p>Prelazak cele kompanije na Nomad trajao je otprilike 5-6 meseci. Prelazili smo uslugu po uslugu, ali u dovoljno brzom tempu. Svaki tim morao je da kreira svoje vlastite kontejnere za usluge. <\/p>\n<p>Imamo pristup u kojem svaka ekipa sama odgovara za docker slike svojih sistema. DevOps timovi pru\u017eaju zajedni\u010dku infrastrukturu potrebnu za implementaciju, to jest podr\u0161ku samom klasteru, podr\u0161ku CI sistemu itd. I u tom trenutku vi\u0161e od 60 sistema je pre\u0161lo na Nomad, \u0161to \u010dini oko 2.000 kontejnera. <\/p>\n<p>DevOps tim je odgovoran za ukupnu infrastrukturu svega \u0161to je povezano sa implementacijom, sa serverima. Svaka razvojna ekipa, s druge strane, odgovara za implementaciju kontejnera za svoj konkretan sistem, jer upravo ekipa zna \u0161ta joj je potrebno u tom ili onom kontejneru.<\/p>\n<h1>Razlozi za odustajanje od Nomada<\/h1>\n<p>\nKoje smo prednosti ostvarili prelaskom na implementaciju pomo\u0107u Nomada, uklju\u010duju\u0107i i docker?<\/p>\n<ol>\n<li>Mi<b> obezbedili jednake uslove<\/b> za sve okru\u017eenja. U razvoju, QA okru\u017eenju, preprodukciji i produkciji koriste se isti kontejnerski imid\u017ei, sa istim zavisnostima. Tako da prakti\u010dno imate minimalne \u0161anse da u produkciju zavr\u0161i ne\u0161to \u0161to ste prethodno testirali lokalno ili na testnom okru\u017eenju. <\/li>\n<li>Tako\u0111er smo otkrili da je dovoljno <b>lako dodati novu uslugu<\/b>. Sve nove sisteme u smislu implementacije mo\u017eete pokrenuti vrlo jednostavno. Samo idite u repozitorij koji sadr\u017ei konfiguracije, dodajte tu jo\u0161 jednu konfiguraciju za va\u0161 sistem, i sve je spremno. Mo\u017eete implementirati va\u0161 sistem u produkciju bez dodatnog truda od DevOps-a. <\/li>\n<li>Sve <b>konfiguracijske datoteke<\/b> u jednom zajedni\u010dkom repozitoriju <b>su se pokazali preglednima<\/b>. U trenutku kada smo implementirali na\u0161e sisteme pomo\u0107u <a class=\"wpil_keyword_link\" href=\"https:\/\/prohoster.info\/bs\/vps\/\"   title=\"virtualnih servera\" data-wpil-keyword-link=\"linked\"  data-wpil-monitor-id=\"791\">virtualnih servera<\/a>, koristili smo Ansible, u kojem su se konfiguracije nalazile u istom repozitoriju. Me\u0111utim, za ve\u0107inu programera to je bilo malo slo\u017eenije. Tu je obim konfiguracija i koda koji trebate dodati da bi ste implementirali uslugu postao mnogo manji. Pored toga, za DevOps je vrlo lako prilagoditi ili promeniti to. U slu\u010daju prelaza, na primer, na novu verziju Nomad-a, mogu uzeti i masovno a\u017eurirati sve operativne datoteke koje se nalaze na istom mestu.<\/li>\n<\/ol>\n<p>\nAli smo tako\u0111e nai\u0161li na nekoliko nedostataka: <\/p>\n<p>Ispostavilo se da nismo <b>mogli posti\u0107i neprekidnost implementacija <\/b>u slu\u010daju Nomad-a. Prilikom pu\u0161tanja kontejnera iz razli\u010ditih uslova moglo se desiti da je bio aktivan, a Nomad ga je prepoznavao kao spremnog za prihvat saobra\u0107aja. To se de\u0161avalo pre nego \u0161to je aplikacija unutar njega uspela da se pokrene. Iz tog razloga, sistem je na kratak vremenski period po\u010deo da izbacuje 500 gre\u0161ke, jer je saobra\u0107aj po\u010dinjao da ide na kontejner koji jo\u0161 nije bio spreman da ga prihvati. <\/p>\n<p>Nai\u0161li smo na neke <b>gre\u0161ke<\/b>. Najve\u0107i problem je \u0161to Nomad ne reaguje najbolje na velike klastere kada imate mnogo sistema i kontejnera. Kada \u017eelite da stavite jedan od servera koji je uklju\u010den u Nomad klaster u odr\u017eavanje, postoji prili\u010dno velika verovatno\u0107a da \u0107e klaster funkcionisati lo\u0161e i raspasti se. Deo kontejnera mo\u017ee, na primer, pasti i ne podi\u0107i se \u2014 to \u0107e vas kasnije veoma ko\u0161tati ako su svi va\u0161i sistemi u produkciji upravo u klasteru koji upravlja Nomad. <\/p>\n<p>Zato smo odlu\u010dili da razmislimo o tome kuda \u017eelimo i\u0107i dalje. U to vreme smo postali mnogo svesniji onoga \u0161to \u017eelimo da postignemo. Naime: tra\u017eimo pouzdanost, malo vi\u0161e funkcija nego \u0161to nudi Nomad, i zreliji, stabilniji sistem. <\/p>\n<p>U tom smislu, na\u0161 izbor je pao na Kubernetes kao najpopularniju platformu za pokretanje klastera. Posebno s obzirom na to da je veli\u010dina i broj na\u0161ih kontejnera bio dovoljno veliki. Za te svrhe, Kubernetes je delovao kao najprikladniji sistem od onoga \u0161to smo mogli razmotriti. <\/p>\n<h1>Migracija na Kubernetes<\/h1>\n<p>\nMalo \u0107u re\u0107i o tome koja su osnovna pojma u Kubernetesu i kako se razlikuju od Nomad. <\/p>\n<p><img decoding=\"async\" alt=\"Deployment aplikacija u VM, Nomad i Kubernetes\" src=\"\/wp-content\/uploads\/2019\/05\/5723a69309f387e6cc6c5959b62ca18b.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nPrvo i osnovno pojmove u Kubernetesu je pojam pod. <b>Pod<\/b> \u2014 to je grupa jednog ili vi\u0161e kontejnera koja se uvek pokre\u0107e zajedno. Oni rade kao da su uvek striktno na jednoj virtuelnoj ma\u0161ini. Dostupni su jedni drugima putem IP adrese 127.0.0.1 na razli\u010ditim portovima. <\/p>\n<p>Pretpostavimo da imate PHP aplikaciju koja se sastoji od nginx i php-fpm \u2013 klasi\u010dna \u0161ema. Verovatno \u0107ete \u017eeleti da i nginx i php-fpm kontejneri uvek budu zajedno. Kubernetes to omogu\u0107ava tako \u0161to ih opisuje kao jedan zajedni\u010dki pod. To je ono \u0161to nismo mogli posti\u0107i pomo\u0107u Nomada.<\/p>\n<p>Drugi pojam je <b>deployment<\/b>. U stvari, pod je sam po sebi efemerna stvar, ona se pokre\u0107e i nestaje. Da li \u017eelite prvo da ubijete sve va\u0161e prethodne kontejnere, a zatim odmah pokrenete nove verzije ili \u017eelite da ih postepeno uvodite \u2013 upravo za taj proces je odgovoran pojam deployment. On opisuje kako postavljate va\u0161e podele, u kojem broju i kako ih a\u017eurirati. <\/p>\n<p>Tre\u0107i pojam je <b>service<\/b>. Va\u0161 service je zapravo va\u0161 sistem koji prima odre\u0111eni promet, a zatim ga usmjerava na jedan ili vi\u0161e podova koji odgovaraju va\u0161em servisu. To zna\u010di da omogu\u0107ava da se sav dolazni promet za odre\u0111eni servis s odre\u0111enim imenom \u0161alje na konkretno te podove. Pri tom vam osigurava balansiranje prometa. Dakle, mo\u017eete pokrenuti dva poda va\u0161e aplikacije, a sav dolazni promet bit \u0107e ravnomjerno raspore\u0111en izme\u0111u povezanih podova ovog servisa.<\/p>\n<p>I \u010detvrta osnovna pojam \u2014 <b>Ingress<\/b>. To je servis koji se pokre\u0107e u Kubernetes klasteru. On djeluje kao vanjski balansirnik optere\u0107enja koji preuzima sve zahtjeve. Zahvaljuju\u0107i API-ju Kubernetes Ingress mo\u017ee odrediti kamo te zahtjeve treba poslati. A to radi vrlo fleksibilno. Mo\u017eete re\u0107i da sve zahtjeve za ovu domenu i odre\u0111eni URL \u0161aljemo na ovaj servis. A ove zahtjeve, koji dolaze na ovu domenu i na drugi URL \u0161aljemo na drugi servis. <\/p>\n<p>Najbolje iz perspektive onoga tko razvija aplikaciju \u2014 je to \u0161to mo\u017eete tim svime upravljati samostalno. Postavljaju\u0107i konfiguraciju Ingress, mo\u017eete sav promet koji dolazi na odre\u0111eni API slati na odvojene kontejnere, napisane, na primjer, na Go. A ovaj promet, koji dolazi na istu domenu, ali na drugi URL, slati na kontejnere napisane u PHP, gdje ima puno logike, ali nisu ba\u0161 brzi.<\/p>\n<p>Ako usporedite sve te pojmove s Nomadom, mo\u017ee se re\u0107i da su prva tri pojma zajedno Service. A posljednji pojam u samom Nomadu ne postoji. Umjesto toga koristili smo vanjski balansirnik: to mo\u017ee biti haproxy, nginx, nginx+ i tako dalje. U slu\u010daju kuberneta ne trebate posebno uvoditi ovaj dodatni pojam. Me\u0111utim, ako pogledate Ingress iznutra, to je ili nginx, ili haproxy, ili traefik, ali kao ugra\u0111eni u Kubernetes. <\/p>\n<p>Sva opisana pojmova su, u su\u0161tini, resursi koji postoje unutar Kubernetes klastera. Za njihovo opisivanje u kubernetesu koristi se yaml-format, koji je \u010ditljiviji i poznatiji nego HCL-fajlovi u slu\u010daju Nomada. Ali strukturno opisuju u slu\u010daju, na primjer, poda isto. Ka\u017eu \u2014 \u017eelim implementirati takve podove ovamo, s takvim imad\u017eima, u takvom broju. <\/p>\n<p><img decoding=\"async\" alt=\"Deployment aplikacija u VM, Nomad i Kubernetes\" src=\"\/wp-content\/uploads\/2019\/05\/13836e7474b377a5e6b05112a53bfedd.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nOsim toga, shvatili smo da ne \u017eelimo ru\u010dno kreirati svaki pojedina\u010dni resurs: deployment, servise, Ingress i sli\u010dno. Umjesto toga, \u017eeljeli smo prilikom implementacije opisivati svaki na\u0161 sistem koriste\u0107i terminologiju Kubernetes-a, kako ne bismo morali ru\u010dno ponovno kreirati sve potrebne zavisnosti resursa u pravom redoslijedu. Kao takav sistem, koji nam je omogu\u0107io ovo, izabran je Helm. <\/p>\n<h1>Osnovni pojmovi u Helmu<\/h1>\n<p>\nHelm je <b>menad\u017eer paketa<\/b> za Kubernetes. Veoma je sli\u010dan onome kako rade menad\u017eeri paketa u programskim jezicima. Omogu\u0107ava vam da pohranite servis koji se sastoji, na primjer, od deployment-a nginx, deployment-a php-fpm, konfiguracije za Ingress, configmaps (to je entitet koji vam omogu\u0107ava da postavite env i druge parametre za va\u0161 sistem) u obliku takozvanih chartova. Pri tome Helm <b>radi iznad Kubernetesa<\/b>. Dakle, to nije neka sistem vani, ve\u0107 jednostavno jo\u0161 jedan servis koji se pokre\u0107e unutar klastera. Sa njim komunicirate preko njegovog API-ja putem komandne linije. Njegova pogodnost i dra\u017e sastoji se u tome \u0161to, \u010dak i ako Helm ne uspe ili ga obri\u0161ete iz klastera, va\u0161i servisi ne\u0107e nestati, jer Helm zapravo slu\u017ei samo za pokretanje sistema. Za funkcionalnost i stanje servisa dalje odgovara sam Kubernetes. <\/p>\n<p>Tako\u0111e smo shvatili da <b>\u0161ablonizacija<\/b>, koju smo ranije morali raditi sami kroz uvo\u0111enje jinja u na\u0161e konfiguracije, jeste jedna od osnovnih funkcionalnosti Helma. Svi konfiguracijski fajlovi koje kreirate za va\u0161e sisteme, \u010duvaju se u Helmu u obliku \u0161ablona, koji su pomalo sli\u010dni jinja, ali zapravo koriste \u0161ablonizaciju jezika Go, na kojem je Helm napisan, kao i Kubernetes. <\/p>\n<p>Helm nam dodaje jo\u0161 nekoliko dodatnih pojmova. <\/p>\n<p><b>Chart<\/b> je opis va\u0161eg servisa. U drugim menad\u017eerima paketa nazvali bi to paket, bundle ili ne\u0161to sli\u010dno. Ovde se to naziva chart. <\/p>\n<p><b>Values <\/b>su varijable koje \u017eelite koristiti za sastavljanje va\u0161ih konfiguracija iz \u0161ablona. <\/p>\n<p><b>Release<\/b>. Svaki put kada se servis koji se implementira putem helma dobije inkrementalnu verziju izdanja. Helm pamti koji je bio konfiguracija servisa prilikom prethodnog, pretprethodnog izdanja i tako dalje. Dakle, ako je potrebno vratiti se, dovoljno je izvr\u0161iti komandu helm callback, navode\u0107i prethodnu verziju izdanja. \u010cak i ako u trenutku vra\u0107anja odgovaraju\u0107a konfiguracija u va\u0161em repozitoriju nije dostupna, helm i dalje pamti kakva je bila i vrati\u0107e va\u0161 sistem u stanje u kojem je bio tokom prethodnog izdanja. <\/p>\n<p>U slu\u010daju kada koristimo helm, obi\u010dne konfiguracije za Kubernetes tako\u0111e se pretvaraju u \u0161ablone, u kojima postoji mogu\u0107nost kori\u0161\u0107enja promenljivih, funkcija, primene uslovnih operatora. Na taj na\u010din, mo\u017eete sastaviti konfiguraciju va\u0161eg servisa u zavisnosti od okru\u017eenja.<\/p>\n<p><img decoding=\"async\" alt=\"Deployment aplikacija u VM, Nomad i Kubernetes\" src=\"\/wp-content\/uploads\/2019\/05\/b70ba431211038eacf911ba3aee22363.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nU praksi smo odlu\u010dili da postupimo malo druga\u010dije nego \u0161to smo radili u slu\u010daju sa Nomadom. Ako su u Nomadu u jednom repozitoriju bile pohranjene i konfiguracije za implementaciju, i n-promene potrebne za implementaciju na\u0161eg servisa, ovde smo odlu\u010dili da ih podelimo na dva odvojena repozitorija. U repozitorijumu \u201edeploy\u201c \u010duvaju se samo n-promene potrebne za implementaciju, dok u repozitorijumu \u201ehelm\u201c stoje konfiguracije ili chartovi.<\/p>\n<p><img decoding=\"async\" alt=\"Deployment aplikacija u VM, Nomad i Kubernetes\" src=\"\/wp-content\/uploads\/2019\/05\/4add11a8f9d9a9244127f0b07d027fa2.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n\u0160ta nam to daje? <\/p>\n<p>Iako u samim konfiguracionim datotekama ne \u010duvamo stvarno osetljive podatke. Na primer, lozinke za baze podataka. One se \u010duvaju u obliku tajni u Kubernetes-u, ali i dalje postoje posebne stvari kojima ne \u017eelimo da daju pristup svima. Zato je pristup repozitorijumu \u201edeploy\u201c ograni\u010deniji, dok repozitorijum \u201ehelm\u201c sadr\u017ei samo opis servisa. Iz tog razloga, u njega se mo\u017ee bezbedno dati pristup ve\u0107em broju lica. <\/p>\n<p>Budu\u0107i da imamo ne samo produkciju, ve\u0107 i druga okru\u017eenja, zahvaljuju\u0107i ovom razdvajanju mo\u017eemo ponovo koristiti na\u0161e helm-chartove za implementaciju servisa ne samo u produkciji, ve\u0107 i, na primer, u QA-okru\u017eenju. \u010cak i za to da ih postavimo lokalno, koriste\u0107i <i>Minikube<\/i> \u2014 to je stvar za lokalno pokretanje Kubernetesa. <\/p>\n<p>Unutar svake repozitorije smo ostavili razdvojene direktorije za svaku uslugu. To zna\u010di da unutar svake direktorije postoje \u0161abloni koji se odnose na odgovaraju\u0107i grafikon i opisuju resurse koje je potrebno postaviti za pokretanje na\u0161eg sistema. U repozitoriju \u201edeploy\u201c ostavili smo samo envs. U ovom slu\u010daju nismo koristili \u0161ablonizaciju putem jinja, jer helm sam po sebi pru\u017ea \u0161ablonizaciju iz kutije - to je jedna od njegovih osnovnih funkcija. <\/p>\n<p>Ostavili smo skriptu za postavljanje - deploy.sh, koja pojednostavljuje i standardizuje pokretanje za postavljanje putem helma. Tako, za nekoga ko \u017eeli da postavi, interfejs postavljanja izgleda jednako kao u slu\u010daju postavljanja putem Nomada. Isti deploy.sh, naziv va\u0161e usluge, i mesto gde \u017eelite da je postavite. To dovodi do toga da unutar pokretanja se pokre\u0107e helm. On zauzvrat prikuplja konfiguracije iz \u0161ablona, ubacuje potrebne values-fajlove, zatim postavlja, \u0161alju\u0107i ih u Kubernetes. <\/p>\n<h1>Zaklju\u010dci<\/h1>\n<p>\nKubernetes usluga izgleda slo\u017eenije od Nomada. <\/p>\n<p><img decoding=\"async\" alt=\"Deployment aplikacija u VM, Nomad i Kubernetes\" src=\"\/wp-content\/uploads\/2019\/05\/5a9b5636ab4721acde096fea986ba38b.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nOvde izlazni saobra\u0107aj dolazi u Ingress. To je upravo front-kontroler koji preuzima sve zahteve i kasnije ih \u0161alje odgovaraju\u0107im uslugama prema podacima zahteva. On ih odre\u0111uje na osnovu konfiguracija koje su deo opisa va\u0161e aplikacije u helmu i koje programeri sami defini\u0161u. Usluga zatim \u0161alje zahteve ka svojim podovima, tj. konkretno kontejnerima, balansiraju\u0107i ulazni saobra\u0107aj izme\u0111u svih kontejnera koji pripadaju toj usluzi. I naravno, ne treba zaboraviti na to da na nivou mre\u017ene sigurnosti ne smemo odustajati. Zato u Kubernetes klasteru funkcioni\u0161e segmentacija zasnovana na ozna\u010davanju. Sve usluge imaju odre\u0111ene oznake, na koje su vezana prava pristupa usluga tim ili onim spoljnim\/unutra\u0161njim resursima unutar ili van klastera. <\/p>\n<p>Prilikom prelaska, uo\u010dili smo da Kubernetes ima sve mogu\u0107nosti koje je imao Nomad, koji smo ranije koristili, kao i mnoge nove mogu\u0107nosti. Mo\u017ee se pro\u0161iriti putem dodataka, zapravo putem prilago\u0111enih tipova resursa. To zna\u010di da imate mogu\u0107nost ne samo da koristite ne\u0161to \u0161to dolazi u Kubernetesu iz kutije, ve\u0107 i da kreirate vlastiti resurs i servis koji \u0107e \u010ditati va\u0161 resurs. To pru\u017ea dodatne mogu\u0107nosti za pro\u0161irenje va\u0161eg sistema bez potrebne ponovne instalacije Kubernetesa i bez potrebnih izmena. <\/p>\n<p>Primer takve upotrebe je Prometheus, koji se pokre\u0107e unutar na\u0161eg Kubernetes klastera. Da bi po\u010deo da prikuplja metrike sa odre\u0111enog servisa, potrebno je dodati dodatni tip resursa u opis servisa, takozvani servis-monitor. Prometheus, zbog svoje sposobnosti da \u010dita prilago\u0111ene tipove resursa kada je pokrenut u Kubernetesu, automatski po\u010dinje da prikuplja metrike iz novog sistema. To je prili\u010dno prakti\u010dno. <\/p>\n<p>Prvi deploy koji smo uradili u Kubernetesu bio je u martu 2018. godine. Tokom tog vremena nikada nismo imali problema sa njim. Dosta stabilno funkcioni\u0161e bez zna\u010dajnih gre\u0161aka. Pored toga, mo\u017eemo ga dalje pro\u0161irivati. Do danas, dovoljno su nam mogu\u0107nosti koje imamo, a brzina razvoja Kubernetesa nam se veoma dopada. Trenutno se vi\u0161e od 3000 kontejnera nalazi u Kubernetessu. Klaster se sastoji od nekoliko Node-ova. Pri tome, to je servisiran, stabilan i veoma kontrolisan.<br \/>\n<br \/>Izvor: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/lamoda\/blog\/451644\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041f\u0430\u0432\u0435\u043b \u0410\u0433\u0430\u043b\u0435\u0446\u043a\u0438\u0439. \u042f \u0440\u0430\u0431\u043e\u0442\u0430\u044e \u0442\u0438\u043c\u043b\u0438\u0434\u043e\u043c \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438 Lamoda. \u0412 2018 \u0433\u043e\u0434\u0443 \u044f \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u043b \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 HighLoad++, \u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u0445\u043e\u0447\u0443 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u043a\u0443 \u0441\u0432\u043e\u0435\u0433\u043e \u0434\u043e\u043a\u043b\u0430\u0434\u0430. \u041c\u043e\u044f \u0442\u0435\u043c\u0430 \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u0430 \u043e\u043f\u044b\u0442\u0443 \u043d\u0430\u0448\u0435\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u043f\u043e \u0434\u0435\u043f\u043b\u043e\u044e \u0441\u0438\u0441\u0442\u0435\u043c \u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u0432 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0440\u0435\u0434\u044b. \u041d\u0430\u0447\u0438\u043d\u0430\u044f \u043e\u0442 \u043d\u0430\u0448\u0438\u0445 \u0434\u043e\u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0432\u0440\u0435\u043c\u0435\u043d, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0434\u0435\u043f\u043b\u043e\u0438\u043b\u0438 \u0432\u0441\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":25343,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33654","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.5.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041f\u0430\u0432\u0435\u043b \u0410\u0433\u0430\u043b\u0435\u0446\u043a\u0438\u0439. \u042f \u0440\u0430\u0431\u043e\u0442\u0430\u044e \u0442\u0438\u043c\u043b\u0438\u0434\u043e\u043c \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438 Lamoda.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/deploj-prilozhenij-v-vm-nomad-i-kubernetes\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.5.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"bs_BA\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u0414\u0435\u043f\u043b\u043e\u0439 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0432 VM, Nomad \u0438 Kubernetes | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041f\u0430\u0432\u0435\u043b \u0410\u0433\u0430\u043b\u0435\u0446\u043a\u0438\u0439. \u042f \u0440\u0430\u0431\u043e\u0442\u0430\u044e \u0442\u0438\u043c\u043b\u0438\u0434\u043e\u043c \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438 Lamoda.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/deploj-prilozhenij-v-vm-nomad-i-kubernetes\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T18:53:58+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T18:53:58+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Deploy aplikacija u VM, Nomad i Kubernetes | ProHoster","description":"Pozdrav svima! Ja sam Pavel Agaletskiy. Radim kao tim lider u timu koji razvija Lamoda sistem isporuke.","canonical_url":"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/deploj-prilozhenij-v-vm-nomad-i-kubernetes","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"bs_BA","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0414\u0435\u043f\u043b\u043e\u0439 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0432 VM, Nomad \u0438 Kubernetes | ProHoster","og:description":"\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041f\u0430\u0432\u0435\u043b \u0410\u0433\u0430\u043b\u0435\u0446\u043a\u0438\u0439. \u042f \u0440\u0430\u0431\u043e\u0442\u0430\u044e \u0442\u0438\u043c\u043b\u0438\u0434\u043e\u043c \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0438 Lamoda.","og:url":"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/deploj-prilozhenij-v-vm-nomad-i-kubernetes","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:53:58+00:00","article:modified_time":"2019-10-31T18:53:58+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33654","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-02-08 20:38:40","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:36:34","updated":"2026-02-08 20:38:40","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts\/33654","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/comments?post=33654"}],"version-history":[{"count":2,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts\/33654\/revisions"}],"predecessor-version":[{"id":157982,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts\/33654\/revisions\/157982"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/media\/25343"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/media?parent=33654"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/categories?post=33654"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/tags?post=33654"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}