{"id":94977,"date":"2020-09-24T07:43:00","date_gmt":"2020-09-24T05:43:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/nashi-vyvody-za-god-migraczii-gitlab-com-na-kubernetes"},"modified":"2020-09-24T07:43:00","modified_gmt":"2020-09-24T05:43:00","slug":"nashi-vyvody-za-god-migraczii-gitlab-com-na-kubernetes","status":"publish","type":"post","link":"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/nashi-vyvody-za-god-migraczii-gitlab-com-na-kubernetes","title":{"rendered":"Na\u0161i zaklju\u010dci o godini migracije GitLab.com na Kubernetes","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><i><b>Napomena prev.<\/b>: adaptacija Kubernetes-a u GitLab-u se smatra jednim od dva glavna faktora koji doprinose rastu kompanije. Ipak, do nedavno, infrastruktura online servisa GitLab.com je bila izgra\u0111ena na virtuelnim ma\u0161inama, a migracija na K8s je po\u010dela pre otprilike godinu dana i jo\u0161 uvek nije zavr\u0161ena. Rado vam predstavljamo prevod nedavne \u010dlanka SRE in\u017eenjera GitLab-a o tome kako se to odvija i koje zaklju\u010dke donose in\u017eenjeri uklju\u010deni u projekat.<\/i><\/p>\n<p><img decoding=\"async\" alt=\"Na\u0161i zaklju\u010dci o godini migracije GitLab.com na Kubernetes\" src=\"\/wp-content\/uploads\/2020\/09\/58429abf60cd19a49c5ce593051c2fca.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nVe\u0107 skoro godinu dana na\u0161e infrastrukturno odeljenje se bavi migracijom svih servisa koji rade na GitLab.com u Kubernetes. Tokom ovog perioda suo\u010dili smo se s problemima koji su se odnosili ne samo na premje\u0161tanje servisa u Kubernetes, ve\u0107 i na upravljanje hibridnim deploymentom tokom prelaska. O dragocenim lekcijama koje smo nau\u010dili, bi\u0107e re\u010di u ovom \u010dlanku.<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Od samog po\u010detka, GitLab.com je njegovo servere radilo u oblaku na virtuelnim ma\u0161inama. Ove virtuelne ma\u0161ine upravlja Chef, a njihova instalacija se vr\u0161i putem na\u0161eg <noindex><a rel=\"nofollow\" href=\"https:\/\/about.gitlab.com\/install\/#ubuntu\">slu\u017ebenog Linux paketa<\/a><\/noindex>. <noindex><a rel=\"nofollow\" href=\"https:\/\/gitlab.com\/gitlab-org\/release\/docs\/-\/blob\/master\/general\/deploy\/gitlab-com-deployer.md\">Strategija razme\u0161tanja<\/a><\/noindex> u slu\u010daju potrebe za a\u017euriranjem aplikacije, sastoji se u jednostavnom a\u017euriranju parka servera koordinaranim redom putem CI pipeline-a. Ova metoda \u2014 iako spora i pomalo <noindex><a rel=\"nofollow\" href=\"https:\/\/about.gitlab.com\/handbook\/values\/#boring-solutions\">dosadna<\/a><\/noindex> \u2014 garantuje da GitLab.com koristi iste metode instalacije i konfiguracije kakve koriste korisnici autonomnih <i>(self-managed)<\/i> instalacija GitLab-a, koji za to koriste na\u0161e Linux pakete.<\/p>\n<p>Koristimo ovu metodu jer je izuzetno va\u017eno osetiti sve patnje i radosti koje pro\u017eivljavaju obi\u010dni \u010dlanovi zajednice kada instaliraju i konfiguri\u0161u svoje kopije GitLab-a. Ovaj pristup je dobro funkcionisao odre\u0111eno vreme, me\u0111utim, kada je broj projekata na GitLab-u pre\u0161ao 10 miliona, shvatili smo da vi\u0161e ne zadovoljava na\u0161e potrebe za skaliranjem i razme\u0161tanjem.<\/p>\n<h2>Prvi koraci ka Kubernetes-u i cloud-native GitLab-u<\/h2>\n<p>\nU 2017. godini pokrenut je projekat <noindex><a rel=\"nofollow\" href=\"https:\/\/gitlab.com\/gitlab-org\/charts\">GitLab Charts<\/a><\/noindex> za pripremu GitLaba za implementaciju u oblaku, kao i kako bismo pru\u017eili korisnicima mogu\u0107nost instalacije GitLaba u Kubernetes klastere. Tada smo znali da \u0107e premje\u0161tanje GitLaba u Kubernetes pove\u0107ati mogu\u0107nosti skaliranja SaaS platforme, pojednostaviti implementacije i pobolj\u0161ati efikasnost kori\u0161tenja ra\u010dunalnih resursa. U isto vrijeme, mnoge funkcije na\u0161e aplikacije zavisile su od montiranih NFS particija, \u0161to je usporavalo prelazak sa virtuelnih ma\u0161ina.<\/p>\n<p>Te\u017enja ka cloud native i Kubernetes omogu\u0107ila je na\u0161im in\u017eenjerima da planiraju postepeni prelaz, tokom kojeg smo se odrekli nekih zavisnosti aplikacije od mre\u017enih skladi\u0161ta, nastavljaju\u0107i istovremeno razvijati nove funkcije. Otkako smo po\u010deli planirati migraciju ljeta 2019. godine, mnoga od ovih ograni\u010denja su uklonjena, a proces prevo\u0111enja GitLab.com na Kubernetes sada ide punom brzinom!<\/p>\n<h2>Karakteristike rada GitLab.com u Kubernetesu<\/h2>\n<p>\nZa GitLab.com koristimo jedinstveni regionalni klaster GKE koji obra\u0111uje sav aplikativni saobra\u0107aj. Da bismo minimizirali slo\u017eenost (koja je i ina\u010de velika) migracije, fokusiramo se na servise koji ne zavise od lokalnog skladi\u0161ta ili NFS. GitLab.com prete\u017eno koristi monolitnu kodnu bazu na Rails-u, a saobra\u0107aj usmeravamo u zavisnosti od karakteristika radnog optere\u0107enja na razli\u010dite endpoint-ove, izolovane u svoje vlastite grupe \u010dvorova.<\/p>\n<p>U slu\u010daju frontenda, ovi tipovi se dele na zahteve za web, API, Git SSH\/HTTPS i Registry. U slu\u010daju backend-a, razdvajamo job-ove u redovima prema razli\u010ditim karakteristikama u zavisnosti od <noindex><a rel=\"nofollow\" href=\"https:\/\/about.gitlab.com\/blog\/2020\/06\/24\/scaling-our-use-of-sidekiq\/\">predefinisanih granica resursa<\/a><\/noindex>, koje nam omogu\u0107avaju da postavimo ciljeve nivoa usluga (Service-Level Objectives, SLOs) za razli\u010dita optere\u0107enja.<\/p>\n<p>Svi ovi servisi GitLab.com su pode\u0161eni pomo\u0107u nemodifikovanog Helm grafi\u010dkog \u010darta GitLab. Konfiguracija se provodi u sub\u010dartovima, koji mogu biti selektivno uklju\u010deni kako se postepeno prebacujemo na klaster. \u010cak i uz odluku da se neki od na\u0161ih stateful servisa, kao \u0161to su Redis, Postgres, GitLab Pages i Gitaly, ne uklju\u010duju u migraciju, kori\u0161tenje Kubernetesa omogu\u0107ava drasti\u010dno smanjenje broja VM-ova kojima trenutno upravlja Chef.<\/p>\n<h2>Transparentnost i upravljanje konfiguracijom Kubernetesa<\/h2>\n<p>\nSve postavke se upravljaju samim GitLab-om. Za to se koriste tri konfiguracijska projekta zasnovana na Terraform-u i Helm-u. Trudimo se da svuda gde je to mogu\u0107e koristimo sam GitLab za pokretanje GitLab-a, ali za operativne zadatke imamo posebnu instalaciju GitLab-a. Ona je potrebna kako bismo zavisili od dostupnosti GitLab.com prilikom sprovo\u0111enja implementacija i a\u017euriranja GitLab.com.<\/p>\n<p>Iako na\u0161i pipelini za Kubernetes klaster rade na odvojenoj instalaciji GitLab-a, repozitoriji koda imaju oglede, javno dostupne na slede\u0107im adresama:<\/p>\n<ul>\n<li> <noindex><a rel=\"nofollow\" href=\"https:\/\/gitlab.com\/gitlab-com\/gl-infra\/k8s-workloads\/gitlab-com\">k8s-workloads\/gitlab-com<\/a><\/noindex> \u2014 konfiguracijska obloga GitLab.com za Helm grafikon GitLab-a;<\/li>\n<li> <noindex><a rel=\"nofollow\" href=\"https:\/\/gitlab.com\/gitlab-com\/gl-infra\/k8s-workloads\/gitlab-helmfiles\/\">k8s-workloads\/gitlab-helmfiles<\/a><\/noindex> \u2014 sadr\u017ei konfiguracije za usluge koje nisu direktno povezane sa aplikacijom GitLab. To uklju\u010duje konfiguracije za vo\u0111enje evidencije i pra\u0107enje klastera, kao i za integrisane alate kao \u0161to je PlantUML;<\/li>\n<li> <noindex><a rel=\"nofollow\" href=\"https:\/\/gitlab.com\/gitlab-com\/gitlab-com-infrastructure\">Gitlab-com-infrastructure<\/a><\/noindex> \u2014 Terraform konfiguracija za Kubernetes i staru (legacy) VM infrastrukturu. Ovde se pode\u0161avaju svi resursi potrebni za pokretanje klastera, uklju\u010duju\u0107i sam klaster, grupe \u010dvorova, naloge servisa, rezervisanje IP adresa.<\/li>\n<\/ul>\n<p>\n<img decoding=\"async\" alt=\"Na\u0161i zaklju\u010dci o godini migracije GitLab.com na Kubernetes\" src=\"\/wp-content\/uploads\/2020\/09\/612125403171d73106a081bf4244a52b.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Prilikom izmene prikazuje se javna <\/i><noindex><a rel=\"nofollow\" href=\"https:\/\/gitlab.com\/gitlab-com\/gl-infra\/k8s-workloads\/gitlab-com\/-\/merge_requests\/315#note_390180361\"><i>kratka rezime<\/i><\/a><\/noindex><i> sa linkom na detaljni diff, koji SRE analizira pre nego \u0161to izvr\u0161i promene u klasteru.<\/i><\/p>\n<p>Za SRE link vodi na detaljan diff u instalaciji GitLab-a koja se koristi za operacije i kojoj je pristup ograni\u010den. To omogu\u0107ava zaposlenima i zajednici bez pristupa operativnom projektu (koji je otvoren samo za SRE) da pregledaju predlo\u017eene izmene u konfiguraciji. Kombinovanjem javnog primera GitLab-a za kod s privatnim primerom za CI pipeline-ove, zadr\u017eavamo jedinstven radni proces, istovremeno osiguravaju\u0107i nezavisnost od GitLab.com prilikom a\u017euriranja konfiguracije.<\/p>\n<h2>\u0160ta smo saznali tokom migracije<\/h2>\n<p>\nTokom preseljenja ste\u010deno je iskustvo koje primenjujemo na nove migracije i rasporede u Kubernetesu.<\/p>\n<h3>1. Pove\u0107anje tro\u0161kova zbog saobra\u0107aja izme\u0111u zona dostupnosti<\/h3>\n<p>\n<img decoding=\"async\" alt=\"Na\u0161i zaklju\u010dci o godini migracije GitLab.com na Kubernetes\" src=\"\/wp-content\/uploads\/2020\/09\/3dce44b3f803ffcea13e0101e7343d91.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Dnevna egress statistika (bajtova dnevno) za skup Git repozitorija na GitLab.com<\/i><\/p>\n<p>Google dijeli svoju mre\u017eu na regione. Ovi se dalje razdvajaju na zone dostupnosti (AZ). Git hosting povezan je sa velikim koli\u010dinama podataka, stoga nam je va\u017eno kontrolisati mre\u017eni egress. U slu\u010daju unutra\u0161njeg prometa, egress je besplatan samo ako ostaje unutar jedne zone dostupnosti. U trenutku pisanja ovog \u010dlanka, predajemo otprilike 100 TB podataka na obi\u010dan radni dan (i to je samo za Git repozitorije). Usluge koje su u na\u0161oj staroj topologiji, temeljene na VM-u, bile su na istim virtuelnim ma\u0161inama, sada rade u razli\u010ditim podovima Kubernetes-a. To zna\u010di da odre\u0111eni deo prometa, koji je ranije bio lokalni za VM, potencijalno mo\u017ee izlaziti izvan zona dostupnosti.<\/p>\n<p>Regionalni GKE klasteri omogu\u0107avaju pokrivanje vi\u0161e zona dostupnosti radi rezervacije. Razmatramo mogu\u0107nost <noindex><a rel=\"nofollow\" href=\"https:\/\/gitlab.com\/gitlab-com\/gl-infra\/delivery\/-\/issues\/1175\">razdvajanja regionalnog GKE klastera na jednonazovne klastere<\/a><\/noindex> za usluge koje generiraju velike koli\u010dine prometa. To \u0107e smanjiti tro\u0161kove egressa, dok \u0107e zadr\u017eati rezervacije na razini klastera.<\/p>\n<h3>2. Limit'i, request'i resursa i skaliranje<\/h3>\n<p>\n<img decoding=\"async\" alt=\"Na\u0161i zaklju\u010dci o godini migracije GitLab.com na Kubernetes\" src=\"\/wp-content\/uploads\/2020\/09\/6e2e1ca4d37666b49358d94cd8660c56.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Broj replika koje obra\u0111uju produkcijski promet na registry.gitlab.com. Promet dosti\u017ee svoj vrhunac u ~15:00 UTC.<\/i><\/p>\n<p>Na\u0161a pri\u010da o migraciji po\u010dela je u avgustu 2019. godine, kada smo premjestili prvu uslugu \u2014 registrovanu posudu GitLab (GitLab Container Registry) \u2014 u Kubernetes. Ova kriti\u010dno va\u017ena usluga sa visokim prometom bila je dobra za prvu migraciju, jer predstavlja stateless aplikaciju sa malim brojem spolja\u0161njih zavisnosti. Prvi problem s kojim smo se suo\u010dili bio je veliki broj istisnutih podova zbog nedostatka memorije na \u010dvorovima. Zbog toga smo morali mijenjati request'e i limit'e.<\/p>\n<p>Otkriveno je da u slu\u010daju aplikacije \u010dija potro\u0161nja memorije raste vremenom, niske vrednosti za request'e (rezervi\u0161u\u0107i memoriju za svaki pod) zajedno sa \"generoznim\" strogim limit'om upotrebe dovodile su do zasi\u0107enja. <i>(saturation)<\/i> \u010dvorova i visokog nivoa izbacivanja. Kako bismo se nosili s ovim problemom, odlu\u010deno je <noindex><a rel=\"nofollow\" href=\"https:\/\/gitlab.com\/gitlab-com\/gl-infra\/delivery\/-\/issues\/998#note_388983696\">odlu\u010deno je pove\u0107ati request'e i smanjiti limit'e.<\/a><\/noindex>. To je smanjilo pritisak na \u010dvorove i osiguralo \u017eivotni ciklus pod'a koji nije stvorio prevelik pritisak na \u010dvor. Sada zapo\u010dinjemo migracije sa generoznim (i gotovo istim) vrednostima request'a i limit'a, ispravlja\u0107e ih po potrebi.<\/p>\n<h3>3. Metrike i logovi<\/h3>\n<p>\n<img decoding=\"async\" alt=\"Na\u0161i zaklju\u010dci o godini migracije GitLab.com na Kubernetes\" src=\"\/wp-content\/uploads\/2020\/09\/66d1fd47b57d5826f13defa6e6a7fe3c.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Infrastrukturna jedinica fokusira se na latenciju, procenat gre\u0161aka i saturaciju sa postavljenim <\/i><noindex><a rel=\"nofollow\" href=\"https:\/\/en.wikipedia.org\/wiki\/Service-level_objective\"><i>ciljevima nivoa usluge<\/i><\/a><\/noindex><i> (SLO), vezanim za <\/i><noindex><a rel=\"nofollow\" href=\"https:\/\/gitlab.com\/gitlab-com\/dashboards-gitlab-com\/-\/metrics\/sla-dashboard.yml?environment=1790496&amp;duration_seconds=86400\"><i>ukupnu dostupnost na\u0161eg sistema<\/i><\/a><\/noindex><i>.<\/i><\/p>\n<p>Tokom protekle godine jedan od klju\u010dnih doga\u0111aja u infrastrukturnoj jedinici bili su napredak u pra\u0107enju i radu sa SLO. SLO su nam omogu\u0107ila da postavljamo ciljeve za pojedina\u010dne servise, koje smo pomno pratili tokom migracije. Ali \u010dak i sa tako pobolj\u0161anom vidljivo\u0161\u0107u, nije uvek lako uo\u010diti probleme koriste\u0107i metrike i alarme. Na primer, fokusiraju\u0107i se na latenciju i procenat gre\u0161aka, ne pokrivamo u potpunosti sve scenarije kori\u0161\u0107enja servisa koji prolazi migraciju.<\/p>\n<p>Ovaj problem je otkriven gotovo odmah nakon prenosa dela radnog optere\u0107enja u klaster. Posebno se istakao kada je trebalo proveriti funkcije \u010diji je broj zahteva mali, ali imaju veoma specifi\u010dne konfiguracione zavisnosti. Jedna od klju\u010dnih lekcija sa migracije bila je potreba da se u monitoringu uzmu u obzir ne samo metrike, ve\u0107 i logovi i \"dugi rep\" <i>(re\u010d je o <\/i><noindex><a rel=\"nofollow\" href=\"https:\/\/en.wikipedia.org\/wiki\/Long_tail\"><i>takvom njihovom raspodeli<\/i><\/a><\/noindex><i> na grafiku \u2014 prim. prev.)<\/i> gre\u0161aka. Sada za svaku migraciju uklju\u010dujemo detaljnu listu zahteva ka logovima <i>(log queries)<\/i> i planiramo jasne procedure vra\u0107anja, koje se u slu\u010daju problema mogu preneti od jedne smene do druge.<\/p>\n<p>Paralelno servisiranje istih zahteva na staroj VM infrastrukturi i novoj, zasnovanoj na Kubernetesu, predstavljalo je jedinstveni izazov. Za razliku od migracije tipa lift-and-shift <i>(brzi prenos aplikacija \"kako jesu\" u novu infrastrukturu; vi\u0161e informacija mo\u017ee se pro\u010ditati, na primer, <\/i><noindex><a rel=\"nofollow\" href=\"https:\/\/www.ibm.com\/cloud\/learn\/lift-and-shift\"><i>ovde<\/i><\/a><\/noindex><i> \u2014 napomena prev.)<\/i>, paralelni rad na 'starim' VM i Kubernetes zahtijeva da alati za nadgledanje budu kompatibilni s oba okru\u017eenja i da mogu kombinirati metrike u jedan pregled. Va\u017eno je da koristimo iste dashboard-e i upite za logove kako bismo postigli dosljednu vidljivost tokom prijelaznog razdoblja.<\/p>\n<h3>4. Preusmjeravanje prometa na novi klaster<\/h3>\n<p>\nZa GitLab.com, dio servera je odvojen za <noindex><a rel=\"nofollow\" href=\"https:\/\/about.gitlab.com\/handbook\/engineering\/#canary-testing\">kanarinsku (canary) fazu<\/a><\/noindex>. Kanarinski park podr\u017eava na\u0161e interne projekte, a tako\u0111e mo\u017ee <noindex><a rel=\"nofollow\" href=\"https:\/\/next.gitlab.com\/\">biti aktiviran od strane korisnika<\/a><\/noindex>. No, prvenstveno je namijenjen testiranju promjena u infrastrukturi i aplikaciji. Prva preseljena usluga po\u010dela je sa primanjem ograni\u010denog obima internog prometa, a mi i dalje koristimo ovu metodu da bismo se uvjerili da se po\u0161tuje SLO prije nego \u0161to preusmjerimo sav promet u klaster.<\/p>\n<p>U slu\u010daju migracije, to zna\u010di da se prvo u Kubernetes usmjeravaju zahtjevi za interne projekte, a zatim postupno preusmjeravamo ostatak prometa u klaster promjenom te\u017eine za backend putem HAProxy. Tokom prijelaza s VM na Kubernetes, postalo je jasno da je vrlo korisno imati jednostavan na\u010din za preusmjeravanje prometa izme\u0111u stare i nove infrastrukture i, shodno tome, dr\u017eati staru infrastrukturu spremnom za povratak u prvih nekoliko dana nakon migracije.<\/p>\n<h3>5. Rezervne mo\u0107i pod'a i njihovo kori\u0161\u0107enje<\/h3>\n<p>\nGotovo odmah je uo\u010dena slede\u0107a pote\u0161ko\u0107a: pod'i za uslugu Registry brzo su se pokretali, me\u0111utim, pokretanje pod'a za Sidekiq trajalo je do <noindex><a rel=\"nofollow\" href=\"https:\/\/gitlab.com\/gitlab-org\/charts\/gitlab\/-\/issues\/1775\">dva minuta<\/a><\/noindex>. Produ\u017eeno pokretanje pod'a za Sidekiq postalo je problem kada smo po\u010deli migraciju u Kubernetes radnih optere\u0107enja za radnike, kojima je potrebno brzo obra\u0111ivati job'e i brzo se skalirati.<\/p>\n<p>U ovom slu\u010daju lekcija je bila da, iako Horizontal Pod Autoscaler (HPA) u Kubernetes-u dobro reaguje na pove\u0107anje saobra\u0107aja, va\u017eno je uzeti u obzir karakteristike radnih optere\u0107enja i obezbediti rezervne kapacitete podova (posebno u uslovima neujedna\u010dene raspodele potra\u017enje). U na\u0161em slu\u010daju do\u0161lo je do iznenadnog skoka poslova, \u0161to je dovelo do brzog skaliranja, \u0161to je rezultiralo zasi\u0107enjem CPU resursa pre nego \u0161to smo uspeli da pove\u0107amo bazen \u010dvorova.<\/p>\n<p>Uvek postoji isku\u0161enje da se iz klastera izvu\u010de \u0161to vi\u0161e, me\u0111utim, nakon \u0161to smo se suo\u010dili sa problemima u performansama, sada po\u010dinjemo sa velikim bud\u017eetom za podove i smanjujemo ga naknadno, pomno prate\u0107i SLO. Pokretanje podova za Sidekiq servis se zna\u010dajno ubrzalo i sada u proseku traje oko 40 sekundi. <noindex><a rel=\"nofollow\" href=\"https:\/\/gitlab.com\/gitlab-org\/charts\/gitlab\/-\/issues\/1775\">Smanjenje vremena pokretanja podova<\/a><\/noindex> imali su koristi i GitLab.com, kao i na\u0161i korisnici instalacija self-managed koji koriste slu\u017ebeni Helm chart GitLab-a.<\/p>\n<h2>Zaklju\u010dak<\/h2>\n<p>\nNakon premje\u0161tanja svake usluge, radovali smo se prednostima kori\u0161tenja Kubernetes-a u produkciji: br\u017eem i sigurnijem deployanju aplikacija, skalabilnosti i u\u010dinkovitijem distribuciji resursa. Pritom prednosti migracije nadilaze samu uslugu GitLab.com. Svako pobolj\u0161anje slu\u017ebenog Helm charta koristi njegovim korisnicima.<\/p>\n<p>Nadam se da vam se svidjela pri\u010da o na\u0161im avanturama s migracijom na Kubernetes. Nastavljamo premje\u0161tati nove usluge u klaster. Dodatne informacije mo\u017eete prona\u0107i u sljede\u0107im publikacijama:<\/p>\n<ul>\n<li> \u00ab<noindex><a rel=\"nofollow\" href=\"https:\/\/about.gitlab.com\/handbook\/engineering\/infrastructure\/production\/kubernetes\/gitlab-com\/\">Za\u0161to migriramo na Kubernetes?<\/a><\/noindex>\u00bb;<\/li>\n<li> \u00ab<noindex><a rel=\"nofollow\" href=\"https:\/\/about.gitlab.com\/handbook\/engineering\/infrastructure\/production\/architecture\/#gitlab-com-on-kubernetes\">GitLab.com na Kubernetesu<\/a><\/noindex>\u00bb;<\/li>\n<li> <noindex><a rel=\"nofollow\" href=\"https:\/\/gitlab.com\/groups\/gitlab-com\/gl-infra\/-\/epics\/112\">Epic o migraciji GitLab.com na Kubernetes<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><\/p>\n<h2>P.S. od prevodioca<\/h2>\n<p>\nTako\u0111e pro\u010ditajte na na\u0161em blogu:<\/p>\n<ul>\n<li> \u00ab<noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/519962\/\">3 godine s Kubernetesom u produkciji: \u0161ta smo saznali<\/a><\/noindex>\u00bb;<\/li>\n<li> \u00ab<noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/504396\/\">10 tipi\u010dnih gre\u0161aka prilikom kori\u0161tenja Kubernetesa<\/a><\/noindex>\u00bb;<\/li>\n<li> \u00ab<noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/335814\/\">Pri\u010de o uspjehu Kubernetes-a u produkciji. Dio 3: GitHub<\/a><\/noindex>\u00bb;<\/li>\n<li> \u00ab<noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/440278\/\">Prelazak Tindera na Kubernetes<\/a><\/noindex>\u00bb.<\/li>\n<\/ul>\n<p>Izvor: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/520150\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u043c. \u043f\u0435\u0440\u0435\u0432.: \u0430\u0434\u0430\u043f\u0442\u0430\u0446\u0438\u044e Kubernetes \u0432 GitLab \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0434\u0432\u0443\u0445 \u0433\u043b\u0430\u0432\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432, \u0441\u043f\u043e\u0441\u043e\u0431\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0440\u043e\u0441\u0442\u0443 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0434\u043e \u043d\u0435\u0434\u0430\u0432\u043d\u0435\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u043e\u043d\u043b\u0430\u0439\u043d-\u0441\u0435\u0440\u0432\u0438\u0441\u0430 GitLab.com \u0431\u044b\u043b\u0430 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u043d\u0430 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0430\u0448\u0438\u043d\u0430\u0445, \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u043a\u043e\u043b\u043e \u0433\u043e\u0434\u0430 \u043d\u0430\u0437\u0430\u0434 \u043d\u0430\u0447\u0430\u043b\u0430\u0441\u044c \u0435\u0451 \u043c\u0438\u0433\u0440\u0430\u0446\u0438\u044f \u0432 K8s, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u043d\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0430. \u0420\u0430\u0434\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u043d\u0435\u0434\u0430\u0432\u043d\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 SRE-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430 GitLab \u043e \u0442\u043e\u043c, \u043a\u0430\u043a [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":94978,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-94977","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.5.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u043c. \u043f\u0435\u0440\u0435\u0432.: \u0430\u0434\u0430\u043f\u0442\u0430\u0446\u0438\u044e Kubernetes \u0432 GitLab \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0434\u0432\u0443\u0445 \u0433\u043b\u0430\u0432\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432, \u0441\u043f\u043e\u0441\u043e\u0431\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0440\u043e\u0441\u0442\u0443 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/nashi-vyvody-za-god-migraczii-gitlab-com-na-kubernetes\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.5.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"bs_BA\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041d\u0430\u0448\u0438 \u0432\u044b\u0432\u043e\u0434\u044b \u0437\u0430 \u0433\u043e\u0434 \u043c\u0438\u0433\u0440\u0430\u0446\u0438\u0438 GitLab.com \u043d\u0430 Kubernetes | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u043c. \u043f\u0435\u0440\u0435\u0432.: \u0430\u0434\u0430\u043f\u0442\u0430\u0446\u0438\u044e Kubernetes \u0432 GitLab \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0434\u0432\u0443\u0445 \u0433\u043b\u0430\u0432\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432, \u0441\u043f\u043e\u0441\u043e\u0431\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0440\u043e\u0441\u0442\u0443 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/nashi-vyvody-za-god-migraczii-gitlab-com-na-kubernetes\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-09-24T05:43:00+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-09-24T05:43:00+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47 Na\u0161i nalazi nakon godine migracije GitLab.com na Kubernetes | ProHoster","description":"Napomena: prilagodbu Kubernetes-a u GitLab-u smatraju jednim od dva glavna faktora koja doprinose rastu kompanije.","canonical_url":"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/nashi-vyvody-za-god-migraczii-gitlab-com-na-kubernetes","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"bs_BA","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041d\u0430\u0448\u0438 \u0432\u044b\u0432\u043e\u0434\u044b \u0437\u0430 \u0433\u043e\u0434 \u043c\u0438\u0433\u0440\u0430\u0446\u0438\u0438 GitLab.com \u043d\u0430 Kubernetes | ProHoster","og:description":"\u041f\u0440\u0438\u043c. \u043f\u0435\u0440\u0435\u0432.: \u0430\u0434\u0430\u043f\u0442\u0430\u0446\u0438\u044e Kubernetes \u0432 GitLab \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0434\u0432\u0443\u0445 \u0433\u043b\u0430\u0432\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432, \u0441\u043f\u043e\u0441\u043e\u0431\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0440\u043e\u0441\u0442\u0443 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438.","og:url":"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/nashi-vyvody-za-god-migraczii-gitlab-com-na-kubernetes","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-09-24T05:43:00+00:00","article:modified_time":"2020-09-24T05:43:00+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"94977","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 11:14:45","updated":"2022-10-03 07:39:43","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts\/94977","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/comments?post=94977"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts\/94977\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/media\/94978"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/media?parent=94977"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/categories?post=94977"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/tags?post=94977"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}