{"id":55870,"date":"2020-01-30T00:00:00","date_gmt":"2020-01-29T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/ot-skriptov-k-sobstvennoj-platforme-kak-my-avtomatizirovali-razrabotku-v-tsian"},"modified":"2020-02-18T14:04:02","modified_gmt":"2020-02-18T11:04:02","slug":"ot-skriptov-k-sobstvennoj-platforme-kak-my-avtomatizirovali-razrabotku-v-tsian","status":"publish","type":"post","link":"https:\/\/prohoster.info\/cs\/blog\/administrirovanie\/ot-skriptov-k-sobstvennoj-platforme-kak-my-avtomatizirovali-razrabotku-v-tsian","title":{"rendered":"Od skript\u016f k vlastn\u00ed platform\u011b: jak jsme automatizovali v\u00fdvoj v CIAN","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Od
\n
\nNa RIT 2019 n\u00e1\u0161 kolega Alexandr Korotkov mluvil prezentace<\/a><\/noindex> o automatizaci v\u00fdvoje v CIAN: abychom usnadnili \u017eivot a pr\u00e1ci, pou\u017e\u00edv\u00e1me na\u0161i vlastn\u00ed platformu Integro. Ta sleduje \u017eivotn\u00ed cyklus \u00faloh, zbavuje v\u00fdvoj\u00e1\u0159e rutinn\u00edch operac\u00ed a v\u00fdrazn\u011b sni\u017euje po\u010det chyb v produkci. V tomto p\u0159\u00edsp\u011bvku dopln\u00edme Alexandr\u016fv refer\u00e1t a pov\u00edme, jak jsme p\u0159e\u0161li od jednoduch\u00fdch skript\u016f k integraci open source produkt\u016f p\u0159es vlastn\u00ed platformu a \u010demu se v\u011bnuje n\u00e1\u0161 samostatn\u00fd t\u00fdm automatizace.
\n\u00a0<\/a><\/noindex><\/p>\n

Nulov\u00e1 \u00farove\u0148<\/h2>\n

\n\u201eNulov\u00e1 \u00farove\u0148 neexistuje, nev\u00edm o takov\u00e9\u201c<\/b>
\nMistr Shifu z m\/f \u201eKung-Fu Panda\u201c<\/i><\/p>\n

Automatizace v CIAN za\u010dala 14 let po zalo\u017een\u00ed spole\u010dnosti. Tehdy v t\u00fdmu v\u00fdvoje bylo 35 lid\u00ed. T\u011b\u017eko tomu uv\u011b\u0159it, \u017ee? Samoz\u0159ejm\u011b, v n\u011bjak\u00e9 form\u011b automatizace p\u0159ece jen existovala, ale samostatn\u00fd sm\u011br pro nep\u0159etr\u017eitou integraci a dod\u00e1vku k\u00f3du se za\u010dal formovat pr\u00e1v\u011b v roce 2015.\u00a0<\/p>\n

V tu dobu jsme m\u011bli obrovsk\u00fd monolit z Pythonu, C# a PHP, nasazen\u00fd na serverech Linux\/Windows. Pro nasazen\u00ed tohoto monstra jsme m\u011bli sadu skript\u016f, kter\u00e9 jsme spou\u0161t\u011bli ru\u010dn\u011b. Byla tak\u00e9 sestava monolitu, kter\u00e1 p\u0159in\u00e1\u0161ela bolest a utrpen\u00ed kv\u016fli konflikt\u016fm p\u0159i slou\u010den\u00ed v\u011btv\u00ed, oprav\u00e1m chyb a op\u011btovn\u00e9mu sestavov\u00e1n\u00ed \u201es jin\u00fdm souborem \u00faloh v sestaven\u00ed\u201c. Zjednodu\u0161en\u011b proces vypadal takto:<\/p>\n

\"Od
\n
\nTo n\u00e1s neuspokojovalo a cht\u011bli jsme vybudovat opakovateln\u00fd, automatizovan\u00fd a \u0159\u00edzen\u00fd proces sestavov\u00e1n\u00ed a nasazen\u00ed. K tomu jsme pot\u0159ebovali CI\/CD syst\u00e9m a vyb\u00edrali jsme mezi bezplatnou verz\u00ed Teamcity a bezplatn\u00fdm Jenkins, proto\u017ee jsme s nimi pracovali a ob\u011b n\u00e1m vyhovovaly z hlediska funkc\u00ed. Vybrali jsme Teamcity jako modern\u011bj\u0161\u00ed produkt. Tehdy jsme je\u0161t\u011b nepou\u017e\u00edvali mikroslu\u017ebovou architekturu a nepo\u010d\u00edtali jsme s velk\u00fdm mno\u017estv\u00edm \u00faloh a projekt\u016f.<\/p>\n

Dost\u00e1v\u00e1me se k my\u0161lence vlastn\u00ed syst\u00e9mu<\/h2>\n

\nZaveden\u00ed Teamcity odstranilo pouze \u010d\u00e1st ru\u010dn\u00ed pr\u00e1ce: zbylo je\u0161t\u011b vytv\u00e1\u0159en\u00ed Pull Request\u016f, posouv\u00e1n\u00ed \u00fakol\u016f podle status\u016f v Jira, v\u00fdb\u011br \u00fakol\u016f pro vyd\u00e1n\u00ed. S t\u00edm si syst\u00e9m Teamcity u\u017e neporadil. Bylo pot\u0159eba hledat cestu dal\u0161\u00ed automatizace. Zva\u017eovali jsme mo\u017enosti pr\u00e1ce se skripty v Teamcity nebo p\u0159echod na extern\u00ed automatiza\u010dn\u00ed syst\u00e9my. Nakonec jsme se rozhodli, \u017ee pot\u0159ebujeme maxim\u00e1ln\u00ed flexibilitu, kterou poskytuje pouze vlastn\u00ed \u0159e\u0161en\u00ed. Tak se objevila prvn\u00ed verze intern\u00edho automatiza\u010dn\u00edho syst\u00e9mu s n\u00e1zvem Integro.<\/p>\n

Teamcity se zab\u00fdv\u00e1 automatizac\u00ed na \u00farovni spu\u0161t\u011bn\u00ed proces\u016f sestaven\u00ed a nasazen\u00ed, zat\u00edmco Integro se zam\u011b\u0159ila na nad\u0159azenou automatizaci v\u00fdvojov\u00fdch proces\u016f. Bylo t\u0159eba spojit pr\u00e1ci s \u00fakoly v Jira se zpracov\u00e1n\u00edm souvisej\u00edc\u00edho zdrojov\u00e9ho k\u00f3du v Bitbucket. V t\u00e9to f\u00e1zi se v Integro za\u010daly objevovat vlastn\u00ed pracovn\u00ed postupy pro pr\u00e1ci s \u00fakoly r\u016fzn\u00fdch typ\u016f.\u00a0<\/p>\n

V d\u016fsledku zv\u00fd\u0161en\u00ed automatizace v obchodn\u00edch procesech vzrostl po\u010det projekt\u016f a b\u011bh\u016f v Teamcity. To p\u0159ineslo nov\u00fd probl\u00e9m: jedno bezplatn\u00e9 instance Teamcity u\u017e nesta\u010dilo (3 agenty a 100 projekt\u016f), p\u0159idali jsme dal\u0161\u00ed instanci (dal\u0161\u00ed 3 agenty a 100 projekt\u016f), pak je\u0161t\u011b jednu. Nakonec jsme z\u00edskali syst\u00e9m n\u011bkolika klastr\u016f, kter\u00fd bylo obt\u00ed\u017en\u00e9 spravovat:<\/p>\n

\"Od
\n
\nKdy\u017e se naskytla ot\u00e1zka \u010dtvrt\u00e9 instance, uv\u011bdomili jsme si, \u017ee takto d\u00e1l \u017e\u00edt nem\u016f\u017eeme, proto\u017ee celkov\u00e9 n\u00e1klady na podporu \u010dty\u0159 instanc\u00ed u\u017e se nehodily do \u017e\u00e1dn\u00e9ho r\u00e1mce. Vznikla ot\u00e1zka, zda koupit placenou verzi Teamcity nebo zvolit bezplatn\u00fd Jenkins. Provedli jsme v\u00fdpo\u010dty t\u00fdkaj\u00edc\u00ed se instanc\u00ed a pl\u00e1n\u016f automatizace a rozhodli jsme se, \u017ee budeme pokra\u010dovat na Jenkinsu. O p\u00e1r t\u00fddn\u016f pozd\u011bji jsme p\u0159e\u0161li na Jenkins a zbavili se \u010d\u00e1sti bolesti hlavy spojen\u00e9 s podporou n\u011bkolika instanc\u00ed Teamcity. D\u00edky tomu jsme se mohli soust\u0159edit na v\u00fdvoj Integro a p\u0159izp\u016fsoben\u00ed Jenkinsu na\u0161im pot\u0159eb\u00e1m.<\/p>\n

S rostouc\u00ed z\u00e1kladn\u00ed automatizac\u00ed (ve form\u011b automatick\u00e9ho vytv\u00e1\u0159en\u00ed Pull Request\u016f, sb\u011bru a publikov\u00e1n\u00ed pokryt\u00ed k\u00f3du a dal\u0161\u00edch kontrol) vznikla siln\u00e1 touha co nejv\u00edce se vzd\u00e1t manu\u00e1ln\u00edch vyd\u00e1n\u00ed a p\u0159enechat tuto pr\u00e1ci robot\u016fm. Krom\u011b toho uvnit\u0159 spole\u010dnosti za\u010dal p\u0159esun na mikroslu\u017eby, kter\u00e9 vy\u017eadovaly \u010dast\u00e1 vyd\u00e1n\u00ed, a to odd\u011blen\u011b od sebe. Tak jsme postupn\u011b dosp\u011bli k automatick\u00fdm vyd\u00e1n\u00edm na\u0161ich mikroslu\u017eeb (monolit zat\u00edm vyd\u00e1v\u00e1me ru\u010dn\u011b kv\u016fli slo\u017eitosti procesu). Ale, jak to obvykle b\u00fdv\u00e1, objevila se nov\u00e1 komplikace.\u00a0<\/p>\n

Automatizujeme testov\u00e1n\u00ed<\/h2>\n

\n\"Od
\n
\nD\u00edky automatizaci vyd\u00e1n\u00ed se zrychlily procesy v\u00fdvoje, \u010d\u00e1ste\u010dn\u011b i na \u00fakor vynech\u00e1n\u00ed n\u011bkter\u00fdch f\u00e1z\u00ed testov\u00e1n\u00ed. To vedlo k do\u010dasn\u00e9 ztr\u00e1t\u011b kvality. Zn\u00ed to ban\u00e1ln\u011b, ale spolu se zrychlen\u00edm vyd\u00e1n\u00ed bylo pot\u0159eba zm\u011bnit i metodologii v\u00fdvoje produktu. Bylo nutn\u00e9 p\u0159em\u00fd\u0161let o automatizaci testov\u00e1n\u00ed, zaveden\u00ed osobn\u00ed odpov\u011bdnosti (tady jde o \"p\u0159ijet\u00ed my\u0161lenky v hlav\u011b\", a ne o finan\u010dn\u00ed sankce) v\u00fdvoj\u00e1\u0159e za vydan\u00fd k\u00f3d a chyby v n\u011bm, a tak\u00e9 o rozhodnut\u00ed o vyd\u00e1n\u00ed\/ne vyd\u00e1n\u00ed \u00fakolu prost\u0159ednictv\u00edm automatick\u00e9ho nasazen\u00ed.\u00a0<\/p>\n

P\u0159i \u0159e\u0161en\u00ed probl\u00e9m\u016f s kvalitou jsme dosp\u011bli k dv\u011bma d\u016fle\u017eit\u00fdm rozhodnut\u00edm: za\u010dali jsme prov\u00e1d\u011bt kan\u00e1rkov\u00e1 testov\u00e1n\u00ed a zavedli jsme automatick\u00e9 monitorov\u00e1n\u00ed chyb na pozad\u00ed s automatickou reakc\u00ed na jeho p\u0159ekro\u010den\u00ed. Prvn\u00ed \u0159e\u0161en\u00ed n\u00e1m umo\u017enilo nal\u00e9zt z\u0159ejm\u00e9 chyby je\u0161t\u011b p\u0159ed plnohodnotn\u00fdm nasazen\u00edm k\u00f3du do produkce, druh\u00e9 sn\u00ed\u017eilo dobu reakce na probl\u00e9my v produkci. Chyby se samoz\u0159ejm\u011b st\u00e1vaj\u00ed, ale v\u011bt\u0161inu \u010dasu a \u00fasil\u00ed neztr\u00e1c\u00edme na opravy, ale na minimalizaci.\u00a0<\/p>\n

T\u00fdm automatizace<\/h2>\n

\nNyn\u00ed m\u00e1me 130 v\u00fdvoj\u00e1\u0159\u016f a pokra\u010dujeme v r\u016fstu<\/a><\/noindex>. T\u00fdm pro neust\u00e1lou integraci a dod\u00e1v\u00e1n\u00ed k\u00f3du (d\u00e1le \u2013 t\u00fdm Deploy and Integration nebo DI) se skl\u00e1d\u00e1 ze 7 lid\u00ed a pracuje ve 2 sm\u011brech: v\u00fdvoj platformy automatizace Integro a DevOps.\u00a0<\/p>\n

DevOps zaji\u0161\u0165uje Dev\/Beta prost\u0159ed\u00ed webu CIAN, prost\u0159ed\u00ed Integro, pom\u00e1h\u00e1 v\u00fdvoj\u00e1\u0159\u016fm p\u0159i \u0159e\u0161en\u00ed probl\u00e9m\u016f a vyv\u00edj\u00ed nov\u00e9 p\u0159\u00edstupy k \u0161k\u00e1lov\u00e1n\u00ed prost\u0159ed\u00ed. Odd\u011blen\u00ed v\u00fdvoje Integro se zab\u00fdv\u00e1 jak samotnou Integro, tak p\u0159\u00edbuzn\u00fdmi slu\u017ebami, nap\u0159\u00edklad pluginy pro Jenkins, Jira, Confluence, a tak\u00e9 vyv\u00edj\u00ed pomocn\u00e9 utilitky a aplikace pro t\u00fdmy v\u00fdvoj\u00e1\u0159\u016f.\u00a0<\/p>\n

T\u00fdm DI spolupracuje s t\u00fdmem Platformy, kter\u00fd se zab\u00fdv\u00e1 v\u00fdvojem architektury, knihoven a p\u0159\u00edstup\u016f k v\u00fdvoji uvnit\u0159 spole\u010dnosti. Ka\u017ed\u00fd v\u00fdvoj\u00e1\u0159 v CIAN m\u016f\u017ee tak\u00e9 p\u0159isp\u011bt k automatizaci, nap\u0159\u00edklad vytvo\u0159it mikroautomatizaci podle pot\u0159eb t\u00fdmu nebo se pod\u011blit o skv\u011bl\u00fd n\u00e1pad, jak zlep\u0161it automatizaci.<\/p>\n

Vrstven\u00fd kol\u00e1\u010d automatizace v CIAN<\/h2>\n

\n\"Od
\n
\nV\u0161echny syst\u00e9my zapojen\u00e9 do automatizace lze rozd\u011blit do n\u011bkolika vrstev:<\/p>\n

    \n
  1. Extern\u00ed syst\u00e9my (Jira, Bitbucket atd.). S t\u011bmito syst\u00e9my pracuj\u00ed t\u00fdmy v\u00fdvoje.\n<\/li>\n
  2. Platforma Integro. Nej\u010dast\u011bji s n\u00ed v\u00fdvoj\u00e1\u0159i nepracuj\u00ed p\u0159\u00edmo, ale pr\u00e1v\u011b ona podporuje fungov\u00e1n\u00ed cel\u00e9 automatizace.\n<\/li>\n
  3. Slu\u017eby dod\u00e1vky, orchestraci a objevov\u00e1n\u00ed (nap\u0159\u00edklad Jenkins, Consul, Nomad). S jejich pomoc\u00ed nasazujeme k\u00f3d na serverech a zaji\u0161\u0165ujeme vz\u00e1jemnou spolupr\u00e1ci slu\u017eeb.\n<\/li>\n
  4. Fyzick\u00e1 \u00farove\u0148 (servery, OS, p\u0159\u00edbuzn\u00fd software). Na t\u00e9to \u00farovni b\u011b\u017e\u00ed n\u00e1\u0161 k\u00f3d. M\u016f\u017ee to b\u00fdt jak fyzick\u00fd server, tak virtu\u00e1ln\u00ed (LXC, KVM, Docker).\n<\/li>\n<\/ol>\n

    \nNa z\u00e1klad\u011b t\u00e9to koncepce rozd\u011blujeme z\u00f3ny odpov\u011bdnosti uvnit\u0159 t\u00fdmu DI. Dv\u011b prvn\u00ed \u00farovn\u011b pat\u0159\u00ed pod zodpov\u011bdnost odd\u011blen\u00ed v\u00fdvoje Integro, zat\u00edmco dv\u011b posledn\u00ed \u00farovn\u011b ji\u017e spadaj\u00ed pod zodpov\u011bdnost DevOps. Toto rozd\u011blen\u00ed umo\u017e\u0148uje soust\u0159edit se na \u00fakoly a nebr\u00e1n\u00ed vz\u00e1jemn\u00e9 interakci, proto\u017ee jsme si navz\u00e1jem bl\u00edzko a neust\u00e1le sd\u00edl\u00edme znalosti a zku\u0161enosti.<\/p>\n

    Integro<\/h2>\n

    \nSoust\u0159ed\u00edme se na Integro a za\u010dneme technologick\u00fdm stackem:<\/p>\n