{"id":55870,"date":"2020-01-30T00:00:00","date_gmt":"2020-01-29T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/ot-skriptov-k-sobstvennoj-platforme-kak-my-avtomatizirovali-razrabotku-v-tsian"},"modified":"2020-02-18T14:04:02","modified_gmt":"2020-02-18T11:04:02","slug":"ot-skriptov-k-sobstvennoj-platforme-kak-my-avtomatizirovali-razrabotku-v-tsian","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/ot-skriptov-k-sobstvennoj-platforme-kak-my-avtomatizirovali-razrabotku-v-tsian","title":{"rendered":"A scriptekt\u0151l a saj\u00e1t platformig: hogyan automatiz\u00e1ltuk a fejleszt\u00e9st a CI\u00c1N-n\u00e1l","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"A
\n
\nA RIT 2019-en koll\u00e9g\u00e1nk, Alexander Korotkov tartott jelent\u00e9s<\/a><\/noindex> el\u0151ad\u00e1st a CI\u00c1N fejleszt\u00e9s\u00e9nek automatiz\u00e1l\u00e1s\u00e1r\u00f3l: az \u00e9let \u00e9s a munka megk\u00f6nny\u00edt\u00e9se \u00e9rdek\u00e9ben saj\u00e1t Integro platformunkat haszn\u00e1ljuk. Ez k\u00f6veti a feladatok \u00e9letciklus\u00e1t, leveszi a rutinszer\u0171 feladatokat a fejleszt\u0151kr\u0151l, \u00e9s jelent\u0151sen cs\u00f6kkenti a production k\u00f6rnyezetben megjelen\u0151 hib\u00e1k sz\u00e1m\u00e1t. Ebben a posztban kieg\u00e9sz\u00edtj\u00fck Alexander el\u0151ad\u00e1s\u00e1t, \u00e9s elmondjuk, hogyan jutottunk el az egyszer\u0171 szkriptekt\u0151l az open source term\u00e9kek integr\u00e1l\u00e1s\u00e1ig a saj\u00e1t platformunkon, \u00e9s mivel foglalkozik egy k\u00fcl\u00f6n automatiz\u00e1l\u00f3 csapat.
\n\u00a0<\/a><\/noindex><\/p>\n

Nulla szint<\/h2>\n

\n\"Nulla szint nem l\u00e9tezik, ilyet nem ismerek\"<\/b>
\nShifu mester a \"Kung-fu Panda\" c\u00edm\u0171 mesefilmben<\/i><\/p>\n

A CI\u00c1N-ban a fejleszt\u00e9s automatiz\u00e1l\u00e1sa 14 \u00e9vvel a c\u00e9g megalap\u00edt\u00e1sa ut\u00e1n indult. Akkoriban 35 f\u0151s fejleszt\u0151csapatunk volt. Nehezen hihet\u0151, ugye? Term\u00e9szetesen valamilyen form\u00e1ban az automatiz\u00e1l\u00e1s kor\u00e1bban is l\u00e9tezett, de a folyamatos integr\u00e1ci\u00f3 \u00e9s a k\u00f3d sz\u00e1ll\u00edt\u00e1s\u00e1nak \u00f6n\u00e1ll\u00f3 ir\u00e1nyzata 2015-ben kezdett el kibontakozni.\u00a0<\/p>\n

Abban az id\u0151ben egy hatalmas monolitunk volt, Python, C# \u00e9s PHP nyelveken, Linux\/Windows szervereken futtatva. Ehhez a sz\u00f6rnyeteghez egy k\u00e9zi futtat\u00e1s\u00fa szkriptekb\u0151l \u00e1ll\u00f3 gy\u0171jtem\u00e9ny\u00fcnk volt. Volt egy monolit \u00f6ssze\u00e1ll\u00edt\u00e1s is, amely f\u00e1jdalmakat \u00e9s szenved\u00e9seket okozott az \u00e1gazati \u00e1gazatok \u00f6sszeolvad\u00e1sakor, a hib\u00e1k jav\u00edt\u00e1sakor \u00e9s a \"m\u00e1sik feladatk\u00e9szlettel val\u00f3 \u00fajra\u00e9p\u00edt\u00e9skor\". Egyszer\u0171en \u00edgy n\u00e9zett ki a folyamat:<\/p>\n

\"A
\n
\nEz nem volt megfelel\u0151 sz\u00e1munkra, \u00e9s egy ism\u00e9telhet\u0151, automatiz\u00e1lt \u00e9s ir\u00e1ny\u00edtott \u00e9p\u00edt\u00e9si \u00e9s telep\u00edt\u00e9si folyamatot akartunk l\u00e9trehozni. Ehhez CI\/CD rendszerre volt sz\u00fcks\u00e9g\u00fcnk, \u00e9s a Teamcity ingyenes verzi\u00f3ja \u00e9s a Jenkins ingyenes verzi\u00f3ja k\u00f6z\u00f6tt v\u00e1lasztottunk, mivel mindkett\u0151vel dolgoztunk, \u00e9s mindkett\u0151 megfelelt a funkci\u00f3sorozatunknak. A Teamcityt v\u00e1lasztottuk, mint frissebb term\u00e9ket. Akkor m\u00e9g nem haszn\u00e1ltunk mikroszolg\u00e1ltat\u00e1sok architekt\u00far\u00e1j\u00e1t, \u00e9s nem sz\u00e1m\u00edtottunk nagy mennyis\u00e9g\u0171 feladatra \u00e9s projektre.<\/p>\n

Eljutottunk a saj\u00e1t rendszer\u00fcnk \u00f6tlet\u00e9hez<\/h2>\n

\nA Teamcity bevezet\u00e9se csak a k\u00e9zi munka egy r\u00e9sz\u00e9t t\u00e1vol\u00edtotta el: m\u00e9g mindig sz\u00fcks\u00e9g volt Pull Requestek l\u00e9trehoz\u00e1s\u00e1ra, a feladatok st\u00e1tusz\u00e1nak el\u0151rehalad\u00e1s\u00e1ra a Jira-ban, valamint a kiad\u00e1sokhoz sz\u00fcks\u00e9ges feladatok kiv\u00e1laszt\u00e1s\u00e1ra. Ezt a Teamcity rendszere m\u00e1r nem tudta kezelni. Ki kellett v\u00e1lasztani a tov\u00e1bbi automatiz\u00e1l\u00e1s ir\u00e1ny\u00e1t. Megfontoltuk a szkriptek haszn\u00e1lat\u00e1t a Teamcity-ban, vagy a harmadik f\u00e9l automatiz\u00e1l\u00f3 rendszereire val\u00f3 \u00e1tt\u00e9r\u00e9st. V\u00e9g\u00fcl \u00fagy d\u00f6nt\u00f6tt\u00fcnk, hogy a maxim\u00e1lis rugalmass\u00e1gra van sz\u00fcks\u00e9g, amelyet csak a saj\u00e1t megold\u00e1s ny\u00fajt. \u00cdgy sz\u00fcletett meg az Integro nev\u0171 bels\u0151 automatiz\u00e1l\u00f3 rendszer els\u0151 verzi\u00f3ja.<\/p>\n

A Teamcity a build \u00e9s deploy folyamatok ind\u00edt\u00e1s\u00e1nak automatiz\u00e1l\u00e1s\u00e1val foglalkozik, m\u00edg az Integro a fejleszt\u00e9si folyamatok magasabb szint\u0171 automatiz\u00e1l\u00e1s\u00e1ra \u00f6sszpontos\u00edt. \u00d6ssze kellett vonni a Jira-ban l\u00e9v\u0151 feladatok kezel\u00e9s\u00e9t a kapcsol\u00f3d\u00f3 forr\u00e1sk\u00f3d Bitbucket-ben val\u00f3 feldolgoz\u00e1s\u00e1val. Ezen a ponton bel\u00fcl az Integro saj\u00e1t workflow-kat kezdett kialak\u00edtani a k\u00fcl\u00f6nb\u00f6z\u0151 t\u00edpus\u00fa feladatok kezel\u00e9s\u00e9re.\u00a0<\/p>\n

A v\u00e1llalati folyamatok automatiz\u00e1l\u00e1s\u00e1nak n\u00f6veked\u00e9se miatt megn\u0151tt a Teamcity-ben l\u00e9v\u0151 projektek \u00e9s run-ok sz\u00e1ma. Ez \u00faj probl\u00e9m\u00e1t vetett fel: az ingyenes Teamcity instance m\u00e1r nem volt elegend\u0151 (3 \u00fcgyn\u00f6k \u00e9s 100 projekt), ez\u00e9rt egy \u00fajabb instance-ot adtunk hozz\u00e1 (m\u00e9g 3 \u00fcgyn\u00f6k \u00e9s 100 projekt), majd m\u00e9g egyet. V\u00e9g\u00fcl egy t\u00f6bb klaszterb\u0151l \u00e1ll\u00f3 rendszert kaptunk, amelynek kezel\u00e9se neh\u00e9zkess\u00e9 v\u00e1lt.<\/p>\n

\"A
\n
\nAmikor a negyedik instance k\u00e9rd\u00e9se felmer\u00fclt, r\u00e1j\u00f6tt\u00fcnk, hogy \u00edgy tov\u00e1bb nem lehet \u00e9lni, mivel a n\u00e9gy instance fenntart\u00e1s\u00e1nak \u00f6sszk\u00f6lts\u00e9ge m\u00e1r nem volt elfogadhat\u00f3. Felmer\u00fclt a k\u00e9rd\u00e9s, hogy v\u00e1s\u00e1roljunk-e fizet\u0151s Teamcity-t, vagy v\u00e1lasszuk a ingyenes Jenkins-t. Elv\u00e9gezt\u00fck az instance-ok \u00e9s a automatiz\u00e1l\u00e1si tervek sz\u00e1m\u00edt\u00e1sait, \u00e9s \u00fagy d\u00f6nt\u00f6tt\u00fcnk, hogy a Jenkins-t v\u00e1lasztjuk. N\u00e9h\u00e1ny h\u00e9t eltelt\u00e9vel \u00e1tt\u00e9rt\u00fcnk a Jenkins-re, \u00e9s megszabadultunk a Teamcity t\u00f6bb instance-\u00e1nak fenntart\u00e1s\u00e1val j\u00e1r\u00f3 fejf\u00e1j\u00e1sok egy r\u00e9sz\u00e9t\u0151l. \u00cdgy m\u00e1r a fejleszt\u00e9sre \u00e9s az Integro finomhangol\u00e1s\u00e1ra tudtunk \u00f6sszpontos\u00edtani, valamint a Jenkins testreszab\u00e1s\u00e1ra.<\/p>\n

A b\u00e1zisautomatiz\u00e1l\u00e1s n\u00f6veked\u00e9s\u00e9vel (mint a Pull Requestek automatikus l\u00e9trehoz\u00e1sa, a code coverage gy\u0171jt\u00e9se \u00e9s k\u00f6zz\u00e9t\u00e9tele, valamint m\u00e1s ellen\u0151rz\u00e9sek) er\u0151s v\u00e1gy \u00e9bredt arra, hogy a lehet\u0151 legnagyobb m\u00e9rt\u00e9kben felhagyjunk a k\u00e9zi kiad\u00e1sokkal \u00e9s \u00e1tadjuk ezt a munk\u00e1t a robotoknak. Ezenk\u00edv\u00fcl a c\u00e9gen bel\u00fcl elkezd\u0151d\u00f6tt a mikroservices-re val\u00f3 \u00e1t\u00e1ll\u00e1s, ami gyakori kiad\u00e1sokat ig\u00e9nyelt, r\u00e1ad\u00e1sul k\u00fcl\u00f6n-k\u00fcl\u00f6n. \u00cdgy fokozatosan eljutottunk a mikroservices automatikus kiad\u00e1s\u00e1hoz (a monolitikus alkalmaz\u00e1st egyel\u0151re manu\u00e1lisan adjuk ki a folyamat bonyolults\u00e1ga miatt). De, mint \u00e1ltal\u00e1ban, \u00faj neh\u00e9zs\u00e9gek mer\u00fcltek fel.\u00a0<\/p>\n

Automatiz\u00e1ljuk a tesztel\u00e9st<\/h2>\n

\n\"A
\n
\nA kiad\u00e1sok automatiz\u00e1l\u00e1sa felgyors\u00edtotta a fejleszt\u00e9si folyamatokat, r\u00e9szben n\u00e9h\u00e1ny tesztel\u00e9si szakasz kihagy\u00e1sa r\u00e9v\u00e9n. Ez id\u0151szakos min\u0151s\u00e9groml\u00e1shoz vezetett. B\u00e1r ban\u00e1lisnak hangzik, a kiad\u00e1sok felgyors\u00edt\u00e1s\u00e1val egy\u00fctt a term\u00e9kfejleszt\u00e9si m\u00f3dszertan\u00e1t is meg kellett v\u00e1ltoztatni. Gondolkodni kellett a tesztel\u00e9s automatiz\u00e1l\u00e1s\u00e1r\u00f3l, a fejleszt\u0151k szem\u00e9lyes felel\u0151ss\u00e9gi k\u00f6r\u00e9nek meger\u0151s\u00edt\u00e9s\u00e9r\u0151l (itt a \u201egondolatban val\u00f3 elfogad\u00e1s\u201d a t\u00e9ma, nem p\u00e9nzb\u00edrs\u00e1gok), valamint a feladatok kiad\u00e1s\u00e1nak\/ki nem ad\u00e1s\u00e1nak eld\u00f6nt\u00e9s\u00e9r\u0151l automatikus telep\u00edt\u00e9s \u00fatj\u00e1n.\u00a0<\/p>\n

A min\u0151s\u00e9gi probl\u00e9m\u00e1k megsz\u00fcntet\u00e9se \u00e9rdek\u00e9ben k\u00e9t fontos d\u00f6nt\u00e9sre jutottunk: canary tesztel\u00e9st kezdt\u00fcnk el v\u00e9gezni, \u00e9s automatikus hibafon\u00f3-monitoroz\u00e1st vezett\u00fcnk be automatikus reag\u00e1l\u00e1ssal a hat\u00e1rok t\u00fall\u00e9p\u00e9se eset\u00e9n. Az els\u0151 d\u00f6nt\u00e9s lehet\u0151v\u00e9 tette a nyilv\u00e1nval\u00f3 hib\u00e1k megtal\u00e1l\u00e1s\u00e1t, miel\u0151tt a k\u00f3d teljesen beker\u00fclt volna a production k\u00f6rnyezetbe, a m\u00e1sodik cs\u00f6kkentette a probl\u00e9m\u00e1kra val\u00f3 reag\u00e1l\u00e1s idej\u00e9t a productionban. Hib\u00e1k term\u00e9szetesen el\u0151fordulnak, de az id\u0151nk \u00e9s energi\u00e1nk nagyobb r\u00e9sz\u00e9t nem a kijav\u00edt\u00e1sra, hanem a minimaliz\u00e1l\u00e1sra ford\u00edtjuk.\u00a0<\/p>\n

Automatiz\u00e1l\u00f3 csapat<\/h2>\n

\nJelenleg 130 fejleszt\u0151b\u0151l \u00e1ll\u00f3 csapatunk van, \u00e9s tov\u00e1bbra is n\u00f6veksz\u00fcnk<\/a><\/noindex>. A folyamatos integr\u00e1ci\u00f3\u00e9rt \u00e9s a k\u00f3d sz\u00e1ll\u00edt\u00e1s\u00e1\u00e9rt felel\u0151s csapat (tov\u00e1bbiakban Deploy and Integration vagy DI csapat) 7 f\u0151b\u0151l \u00e1ll, \u00e9s k\u00e9t ir\u00e1nyban dolgozik: az Integro automatiz\u00e1l\u00e1si platform fejleszt\u00e9s\u00e9n \u00e9s a DevOps-on.\u00a0<\/p>\n

A DevOps v\u00e1lasza a CIAN webhely Dev\/Beta k\u00f6rnyezet\u00e9re, az Integro k\u00f6rnyezetre, seg\u00edt a fejleszt\u0151knek a probl\u00e9m\u00e1k megold\u00e1s\u00e1ban \u00e9s \u00faj megk\u00f6zel\u00edt\u00e9seket dolgoz ki a k\u00f6rnyezetek sk\u00e1l\u00e1z\u00e1s\u00e1hoz. Az Integro fejleszt\u00e9si ter\u00fclet az Integro-t \u00e9s kapcsol\u00f3d\u00f3 szolg\u00e1ltat\u00e1sokat is \u00e9rinti, p\u00e9ld\u00e1ul a Jenkins, Jira \u00e9s Confluence b\u0151v\u00edtm\u00e9nyeket, valamint seg\u00e9dprogramokat \u00e9s alkalmaz\u00e1sokat fejleszt a fejleszt\u0151i csapatok sz\u00e1m\u00e1ra.\u00a0<\/p>\n

A DI csapat egy\u00fcttm\u0171k\u00f6dik a Platform csapattal, amely a v\u00e1llalaton bel\u00fcli architekt\u00fara, k\u00f6nyvt\u00e1rak \u00e9s fejleszt\u00e9si megk\u00f6zel\u00edt\u00e9sek kidolgoz\u00e1s\u00e1val foglalkozik. Emellett b\u00e1rmely fejleszt\u0151 a CIAN-on bel\u00fcl hozz\u00e1j\u00e1rulhat az automatiz\u00e1l\u00e1shoz, p\u00e9ld\u00e1ul mikroautomatiz\u00e1l\u00e1st v\u00e9gezhet a csapat ig\u00e9nyeinek megfelel\u0151en, vagy megoszthatja egy szuper \u00f6tletet arr\u00f3l, hogyan lehetne m\u00e9g jobb az automatiz\u00e1l\u00e1s.<\/p>\n

Az automatiz\u00e1l\u00e1s r\u00e9tegzett tort\u00e1ja a CIAN-n\u00e1l<\/h2>\n

\n\"A
\n
\nMinden rendszer, amely az automatiz\u00e1l\u00e1sban r\u00e9szt vesz, t\u00f6bb r\u00e9tegre oszthat\u00f3:<\/p>\n

    \n
  1. K\u00fcls\u0151 rendszerek (Jira, Bitbucket stb.). Ezeket a fejleszt\u0151i csapatok haszn\u00e1lj\u00e1k.\n<\/li>\n
  2. Integro Platform. A fejleszt\u0151k \u00e1ltal\u00e1ban nem dolgoznak vele k\u00f6zvetlen\u00fcl, de ez t\u00e1mogatja az \u00f6sszes automatiz\u00e1l\u00e1si m\u0171k\u00f6d\u00e9st.\n<\/li>\n
  3. Sz\u00e1ll\u00edt\u00e1si, orkestr\u00e1ci\u00f3s \u00e9s felfedez\u00e9si szolg\u00e1ltat\u00e1sok (p\u00e9ld\u00e1ul Jenkins, Consul, Nomad). Ezek seg\u00edts\u00e9g\u00e9vel telep\u00edtj\u00fck a k\u00f3dot a szervereken, \u00e9s biztos\u00edtjuk, hogy a szolg\u00e1ltat\u00e1sok m\u0171k\u00f6djenek egym\u00e1ssal.\n<\/li>\n
  4. Fizikai szint (szerverek, oper\u00e1ci\u00f3s rendszerek, kapcsol\u00f3d\u00f3 szoftverek). Ezen a szinten m\u0171k\u00f6dik a k\u00f3dunk. Ez lehet fizikai szerver vagy virtu\u00e1lis (LXC, KVM, Docker).\n<\/li>\n<\/ol>\n

    \nEzekre a koncepci\u00f3kra alapozva osztjuk fel a felel\u0151ss\u00e9gi k\u00f6r\u00f6ket a DI csapaton bel\u00fcl. Az els\u0151 k\u00e9t szint az Integro fejleszt\u00e9si ir\u00e1nyzat\u00e1nak felel\u0151ss\u00e9gi k\u00f6r\u00e9be tartozik, a k\u00e9t utols\u00f3 szint pedig a DevOps felel\u0151ss\u00e9ge. Ez a feloszt\u00e1s lehet\u0151v\u00e9 teszi, hogy a feladatokra \u00f6sszpontos\u00edtsunk, \u00e9s ne zavarja az egy\u00fcttm\u0171k\u00f6d\u00e9st, mivel k\u00f6zel vagyunk egym\u00e1shoz, \u00e9s folyamatosan megosztjuk a tud\u00e1st \u00e9s a tapasztalatokat.<\/p>\n

    Integro<\/h2>\n

    \nF\u00f3kusz\u00e1ljunk az Integro-ra, \u00e9s kezdj\u00fck a technol\u00f3giai stack-kel:<\/p>\n