{"id":55870,"date":"2020-01-30T00:00:00","date_gmt":"2020-01-29T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/ot-skriptov-k-sobstvennoj-platforme-kak-my-avtomatizirovali-razrabotku-v-tsian"},"modified":"2020-02-18T14:04:02","modified_gmt":"2020-02-18T11:04:02","slug":"ot-skriptov-k-sobstvennoj-platforme-kak-my-avtomatizirovali-razrabotku-v-tsian","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/ot-skriptov-k-sobstvennoj-platforme-kak-my-avtomatizirovali-razrabotku-v-tsian","title":{"rendered":"Koodidelt oma platvormini: kuidas me automatisime arendust CIANis","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Koodidelt
\n
\nRIT 2019 meie kolleeg Aleksandr Korotkov tegi aruanne<\/a><\/noindex> esitluse arenduse automatiseerimisest CIANis: elu ja t\u00f6\u00f6 lihtsustamiseks kasutame oma platvormi Integro. See j\u00e4lgib \u00fclesannete eluts\u00fcklit, vabastab arendajaid rutiinsetest toimingutest ja v\u00e4hendab m\u00e4rgatavalt bugide arvu tootmisj\u00e4rgus. Selles postituses t\u00e4iendame Aleksandri ettekannet ja r\u00e4\u00e4gime, kuidas l\u00e4bisime teekonna lihtsatest skriptidest open source toodete \u00fchendamise kaudu oma platvormini ja millega tegeleb meie automatiseerimise erimeeskond.
\n\u00a0<\/a><\/noindex><\/p>\n

Nulltase<\/h2>\n

\n\u00abNulltaset pole, ma sellest ei tea\u00bb<\/b>
\nShifu Meister filmist \u00abKung Fu Panda\u00bb<\/i><\/p>\n

Automatiseerimine CIANis algas 14 aastat p\u00e4rast ettev\u00f5tte asutamist. Sel ajal oli arendustiimis 35 inimest. Raske uskuda, eks? Muidugi, mingil kujul automatiseerimine siiski olemas oli, kuid eraldi suund pideva integreerimise ja koodi tarnimise osas hakkas kujunema 2015. aastal.\u00a0<\/p>\n

Siis oli meil suur monoliit Pythonist, C#-st ja PHP-st, mis oli paigaldatud Linuxi\/Windows serveritele. Selle koletise juurutamiseks oli meil k\u00e4sitsi k\u00e4ivitatav skriptide kogum. Samuti oli meil monoliidi kogumine, mis p\u00f5hjustas valu ja kannatusi, kuna harude liitmise konfliktid, defektide parandamised ja \u201eteise \u00fclesannete kogumiga koostamine\u201c valmistasid meeleh\u00e4rmi. \u00dcks lihtne protsess n\u00e4gi v\u00e4lja j\u00e4rgmine:<\/p>\n

\"Koodidelt
\n
\nMeid see ei rahuldanud, ja me soovisime luua korduva, automatiseeritud ja hallatava koostamise ja juurutamise protsessi. Selle jaoks oli meil vaja CI\/CD s\u00fcsteemi, ning me valisime tasuta Teamcity ja tasuta Jenkins'i vahel, kuna olime nendega t\u00f6\u00f6tanud ja m\u00f5lemad pakkusid meile sobivaid funktsioone. Valisime Teamcity, kuna see tundus uuem toode. Siis me veel ei kasutanud mikroteenuste arhitektuuri ega lootnud suurele hulgale \u00fclesannetele ja projektidele.<\/p>\n

J\u00f5uame oma s\u00fcsteemi idee juurde<\/h2>\n

\nTeamcity rakendamine v\u00e4hendas vaid osa k\u00e4sit\u00f6\u00f6st: alles j\u00e4i veel Pull Requestide loomine, \u00fclesannete edasiviimine Jira staatuste kaudu ja \u00fclesannete valimine v\u00e4ljalaskmiseks. Selle s\u00fcsteemiga Teamcity enam toime ei tulnud. Pidi valima edasise automatiseerimise tee. Kaalusime skriptide kasutamist Teamcitys v\u00f5i \u00fcleminekut kolmandate osapoolte automatiseerimiss\u00fcsteemidele. L\u00f5puks otsustasime, et vajalik on maksimaalne paindlikkus, mida suudab pakkuda vaid kohandatud lahendus. Nii sai alguse esimene versioon sisemisest automatiseerimiss\u00fcsteemist nimega Integro.<\/p>\n

Teamcity tegeleb automatiseerimisega protsesside k\u00e4ivitamise tasemel, nagu koostamine ja juurutamine, kuid Integro keskendus k\u00f5rgema taseme arendusprotsesside automatiseerimisele. Oli vajalik liita Jira \u00fclesannete t\u00f6\u00f6 koos Bitbucketis asuva l\u00e4htekoodiga. Sel hetkel hakkasid Integro sees arenema oma t\u00f6\u00f6vood erinevat t\u00fc\u00fcpi \u00fclesannete t\u00f6\u00f6tlemiseks.\u00a0<\/p>\n

T\u00e4nu \u00e4ritegevuse automatiseerimise suurenemisele on projektide ja run'ide arv Teamcitys kasvanud. Nii tuli p\u00e4evakorda uus probleem: \u00fcks tasuta Teamcity instants ei olnud piisav (3 agenti ja 100 projekti), lisasime veel \u00fche instantsi (veel 3 agenti ja 100 projekti), siis veel \u00fche. L\u00f5puks saime mitmest klastrist koosneva s\u00fcsteemi, mida oli keeruline hallata:<\/p>\n

\"Koodidelt
\n
\nKui k\u00fcsiti neljanda instantsi kohta, m\u00f5istsime, et nii enam edasi elada ei saa, kuna nelja instantsi \u00fclalpidamiskulud ei mahtunud enam mingitesse raamidesse. Tuli k\u00fcsimus osta tasuline Teamcity v\u00f5i valida tasuta Jenkins. Tegime instantside ja automatiseerimise plaanide arvutused ja otsustasime, et elame Jenkinsiga. Paar n\u00e4dalat hiljem l\u00e4ksime \u00fcle Jenkinsile ja vabastasime end osaliselt Teamcity mitme instantsi haldamisega seotud muredest. Seet\u00f5ttu suutsime keskenduda Integro arendamisele ja Jenkins enda jaoks kohandamisele.<\/p>\n

P\u00f5hilise automatiseerimise (nt Pull Requestide automaatne loomine, koodi katvuse kogumine ja avaldamine ning muud kontrollid) kasvu t\u00f5ttu tekkis p\u00fcsiv soov v\u00e4hendada k\u00e4sitsi v\u00e4ljalaskeid ja anda see t\u00f6\u00f6 robotitele. Lisaks alustas ettev\u00f5te \u00fcleminekut mikroteenustele, mis n\u00f5udsid sagedasi ja eraldi v\u00e4ljalaseid. Nii j\u00f5udsime j\u00e4rk-j\u00e4rgult meie mikroteenuste automaatsete v\u00e4ljalasketeeni (monoliiti v\u00e4ljastame endiselt k\u00e4sitsi protsessi keerukuse t\u00f5ttu). Kuid nagu sageli juhtub, tekkis uus keerukus.\u00a0<\/p>\n

Automatiseerime testimise<\/h2>\n

\n\"Koodidelt
\n
\nT\u00e4nu v\u00e4ljalaskmise automatiseerimisele on arendamisprotsessid kiirenema hakanud, osaliselt testimise teatud etappide vahelej\u00e4tmise arvelt. See on viinud ajutise kvaliteetkao tekkimiseni. K\u00f5lab labaselt, aga koos v\u00e4ljalaskmiste kiirenemisega tuli muuta ka toote arenduse metoodikat. Oli vajalik m\u00f5elda testimise automatiseerimisele, isikliku vastutuse m\u00e4\u00e4ramisele (siin on jutt \u201eidee peas hoidmisest\u201c, mitte rahalistest trahvidest) arendajatele nende kirjutatud koodi ja sealsete vigade eest, samuti otsusele \u00fclesande v\u00e4ljalaskmise\/mitte v\u00e4ljalaskmise osas automaatse juurutamise kaudu.\u00a0<\/p>\n

Kvaliteediprobleemide lahendamisel j\u00f5udsime kahe olulise lahenduseni: hakkasime l\u00e4biviima kanaritele katsed ja juurutame automaatset veamonitorimist automaatselt reageerimisega selle \u00fcletamisele. Esimene lahendus v\u00f5imaldas leida ilmseid vigu enne, kui kood j\u00f5uab tootmisj\u00e4rku, teine aga v\u00e4hendas reageerimisaega tootmisprotsessis. Vigu esineb, aga me kulutame suurema osa ajast ja j\u00f5ududest mitte parandamisele, vaid minimiseerimisele.\u00a0<\/p>\n

Automatiseerimise meeskond<\/h2>\n

\nPraegu on meie ridades 130 arendajat ja me j\u00e4tkame kasvamist<\/a><\/noindex>. J\u00e4tkuva integratsiooni ja koodi kohaletoimetamise meeskond (edaspidi - Deploy and Integration meeskond v\u00f5i DI) koosneb seitsmest inimesest ja t\u00f6\u00f6tab kahes suunas: Integro automatiseerimise platvormi arendamine ja DevOps.\u00a0<\/p>\n

DevOps vastutab CIANi saidi Dev\/Beta keskkondade, Integro keskkondade eest, aitab arendajatel probleemide lahendamisel ning arendab uusi l\u00e4henemisviise keskkondade skaleerimiseks. Integro arendusmeeskond keskendub nii Integrole kui ka seotud teenustele, n\u00e4iteks Lisa- ja Lisade jaoks Jenkinsile, Jira, Confluence'ile, ning arendab ka abiteenuseid ja rakendusi arendajate meeskondadele.\u00a0<\/p>\n

DI meeskond teeb koost\u00f6\u00f6d Platvormi meeskonnaga, mis tegeleb ettev\u00f5tte sisese arengu arhitektuuri, raamatukogude ja arenduse l\u00e4henemisviiside v\u00e4ljat\u00f6\u00f6tamisega. Samuti saab iga arendaja CIANis panustada automatiseerimisse, n\u00e4iteks luua mikroomatiseerimise vastavalt meeskonna vajadustele v\u00f5i jagada h\u00e4id ideid automatiseerimise parandamiseks.<\/p>\n

CIANi automatiseerimise kihiline kook<\/h2>\n

\n\"Koodidelt
\n
\nK\u00f5ik automatiseerimises osalevad s\u00fcsteemid v\u00f5ib jagada mitmeks kihiks:<\/p>\n

    \n
  1. V\u00e4line s\u00fcsteemid (Jira, Bitbucket jne). Nendega t\u00f6\u00f6tavad arendajate meeskonnad.\n<\/li>\n
  2. Integro platvorm. Arendajad ei pruugi selle otseselt kasutada, kuid just tema toetab kogu automatiseerimise toimimist.\n<\/li>\n
  3. Tarnimise, orkestreerimise ja avastamise teenused (n\u00e4iteks Jenkins, Consul, Nomad). Nende abil saadame koodi serveritesse ja tagame teenuste koost\u00f6\u00f6.\n<\/li>\n
  4. F\u00fc\u00fcsiline kiht (serverid, operatsioonis\u00fcsteem, seotud tarkvara). Meie kood t\u00f6\u00f6tab just sellel tasemel. See v\u00f5ib olla nii f\u00fc\u00fcsiline server kui ka virtuaalne (LXC, KVM, Docker).\n<\/li>\n<\/ol>\n

    \nSelle kontseptsiooni kohaselt jagame DI meeskonnas vastutuse alasid. Kaks esimest taset kuuluvad Integro arendussuunale, kaks viimast taset aga DevOpsi vastutusalasse. Selline jaotus v\u00f5imaldab keskenduda \u00fclesannetele ja ei sega koost\u00f6\u00f6d, kuna oleme \u00fcksteise l\u00e4hedal ja vahetame pidevalt teadmisi ning kogemusi.<\/p>\n

    Integro<\/h2>\n

    \nKeskendume Integrole ning alustame tehnoloogilisest virnast:<\/p>\n