{"id":55870,"date":"2020-01-30T00:00:00","date_gmt":"2020-01-29T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/ot-skriptov-k-sobstvennoj-platforme-kak-my-avtomatizirovali-razrabotku-v-tsian"},"modified":"2020-02-18T14:04:02","modified_gmt":"2020-02-18T11:04:02","slug":"ot-skriptov-k-sobstvennoj-platforme-kak-my-avtomatizirovali-razrabotku-v-tsian","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/ot-skriptov-k-sobstvennoj-platforme-kak-my-avtomatizirovali-razrabotku-v-tsian","title":{"rendered":"Fr\u00e5n skript till egen plattform: hur vi automatiserade utvecklingen p\u00e5 CIAN","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Fr\u00e5n
\n
\nP\u00e5 RIT 2019 gjorde v\u00e5r kollega Alexander Korotkov en presentation<\/a><\/noindex> ett f\u00f6redrag om automatisering av utvecklingen p\u00e5 CIAN: f\u00f6r att f\u00f6renkla livet och arbetet anv\u00e4nder vi v\u00e5r egen plattform Integro. Den f\u00f6ljer upp livscykeln f\u00f6r uppgifter, tar bort rutinoperationer fr\u00e5n utvecklarna och minskar betydligt antalet buggar i produktion. I det h\u00e4r inl\u00e4gget kommer vi att komplettera Alexanders presentation och ber\u00e4tta hur vi gick fr\u00e5n enkla skript till att sammanfoga open source-produkter genom v\u00e5r egen plattform och vad v\u00e5rt separata automat team arbetar med.
\n\u00a0<\/a><\/noindex><\/p>\n

Nollniv\u00e5<\/h2>\n

\n\"Det finns ingen nollniv\u00e5, jag k\u00e4nner inte till n\u00e5got s\u00e5dant\"<\/b>
\nM\u00e4stare Shifu fr\u00e5n filmen \"Kung Fu Panda\"<\/i><\/p>\n

Automatiseringen p\u00e5 CIAN b\u00f6rjade 14 \u00e5r efter f\u00f6retagets grundande. D\u00e5 fanns det 35 personer i utvecklingsteamet. Det \u00e4r sv\u00e5rt att tro, eller hur? Sj\u00e4lvklart fanns automatisering i n\u00e5gon form, men ett separat sp\u00e5r f\u00f6r kontinuerlig integration och kodleverans b\u00f6rjade formas f\u00f6rst 2015.\u00a0<\/p>\n

Vid den tidpunkten hade vi en stor monolit av Python, C# och PHP, som var distribuerad p\u00e5 Linux-\/Windows-servrar. F\u00f6r att distribuera detta monster hade vi en upps\u00e4ttning skript som vi k\u00f6rde manuellt. Det fanns ocks\u00e5 en byggprocess f\u00f6r monoliten, som skapade mycket sm\u00e4rta och lidande p\u00e5 grund av konflikter vid sammanslagning av grenar, buggfixar och nybyggnad \"med en annan upps\u00e4ttning uppgifter i bygget\". F\u00f6renklat s\u00e5g processen ut s\u00e5 h\u00e4r:<\/p>\n

\"Fr\u00e5n
\n
\nDet h\u00e4r var inte tillfredsst\u00e4llande f\u00f6r oss, och vi ville bygga en upprepbar, automatiserad och styrd bygg- och distributionsprocess. F\u00f6r detta beh\u00f6vde vi ett CI\/CD-system och vi valde mellan den kostnadsfria versionen av Teamcity och den kostnadsfria Jenkins, eftersom vi hade arbetat med dem och b\u00e5da uppfyllde v\u00e5ra funktionskrav. Vi valde Teamcity som en nyare produkt. D\u00e5 anv\u00e4nde vi fortfarande inte mikrotj\u00e4nstarkitektur och r\u00e4knade inte med ett stort antal uppgifter och projekt.<\/p>\n

Vi kom d\u00e5 p\u00e5 id\u00e9n om ett eget system<\/h2>\n

\nImplementeringen av Teamcity eliminera bara en del av det manuella arbetet: det \u00e5terstod fortfarande skapandet av pull requests, befordran av uppgifter genom statusar i Jira, val av uppgifter f\u00f6r release. Systemet Teamcity hanterade inte detta. Det beh\u00f6vdes en v\u00e4g f\u00f6r fortsatt automatisering. Vi \u00f6verv\u00e4gde alternativ f\u00f6r att arbeta med skript i Teamcity eller att g\u00e5 \u00f6ver till externa automatiseringssystem. Men till slut beslutade vi att vi beh\u00f6vde maximal flexibilitet, som endast en egen l\u00f6sning kan ge. S\u00e5 f\u00f6ddes den f\u00f6rsta versionen av det interna automatiseringssystemet kallat Integro.<\/p>\n

Teamcity hanterar automatiseringen p\u00e5 niv\u00e5n f\u00f6r att starta bygg- och deployprocesser, medan Integro fokuserade p\u00e5 \u00f6vergripande automatisering av utvecklingsprocesser. Det beh\u00f6vdes en sammanslagning av arbetet med uppgifter i Jira med bearbetningen av den relaterade koden i Bitbucket. Vid detta stadie b\u00f6rjade Integro utveckla sina egna arbetsfl\u00f6den f\u00f6r att hantera uppgifter av olika typer.\u00a0<\/p>\n

P\u00e5 grund av den \u00f6kade automatiseringen i aff\u00e4rsprocesserna v\u00e4xte antalet projekt och k\u00f6rningar i Teamcity. S\u00e5 kom ett nytt problem: en gratis instans av Teamcity r\u00e4ckte inte l\u00e4ngre (3 agenter och 100 projekt), vi la till en till instans (ytterligare 3 agenter och 100 projekt), sedan \u00e4nnu en. Totalt fick vi ett system best\u00e5ende av flera kluster som var sv\u00e5rt att hantera.<\/p>\n

\"Fr\u00e5n
\n
\nN\u00e4r fr\u00e5gan om en fj\u00e4rde instans kom upp ins\u00e5g vi att vi inte kunde forts\u00e4tta s\u00e5 h\u00e4r, eftersom de totala kostnaderna f\u00f6r att supporta 4 instanser redan inte passade inom n\u00e5gra ramar. Fr\u00e5gan om att k\u00f6pa en betalversion av Teamcity eller att v\u00e4lja gratis Jenkins d\u00f6k upp. Vi gjorde ber\u00e4kningar kring instanser och automatiseringsplaner och beslutade att vi skulle anv\u00e4nda Jenkins. Efter ett par veckor bytte vi till Jenkins och blev av med en del av huvudv\u00e4rken kopplad till att st\u00f6dja flera instanser av Teamcity. D\u00e4rf\u00f6r kunde vi fokusera p\u00e5 utvecklingen av Integro och anpassningen av Jenkins efter v\u00e5ra behov.<\/p>\n

Med den \u00f6kande grundautomatiseringen (i form av automatisk skapande av Pull Request, insamling och publicering av kodt\u00e4ckning och andra kontroller) uppstod en stark \u00f6nskan att maximalt \u00f6verge manuella releaser och \u00f6verl\u00e4mna detta arbete till robotar. Dessutom p\u00e5b\u00f6rjades en flytt till mikrotj\u00e4nster inom f\u00f6retaget, vilket kr\u00e4vde frekventa releaser, dessutom separerade fr\u00e5n varandra. S\u00e5 vi har gradvis kommit fram till automatiserade releaser av v\u00e5ra mikrotj\u00e4nster (monoliten sl\u00e4pper vi fortfarande manuellt p\u00e5 grund av processens komplexitet). Men, som det ofta \u00e4r, uppstod en ny sv\u00e5righet.\u00a0<\/p>\n

Automatiserar testning<\/h2>\n

\n\"Fr\u00e5n
\n
\nGenom automatiseringen av releaser har utvecklingsprocesserna accelererat, delvis genom att hoppa \u00f6ver vissa teststeg. Detta ledde till en tillf\u00e4llig f\u00f6rlust av kvalitet. Det l\u00e5ter banalt, men tillsammans med accelerationen av releaser var det n\u00f6dv\u00e4ndigt att \u00e4ndra \u00e4ven metodologin f\u00f6r produktutveckling. Det var dags att t\u00e4nka p\u00e5 automatisering av testning, fr\u00e4mjande av personlig ansvarighet (h\u00e4r handlar det om \"att ta id\u00e9n i huvudet\", inte monet\u00e4ra b\u00f6ter) av utvecklaren f\u00f6r den kod som sl\u00e4pps och buggar i den, samt att beslutet om att sl\u00e4ppa \/ inte sl\u00e4ppa uppgiften skulle fattas genom automatisk distribution.\u00a0<\/p>\n

Genom att \u00e5tg\u00e4rda kvalitetsproblem kom vi fram till tv\u00e5 viktiga beslut: vi b\u00f6rjade genomf\u00f6ra kanarietester och inf\u00f6rde automatisk \u00f6vervakning av bakgrundsfel med automatisk respons p\u00e5 dess \u00f6verskridande. Den f\u00f6rsta l\u00f6sningen gjorde det m\u00f6jligt att identifiera uppenbara fel innan koden helt hamnade i produktion, den andra minskade svarstiden p\u00e5 problem i produktion. Fel f\u00f6rekommer s\u00e5klart, men vi l\u00e4gger st\u00f6rre delen av tiden och energin inte p\u00e5 att r\u00e4tta till, utan p\u00e5 att minimera.\u00a0<\/p>\n

Automatiseringsteamet<\/h2>\n

\nJust nu har vi en personalstyrka p\u00e5 130 utvecklare, och vi forts\u00e4tter v\u00e4xa<\/a><\/noindex>. Teamet f\u00f6r kontinuerlig integration och kodleverans (h\u00e4danefter kallat Deploy and Integration-teamet eller DI) best\u00e5r av 7 personer och arbetar i 2 riktningar: utveckling av automatiseringsplattformen Integro och DevOps.\u00a0<\/p>\n

DevOps ansvarar f\u00f6r Dev\/Beta-milj\u00f6erna f\u00f6r CIAN, integro-milj\u00f6erna och hj\u00e4lper utvecklare att l\u00f6sa problem och utveckla nya strategier f\u00f6r att skala milj\u00f6erna. Utvecklingsinriktningen f\u00f6r Integro arbetar b\u00e5de med sj\u00e4lva Integro och relaterade tj\u00e4nster, som exempelvis plugins f\u00f6r Jenkins, Jira och Confluence, samt utvecklar hj\u00e4lpprogram och applikationer f\u00f6r utvecklarteam.\u00a0<\/p>\n

DI-teamet arbetar tillsammans med plattformsteamet, som ansvarar f\u00f6r att utveckla arkitektur, bibliotek och utvecklingsmetoder inom f\u00f6retaget. Dessutom kan varje utvecklare inom CIAN bidra till automatisering, till exempel genom att skapa mikroautomatisering f\u00f6r teamets behov eller dela med sig av en bra id\u00e9 f\u00f6r hur automatiseringen kan f\u00f6rb\u00e4ttras.<\/p>\n

T\u00e5rtperspektiv p\u00e5 automatisering i CIAN<\/h2>\n

\n\"Fr\u00e5n
\n
\nAlla system som involveras i automatiseringen kan delas in i flera lager:<\/p>\n

    \n
  1. Externa system (Jira, Bitbucket, etc.). Dessa anv\u00e4nds av utvecklarteam.\n<\/li>\n
  2. Integro-plattformen. Oftast jobbar inte utvecklarna direkt med den, men det \u00e4r den som underst\u00f6der hela automatiseringen.\n<\/li>\n
  3. Leveranstj\u00e4nster, orkestrering och uppt\u00e4ckning (till exempel Jenkins, Consul, Nomad). Med hj\u00e4lp av dessa implementerar vi koden p\u00e5 servrar och ser till att tj\u00e4nsterna fungerar tillsammans.\n<\/li>\n
  4. Den fysiska niv\u00e5n (servrar, operativsystem, relaterad programvara). P\u00e5 denna niv\u00e5 k\u00f6rs v\u00e5r kod. Det kan vara b\u00e5de en fysisk server och en virtuell (LXC, KVM, Docker).\n<\/li>\n<\/ol>\n

    \nUtifr\u00e5n detta koncept delar vi upp ansvarsomr\u00e5den inom DI-teamet. De tv\u00e5 f\u00f6rsta niv\u00e5erna faller under utvecklingsinriktningen f\u00f6r Integro, medan de tv\u00e5 sista niv\u00e5erna faller under DevOps-ansvaret. Denna uppdelning g\u00f6r det m\u00f6jligt att fokusera p\u00e5 uppgifter och st\u00f6r inte samarbetet, eftersom vi \u00e4r n\u00e4ra varandra och kontinuerligt delar kunskap och erfarenhet.<\/p>\n

    Integro<\/h2>\n

    \nL\u00e5t oss fokusera p\u00e5 Integro och b\u00f6rja med teknologistacken:<\/p>\n