{"id":80289,"date":"2020-05-05T01:42:36","date_gmt":"2020-05-04T23:42:36","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/ansible-migracziya-konfiguraczii-120-vm-c-coreos-na-centos-za-18-mesyaczev"},"modified":"2020-05-05T01:42:36","modified_gmt":"2020-05-04T23:42:36","slug":"ansible-migracziya-konfiguraczii-120-vm-c-coreos-na-centos-za-18-mesyaczev","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sk\/blog\/administrirovanie\/ansible-migracziya-konfiguraczii-120-vm-c-coreos-na-centos-za-18-mesyaczev","title":{"rendered":"Ansible: Migr\u00e1cia konfigur\u00e1cie 120 VM z CoreOS na CentOS za 18 mesiacov","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Ansible:<\/p>\n

<\/p>\n

Toto je prepis prezent\u00e1cie na DevopsConf 2019-10-01<\/a><\/noindex> a SPbLUG 2019-09-25<\/a><\/noindex>.<\/p>\n

<\/p>\n

Toto je pr\u00edbeh projektu, na ktorom sa pou\u017e\u00edval vlastn\u00fd syst\u00e9m spr\u00e1vy konfigur\u00e1ci\u00ed a pre\u010do prechod na Ansible trval 18 mesiacov.<\/p>\n

<\/a><\/noindex><\/p>\n

De\u0148 \u010d. -XXX: Pred za\u010diatkom<\/h2>\n

<\/p>\n

\"Ansible:<\/p>\n

<\/p>\n

P\u00f4vodne infra\u0161trukt\u00fara pozost\u00e1vala z mno\u017estva samostatn\u00fdch hostite\u013eov spravovan\u00fdch Hyper-V. Vytvorenie virtu\u00e1lneho stroja si vy\u017eadovalo mno\u017estvo krokov: umiestni\u0165 disky na spr\u00e1vne miesto, nastavi\u0165 DNS, rezervova\u0165 DHCP, ulo\u017ei\u0165 konfigur\u00e1ciu VMs do git repozit\u00e1ra. Tento proces bol \u010diasto\u010dne zmechanizovan\u00fd, ale napr\u00edklad rozdelenie VM medzi hostite\u013eov prebiehalo manu\u00e1lne. Av\u0161ak v\u00fdvoj\u00e1ri mohli upravi\u0165 konfigur\u00e1ciu VM v Gite a aplikova\u0165 ju re\u0161tartovan\u00edm VM.<\/p>\n

<\/p>\n

Vlastn\u00e9 rie\u0161enie spr\u00e1vy konfigur\u00e1ci\u00ed<\/h3>\n

<\/p>\n

\"Ansible:<\/p>\n

<\/p>\n

P\u00f4vodn\u00fa my\u0161lienku, predpoklad\u00e1m, zam\u00fd\u0161\u013eali ako IaC: mno\u017estvo stateless VMs, ktor\u00e9 sa pri re\u0161tarte vr\u00e1tili do p\u00f4vodn\u00e9ho stavu. Ako vyzeralo riadenie konfigur\u00e1ci\u00ed VMs? Schematicky to vyzeralo jednoducho:<\/p>\n

<\/p>\n

    \n
  1. Pre VMs sme nastavili statick\u00fd MAC.<\/li>\n
  2. K VMs sme pripojili ISO s CoreOS a zav\u00e1dzac\u00ed disk.<\/li>\n
  3. CoreOS sp\u00fa\u0161\u0165a skript prisp\u00f4sobenia z jeho WEB servera na z\u00e1klade svojej IP.<\/li>\n
  4. Skript s\u0165ahuje konfigur\u00e1ciu VM cez SCP na z\u00e1klade IP adresy.<\/li>\n
  5. Spustila sa s\u00e9ria s\u00faborov systemd unit a s\u00e9ria bash skriptov.<\/li>\n<\/ol>\n

    <\/p>\n

    \"Ansible:<\/p>\n

    <\/p>\n

    Toto rie\u0161enie malo mno\u017estvo zrejm\u00fdch probl\u00e9mov:<\/p>\n

    <\/p>\n

      \n
    1. ISO v CoreOS bolo zastaran\u00e9.<\/li>\n
    2. Mno\u017estvo zlo\u017eit\u00fdch automatizovan\u00fdch krokov a \u010darodejn\u00edctva pri migr\u00e1cii\/vytv\u00e1ran\u00ed VMs.<\/li>\n
    3. Probl\u00e9my s aktualiz\u00e1ciou a potrebou softv\u00e9ru ur\u010ditej verzie. E\u0161te z\u00e1bavnej\u0161ie to bolo s modulmi jadra.<\/li>\n
    4. VMs neboli a\u017e tak bez \u00fadajov, teda sa objavili VMs, ktor\u00e9 mali pripojen\u00fd disk s pou\u017e\u00edvate\u013esk\u00fdmi \u00fadajmi navy\u0161e.<\/li>\n
    5. Niekoho st\u00e1le zradili z\u00e1vislosti systemd unit a pri re\u0161tarte CoreOS sa zasekla. Bolo problematick\u00e9 odchyt\u00e1va\u0165 to dostupn\u00fdmi prostriedkami v CoreOS.<\/li>\n
    6. Spr\u00e1va tajomstiev.<\/li>\n
    7. CM prakticky neexistovalo. Bol tu bash a YML konfigur\u00e1cie CoreOS.<\/li>\n<\/ol>\n

      <\/p>\n

      Na aplikovanie konfigur\u00e1cie VM bola potrebn\u00e1 jej re\u0161tart, ale mohla sa ne\u00faspe\u0161ne re\u0161tartova\u0165. Zdanlivo ban\u00e1lny probl\u00e9m, ale neexistovali perzistentn\u00e9 disky \u2014 nemali sme kde uchov\u00e1va\u0165 logy. Dobre, sk\u00fasme prida\u0165 mo\u017enosti pri zav\u00e1dzan\u00ed jadra, aby sa logy posielali. Ale nie, ak\u00e9 je to v\u0161etko zlo\u017eit\u00e9.<\/p>\n

      <\/p>\n

      De\u0148 \u010d.0: Uzna\u0165 probl\u00e9m<\/h2>\n

      <\/p>\n

      \"Ansible:<\/p>\n

      <\/p>\n

      To bola be\u017en\u00e1 v\u00fdvojov\u00e1 infra\u0161trukt\u00fara: Jenkins, testovacie prostredia, monitorovanie, registry. CoreOS bola navrhnut\u00e1 na hosting klastrov k8s, tj. probl\u00e9m bol v tom, ako sa CoreOS pou\u017e\u00edvala. Prv\u00fdm krokom bol v\u00fdber stacku. Zastavili sme sa na:<\/p>\n

      <\/p>\n

        \n
      1. CentOS<\/strong> ako z\u00e1kladn\u00fd distrib\u00fator, preto\u017ee to je najbli\u017e\u0161\u00ed distrib\u00fator k v\u00fdrobn\u00fdm prostrediam.<\/li>\n
      2. Ansible<\/strong> na spr\u00e1vu konfigur\u00e1ci\u00ed, preto\u017ee s n\u00edm existovala rozsiahla expert\u00edza.<\/li>\n
      3. Jenkins<\/strong> ako r\u00e1mec na automatiz\u00e1ciu existuj\u00facich procesov, preto\u017ee sa u\u017e akt\u00edvne pou\u017e\u00edval na procesy v\u00fdvoja.<\/li>\n
      4. Hyper-V<\/strong> ako platforma virtualiz\u00e1cie. Existuje mno\u017estvo d\u00f4vodov, ktor\u00e9 presahuj\u00fa r\u00e1mec rozpr\u00e1vania, ale ak to zhrnieme \u2014 nem\u00f4\u017eeme pou\u017e\u00edva\u0165 cloudy, mus\u00edme pou\u017ei\u0165 n\u00e1\u0161 hardv\u00e9r.<\/li>\n<\/ol>\n

        <\/p>\n

        De\u0148 \u010d. 30: Fix\u00e1cia existuj\u00facich dohod \u2014 Agreements as Code<\/h3>\n

        <\/p>\n

        \"Ansible:<\/p>\n

        <\/p>\n

        Ke\u010f bol jasn\u00fd stack, za\u010dala sa pr\u00edprava na presun. Fixovanie existuj\u00facich doh\u00f4d vo forme k\u00f3du (Agreements as Code<\/strong>!). Prechod ru\u010dn\u00fd pr\u00e1cu<\/em> -> mechaniz\u00e1cia<\/em> -> automatiz\u00e1ciu<\/em>.<\/p>\n

        <\/p>\n

        1. Konfigur\u00e1cia VM<\/h4>\n

        <\/p>\n

        \"Ansible:<\/p>\n

        <\/p>\n

        Ansible si s touto \u00falohou v\u00fdborne porad\u00ed. S minim\u00e1lnym \u00fasil\u00edm je mo\u017en\u00e9 prevzia\u0165 spr\u00e1vu konfigur\u00e1ci\u00ed VM:<\/p>\n

        <\/p>\n

          \n
        1. Vytv\u00e1rame git repozit\u00e1r.<\/li>\n
        2. Uklad\u00e1me zoznam VM do invent\u00e1ru, konfigur\u00e1cie do playbookov a rol\u00ed.<\/li>\n
        3. Nastavujeme \u0161peci\u00e1lny Jenkins slave, z ktor\u00e9ho je mo\u017en\u00e9 sp\u00fa\u0161\u0165a\u0165 Ansible.<\/li>\n
        4. Vytvor\u00edme job, nastav\u00edme Jenkins.<\/li>\n<\/ol>\n

          <\/p>\n

          Prv\u00fd proces je pripraven\u00fd. Dohody s\u00fa fixovan\u00e9.<\/p>\n

          <\/p>\n

          2. Vytvori\u0165 nov\u00fa VM<\/h4>\n

          <\/p>\n

          \"Ansible:<\/p>\n

          <\/p>\n

          Tu to nebolo ve\u013emi pohodln\u00e9. Z Linuxu nebolo ve\u013emi pohodln\u00e9 vytv\u00e1ra\u0165 VM na Hyper-V. Jedn\u00fdm z pokusov mechanizova\u0165 tento proces bolo:<\/p>\n

          <\/p>\n

            \n
          1. Ansible sa prip\u00e1ja cez WinRM k Windows hostite\u013eovi.<\/li>\n
          2. Ansible sp\u00fa\u0161\u0165a powershell skript.<\/li>\n
          3. Powershell skript vytv\u00e1ra nov\u00fa VM.<\/li>\n
          4. Prostriedkami Hyper-V\/ScVMM pri vytv\u00e1ran\u00ed VM v hos\u0165ovskom OS sa nastavuje hostname.<\/li>\n
          5. VM pri aktualiz\u00e1cii DHCP lease posiela svoj hostname.<\/li>\n
          6. \u0160tandardn\u00e1 integr\u00e1cia ddns & dhcp na strane Domain Controller nastavuje DNS z\u00e1znam.<\/li>\n
          7. VM je mo\u017en\u00e9 prid\u00e1va\u0165 do invent\u00e1ru a nastavova\u0165 ju Ansible.<\/li>\n<\/ol>\n

            <\/p>\n

            3. Vytvori\u0165 \u0161abl\u00f3nu VM<\/h4>\n

            <\/p>\n

            \"Ansible:<\/p>\n

            <\/p>\n

            Tu sme ni\u010d nevym\u00fd\u0161\u013eali - zobrali sme Packer.<\/p>\n

            <\/p>\n

              \n
            1. Do git repozit\u00e1ra uklad\u00e1me konfigur\u00e1ciu packer, kickstart.<\/li>\n
            2. Nastavujeme \u0161peci\u00e1lny Jenkins slave s Hyper-V a Packer.<\/li>\n
            3. Vytvor\u00edme job, nastav\u00edme Jenkins.<\/li>\n<\/ol>\n

              <\/p>\n

              Ako funguje t\u00e1to v\u00e4zba:<\/p>\n

              <\/p>\n

                \n
              1. Packer vytv\u00e1ra pr\u00e1zdnu VM, pripoj\u00ed ISO.<\/li>\n
              2. VM sa na\u010d\u00edta, Packer zad\u00e1va do zav\u00e1dza\u010da pr\u00edkaz pou\u017ei\u0165 n\u00e1\u0161 kickstart s\u00fabor z diskety alebo http.<\/li>\n
              3. Spust\u00ed sa anaconda s na\u0161ou konfigur\u00e1ciou, vykon\u00e1 sa po\u010diato\u010dn\u00e9 nastavenie OS.<\/li>\n
              4. Packer \u010dak\u00e1 na dostupnos\u0165 VM.<\/li>\n
              5. Packer vo VM sp\u00fa\u0161\u0165a Ansible v lok\u00e1lnom re\u017eime.<\/li>\n
              6. Ansible vyu\u017e\u00edva presne tie ist\u00e9 role ako v kroku \u010d. 1.<\/li>\n
              7. Packer exportuje \u0161abl\u00f3nu VM.<\/li>\n<\/ol>\n

                <\/p>\n

                De\u0148 \u010d. 75: Refaktoring doh\u00f4d bez probl\u00e9mov = Test ansible + Testkitchen.<\/h3>\n

                <\/p>\n

                \"Ansible:<\/p>\n

                <\/p>\n

                Zafixovanie doh\u00f4d v k\u00f3de m\u00f4\u017ee by\u0165 nedostato\u010dn\u00e9. Ve\u010f ak by si chcel v procese nie\u010do zmeni\u0165 \u2014 m\u00f4\u017ee\u0161 nie\u010do pokazi\u0165. Preto sa v oblasti infra\u0161trukt\u00fary objavuje testovanie tejto infra\u0161trukt\u00fary. Aby sme synchronizovali vedomosti v r\u00e1mci t\u00edmu, za\u010dali sme testova\u0165 Ansible role. Nebudem sa do toho hlboko pon\u00e1ra\u0165, preto\u017ee existuje \u010dl\u00e1nok popisuj\u00faci udalosti v tom \u010dase. Otestuj ma, ak m\u00f4\u017ee\u0161, alebo sn\u00edvaj\u00fa YML program\u00e1tori o testovan\u00ed ansible?<\/a><\/noindex>(spojler, to nebolo fin\u00e1lne, nesk\u00f4r sa v\u0161etko skomplikovalo. Ako za\u010da\u0165 testova\u0165 Ansible, refaktorova\u0165 projekt za rok a nezbl\u00e1zni\u0165 sa<\/a><\/noindex>).<\/p>\n

                <\/p>\n

                De\u0148 \u010d. 130: A mo\u017eno CentOS + ansible nie je potrebn\u00fd? Mo\u017eno openshift?<\/h3>\n

                <\/p>\n

                Mus\u00edme si uvedomi\u0165, \u017ee proces za\u010dle\u0148ovania infra\u0161trukt\u00fary nebol jedin\u00fd a boli aj ved\u013eaj\u0161ie podprojekty. Napr\u00edklad pri\u0161la \u017eiados\u0165 o spustenie na\u0161ej aplik\u00e1cie v openshift a to sa pretiahlo na nieko\u013ekot\u00fd\u017ed\u0148ov\u00fd prieskum. Sp\u00fa\u0161\u0165ame aplik\u00e1ciu v Openshift a porovn\u00e1vame existuj\u00face n\u00e1stroje.<\/a><\/noindex> \u010do spomalilo proces pres\u00favania. V\u00fdsledkom bolo, \u017ee openshift neuzatv\u00e1ra v\u0161etky potreby, potrebujeme re\u00e1lne \u017eelezo, alebo aspo\u0148 mo\u017enos\u0165 experimentova\u0165 s jadrom.<\/p>\n

                <\/p>\n

                De\u0148 \u010d. 170: Openshift nie je vhodn\u00fd, riskneme s Windows Azure Pack?<\/h3>\n

                <\/p>\n

                \"Ansible:<\/p>\n

                <\/p>\n

                Hyper-V nie je ve\u013emi priate\u013esk\u00fd, SCVMM mu neprid\u00e1va na kvalite. Ale existuje tak\u00e1 vec ako Windows Azure Pack, ktor\u00e1 je nadstavbou nad SCVMM a napodob\u0148uje Azure. V skuto\u010dnosti v\u0161ak produkt vyzer\u00e1 opusten\u00fd: dokument\u00e1cia s nefunk\u010dn\u00fdmi odkazmi a ve\u013emi skromn\u00e1. Ale v r\u00e1mci prieskumu mo\u017enost\u00ed zjednodu\u0161enia n\u00e1\u0161ho cloudu sme sa na neho pozerali tie\u017e.<\/p>\n

                <\/p>\n

                De\u0148 \u010d. 250: Windows Azure Pack nie je pr\u00edli\u0161 dobr\u00fd. Zost\u00e1vame na SCVMM.<\/h3>\n

                <\/p>\n

                \"Ansible:<\/p>\n

                <\/p>\n

                Windows Azure Pack vyzeral s\u013eubne, ale rozhodli sme sa neprin\u00e1\u0161a\u0165 WAP s jeho zlo\u017eitosti do syst\u00e9mu kv\u00f4li nepotrebn\u00fdm funkci\u00e1m a zostali sme na SCVMM.<\/p>\n

                <\/p>\n

                De\u0148 \u010d. 360: Jeme slona po \u010dastiach.<\/h3>\n

                <\/p>\n

                \"Ansible:<\/p>\n

                <\/p>\n

                Len po roku bola pripraven\u00e1 platforma, kam sa presun\u00fa\u0165, a za\u010dal proces presunu. Na to bola stanoven\u00e1 \u00faloha S.M.A.R.T. Zozbierali sme v\u0161etky VM a za\u010dali sa jednou po druhej zaobera\u0165 konfigur\u00e1ciou, op\u00edsali sme ju na Ansible a pokryli testami.<\/p>\n

                <\/p>\n

                De\u0148 \u010d. 450: Ak\u00fd syst\u00e9m sa vytvoril?<\/h3>\n

                <\/p>\n

                \"Ansible:<\/p>\n

                <\/p>\n

                Cel\u00fd proces nie je zauj\u00edmav\u00fd. Je rutinn\u00fd, mo\u017eno poznamena\u0165, \u017ee v\u00e4\u010d\u0161ina konfigur\u00e1ci\u00ed bola relat\u00edvne jednoduch\u00e1 alebo izomorfn\u00e1 a pod\u013ea Princ\u00edpu Pareto 80 % konfigur\u00e1ci\u00ed vy\u017eadovalo 20 % \u010dasu. Pod\u013ea toho ist\u00e9ho princ\u00edpu 80 % \u010dasu i\u0161lo na pr\u00edpravu presunu a len 20 % na samotn\u00fd presun. <\/p>\n

                <\/p>\n

                De\u0148 \u010d. 540: Fin\u00e1le<\/h2>\n

                <\/p>\n

                \"Ansible:<\/p>\n

                <\/p>\n

                \u010co sa stalo za 18 mesiacov?<\/p>\n

                <\/p>\n

                  \n
                1. Dohody sa stali k\u00f3dexom.<\/li>\n
                2. Ru\u010dn\u00e1 pr\u00e1ca<\/em> -> Mechaniz\u00e1cia<\/em> -> Automatiz\u00e1cia<\/em>.<\/li>\n<\/ol>\n

                  <\/p>\n

                  Odkazy<\/h2>\n

                  <\/p>\n