{"id":80289,"date":"2020-05-05T01:42:36","date_gmt":"2020-05-04T23:42:36","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/ansible-migracziya-konfiguraczii-120-vm-c-coreos-na-centos-za-18-mesyaczev"},"modified":"2020-05-05T01:42:36","modified_gmt":"2020-05-04T23:42:36","slug":"ansible-migracziya-konfiguraczii-120-vm-c-coreos-na-centos-za-18-mesyaczev","status":"publish","type":"post","link":"https:\/\/prohoster.info\/cs\/blog\/administrirovanie\/ansible-migracziya-konfiguraczii-120-vm-c-coreos-na-centos-za-18-mesyaczev","title":{"rendered":"Ansible: Migrace konfigurace 120 VM z CoreOS na CentOS b\u011bhem 18 m\u011bs\u00edc\u016f","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Ansible:<\/p>\n

<\/p>\n

Toto je p\u0159epis prezentace na DevopsConf 2019-10-01<\/a><\/noindex> a SPbLUG 2019-09-25<\/a><\/noindex>.<\/p>\n

<\/p>\n

To je p\u0159\u00edb\u011bh projektu, ve kter\u00e9m byl pou\u017eit vlastn\u00ed syst\u00e9m spr\u00e1vy konfigurac\u00ed a pro\u010d se p\u0159echod na Ansible prot\u00e1hl na 18 m\u011bs\u00edc\u016f.<\/p>\n

<\/a><\/noindex><\/p>\n

Den \u010d. -XXX: P\u0159ed za\u010d\u00e1tkem<\/h2>\n

<\/p>\n

\"Ansible:<\/p>\n

<\/p>\n

P\u016fvodn\u00ed infrastruktura byla tvo\u0159ena mnoha samostatn\u00fdmi servery \u0159\u00edzen\u00fdmi Hyper-V. Vytvo\u0159en\u00ed virtu\u00e1ln\u00edho stroje vy\u017eadovalo spoustu akc\u00ed: um\u00edstit disky na spr\u00e1vn\u00e9 m\u00edsto, nastavit DNS, rezervovat DHCP, um\u00edstit konfiguraci VM do git repozit\u00e1\u0159e. Tento proces byl \u010d\u00e1ste\u010dn\u011b zautomatizov\u00e1n, ale nap\u0159\u00edklad VM byly distribuov\u00e1ny mezi servery ru\u010dn\u011b. Nap\u0159\u00edklad, v\u00fdvoj\u00e1\u0159i mohli upravit konfiguraci VM v gitu a aplikovat ji restartov\u00e1n\u00edm VM.<\/p>\n

<\/p>\n

Custom Configuration Management Solution<\/h3>\n

<\/p>\n

\"Ansible:<\/p>\n

<\/p>\n

P\u016fvodn\u00ed my\u0161lenku, podez\u0159\u00edv\u00e1m, zam\u00fd\u0161leli jako IaC: mnoh\u00e9 stateless VM, kter\u00e9 p\u0159i restartu resetovaly sv\u016fj stav. Jak vypadalo \u0159\u00edzen\u00ed konfigurac\u00ed VM? Schematicky to vypad\u00e1 jednodu\u0161e:<\/p>\n

<\/p>\n

    \n
  1. Pro VM se p\u0159id\u011bloval statick\u00fd MAC.<\/li>\n
  2. K VM byla p\u0159ipojena ISO s CoreOS a spou\u0161t\u011bc\u00ed disk.<\/li>\n
  3. CoreOS spou\u0161t\u00ed skript p\u0159izp\u016fsoben\u00ed, kter\u00fd stahuje z WEB serveru na z\u00e1klad\u011b sv\u00e9 IP.<\/li>\n
  4. Skript st\u00e1hne p\u0159es SCP konfiguraci VM na z\u00e1klad\u011b IP adresy.<\/li>\n
  5. Spou\u0161t\u00ed se s\u00e9rie unit soubor\u016f systemd a s\u00e9rie bash skript\u016f.<\/li>\n<\/ol>\n

    <\/p>\n

    \"Ansible:<\/p>\n

    <\/p>\n

    Toto \u0159e\u0161en\u00ed m\u011blo mnoho z\u0159ejm\u00fdch probl\u00e9m\u016f:<\/p>\n

    <\/p>\n

      \n
    1. ISO v CoreOS bylo deprecated.<\/li>\n
    2. Mnoho slo\u017eit\u011b automatizovan\u00fdch akc\u00ed a magie p\u0159i migraci\/vytv\u00e1\u0159en\u00ed VM.<\/li>\n
    3. S obt\u00ed\u017eemi s aktualizacemi a kdy\u017e je pot\u0159eba software ur\u010dit\u00e9 verze. A je\u0161t\u011b z\u00e1bavn\u011bj\u0161\u00ed u modul\u016f j\u00e1dra.<\/li>\n
    4. VM nebyly tak \u00fapln\u011b bez dat, tj. objevily se VM, u kter\u00fdch byl p\u0159ipojen disk s u\u017eivatelsk\u00fdmi daty nav\u00edc.<\/li>\n
    5. N\u011bkdo neust\u00e1le chyboval se z\u00e1vislostmi unit soubor\u016f systemd a p\u0159i restartu CoreOS zamrzla. S dostupn\u00fdmi prost\u0159edky v CoreOS to bylo problematick\u00e9 chytit.<\/li>\n
    6. Spr\u00e1va tajemstv\u00ed.<\/li>\n
    7. CM t\u00e9m\u011b\u0159 neexistovalo. Byl tu bash a YML konfigurace CoreOS.<\/li>\n<\/ol>\n

      <\/p>\n

      Aby bylo mo\u017en\u00e9 aplikovat konfiguraci VM, je nutn\u00e9 ji restartovat, ale nemusela se restartovat. Zd\u00e1 se to jako z\u0159ejm\u00fd probl\u00e9m, ale nen\u00ed \u017e\u00e1dn\u00fd perzistentn\u00ed disk \u2014 logy nen\u00ed kam ulo\u017eit. No dob\u0159e, zkusme p\u0159idat mo\u017enosti zav\u00e1d\u011bn\u00ed j\u00e1dra, aby logy pos\u00edlaly. Ale ne, jak je to v\u0161echno slo\u017eit\u00e9.<\/p>\n

      <\/p>\n

      Den \u010d.0: P\u0159izn\u00e1n\u00ed probl\u00e9mu<\/h2>\n

      <\/p>\n

      \"Ansible:<\/p>\n

      <\/p>\n

      To byla b\u011b\u017en\u00e1 v\u00fdvojov\u00e1 infrastruktura: Jenkins, testovac\u00ed prost\u0159ed\u00ed, monitorov\u00e1n\u00ed, registry. CoreOS byla navr\u017eena pro hostov\u00e1n\u00ed clustr\u016f k8s, tak\u017ee probl\u00e9m byl v tom, jak byla CoreOS vyu\u017e\u00edv\u00e1na. Prvn\u00edm krokem bylo v\u00fdb\u011br stacku. Zastavili jsme se na:<\/p>\n

      <\/p>\n

        \n
      1. CentOS<\/strong> jako z\u00e1kladn\u00ed distribuce, proto\u017ee je to nejbl\u00ed\u017ee produk\u010dn\u00edm prost\u0159ed\u00edm.<\/li>\n
      2. Ansible<\/strong> pro spr\u00e1vu konfigurac\u00ed, proto\u017ee byla rozs\u00e1hl\u00e1 odborn\u00e1 znalost.<\/li>\n
      3. Jenkins<\/strong> jako framework pro automatizaci st\u00e1vaj\u00edc\u00edch proces\u016f, proto\u017ee u\u017e byl aktivn\u011b vyu\u017e\u00edv\u00e1n pro v\u00fdvojov\u00e9 procesy.<\/li>\n
      4. Hyper-V<\/strong> jako virtualiza\u010dn\u00ed platforma. Existuje \u0159ada d\u016fvod\u016f, kter\u00e9 p\u0159esahuj\u00ed tento p\u0159\u00edb\u011bh, ale stru\u010dn\u011b \u2014 nem\u016f\u017eeme pou\u017e\u00edvat cloud, mus\u00edme pou\u017e\u00edvat vlastn\u00ed hardware.<\/li>\n<\/ol>\n

        <\/p>\n

        Den \u010d. 30: Zaznamen\u00e1v\u00e1me st\u00e1vaj\u00edc\u00ed dohody \u2014 Agreements as Code.<\/h3>\n

        <\/p>\n

        \"Ansible:<\/p>\n

        <\/p>\n

        Jakmile byl stack jasn\u00fd, za\u010dala p\u0159\u00edprava na p\u0159est\u011bhov\u00e1n\u00ed. Zaznamen\u00e1n\u00ed st\u00e1vaj\u00edc\u00edch dohod ve form\u011b k\u00f3du (Agreements as Code<\/strong>!). P\u0159echod ru\u010dn\u00ed pr\u00e1ce<\/em> -> mechanizace<\/em> -> automatizace<\/em>.<\/p>\n

        <\/p>\n

        1. Konfigurace VM<\/h4>\n

        <\/p>\n

        \"Ansible:<\/p>\n

        <\/p>\n

        Ansible si s touto \u00falohou skv\u011ble porad\u00ed. S minimem \u00fasil\u00ed m\u016f\u017eete \u0159\u00eddit konfigurace VM:<\/p>\n

        <\/p>\n

          \n
        1. Vytvo\u0159\u00edme git repository.<\/li>\n
        2. Ulo\u017e\u00edme seznam VM do invent\u00e1\u0159e, konfigurace do playbook\u016f a rol\u00ed.<\/li>\n
        3. Nastavujeme speci\u00e1ln\u00ed Jenkins slave, ze kter\u00e9ho bude mo\u017en\u00e9 spou\u0161t\u011bt Ansible.<\/li>\n
        4. Vytvo\u0159\u00edme job, nastav\u00edme Jenkins.<\/li>\n<\/ol>\n

          <\/p>\n

          Prvn\u00ed proces je hotov\u00fd. Dohody byly zaznamen\u00e1ny.<\/p>\n

          <\/p>\n

          2. Vytvo\u0159it novou VM<\/h4>\n

          <\/p>\n

          \"Ansible:<\/p>\n

          <\/p>\n

          Zde to nebylo moc pohodln\u00e9. Z Linuxu nebylo snadn\u00e9 vytv\u00e1\u0159et VM na Hyper-V. Jedn\u00edm z pokus\u016f, jak tento proces zmechanizovat, bylo:<\/p>\n

          <\/p>\n

            \n
          1. Ansible se p\u0159ipojuje p\u0159es WinRM k Windows hostiteli.<\/li>\n
          2. Ansible spou\u0161t\u00ed PowerShell skript.<\/li>\n
          3. PowerShell skript vytv\u00e1\u0159\u00ed novou VM.<\/li>\n
          4. Prost\u0159ednictv\u00edm Hyper-V\/ScVMM se p\u0159i vytv\u00e1\u0159en\u00ed VM v hostitelsk\u00e9m OS nastavuje hostname.<\/li>\n
          5. VM p\u0159i obnov\u011b DHCP lease odes\u00edl\u00e1 sv\u00e9 hostname.<\/li>\n
          6. Standardn\u00ed integrace DDNS & DHCP na stran\u011b Domain Controller nastavuje DNS z\u00e1znam.<\/li>\n
          7. VM lze p\u0159idat do invent\u00e1\u0159e a nastavit ji pomoc\u00ed Ansible.<\/li>\n<\/ol>\n

            <\/p>\n

            3. Vytvo\u0159it \u0161ablonu VM<\/h4>\n

            <\/p>\n

            \"Ansible:<\/p>\n

            <\/p>\n

            Zde jsme nevym\u00fd\u0161leli nic nov\u00e9ho \u2014 vzali jsme Packer.<\/p>\n

            <\/p>\n

              \n
            1. Do git repository ukl\u00e1d\u00e1me config Packer, kickstart.<\/li>\n
            2. Nastavujeme speci\u00e1ln\u00ed Jenkins slave s Hyper-V a Packer.<\/li>\n
            3. Vytvo\u0159\u00edme job, nastav\u00edme Jenkins.<\/li>\n<\/ol>\n

              <\/p>\n

              Jak tato kombinace funguje:<\/p>\n

              <\/p>\n

                \n
              1. Packer vytv\u00e1\u0159\u00ed pr\u00e1zdnou VM, p\u0159ipojuje ISO.<\/li>\n
              2. VM se spou\u0161t\u00ed, Packer zad\u00e1v\u00e1 do bootloaderu p\u0159\u00edkaz pou\u017e\u00edvat n\u00e1\u0161 kickstart soubor z disket nebo HTTP.<\/li>\n
              3. Spou\u0161t\u00ed se Anaconda s na\u0161\u00edm configem, prov\u00e1d\u00ed se po\u010d\u00e1te\u010dn\u00ed nastaven\u00ed OS.<\/li>\n
              4. Packer \u010dek\u00e1 na dostupnost VM.<\/li>\n
              5. Packer uvnit\u0159 VM spou\u0161t\u00ed Ansible v lok\u00e1ln\u00edm re\u017eimu.<\/li>\n
              6. Ansible pou\u017e\u00edv\u00e1 stejn\u00e9 role jako v kroku \u010d. 1.<\/li>\n
              7. Packer exportuje \u0161ablonu VM.<\/li>\n<\/ol>\n

                <\/p>\n

                Den \u010d. 75: Refaktorujeme dohody, ani\u017e bychom je poru\u0161ili = Test ansible + Testkitchen.<\/h3>\n

                <\/p>\n

                \"Ansible:<\/p>\n

                <\/p>\n

                Zafixovat dohody v k\u00f3du m\u016f\u017ee b\u00fdt nedostate\u010dn\u00e9. V\u017edy\u0165 pokud se v pozad\u00ed procesu rozhodne\u0161 n\u011bco zm\u011bnit \u2014 m\u016f\u017ee\u0161 n\u011bco rozb\u00edt. Proto se u infrastruktury objevuje testov\u00e1n\u00ed t\u00e9to infrastruktury. Abychom synchronizovali znalosti v r\u00e1mci t\u00fdmu, za\u010dali jsme testovat Ansible role. Nechci se do toho zab\u00fdvat hloub\u011bji, proto\u017ee existuje \u010dl\u00e1nek popisuj\u00edc\u00ed ud\u00e1losti v t\u00e9 dob\u011b. Otestuj m\u011b, pokud m\u016f\u017ee\u0161, nebo sn\u00ed o testov\u00e1n\u00ed ansible YML program\u00e1to\u0159i?<\/a><\/noindex>(spoiler, to nebyla fin\u00e1ln\u00ed varianta a pozd\u011bji se to stalo slo\u017eit\u011bj\u0161\u00edm). Jak za\u010d\u00edt testovat Ansible, refaktorovat projekt za rok a neztratit hlavu.<\/a><\/noindex>).<\/p>\n

                <\/p>\n

                Den \u010d. 130: A mo\u017en\u00e1 CentOS + ansible nen\u00ed pot\u0159eba? Mo\u017en\u00e1 openshift?<\/h3>\n

                <\/p>\n

                Mus\u00edme ch\u00e1pat, \u017ee proces zaveden\u00ed infrastruktury nebyl jedin\u00fd a byly tu vedlej\u0161\u00ed podprojekty. Nap\u0159\u00edklad p\u0159i\u0161el po\u017eadavek na spu\u0161t\u011bn\u00ed na\u0161\u00ed aplikace v openshiftu, co\u017e vedlo k v\u00fdzkumu na v\u00edce ne\u017e jeden t\u00fdden. Spou\u0161t\u00edme aplikaci v Openshiftu a srovn\u00e1v\u00e1me existuj\u00edc\u00ed n\u00e1stroje.<\/a><\/noindex> co zpomalilo proces p\u0159echodu. V\u00fdsledkem se uk\u00e1zalo, \u017ee openshift ne\u0159e\u0161\u00ed v\u0161echny pot\u0159eby, je pot\u0159eba skute\u010dn\u00fd hardware, nebo alespo\u0148 mo\u017enost hr\u00e1t si s j\u00e1drem.<\/p>\n

                <\/p>\n

                Den \u010d. 170: Openshift nevyhovuje, riskneme to s Windows Azure Pack?<\/h3>\n

                <\/p>\n

                \"Ansible:<\/p>\n

                <\/p>\n

                Hyper-V nen\u00ed p\u0159\u00edli\u0161 p\u0159\u00e1telsk\u00fd, SCVMM to moc neuleh\u010duje. Ale existuje takov\u00e1 v\u011bc jako Windows Azure Pack, kter\u00e1 je nadstavbou nad SCVMM a napodobuje Azure. Ve skute\u010dnosti v\u0161ak produkt vypad\u00e1 opu\u0161t\u011bn\u011b: dokumentace s nefunk\u010dn\u00edmi odkazy a velmi chud\u00e1. Ale v r\u00e1mci v\u00fdzkumu mo\u017enost\u00ed zjednodu\u0161en\u00ed na\u0161eho cloudu jsme se na n\u011bj tak\u00e9 pod\u00edvali.<\/p>\n

                <\/p>\n

                Den \u010d. 250: Windows Azure Pack nen\u00ed moc dobr\u00fd. Z\u016fst\u00e1v\u00e1me na SCVMM.<\/h3>\n

                <\/p>\n

                \"Ansible:<\/p>\n

                <\/p>\n

                Windows Azure Pack vypadalo slibn\u011b, ale bylo rozhodnuto nezav\u00e1d\u011bt WAP s jeho obt\u00ed\u017eemi do syst\u00e9mu kv\u016fli zbyte\u010dn\u00fdm funkc\u00edm a z\u016fstali jsme na SCVMM.<\/p>\n

                <\/p>\n

                Den \u010d. 360: J\u00edme slona po \u010d\u00e1stech.<\/h3>\n

                <\/p>\n

                \"Ansible:<\/p>\n

                <\/p>\n

                A\u017e po roce byla p\u0159ipravena platforma, na kterou se m\u011blo p\u0159ej\u00edt, a za\u010dal proces migrace. Bylo stanoven\u00e9 SMART c\u00edle. Vypsali jsme v\u0161echny VM a za\u010dali jednu po druh\u00e9 \u0159e\u0161it s konfigurac\u00ed, popisovat ji v Ansible a pokr\u00fdvat testy.<\/p>\n

                <\/p>\n

                Den \u010d. 450: Jak\u00fd syst\u00e9m se vytvo\u0159il?<\/h3>\n

                <\/p>\n

                \"Ansible:<\/p>\n

                <\/p>\n

                Cel\u00fd proces nen\u00ed zaj\u00edmav\u00fd. Je rutinn\u00ed, lze poznamenat, \u017ee v\u011bt\u0161ina konfigurac\u00ed byla relativn\u011b jednoduch\u00e1 nebo izomorfn\u00ed, a podle principu Pareto 80 % konfigurac\u00ed si vy\u017e\u00e1dalo 20 % \u010dasu. Podle stejn\u00e9ho principu 80 % \u010dasu bylo v\u011bnov\u00e1no p\u0159\u00edprav\u011b na p\u0159est\u011bhov\u00e1n\u00ed a pouze 20 % na samotn\u00e9 p\u0159est\u011bhov\u00e1n\u00ed. <\/p>\n

                <\/p>\n

                Den \u010d. 540: Fin\u00e1le<\/h2>\n

                <\/p>\n

                \"Ansible:<\/p>\n

                <\/p>\n

                Co se stalo za 18 m\u011bs\u00edc\u016f?<\/p>\n

                <\/p>\n

                  \n
                1. Dohody se staly k\u00f3dem.<\/li>\n
                2. Ru\u010dn\u00ed pr\u00e1ce<\/em> -> Mechanizace<\/em> -> Automatizace<\/em>.<\/li>\n<\/ol>\n

                  <\/p>\n

                  Odkazy<\/h2>\n

                  <\/p>\n