Slurm DevOps - lub cev ua haujlwm zoo dua hauv 3 hnub dua li lub crane zoo nkauj yav tom ntej

Kuv nyiam qhov project ntev ib lub lim tiam thiab kuv ntshai los ntawm kev ua haujlwm ntev xyoo. Hauv Agile, Kuv nyiam lub tswv yim ntawm MVP thiab nce ntxiv, qhov no tsuas yog kuv li: ua ib qho haujlwm, siv nws thiab txav mus.

Nyob rau tib lub sijhawm, DevOps hloov pauv hauv daim ntawv uas nws tau tham hauv phau ntawv thiab ntawm cov rooj sib tham tsuas yog ib txoj haujlwm ntev xyoo. Los yog xyoo.

Peb tau tsim peb cov chav kawm DevOps nyob rau hauv lub paradigm ntawm "MVP DevOps nyob rau hauv ib tug sprint" thiab "npaj rau increments." Thiab yog hais tias nyob rau hauv tib neeg cov ntsiab lus, ces "kom cov neeg koom, thaum rov qab los, muaj peev xwm tam sim ntawd siv ib yam dab tsi nyob rau hauv tsev thiab tau txais txiaj ntsig los ntawm nws."

MVP DevOps: Chav kawm muaj cov cuab yeej rau cov txheej txheem DevOps. Peb tsis tau teem peb tus kheej lub luag haujlwm ntawm kev tshuaj xyuas thiab muab piv rau tag nrho CI / CD systems lossis nthuav tawm qhov tob ntawm Infrastructure li Code mus kom ze. Peb muab ib pawg meej: Gitlab CI / CD, Ansible, Terraform thiab Packer, Molecule, Prometheus, EFK. Koj tuaj yeem tuaj ntawm cov chav kawm, sau cov txheej txheem rau kev sim ua haujlwm los ntawm kev cob qhia cov ntaub ntawv thiab ua haujlwm hauv nws.

Slurm DevOps - lub cev ua haujlwm zoo dua hauv 3 hnub dua li lub crane zoo nkauj yav tom ntej

Npaj rau kev nce ntxiv: peb muab txhua lub ntsiab lus nrog ntau qhov kev coj ua thiab piv txwv. Koj tuaj yeem nqa ib lub cuab yeej thiab pib siv nws los ntawm kev cob qhia cov duab kos. Piv txwv li, sau Ansible playbook rau dov tawm dev ib puag ncig lossis txuas lub bot thiab tswj hwm tus neeg rau zaub mov los ntawm koj lub xov tooj. Ntawd yog, tau txais cov txiaj ntsig zoo hauv ib lub lis piam. Tej zaum nws yuav nyob deb ntawm DevOps kev hloov pauv ntawm tag nrho lub tuam txhab, tab sis nws nyob ntawd, nws nyob ntawm no, nws ua haujlwm thiab nqa cov txiaj ntsig.

Slurm DevOps Topics

Ntsiab lus #1: Muab cov kev coj ua zoo tshaj plaws - hais lus rau nws tus kheej.
Lub ntsiab lus # 2: Ua haujlwm nrog daim ntawv thov los ntawm kev txhim kho qhov pom - tus kws tshaj lij xav tau kev txawj ntse ntawm tus thawj tswj hwm thiab tus tsim tawm, yog li peb qhia rau admins txog kev txhim kho.

Ntsiab lus #3: CI/CD Basics

  • Taw qhia rau CI / CD Automation
  • Gitlab CI Basics
  • Cov kev coj ua zoo tshaj plaws nrog gitlab-khiav
  • Bash, ua, gradle cov cuab yeej ua ib feem ntawm CI / CD thiab ntau dua
  • Docker ua ib txoj hauv kev los daws cov teeb meem CI

Ntsiab lus #4: Gitlab CI/CD hauv ntau lawm

  • Kev sib tw thaum pib ua haujlwm
  • Kev tswj hwm thiab kev txwv: tsuas yog, thaum twg
  • Ua haujlwm nrog cov khoom qub
  • Templates, suav nrog thiab microservices: simplifying deployment

Peb qhia cov tub ntxhais kawm txog cov ntsiab lus thiab cov ntsiab lus ntawm CI/CD thiab cov cuab yeej siv rau kev siv CI/CD. Raws li qhov tshwm sim, tus tub ntxhais kawm yuav muaj peev xwm xaiv tus qauv CI/CD tus qauv tsim thiab siv cov cuab yeej tsim nyog.

Tom qab ntawd peb qhia txog kev siv CI / CD hauv Gitlab thiab taug kev los ntawm kev teeb tsa, saib txoj hauv kev siv Gitlab CI. Raws li qhov tshwm sim, tus tub ntxhais kawm yuav tuaj yeem tsim kho tus kheej Gitlab CI rau lawv tus kheej cov haujlwm.

Piv nrog rau thawj DevOps Slurm, peb txo qis txoj kev xav los ntawm 2 zaug (ib teev ib lub ntsiab lus), txav deb ntawm kev tshuaj xyuas txhua lub tshuab thiab tsuas yog Gitlab CI. Peb tsom mus rau kev xyaum thiab ntxiv ntau yam kev coj ua zoo tshaj plaws.

Ntsiab lus #5: Infrastructure li Code

  • IaC: Mus cuag Infrastructure li Code
  • Huab muab kev pabcuam raws li cov chaw muab kev pabcuam
  • Cov cuab yeej pib qhov system, duab tsev (packer)
  • IaC siv Terraform ua piv txwv
  • Configuration cia, kev sib koom tes, daim ntawv thov automation
  • Xyaum tsim Ansible playbooks
  • Idempotency, kev tshaj tawm
  • IaC siv Ansible ua piv txwv

Peb tau txo qhov theoretical ib feem ntawm UI thiab openstack cli thiab tsom rau kev xyaum.
Cia peb saib ob txoj hauv kev IaC siv tib daim ntawv thov, qhia qhov zoo thiab qhov tsis zoo ntawm txhua txoj hauv kev. Yog li ntawd, tus menyuam kawm ntawv yuav nkag siab tias txoj hauv kev yuav siv qhov twg, thiab yuav tuaj yeem ua haujlwm nrog Terraform thiab Ansible.

Hauv lub ntsiab lus ntawm Terraform, peb yuav saib kev ua haujlwm pab pawg thiab khaws cia hauv lub xeev hauv cov ntaub ntawv hauv kev xyaum. Thaum ua haujlwm nrog cov modules, tus menyuam kawm ntawv yuav sau thiab teeb tsa lub module nws tus kheej, kawm paub ua haujlwm nrog nws li cas: rov siv nws, version nws. Cia peb ntxiv ua hauj lwm nrog Consul, qhia nyob rau hauv cov ntaub ntawv uas nws yuav tsum tau thiab yuav ua li cas siv nws kom raug.

Ntsiab lus #6: Infrastructure testing

  • Cia peb xav seb vim li cas lawv tsis sau ntawv xeem?
  • Cov kev xeem twg muaj nyob hauv IaC?
  • Static analyzers, puas yog lawv tiag tiag uas tsis muaj txiaj ntsig?
  • Chav ntsuas ntawm IaC siv ansible + molecule ua piv txwv
  • Kev sim ua ib feem ntawm ci
  • Kev ntsuam xyuas ntawm steroids lossis yuav ua li cas kom tsis txhob tos 5 teev rau kev xeem IaC kom tiav

Peb tau txo qhov theoretical ib feem, tsawg dua cov dab neeg txog Vagrant / Molecule, kev xyaum ntau dua thiab kev ntsuam xyuas ncaj qha, nrog rau kev tsom mus rau linters thiab ua haujlwm nrog lawv. Saib ntawm nws los ntawm CI qhov kev xav
yuav ua li cas thiaj kuaj tau sai. Hauv kev xyaum yuav muaj:

  • ib daim ntawv sau tus kheej uas kuaj xyuas qhov muaj qhov yuav tsum tau hloov pauv rau tus tswv tsev nyob ntawm lub luag haujlwm;
  • Peb ntxiv rau CI kuaj tsuas yog cov luag haujlwm uas tau hloov pauv, uas tuaj yeem txo lub sijhawm sim ua tiav;
  • ntxiv scenario xeem. Peb xa tag nrho daim ntawv thov raws li kev xeem sib koom ua ke.

Ntsiab lus #7: Infrastructure saib xyuas nrog Prometheus

  • Yuav Ua Li Cas Txhim Kho Kev Saib Xyuas Kev Noj Qab Haus Huv
  • Kev soj ntsuam raws li lub cuab yeej rau kev tsom xam, kev txhim kho kev ua tau zoo thiab kev ruaj ntseg, txawm tias ua ntej muag
  • Teeb tsa prometheus + alertmanager + grafana
  • Hloov los ntawm kev saib xyuas cov peev txheej mus rau kev saib xyuas daim ntawv thov

Peb yuav tham ntau yam txog kev saib xyuas microservices: thov ids, api xyuas cov cuab yeej. Yuav muaj ntau yam kev coj ua zoo tshaj plaws thiab ntau txoj haujlwm ywj pheej.

Wb sau peb tus kheej exporter. Peb yuav teeb tsa kev saib xyuas tsis yog tsuas yog kev tsim kho vaj tse thiab kev siv xwb, tab sis kuj muaj kev sib sau ua ke hauv Gitlab. Cia peb saib cov txheeb cais ntawm kev xeem ua tsis tiav. Cia peb pom hauv kev xyaum saib xyuas yuav zoo li cas yam tsis muaj HealthCheck thiab nrog nws.

Ntsiab lus No 8. Nkag mus rau daim ntawv thov nrog ELK

  • Txheej txheem cej luam ntawm Elastic thiab nws cov cuab yeej
  • ELK / Elastic Stack / x-pob - dab tsi yog dab tsi thiab dab tsi yog qhov txawv?
  • Cov teeb meem dab tsi tuaj yeem daws tau los ntawm ElasticSearch (nrhiav, khaws cia, ntsuas cov yam ntxwv, teeb tsa yooj yim)
  • Infrastructure xyuas (x-pob)
  • Thawv thiab daim ntawv teev npe (x-pob)
  • Nkag mus siv peb daim ntawv thov ua piv txwv
  • Kev xyaum ua haujlwm nrog Kibana
  • Qhib Distro rau Elasticsearch los ntawm Amazon

Lub ntsiab lus tau raug kho dua tshiab, nws yog tus tswv los ntawm Eduard Medvedev, ntau tus tau pom nws ntawm lub vev xaib ntawm DevOps thiab SRE. Nws yuav qhia thiab qhia txog cov kev coj ua zoo tshaj plaws rau kev ua haujlwm nrog EFK siv tus piv txwv ntawm daim ntawv thov kev kawm. Yuav muaj kev xyaum nrog Kibana.

Ntsiab lus #9: Infrastructure Automation nrog ChatOps

  • DevOps thiab ChatOps
  • ChatOps: Muaj zog
  • Slack thiab lwm txoj kev
  • Bots rau ChatOps
  • Hubot thiab lwm yam
  • Kev ruaj ntseg
  • Kev Ntsuam Xyuas
  • Cov kev coj ua zoo tshaj plaws thiab phem tshaj plaws

ChatOps tau ntxiv qhov kev coj ua ntawm kev lees paub nrog kev sib cais ntawm txoj cai, kev lees paub ntawm kev ua los ntawm lwm tus neeg siv, kev xav thiab kev coj ua ntawm lwm txoj hauv kev rau Slack hauv daim ntawv Mattermost, txoj kev xav ntawm chav tsev thiab kev sib koom ua ke rau bot.

DevOps slurm pib thaum Lub Ib Hlis 30th. Nqe - 30.
Rau cov neeg uas tau nyeem ntawv tiav lawm, muaj 15% luv nqi ntawm DevOps chav kawm siv cov cai tshaj tawm habrapost.

sau npe no

Kuv yuav zoo siab tau pom koj ntawm Slurms!

Tau qhov twg los: www.hab.com

Ntxiv ib saib