Slurm: o le anufe ua liua i se pepe

Slurm: o le anufe ua liua i se pepe

  1. O le Slurm e mafai ai ona e alu i le mataupu Kubernetes pe faʻaleleia lou malamalama.
  2. Ua fiafia le au auai. E toaitiiti lava i latou e le'i a'oa'oina se mea fou pe e le'i foia foi o latou faafitauli. O le tupe e le faatuaoia o le aso muamua ("Afai e te lagona e le talafeagai le Slurm mo oe, o le a matou toe faʻafoʻi le tau atoa o le tiketi") na faʻaaogaina e le tagata e toʻatasi, e faʻamaonia ai na ia faʻateleina lona malosi.
  3. O le isi Slurm o le a faia i le amataga o Setema i St. Petersburg. Selectel, la matou lagolago tumau, e le gata ina saunia se ao mo tu, ae faʻapea foʻi ma lona lava potu fono.
  4. O loʻo matou toe faia le Slurm autu (Setema 9-11) ma faʻalauiloa se polokalame fou: DevOps Slurm (Setema 4-6).

O le a le Slurm ma na fa'afefea ona suia?

I le tausaga talu ai, na matou o mai ai ma le manatu o le faʻatautaia o vasega i Kubernetes. Ia Aukuso '18, Slurm-1 na tupu: faigata, faʻatasi ai ma le faʻaauau pea (pe a maeʻa le faʻaaliga i luga o le tulaga), ma le tele o faʻafitauli i aso uma. Tofotofoga faʻatasi: o tagata auai i le Slurm muamua, e pei o le Fellowship of the Ring, o loʻo fesoʻotaʻi pea le tasi i le isi.

Slurm: o le anufe ua liua i se pepe
O le foliga lea o le Slurm-1

I le Slurm muamua, na fanau mai ai le manatu o le umia o se MegaSlurm. Na matou fesili atu i tagata po o ā mataupu latou te fiafia i ai, ma ia Oketopa na matou faia ai se aʻoaʻoga maualuluga “E ala i le talosaga a tagata auai.” Na foliga mai o se mea manaia, ae tasi le taimi. E oʻo atu ia Me '19 ua matou saunia se aʻoaʻoga maualuga, faʻatasi ai ma lona lava faʻamatalaga ma tala faʻasolopito.

I le gasologa o le tausaga, Slurm ua suia faʻalapotopotoga:
- Docker ma Anisble na aveese mai le polokalame autu ma faia ni vasega eseese i luga ole laiga.
— Fa'atonu lagolago fa'atekinisi e fesoasoani i tamaiti a'oga e fo'ia fa'alavelave a'oa'oga.
— Ua iai nei le lagolago a le au failauga.

Slurm: o le anufe ua liua i se pepe
Le 'au na faia le Slurm 4

Manatu faaalia mai sui auai

O le isi faamaumauga na setiina: 170 tagata auai i le Slurm faavae, 75 i le MegaSlurm.

Slurm: o le anufe ua liua i se pepe

Slurm-4
101 mai le 170 tagata na fa'atumuina le fomu fa'amatalaga.

Ua manino mai Kubernetes?
41 - Ou te leʻi malamalama i k8s, ae ou te vaʻai i le mea e eli ai.
36 - Ou te leʻi iloa k8s muamua, ae o lea ua ou iloa.
23 - Na ou iloa muamua k8s, ae o lea ua ou iloa lelei.
1 - Ou te leʻi aʻoaʻoina se mea fou.
0 - Ou te leʻi malamalama i se mea e uiga i k8s.

E fa'apefea ona e fiafia i le malosi ole Slurm?

16 tagata e manatu o le Slurm e faigofie tele ma tuai, ae 14 tagata e manatu e faigata tele ma vave. Sa'o mo le vaega o totoe.

Ua e fo'ia le fa'afitauli o le a e alu i Slurm?

90 - Ioe.
11 - Leai.

MegaSlurm

40 tagata na fa'atumu le fomu fa'amatalaga. 2 tagata na fai mai e faigofie tele ma tuai. 1 tagata e leʻi foia le faʻafitauli o loʻo alu ai i Mega. O isi o lo'o lelei.

Iloiloga ole Slurm ile https://serveradmin.ru

Iloiloga a le Fofoga Fetalai

Slurm: o le anufe ua liua i se pepe

Afai i le St. Petersburg Slurm ia Fepuari o loʻo i ai le tele o tagata amata, ona i ai lea i le Moscow Slurm tagata i se numera tele ua uma ona faʻataʻitaʻiina Kubernetes. Sa i ai le tele o fesili maualuluga na mafua ai ona e mafaufau.

Afai i St. Petersburg latou fesili mai po o afea e lolomi ai la matou tui o le kubespray, o lona uiga i Moscow ua uma ona latou fesili pe aisea matou te fuafua ai e faʻaaoga la matou tui ae aua le ave le uluai kubespray. O le mea lea ua leva ona mafaufau i ai tagata matutua ogatotonu.

Sa faigata le faiga, na faia e tagata le tele o mea sese, ma e sili: e tatau ona e faia mea sese aʻo e suʻesuʻe, ae le o le taua.

E masani ona matou feagai ma tapulaʻa i le mauaina o tusi faamaonia, tapulaʻa i le download mai Github, ma isi. O le ola lea - matou te faʻapipiʻiina i le taimi e tasi e tusa ma le 200 fuifui i le ao Selectel. E leai se tasi na te saunia a latou punaoa ma tapulaa mo lenei mea.

Faasilasilaga o Slurm i Selectel

Fa'amauina mo Slurm-5
Tau: 25 ₽

Le polokalama:

Autu #1: Folasaga i Kubernetes, vaega autu
- Folasaga i tekinolosi k8s. Fa'amatalaga, fa'aoga, manatu
— Pod, ReplicaSet, Deployment, Service, Ingress, PV, PVC, ConfigMap, Secret

Autu Numera 2: Fuafuaga fa'aputu, vaega autu, fa'apalepale fa'aletonu, feso'ota'iga k8s
- Fuafuaga fa'aputu, vaega autu, fa'apalepale sese
- feso'ota'iga k8s

Autu #3: Kubespray, fa'alogo ma fa'atūina se fuifui Kubernetes
- Kubespray, faʻatulagaina ma faʻalogoina o le kulupu Kubernetes

Autu #4: Avanoa Kubernetes Maualuga
- DaemonSet, StatefulSet, RBAC, Iopu, CronJob, Pod Scheduling, InitContainer

Autu #5: Lomiga auaunaga ma talosaga
- Vaʻaiga lautele o metotia faʻasalalau auaunaga: NodePort vs LoadBalancer vs Ingress
- Ingress controller (Nginx): faapaleniina felauaiga ulufale mai
— Pule-pule: otometi ona maua tusi faamaonia SSL/TLS

Autu #6: Fa'atomuaga ile Pulea

Autu #7: Fa'apipi'i le pule-pule

Autu #8: Ceph: "fai e pei ona ou faia" faʻapipiʻiina

Autu #9: Fa'amauina ma mata'ituina
- Mataʻituina o vaega, Prometheus
— Tu'u fa'aputuga, Fluentd/Elastic/Kibana

Autu #10: Fa'afou fa'aputuga

Autu Nu. 11: Galuega fa'atino, fa'apipi'i fa'aoga ma fa'alauiloa ile fuifui

Kosi ile Docker ma Ansible ile stepik.org o loʻo aofia i le tau.

Le resitalaina mo Slurm DevOps
Tau: 45 ₽

Le polokalama:

Autu #1: Folasaga ile Git
— Poloaiga faavae git init, commit, add, diff, log, status, toso, tulei
— Fa'atulagaina o le si'osi'omaga fa'apitonu'u: fautuaga fa'atino
- Git tafe, lala ma pine, tuʻufaʻatasia fuafuaga
- Galulue ma tele repo mamao

Autu #2: Galulue fa'atasi ma Git
— GitHub tafe
— Tu'u, aveese, toso talosaga
- Fete'ena'iga, fa'asa'olotoga, toe fo'i e uiga i Gitflow ma isi tafega e fa'atatau i 'au

Autu #3: folasaga CI/CD ile masini
- Otometi i git (bots, folasaga ile CI, matau)
- Meafaigaluega (bash, fai, gradle)
- Laina faʻapotopotoga falegaosimea ma latou faʻaoga ile IT

Autu #4: CI/CD: Galulue ma Gitlab
- Fausia, faʻataʻitaʻi, faʻapipiʻi
- Laasaga, fesuiaiga, faʻatonuga faʻatinoga (naʻo, pe a, aofia ai)

Autu #5: Galulue fa'atasi ma le talosaga mai se va'aiga tau atina'e
- Matou te tusia se microservice i le Python (e aofia ai suʻega)
- Faʻaaogaina o le docker-compose i le atinaʻe

Autu #6: Atina'e e pei ole Code
- IaC: auala i atinaʻe e pei o le code
- IaC faʻaaogaina Terraform e fai ma faʻataʻitaʻiga
- IaC faʻaaoga Ansible e fai ma faʻataʻitaʻiga
— Idempotency, declarativeness
— Faataitai le faia o tusi ta'alo Ansible
- Faʻatonuga teuina, galulue faʻatasi, masini faʻaoga

Autu #7: Su'ega Atina'e
- Suʻega ma faʻaauau faʻatasi ma Molecule ma Gitlab CI

Autu Nu. 8: Otometi o le si'itia o 'au'aunaga
— Aoina o ata
- PXE ma le DHCP

Autu #9: Atina'e Atina'e Automation
- O se faʻataʻitaʻiga o se auaunaga faʻapitoa mo le faʻatagaina i luga o sapalai
- ChatOps (tuʻufaʻatasia o avefeʻau vave ma laina paipa)

Autu #10: Saogalemu Otometi
— Saini CI/CD meafaitino
- Su'ega vaivai

Autu #11: Mata'ituina
- Faʻamatalaga o le SLA, SLO, Error Budget ma isi faʻamatalaga mataʻutia mai le lalolagi o SRE
— SRE: SLI ma SLO faiga mata'ituina
— SRE: Fa'ata'ita'iga o le fa'aogaina o le Fa'atatau o Tupe Sese
- SRE: Fa'alavelave ma le fa'afoega o uta (apigateway, service mesh, circuit breakers)
- Mata'ituina laina paipa ma fua fa'atatau

puna: www.habr.com

Faaopoopo i ai se faamatalaga