Slurm: Kubernetes kaha. Hotaka me nga putea

Hei te 27-29 o Haratua ka mau matou i te Slurm tuawha: kaha ki runga i nga Kubernetes.

Takoha: akoranga ipurangi mo Docker, Ansible, Ceph
I ahu mai matou i nga kaupapa Slurm he mea nui mo te mahi me nga Kubernetes, engari kaore e pa ana ki nga k8. Me pehea, he aha me te aha i tupu - i raro i te tapahi.
Ka whai waahi nga kaiuru katoa o te Slurm 4 ki enei akoranga.

Katoa te whakahoki moni i te ra tuatahi
I St. Petersburg Slurm, tokorua nga kaiuru i wehe arotake tino kino. I tino pouri ahau i te mea kaore e taea te hoki ki muri i te waa me te wehe i a raatau me te kore kereme.
Mena ka kitea e koe nga mea kaore koe e pai mo Slurm, ra tuatahi tuhia ki tetahi o nga kaiwhakahaere. Ka whakakorehia e matou te uru me te whakahoki i te utu whakauru katoa.

Kaitohutohu hangarau
Mena ka mohio tetahi Dmitry Simonov (i hanga e ia he karapu o nga kaiwhakahaere hangarau), i tono matou ki a ia ki te Slurm (ki te ako, kaua e mahi). I oati ia ki te tohutohu i nga tangata katoa. Kaore pea tenei e pai ki nga kaiwhakahaere me nga kaihanga, engari ka tino pai ki nga kaiwhakahaere IT.

He aha te Slurm

Slurm-4: akoranga taketake (27-29 Mei)
I hoahoatia mo te hunga ka kite i nga Kubernetes mo te wa tuatahi, ka hiahia ranei ki te whakariterite i o raatau mohiotanga.
Ka waihangahia e ia kaiuru tana ake kahui ki roto i te kapua Selectel ka horahia te tono ki reira.

Utu: 25 mano

Te hōtaka

Kaupapa #1: Kupu Whakataki ki nga Kubernetes, nga waahanga matua
• Whakataki ki te hangarau k8s. Whakaahuatanga, tono, ariā
• Pod, ReplicaSet, Deployment, Service, Ingress, PV, PVC, ConfigMap, Secret
• Parakatihi

Kaupapa Nama 2: Hoahoa roopu, nga waahanga matua, te aukati i te he, te whatunga k8s
• Te hoahoa huinga, nga waahanga matua, te aukati i te he
• whatunga k8s

Kaupapa #3: Kubespray, whakatangi me te whakarite i te kahui Kubernetes
• Kubespray, whirihoranga me te whakatangi o te kahui Kubernetes
• Parakatihi

Kaupapa #4: Ceph, huinga huinga me nga ahuatanga o te mahi i roto i nga mahi whakaputa
• Ceph, huinga huinga me nga ahuatanga o te mahi i roto i te hanga
• Parakatihi: te whakarite ceph

Kaupapa #5: Nga Abstractions Kubernetes Arā Atu Anō
• DaemonSet, StatefulSet, RBAC, Job, CronJob, Pod Scheduling, InitContainer

Kaupapa #6: He Kupu Whakataki ki te Helm
• Kupu Whakataki ki te Helm
• Parakatihi

Kaupapa #7: Nga ratonga whakaputa me nga tono
• Tirohanga o nga tikanga whakaputa ratonga: NodePort vs LoadBalancer vs Ingress
• Kaiwhakahaere Ingress (Nginx): te whakataurite i nga waka taumai
• Kaiwhakahaere-Kaiwhakahaere: whiwhi aunoa i nga tiwhikete SSL/TLS
• Parakatihi

Kaupapa #8: Te takiuru me te aro turuki
• Aroturuki Cluster, Prometheus
• Rōpū takitaki, Fluentd/Elastic/Kibana
• Parakatihi

Kaupapa Nama 9: CI/CD, hangahanga hanga ki te tautau mai i te wahanga

Kaupapa Nama 10: Nga mahi totika, te tuku tono me te whakarewatanga ki roto i te roopu

paetukutuku Slurm

MegaSlurm: akoranga matatau (Mei 31 - Pipiri 2)
I hoahoatia mo nga miihini me nga kaitoi a Kubernetes, tae atu ki nga paetahi akoranga turanga.
Ka whirihorahia e matou te huinga kia taea ai te tuku i te wa kotahi te whakahou i nga waahanga huinga me te tuku ki te roopu.

Utu: 60 mano (45 mano mo nga kaiuru Slurm-4)

Te hōtaka

Kaupapa #1: Ko te tukanga o te hanga i te tautau failover mai i roto
• Mahi tahi me Kubespray
• Te whakaurunga o nga waahanga taapiri
• Whakamatautau me te rapu raruraru
• Parakatihi

Kaupapa #2: Whakaaetanga i roto i te roopu ma te whakamahi i tetahi kaiwhakarato o waho
• LDAP (Nginx + Python)
• OIDC (Dex + Gangway)
• Parakatihi

Kaupapa #3: Kaupapa here whatunga
• Whakataki ki CNI
• Kaupapahere Haumarutanga Whatunga
• Parakatihi

Kaupapa #4: Nga tono haumaru me te tino waatea i roto i te roopu
• PodSecurityPolicy
• PodDisruptionBudget

Kaupapa #5: Kubernetes. Kia titiro tatou ki raro i te kaapu
• Hanganga Kaiwhakahaere
• Kaimahi me nga CRD
• Parakatihi

Kaupapa #6: Nga tono whaimana i roto i te roopu
• Te whakarewa i te huinga raraunga ma te whakamahi i te PostgreSQL hei tauira
• Te whakarewa i te roopu RabbitMQ
• Parakatihi

Kaupapa #7: Te Pupuri Mea Ngaro
• Te whakahaere i nga mea ngaro i Kubernetes
• Vault

Kaupapa #8: Whakapae Aunoa Pod
• Te ariā
• Parakatihi

Kaupapa #9: Te Whakaora me te Whakaora
• Whakaraupapa me te whakaora ma te whakamahi i a Heptio Velero (Aka o mua) me etahi atu
• Parakatihi

Kaupapa #10: Taupānga Taupānga
• Lint
• Nga taputapu tauira me te whakatakotoranga
• Rautaki tuku

Kaupapa Nama 11: Mahi Mahi
• Te hanga CI/CD mo te tuku tono
• Whakahoutanga roopu

paetukutuku MegaSlurm

Docker, Ansible me Ceph

Haere ki te hītori

Ko te Slurm tuatahi he whakamatautau. I tutuki nga korero a nga kaikorero i runga i te atamira, a, i roto i te minenga i noho nga kaiwhakahaere o nga taumata penei kua tae ki te wa ki te powhiri i a ratou hei kaikorero.

Ko te tino akoranga taketake i tu i te tuarua o Slurm: 80% o nga kaiuru i kite i nga Kubernetes mo te wa tuatahi, a ko te tuatoru kaore ano kia mahi tahi me Docker.
I tino marama te uaua o te tangata ki te whakarongo ki tetahi kauhau mo Docker i te ata me te mahi tahi me te ara whawhai i te ahiahi.
He maha nga raruraru a Ceph. Hau atu â, e 20 taata i roto i te feia e faaroo ra o te hinaaro mau e faataa ia Ceph, e te tahi atu 60 o tei ore roa i hinaaro ia Ceph.

Mo te tuatoru o Slurm, i nukuhia e matou a Docker me Ansible ki roto i nga ipurangi tukutuku motuhake, kia nui ake te wa mo Kubernetes. Ko te otinga i puta mai he tino whai kiko, he iti te whakawhanaketanga o te whakatinanatanga: ko te kauhau kaore i te pai ki nga taangata mohio, a ko te korerorero kaore i te pai ki te hunga timata.

Mo te Slurm tuawha, i mahi maatau i nga akoranga ipurangi mo Docker, Ansible me Ceph. He ngawari noa te whakaaro: ko te hunga e hiahia ana ka whai whakaaro nui, ko te hunga kaore e hiahia ana ka aro marie. Ma te whakatau a te roopu o nga kaiwhakaatu, 6-8 haora te roa o te akoranga Docker. Ko Ansible raua ko Ceph kaore ano kia karaka.

Whakakahoretanga:

• akoranga whakamatautau. Ko etahi o nga whakatau ka kore e angitu.
• he kino te papa (Stepik.org), a kaore ano matou i mahi i mua. Tera pea ka puta he puku me te mahanga.
• I whakamatauria te akoranga ki nga kaimahi o Southbridge anake. He pono me whakaoti e koe tetahi mea i a koe e haere ana.

I tera ra i roto i te korerorero o te Slurm tuatahi i maumahara ratou ki te hauhautanga me te ngahau, ahakoa nga whakamataku whakahaere katoa. Ko te tuatahi ki te whiwhi i nga ahuatanga tino marama. Kia kite tatou ka ahatia nga tauira tuatahi o nga akoranga ipurangi. 🙂

Source: will.com