Ma Mei 27-29 e paʻa ana mākou i ka Slurm ʻehā: ikaika ma Kubernetes.
Bonus: nā papa pūnaewele ma Docker, Ansible, Ceph
Ua loaʻa iā mākou mai nā kumuhana Slurm i koʻikoʻi no ka hana ʻana me Kubernetes, akā ʻaʻole pili pono i nā k8. Pehea, no ke aha a me ka mea i hana - ma lalo o ka ʻoki.
E loaʻa i nā mea komo a pau Slurm 4 i kēia mau papa.
Hoʻihoʻi kālā piha i ka lā mua
Ma St. Petersburg Slurm, ua haʻalele ʻelua mau mea komo . Ua mihi au no ka hiki ʻole ke hoʻi i ka wā kahiko a hoʻokaʻawale me lākou me ka ʻole o nā koi like ʻole.
Inā ʻike ʻoe i kāu mea makemake ʻole e pili ana iā Slurm, lā mua e kākau i kekahi o nā mea hoʻonohonoho. E hoʻopau mākou i ke komo a hoʻihoʻi i ke kumukūʻai komo piha.
Nā mea aʻoaʻo loea
Inā ʻike kekahi (ua hoʻokumu ʻo ia i hui o nā alakaʻi ʻenehana), kono mākou iā ia i Slurm (e aʻo, ʻaʻole e hana). Ua hoʻohiki ʻo ia e aʻo i nā mea a pau. ʻAʻole paha kēia e hoihoi i nā luna hoʻomalu a me nā mea hoʻomohala, akā e hoihoi loa ia i nā mana IT.
He aha ka Slurm
Slurm-4: papa kumu (Mei 27-29)
Hoʻolālā ʻia no ka poʻe e ʻike iā Kubernetes no ka manawa mua a makemake paha e hoʻonohonoho i kā lākou ʻike.
E hana kēlā me kēia hui i kā lākou hui ponoʻī ma ke ao Selectel a kau i ka noi ma laila.
Kumukuai: 25 tausani
ʻO ka papahana
Kaupapa #1: Hoʻomaka i nā Kubernetes, nā mea nui
• Hoʻolauna i ka ʻenehana k8s. ʻO ka wehewehe, ka noi, nā manaʻo
• Pod, ReplicaSet, Deployment, Service, Ingress, PV, PVC, ConfigMap, Secret
• Hoʻomaʻamaʻa
Kaupapa No. 2: Hoʻolālā Cluster, nā mea nui, ka hoʻomanawanui hewa, ka pūnaewele k8s
• Hoʻolālā Cluster, nā mea nui, ka hoʻomanawanui hewa
• k8s pūnaewele
Kaupapa #3: Kubespray, hoʻokani a hoʻonohonoho i kahi pūʻulu Kubernetes
• Kubespray, hoʻonohonoho a hoʻokani ʻana i ka hui Kubernetes
• Hoʻomaʻamaʻa
Kaupapa #4: Ceph, hoʻonohonoho pūʻulu a me nā hiʻohiʻona o ka hana ʻana i ka hana
• Ceph, hoʻonohonoho hui a me nā hiʻohiʻona o ka hana ʻana i ka hana
• Hoʻomaʻamaʻa: hoʻonohonoho i ka ceph
Kumuhana #5: Nā Kubernetes Abstractions
• DaemonSet, StatefulSet, RBAC, Job, CronJob, Pod Scheduling, InitContainer
Kumuhana #6: Introduction to Helm
• Hoʻolauna iā Helm
• Hoʻomaʻamaʻa
Kaupapa #7: Hoʻopuka i nā lawelawe a me nā noi
• Nānā i nā ʻano hana hoʻopuka lawelawe: NodePort vs LoadBalancer vs Ingress
• Mea hoʻoponopono Ingress (Nginx): ke kaulike ʻana i nā kaʻa komo
• Manakia Manaʻo: loaʻa ʻakomi i nā palapala SSL/TLS
• Hoʻomaʻamaʻa
Kumuhana #8: Hoʻopaʻa inoa a nānā
• Mākaʻikaʻi pūʻulu, Prometheus
• Hoʻopaʻa inoa hui, Fluentd/Elastic/Kibana
• Hoʻomaʻamaʻa
Kumuhana No. 9: CI/CD, ke kūkulu ʻana i ke kūkulu ʻana i kahi pūʻulu mai ka wā ʻōpala
Kumuhana No. 10: Ka hana ma'amau, ka hana dockerization a ho'omaka i kahi hui
MegaSlurm: papa holomua (Mei 31 - Iune 2)
Hoʻolālā ʻia no nā ʻenekinia Kubernetes a me nā mea kālai kiʻi, a me nā haumāna puka papa kumu.
Hoʻonohonoho mākou i ka pūʻulu i mea e hoʻomaka ai i ka manawa like i ka hoʻonui ʻana i nā ʻāpana cluster a me ka hoʻoili ʻana i ka pūʻulu.
Kumukūʻai: 60 tausani (45 tausani no nā mea komo Slurm-4)
ʻO ka papahana
Kumuhana #1: Ke kaʻina hana o ka hana ʻana i kahi hui failover mai loko
• Ke hana pū me Kubespray
• Hoʻokomo i nā mea ʻē aʻe
• ʻO ka hoʻāʻo ʻana a me ka hoʻoponopono pilikia
• Hoʻomaʻamaʻa
Kumuhana #2: ʻO ka ʻae ʻana i ka pūʻulu me ka hoʻohana ʻana i kahi mea hoʻolako waho
• LDAP (Nginx + Python)
• OIDC (Dex + Gangway)
• Hoʻomaʻamaʻa
Kaupapa #3: Kulekele pūnaewele
• Hoʻolauna iā CNI
• Kulekele Palekana Pūnaewele
• Hoʻomaʻamaʻa
Kumuhana #4: Nā noi palekana a loaʻa loa i loko o kahi pūʻulu
• PodSecurityPolicy
• PodDisruptionBudget
Kumuhana #5: Kubernetes. E nānā kākou ma lalo o ka puʻu
• Ka hooponopono ana
• Nā mea hana a me nā CRD
• Hoʻomaʻamaʻa
Kumuhana #6: Nā noi mokuʻāina i loko o kahi pūʻulu
• Ka hoʻomaka ʻana i kahi pūʻulu waihona me ka hoʻohana ʻana i PostgreSQL ma ke ʻano he laʻana
• Hoʻomaka i kahi hui RabbitMQ
• Hoʻomaʻamaʻa
Kumuhana #7: Mālama i nā mea huna
• Ka mālama ʻana i nā mea huna ma Kubernetes
• Vault
Kumuhana #8: Horizontal Pod Autoscaler
• Manao
• Hoʻomaʻamaʻa
Kumuhana #9: Hoʻihoʻi a me ka hoʻihoʻi ʻana i nā pōʻino
• Kākoʻo pūʻulu a me ka hoʻihoʻi ʻana me ka hoʻohana ʻana iā Heptio Velero (ʻo Ark ma mua) a etcd
• Hoʻomaʻamaʻa
Kumuhana #10: Hoʻolaha Noi
•Lint
• Nā mea hana hoʻohālike a hoʻolaha
• Nā papahana hoʻolālā
Kumuhana Helu 11: Hana hana
• Ke kūkulu ʻana i ka CI/CD no ka hoʻolaha noi
• Hōʻano hou i ka hui
ʻO Docker, Ansible a me Ceph
Holo i ka moʻolelo
ʻO ka Slurm mua he hoʻokolohua. Ua hoʻopau maoli ka poʻe haʻiʻōlelo i kā lākou hōʻike ʻana ma ke kahua, a ma ke anaina i noho ai nā luna hoʻomalu o ia pae i hiki i ka manawa e kono ai iā lākou ma ke ʻano he haʻiʻōlelo.
Ua hana ʻia ka papa kumu maoli ma ka Slurm lua: 80% o ka poʻe i komo i ʻike iā Kubernetes no ka manawa mua, a ʻo kahi hapakolu ʻaʻole i hana pū me Docker.
Ua maopopo ka paʻakikī o ka poʻe e hoʻolohe i kahi haʻiʻōlelo ma Docker i ke kakahiaka a hana pū me ia ma ke ʻano hakakā i ke ahiahi.
Ua pilikia nui ʻo Ceph. Eia kekahi, aia he 20 poʻe i ka lehulehu e pono e wehewehe iā Ceph, a he 60 ʻē aʻe ʻaʻole pono iā Ceph.
No ke kolu o Slurm, ua hoʻoneʻe mākou iā Docker a me Ansible i nā webinars ʻokoʻa, e hoʻokuʻu ana i ka manawa hou aku no nā Kubernetes. Ua lilo ka hoʻonā i mea kūpono a me ka hoʻokō ʻole ʻia: ʻaʻole hoihoi ka haʻiʻōlelo i nā poʻe ʻike, a ʻaʻole hoihoi ka kūkākūkā ʻana i nā poʻe hoʻomaka.
No ka Slurm ʻehā, ua hana mākou i nā papa pūnaewele ma Docker, Ansible a me Ceph. He mea maʻalahi ka manaʻo: ʻo ka poʻe e pono ai e lawe i ka papa me ka noʻonoʻo, ʻo ka poʻe ʻaʻole pono ia e haʻalele mālie. Ke hoʻoholo nei e ka hui o nā mea hoʻāʻo, lawe ka papa Docker i nā hola 6-8. ʻAʻole ʻo Ansible lāua ʻo Ceph i uka.
Hoʻolaha:
- papa hoʻokolohua. E lilo ana paha kekahi mau hoʻoholo i mea ʻole.
- ʻO ka paepae (Stepik.org) he palaka, a ʻaʻole mākou i hana pū me ia ma mua. E loaʻa ana paha nā puʻupuʻu a me nā snags.
- Ua hoʻāʻo ʻia ka papa ma nā limahana o Southbridge. Pono ʻoe e hoʻopau i kekahi mea i kou hele ʻana.
I kekahi lā aʻe i ke kamaʻilio ʻana o ka Slurm mua, hoʻomanaʻo lākou i ka ʻoluʻolu a me ka leʻaleʻa, ʻoiai nā mea weliweli a pau. ʻO ka mea mua e loaʻa i nā manaʻo ʻoi loa. E ʻike kākou i ka hopena o nā haumāna mua o nā papa pūnaewele. 🙂
Source: www.habr.com