Slurm : caterpillar ກາຍ​ເປັນ butterfly​

1. Slurm ກໍ່ອະນຸຍາດໃຫ້ທ່ານເຂົ້າໄປໃນຫົວຂໍ້ Kubernetes ຫຼືປັບປຸງຄວາມຮູ້ຂອງທ່ານ.
2. ຜູ້ເຂົ້າຮ່ວມມີຄວາມສຸກ. ມີພຽງແຕ່ຈໍານວນຫນ້ອຍຂອງຜູ້ທີ່ບໍ່ໄດ້ຮຽນຮູ້ສິ່ງໃຫມ່ຫຼືບໍ່ໄດ້ແກ້ໄຂບັນຫາຂອງເຂົາເຈົ້າ. ການຄືນເງິນທີ່ບໍ່ມີເງື່ອນໄຂໃນມື້ທໍາອິດ ("ຖ້າທ່ານຮູ້ສຶກວ່າ Slurm ບໍ່ເຫມາະສົມສໍາລັບທ່ານ, ພວກເຮົາຈະສົ່ງເງິນຄືນເຕັມລາຄາຂອງປີ້") ຖືກໃຊ້ໂດຍຄົນດຽວ, ພຽງແຕ່ໃຫ້ເຫດຜົນວ່າລາວປະເມີນຄວາມເຂັ້ມແຂງຂອງລາວຫຼາຍເກີນໄປ.
3. Slurm ຕໍ່ໄປຈະຈັດຂຶ້ນໃນຕົ້ນເດືອນກັນຍາໃນ St. Selectel, ຜູ້ສະຫນັບສະຫນູນຖາວອນຂອງພວກເຮົາ, ບໍ່ພຽງແຕ່ສະຫນອງການຟັງສໍາລັບການຢືນ, ແຕ່ຍັງຫ້ອງປະຊຸມຂອງຕົນເອງ.
4. ພວກເຮົາກໍາລັງເຮັດຊ້ໍາ Slurm ພື້ນຖານ (9-11 ກັນຍາ) ແລະແນະນໍາໂຄງການໃຫມ່: DevOps Slurm (4-6 ກັນຍາ).

Slurm ແມ່ນຫຍັງ ແລະມັນມີການປ່ຽນແປງແນວໃດ?

ປີກ່ອນຫນ້ານີ້, ພວກເຮົາໄດ້ມາກັບແນວຄວາມຄິດຂອງການປະຕິບັດຫຼັກສູດກ່ຽວກັບ Kubernetes. ໃນເດືອນສິງຫາ '18, Slurm-1 ເກີດຂຶ້ນ: ຄວາມຫຍຸ້ງຍາກ, ມີການ presintation ຢ່າງຕໍ່ເນື່ອງ (ໃນເວລາທີ່ການນໍາສະເຫນີແມ່ນສໍາເລັດໃນເວທີ), ມີຊໍ່ຂອງບັນຫາປະຈໍາວັນ. ການທົດລອງລວມກັນ: ຜູ້ເຂົ້າຮ່ວມຂອງ Slurm ທໍາອິດ, ເຊັ່ນ Fellowship of the Ring, ຍັງຕິດຕໍ່ສື່ສານກັບກັນແລະກັນ.

ນີ້ແມ່ນສິ່ງທີ່ Slurm-1 ເບິ່ງຄືວ່າ

ຢູ່ທີ່ Slurm ທໍາອິດ, ຄວາມຄິດຂອງການຖື MegaSlurm ໄດ້ເກີດມາ. ພວກເຮົາໄດ້ຖາມປະຊາຊົນວ່າພວກເຂົາສົນໃຈໃນຫົວຂໍ້ໃດ, ແລະໃນເດືອນຕຸລາພວກເຮົາໄດ້ຈັດຫຼັກສູດຂັ້ນສູງ "ຕາມຄໍາຮ້ອງຂໍຂອງຜູ້ເຂົ້າຮ່ວມ." ມັນໄດ້ກາຍມາເປັນເຫດການທີ່ຫນ້າສົນໃຈ, ແຕ່ເປັນຄັ້ງດຽວ. ມາຮອດວັນທີ 19 ພຶດສະພານີ້, ພວກເຮົາໄດ້ກະກຽມຫຼັກສູດຂັ້ນສູງອັນແທ້ຈິງ, ດ້ວຍເຫດຜົນຂອງຕົນເອງ ແລະປະຫວັດສາດພາຍໃນ.

ໃນໄລຍະຂອງປີ, Slurm ໄດ້ມີການປ່ຽນແປງອົງການຈັດຕັ້ງ:
— Docker ແລະ Anisble ຖືກໂຍກຍ້າຍອອກຈາກໂຄງການຕົ້ນຕໍແລະເຮັດຫຼັກສູດອອນໄລນ໌ແຍກຕ່າງຫາກ.
— ການ​ຈັດ​ຕັ້ງ​ສະ​ຫນັບ​ສະ​ຫນູນ​ດ້ານ​ວິ​ຊາ​ການ​ທີ່​ຊ່ວຍ​ໃຫ້​ນັກ​ຮຽນ​ແກ້​ໄຂ​ບັນ​ຫາ​ກຸ່ມ​ການ​ຮຽນ​ຮູ້​.
— ຜູ້​ເວົ້າ​ໃນ​ປັດ​ຈຸ​ບັນ​ມີ​ການ​ສະ​ຫນັບ​ສະ​ຫນູນ​ວິ​ທີ​ການ​.

ທີມທີ່ເຮັດ Slurm 4

ຄວາມຄິດເຫັນຈາກຜູ້ເຂົ້າຮ່ວມ

ບັນທຶກອື່ນໄດ້ຖືກກໍານົດ: ຜູ້ເຂົ້າຮ່ວມ 170 ໃນ Slurm ພື້ນຖານ, 75 ຄົນໃນ MegaSlurm.

Slurm-4
101 ໃນ 170 ຄົນໄດ້ສໍາເລັດແບບຟອມຄໍາຄຶດຄໍາເຫັນ.

Kubernetes ມີຄວາມຊັດເຈນບໍ?
41 - ຂ້ອຍບໍ່ເຂົ້າໃຈ k8s ເທື່ອ, ແຕ່ຂ້ອຍເຫັນບ່ອນທີ່ຈະຂຸດ.
36 — ຂ້າ​ພະ​ເຈົ້າ​ບໍ່​ເຄີຍ​ຮູ້​ຈັກ k8s ກ່ອນ​, ແຕ່​ປັດ​ຈຸ​ບັນ​ຂ້າ​ພະ​ເຈົ້າ​ໄດ້​ຄິດ​ອອກ​.
23 — ຂ້າ​ພະ​ເຈົ້າ​ຮູ້​ຈັກ k8s ກ່ອນ​, ແຕ່​ໃນ​ປັດ​ຈຸ​ບັນ​ຂ້າ​ພະ​ເຈົ້າ​ຮູ້​ດີກ​ວ່າ​.
1 - ຂ້າ​ພະ​ເຈົ້າ​ບໍ່​ໄດ້​ຮຽນ​ຮູ້​ຫຍັງ​ໃຫມ່​.
0 — ຂ້ອຍບໍ່ເຂົ້າໃຈຫຍັງກ່ຽວກັບ k8s.

ເຈົ້າມັກຄວາມເຂັ້ມຂອງ Slurm ແນວໃດ?

16 ຄົນຄິດວ່າ Slurm ແມ່ນງ່າຍເກີນໄປ ແລະຊ້າ, ແລະ 14 ຄົນຄິດວ່າມັນຍາກເກີນໄປ ແລະໄວເກີນໄປ. ພຽງແຕ່ເຫມາະສົມສໍາລັບສ່ວນທີ່ເຫຼືອ.

ເຈົ້າໄດ້ແກ້ໄຂບັນຫາທີ່ເຈົ້າຈະໄປ Slurm ກັບບໍ?

90 - ແມ່ນແລ້ວ.
11 - ບໍ່.

MegaSlurm

40 ຄົນໄດ້ຕື່ມແບບຟອມຄໍາຄິດເຫັນ. 2 ຄົນເວົ້າວ່າມັນງ່າຍແລະຊ້າເກີນໄປ. 1 ຄົນບໍ່ໄດ້ແກ້ໄຂບັນຫາທີ່ລາວຈະໄປ Mega. ສ່ວນທີ່ເຫຼືອແມ່ນ OK.

ການທົບທວນຄືນຂອງ Slurm ໃນ https://serveradmin.ru

ການທົບທວນຄືນຂອງລໍາໂພງ

ຖ້າຫາກວ່າຢູ່ທີ່ St. Petersburg Slurm ໃນເດືອນກຸມພາມີຜູ້ເລີ່ມຕົ້ນສ່ວນໃຫຍ່, ຫຼັງຈາກນັ້ນຢູ່ທີ່ Moscow Slurm ປະຊາຊົນໃນຈໍານວນຫລາຍໄດ້ພະຍາຍາມ Kubernetes ແລ້ວ. ມີຄຳຖາມຂັ້ນສູງຫຼາຍອັນທີ່ເຮັດໃຫ້ທ່ານຄິດ.

ຖ້າຢູ່ໃນ St. Petersburg ເຂົາເຈົ້າຖາມວ່າເວລາທີ່ພວກເຮົາຈະເຜີຍແຜ່ສ້ອມ kubespray ຂອງພວກເຮົາ, ຫຼັງຈາກນັ້ນໃນ Moscow ພວກເຂົາເຈົ້າຖາມແລ້ວວ່າເປັນຫຍັງພວກເຮົາສະເຫນີໃຫ້ໃຊ້ສ້ອມຂອງພວກເຮົາແລະບໍ່ເອົາ kubespray ຕົ້ນສະບັບ. ນີ້​ແມ່ນ​ແນວ​ຄິດ​ທີ່​ສໍາ​ຄັນ​ຂອງ​ຜູ້​ອາ​ວຸ​ໂສ​ປານ​ກາງ​.

ການປະຕິບັດແມ່ນມີຄວາມຫຍຸ້ງຍາກ, ຜູ້ຄົນເຮັດຜິດພາດຫຼາຍ, ແລະມັນກໍ່ດີ: ເຈົ້າຈໍາເປັນຕ້ອງເຮັດຜິດພາດໃນຂະນະທີ່ຮຽນ, ແລະບໍ່ແມ່ນການສູ້ຮົບ.

ພວກເຮົາພົບຂໍ້ຈໍາກັດໃນການໄດ້ຮັບໃບຢັ້ງຢືນ, ຈໍາກັດການດາວໂຫຼດຈາກ Github, ແລະອື່ນໆ. ນີ້ແມ່ນຊີວິດ - ພວກເຮົາພ້ອມກັນປະຕິບັດປະມານ 200 ກຸ່ມໃນ Selectel cloud. ບໍ່ມີໃຜກະກຽມຊັບພະຍາກອນແລະຂໍ້ຈໍາກັດຂອງເຂົາເຈົ້າສໍາລັບການນີ້.

ປະກາດຂອງ Slurm ຢູ່ Selectel

→ ການລົງທະບຽນສໍາລັບ Slurm-5
ລາຄາ: 25₽

ໂຄງການ:

ຫົວຂໍ້ທີ 1: ການແນະນໍາກ່ຽວກັບ Kubernetes, ອົງປະກອບຕົ້ນຕໍ
— ການ​ນໍາ​ສະ​ເຫນີ​ກ່ຽວ​ກັບ​ເຕັກ​ໂນ​ໂລ​ຊີ k8s​. ຄໍາອະທິບາຍ, ຄໍາຮ້ອງສະຫມັກ, ແນວຄວາມຄິດ
— Pod, ReplicaSet, Deployment, Service, Ingress, PV, PVC, ConfigMap, ຄວາມລັບ

ຫົວຂໍ້ທີ 2: ການອອກແບບກຸ່ມ, ອົງປະກອບຕົ້ນຕໍ, ຄວາມທົນທານຕໍ່ຄວາມຜິດພາດ, ເຄືອຂ່າຍ k8s
- ການ​ອອກ​ແບບ​ກຸ່ມ​, ອົງ​ປະ​ກອບ​ຕົ້ນ​ຕໍ​, ຄວາມ​ທົນ​ທານ​ຄວາມ​ຜິດ​ພາດ​
- ເຄືອຂ່າຍ k8s

ຫົວຂໍ້ #3: Kubespray, ປັບ ແລະຕັ້ງກຸ່ມ Kubernetes
- Kubespray, ການ​ຕັ້ງ​ຄ່າ​ແລະ​ການ​ປັບ​ຂອງ​ກຸ່ມ Kubernetes​

ຫົວຂໍ້ #4: Advanced Kubernetes Abstractions
- DaemonSet, StatefulSet, RBAC, ວຽກ, CronJob, Pod Scheduling, InitContainer

ຫົວຂໍ້ທີ 5: ບໍລິການເຜີຍແຜ່ ແລະແອັບພລິເຄຊັນ
— ພາບລວມຂອງວິທີການເຜີຍແຜ່ການບໍລິການ: NodePort vs LoadBalancer vs Ingress
- ຕົວຄວບຄຸມຂາເຂົ້າ (Nginx): ການດຸ່ນດ່ຽງການຈະລາຈອນຂາເຂົ້າ
— ຜູ້​ຈັດ​ການ​ຜູ້​ຈັດ​ການ​: ໄດ້​ຮັບ​ໃບ​ຢັ້ງ​ຢືນ SSL / TLS ອັດ​ຕະ​ໂນ​ມັດ​

ຫົວຂໍ້ທີ 6: ແນະນໍາກ່ຽວກັບ Helm

ຫົວຂໍ້ #7: ການຕິດຕັ້ງ cert-manage

ຫົວຂໍ້ #8: Ceph: "ເຮັດຕາມທີ່ຂ້ອຍເຮັດ" ການຕິດຕັ້ງ

ຫົວຂໍ້ທີ 9: ການຕັດໄມ້ ແລະ ການຕິດຕາມ
- ການຕິດຕາມກຸ່ມ, Prometheus
— ການ​ຕັດ​ໄມ້​ໃນ​ກຸ່ມ​, Fluentd/Elastic/Kibana​

ຫົວຂໍ້ #10: ການປັບປຸງກຸ່ມ

ຫົວຂໍ້ທີ 11: ການປະຕິບັດຕົວຈິງ, ການນຳໃຊ້ dockerization ແລະ ເປີດຕົວເປັນກຸ່ມ

ຫຼັກສູດກ່ຽວກັບ Docker ແລະ Ansible ໃນ stepik.org ແມ່ນລວມຢູ່ໃນລາຄາ.

→ ການລົງທະບຽນສໍາລັບ Slurm DevOps
ລາຄາ: 45₽

ໂຄງການ:

ຫົວຂໍ້ທີ 1: ການແນະນໍາກ່ຽວກັບ Git
- ຄໍາສັ່ງພື້ນຖານ git init, commit, add, diff, log, status, pull, push
— ການ​ຕັ້ງ​ຄ່າ​ສະ​ພາບ​ແວດ​ລ້ອມ​ທ້ອງ​ຖິ່ນ​: ຄໍາ​ແນະ​ນໍາ​ພາກ​ປະ​ຕິ​ບັດ​
- Git flow, ສາຂາແລະ tags, merge ຍຸດທະສາດ
- ເຮັດ​ວຽກ​ຮ່ວມ​ກັບ repo ຫ່າງ​ໄກ​ສອກ​ຫຼີກ​ຫຼາຍ​

ຫົວຂໍ້ທີ 2: ການເຮັດວຽກເປັນທີມກັບ Git
- ກະແສ GitHub
- ສ້ອມ, ເອົາອອກ, ດຶງການຮ້ອງຂໍ
- ການຂັດແຍ້ງ, ການປ່ອຍຕົວ, ອີກເທື່ອຫນຶ່ງກ່ຽວກັບ Gitflow ແລະການໄຫຼເຂົ້າອື່ນໆທີ່ກ່ຽວຂ້ອງກັບທີມງານ

ຫົວຂໍ້ທີ 3: ການແນະນຳ CI/CD ກ່ຽວກັບລະບົບອັດຕະໂນມັດ
- ອັດ​ຕະ​ໂນ​ມັດ​ໃນ git (bots​, ການ​ນໍາ​ໃຊ້ CI​, ສຽງ​)
- ເຄື່ອງ​ມື (bash​, ເຮັດ​ໃຫ້​, gradle​)
- ສາຍປະກອບຂອງໂຮງງານ ແລະ ຄໍາຮ້ອງສະຫມັກຂອງເຂົາເຈົ້າໃນ IT

ຫົວຂໍ້ #4: CI/CD: ການເຮັດວຽກກັບ Gitlab
- ການ​ກໍ່​ສ້າງ​, ການ​ທົດ​ສອບ​, ການ​ນໍາ​ໃຊ້​
- ຂັ້ນ​ຕອນ​ຂອງ​ການ​, ຕົວ​ປ່ຽນ​ແປງ​, ການ​ຄວບ​ຄຸມ​ການ​ປະ​ຕິ​ບັດ (ພຽງ​ແຕ່​, ໃນ​ເວ​ລາ​ທີ່​, ລວມ​)

ຫົວຂໍ້ທີ 5: ການເຮັດວຽກກັບແອັບພລິເຄຊັນຈາກຈຸດພັດທະນາ
- ພວກເຮົາຂຽນ microservice ໃນ Python (ລວມທັງການທົດສອບ)
- ການນໍາໃຊ້ docker-compose ໃນການພັດທະນາ

ຫົວຂໍ້ #6: ໂຄງສ້າງພື້ນຖານເປັນລະຫັດ
— IaC: ເຂົ້າຫາໂຄງສ້າງພື້ນຖານເປັນລະຫັດ
— IaC ໃຊ້ Terraform ເປັນຕົວຢ່າງ
— IaC ໃຊ້ Ansible ເປັນຕົວຢ່າງ
- ຄວາມ​ເຂັ້ມ​ແຂງ​, ການ​ປະ​ກາດ​
— ຝຶກ​ສ້າງ Ansible playbooks​
- ການ​ເກັບ​ຮັກ​ສາ​ການ​ຕັ້ງ​ຄ່າ​, ການ​ຮ່ວມ​ມື​, ການ​ນໍາ​ໃຊ້​ອັດ​ຕະ​ໂນ​ມັດ​

ຫົວຂໍ້ #7: ການທົດສອບໂຄງສ້າງພື້ນຖານ
- ການ​ທົດ​ສອບ​ແລະ​ການ​ເຊື່ອມ​ໂຍງ​ຢ່າງ​ຕໍ່​ເນື່ອງ​ກັບ Molecule ແລະ Gitlab CI​

ຫົວຂໍ້ທີ 8: ອັດຕະໂນມັດການລ້ຽງເຊີບເວີ
- ການ​ເກັບ​ກໍາ​ຮູບ​ພາບ​
- PXE ແລະ DHCP

ຫົວຂໍ້ #9: ພື້ນຖານໂຄງລ່າງອັດຕະໂນມັດ
— ຕົວຢ່າງຂອງການບໍລິການພື້ນຖານໂຄງລ່າງສຳລັບການອະນຸຍາດໃນເຊີບເວີ
- ChatOps (ການ​ເຊື່ອມ​ໂຍງ​ຂອງ​ການ​ສົ່ງ​ຂໍ້​ຄວາມ​ທັນ​ທີ​ທີ່​ມີ​ທໍ່​)

ຫົວຂໍ້ #10: ຄວາມປອດໄພອັດຕະໂນມັດ
— ເຊັນ CI/CD ປອມ
- ການສະແກນຄວາມສ່ຽງ

ຫົວຂໍ້ທີ 11: ການຕິດຕາມ
- ຄໍານິຍາມຂອງ SLA, SLO, Error Budget ແລະຄໍາສັບທີ່ຫນ້າຢ້ານອື່ນໆຈາກໂລກຂອງ SRE
— SRE: ການປະຕິບັດການຕິດຕາມ SLI ແລະ SLO
— SRE: ການປະຕິບັດການໃຊ້ງົບປະມານຄວາມຜິດພາດ
- SRE​: ການ​ຂັດ​ຂວາງ​ແລະ​ການ​ຄຸ້ມ​ຄອງ​ການ​ໂຫຼດ​ປະ​ຕິ​ບັດ​ງານ (apigateway​, ຕາ​ຫນ່າງ​ການ​ບໍ​ລິ​ການ​, breakers circuit​)
— ຕິດ​ຕາມ​ກວດ​ກາ​ທໍ່​ສົ່ງ​ແລະ​ວັດ​ແທກ​ການ​ພັດ​ທະ​ນາ​

ແຫຼ່ງຂໍ້ມູນ: www.habr.com