Slurm: දළඹුවෙක් සමනලයෙක් බවට පත් විය

1. Slurm ඇත්ත වශයෙන්ම ඔබට Kubernetes මාතෘකාවට පිවිසීමට හෝ ඔබේ දැනුම වැඩිදියුණු කිරීමට ඉඩ සලසයි.
2. සහභාගිවන්නන් සතුටුයි. අලුතින් කිසිවක් ඉගෙන නොගත් හෝ තම ප්‍රශ්න විසඳා නොගත් අය සිටින්නේ ස්වල්ප දෙනෙකි. පළමු දිනයේ කොන්දේසි විරහිත මුදල් ආපසු ගෙවීම (“Slurm ඔබට නොගැලපෙන බව ඔබට හැඟේ නම්, අපි ටිකට් පතේ සම්පූර්ණ මිල ආපසු දෙන්නෙමු”) භාවිතා කළේ එක් පුද්ගලයෙකු පමණක්, ඔහු තම ශක්තිය අධිතක්සේරු කළ බව සාධාරණීකරණය කරමිනි.
3. ඊළඟ Slurm සැප්තැම්බර් මස මුලදී ශාන්ත පීටර්ස්බර්ග්හිදී පැවැත්වේ. අපගේ ස්ථිර අනුග්‍රාහකයා වන Selectel, නැවතුම්පළ සඳහා වලාකුළක් පමණක් නොව, තමන්ගේම සම්මන්ත්‍රණ ශාලාවක් ද සපයයි.
4. අපි මූලික Slurm (සැප්තැම්බර් 9-11) නැවත නැවතත් කරමින් නව වැඩසටහනක් හඳුන්වා දෙන්නෙමු: DevOps Slurm (සැප්තැම්බර් 4-6).

Slurm යනු කුමක්ද සහ එය වෙනස් වී ඇත්තේ කෙසේද?

වසරකට පෙර, අපි Kubernetes පිළිබඳ පාඨමාලා පැවැත්වීමේ අදහස ඉදිරිපත් කළෙමු. අගෝස්තු '18 හි, Slurm-1 සිදු විය: දුෂ්කර, අඛණ්ඩව ඉදිරිපත් කිරීම (වේදිකාව මත ඉදිරිපත් කිරීම අවසන් වූ විට), එදිනෙදා ගැටළු රාශියක් සමඟ. අත්හදා බැලීම් එක්සත් වේ: පළමු Slurm හි සහභාගිවන්නන්, ෆෙලෝෂිප් ඔෆ් ද රින්ග් වැනි, තවමත් එකිනෙකා සමඟ සන්නිවේදනය කරයි.

Slurm-1 පෙනුනේ මෙයයි

පළමු Slurm හිදී, MegaSlurm පැවැත්වීමේ අදහස උපත ලැබීය. අපි මිනිසුන්ගෙන් ඔවුන් උනන්දුවක් දක්වන මාතෘකා මොනවාදැයි විමසූ අතර, ඔක්තෝම්බර් මාසයේදී අපි "සහභාගීවන්නන්ගේ ඉල්ලීම පරිදි" උසස් පාඨමාලාවක් පැවැත්වුවා. එය රසවත්, නමුත් එක් වරක් සිදුවීමක් බවට පත් විය. මැයි 19 වන විට අපි එහිම තර්කනය සහ අභ්‍යන්තර ඉතිහාසය සමඟ සැබෑ උසස් පාඨමාලාවක් සූදානම් කර ඇත්තෙමු.

වසර පුරා, Slurm සංවිධානාත්මකව වෙනස් වී ඇත:
- ඩොකර් සහ ඇනිස්බල් ප්‍රධාන වැඩසටහනෙන් ඉවත් කර වෙනම මාර්ගගත පාඨමාලා සාදන ලදී.
- ඉගෙනුම් පොකුරු දෝශ නිරාකරණය කිරීමට සිසුන්ට උපකාර වන සංවිධානාත්මක තාක්ෂණික සහාය.
- කථිකයන්ට දැන් ක්‍රමවේද සහය ඇත.

Slurm 4 හදපු කණ්ඩායම

සහභාගිවන්නන්ගෙන් ප්රතිචාර

තවත් වාර්තාවක් පිහිටුවන ලදී: මූලික Slurm සඳහා සහභාගිවන්නන් 170 ක්, MegaSlurm මත 75 ක්.

Slurm-4
පුද්ගලයන් 101 න් 170 දෙනෙක් ප්‍රතිපෝෂණ පෝරමය සම්පූර්ණ කළහ.

Kubernetes පැහැදිලි වී තිබේද?
41 - මට තවමත් k8s තේරෙන්නේ නැත, නමුත් මම හෑරීමට කොහෙද බලන්නේ.
36 - මම මීට පෙර k8s දැන සිටියේ නැත, නමුත් දැන් මම එය තේරුම් ගත්තා.
23 — මම කලින් k8s දැන සිටියෙමි, නමුත් දැන් මම හොඳින් දනිමි.
1 - මම අලුත් දෙයක් ඉගෙන ගත්තේ නැහැ.
0 — මට k8s ගැන කිසිම දෙයක් තේරුණේ නැහැ.

Slurm හි තීව්‍රතාවයට ඔබ කැමති වන්නේ කෙසේද?

16 දෙනෙක් සිතන්නේ Slurm ඉතා පහසු සහ මන්දගාමී බවයි, සහ 14 දෙනෙක් සිතන්නේ එය ඉතා අපහසු සහ වේගවත් බවයි. ඉතුරු ටිකට හරි.

ඔබ Slurm කිරීමට යන ගැටලුව ඔබ විසඳා තිබේද?

90 - ඔව්.
11 - නැත.

MegaSlurm

පුද්ගලයන් 40 දෙනෙකු ප්‍රතිපෝෂණ පෝරමය පුරවා ඇත. 2 දෙනෙක් කිව්වා එය ඉතා පහසු සහ මන්දගාමී බව. 1 පුද්ගලයෙක් මෙගා එකට යන ප්‍රශ්නය විසඳුවේ නැහැ. ඉතිරිය හරි.

https://serveradmin.ru හි Slurm පිළිබඳ සමාලෝචනය

කථානායක සමාලෝචන

පෙබරවාරි මාසයේ ශාන්ත පීටර්ස්බර්ග් මුඩුක්කුවේ බොහෝ විට ආරම්භකයින් සිටියේ නම්, මොස්කව් මුඩුක්කුවේ විශාල පිරිසක් දැනටමත් කුබර්නෙටස් උත්සාහ කර ඇත. ඔබව සිතන්නට පෙලඹවූ උසස් ප්‍රශ්න රාශියක් තිබුණි.

ශාන්ත පීටර්ස්බර්ග්හිදී ඔවුන් අපගේ කුබෙස්ප්‍රේ ගෑරුප්පුව ප්‍රකාශයට පත් කරන්නේ කවදාදැයි ඇසුවේ නම්, මොස්කව්හිදී ඔවුන් දැනටමත් විමසා ඇත්තේ අපගේ දෙබලක භාවිතා කිරීමට සහ මුල් කුබෙස්ප්‍රේ නොගන්නේ මන්දැයි යන්නයි. මෙය දැනටමත් මධ්යම ජ්යෙෂ්ඨයින්ගේ විවේචනාත්මක චින්තනයයි.

පුහුණුව දුෂ්කර විය, මිනිසුන් බොහෝ වැරදි කර ඇත, එය විශිෂ්ටයි: ඔබ ඉගෙනීමේදී වැරදි කළ යුතු අතර සටනේදී නොවේ.

සහතික ලබා ගැනීමේ සීමාවන්, Github වෙතින් බාගත කිරීමේ සීමාවන් යනාදිය අපට නිතිපතා හමු විය. මෙය ජීවිතයයි - අපි එකවරම පොකුරු 200 ක් පමණ Selectel වලාකුළෙහි යෙදුවෙමු. මේ සඳහා කිසිවකු තම සම්පත් සහ සීමාවන් සකසා ගන්නේ නැත.

Selectel හි Slurm පිළිබඳ නිවේදනය

→ Slurm-5 සඳහා ලියාපදිංචිය
මිල: 25 ₽

වැඩසටහන:

මාතෘකාව #1: Kubernetes වෙත හැඳින්වීම, ප්රධාන සංරචක
- k8s තාක්ෂණය හඳුන්වාදීම. විස්තරය, යෙදුම, සංකල්ප
- Pod, ReplicaSet, යෙදවීම, සේවා, ඇතුල්වීම, PV, PVC, ConfigMap, Secret

මාතෘකාව අංක 2: පොකුරු නිර්මාණය, ප්රධාන සංරචක, වැරදි ඉවසීම, k8s ජාලය
- පොකුරු නිර්මාණය, ප්රධාන සංරචක, වැරදි ඉවසීම
- k8s ජාලය

මාතෘකාව #3: Kubespray, සුසර කිරීම සහ Kubernetes පොකුරක් පිහිටුවීම
- Kubespray, Kubernetes පොකුරේ වින්යාස කිරීම සහ සුසර කිරීම

මාතෘකාව #4: උසස් කුබර්නෙට්ස් සාරාංශ
- DaemonSet, StatefulSet, RBAC, Job, CronJob, Pod Scheduling, InitContainer

මාතෘකාව #5: ප්‍රකාශන සේවා සහ යෙදුම්
— සේවා ප්‍රකාශන ක්‍රම පිළිබඳ දළ විශ්ලේෂණය: NodePort vs LoadBalancer vs Ingress
- ඇතුල්වීමේ පාලකය (Nginx): පැමිණෙන ගමනාගමනය සමතුලිත කිරීම
— Сert-කළමනාකරු: ස්වයංක්‍රීයව SSL/TLS සහතික ලබාගන්න

මාතෘකාව #6: හෙල්ම් හැඳින්වීම

මාතෘකාව #7: සහතික කළමණාකරු ස්ථාපනය කිරීම

මාතෘකාව #8: Ceph: "මම කරන ආකාරයට කරන්න" ස්ථාපනය

මාතෘකාව #9: ලොග් කිරීම සහ අධීක්ෂණය
- පොකුරු නිරීක්ෂණ, Prometheus
- පොකුරු ලොග් කිරීම, Fluentd/elastic/Kibana

මාතෘකාව #10: පොකුරු යාවත්කාලීන කිරීම

මාතෘකා අංක 11: ප්‍රායෝගික වැඩ, යෙදුම් ඩොකරීකරණය සහ පොකුරකට දියත් කිරීම

Stepik.org හි Docker සහ Ansible හි පාඨමාලා මිලට ඇතුළත් වේ.

→ Slurm DevOps සඳහා ලියාපදිංචිය
මිල: 45 ₽

වැඩසටහන:

මාතෘකාව #1: Git වෙත හැඳින්වීම
— මූලික විධාන git init, commit, add, diff, log, status, pull, push
- දේශීය පරිසරය සැකසීම: ප්‍රායෝගික නිර්දේශ
- Git ප්‍රවාහය, ශාඛා සහ ටැග්, උපාය මාර්ග ඒකාබද්ධ කරන්න
- බහු දුරස්ථ රෙපෝ සමඟ වැඩ කිරීම

මාතෘකාව #2: Git සමඟ කණ්ඩායම් වැඩ
- GitHub ප්රවාහය
- ෆෝක්, ඉවත් කරන්න, අදින්න ඉල්ලීම
- කණ්ඩායම් සම්බන්ධයෙන් Gitflow සහ අනෙකුත් ප්‍රවාහයන් ගැන නැවත වරක් ගැටුම්, මුදා හැරීම්

මාතෘකාව #3: ස්වයංක්‍රීයකරණයට CI/CD හඳුන්වාදීම
- git හි ස්වයංක්‍රීයකරණය (බොට්ස්, CI වෙත හැඳින්වීම, කොකු)
- මෙවලම් (bash, make, gradle)
- කර්මාන්තශාලා එකලස් කිරීමේ මාර්ග සහ තොරතුරු තාක්ෂණයේ ඔවුන්ගේ යෙදුම

මාතෘකාව #4: CI/CD: Gitlab සමඟ වැඩ කිරීම
- ගොඩනැගීම, පරීක්ෂා කිරීම, යෙදවීම
- අදියර, විචල්‍ය, ක්‍රියාත්මක කිරීමේ පාලනය (පමණක්, විට, ඇතුළත්)

මාතෘකාව #5: සංවර්ධන දෘෂ්ටි කෝණයකින් යෙදුම සමඟ වැඩ කිරීම
- අපි පයිතන් හි ක්ෂුද්‍ර සේවාවක් ලියන්නෙමු (පරීක්ෂණ ඇතුළුව)
- සංවර්ධනයේදී docker-compose භාවිතා කිරීම

මාතෘකාව #6: යටිතල පහසුකම් කේතය ලෙස
- IaC: කේතය ලෙස යටිතල පහසුකම් සඳහා ප්රවේශය
— IaC උදාහරණයක් ලෙස Terraform භාවිතා කරයි
- IaC උදාහරණයක් ලෙස Ansible භාවිතා කරයි
- උදාසීනත්වය, ප්රකාශනය
— Ansible playbooks නිර්මාණය කිරීමට පුරුදු වන්න
- වින්‍යාස ගබඩා කිරීම, සහයෝගීතාවය, යෙදුම් ස්වයංක්‍රීයකරණය

මාතෘකාව #7: යටිතල පහසුකම් පරීක්ෂා කිරීම
- Molecule සහ Gitlab CI සමඟ පරීක්ෂා කිරීම සහ අඛණ්ඩව ඒකාබද්ධ කිරීම

මාතෘකාව අංක 8: සර්වර් ඉහල නැංවීමේ ස්වයංක්‍රීයකරණය
- පින්තූර එකතු කිරීම
- PXE සහ DHCP

මාතෘකාව #9: යටිතල පහසුකම් ස්වයංක්‍රීයකරණය
- සේවාදායකයන් මත අවසරය සඳහා යටිතල පහසුකම් සේවාවක උදාහරණයක්
- ChatOps (නල මාර්ග සමඟ ක්ෂණික පණිවිඩකරුවන් ඒකාබද්ධ කිරීම)

මාතෘකාව #10: ආරක්ෂක ස්වයංක්‍රීයකරණය
- CI/CD පුරාවස්තු අත්සන් කිරීම
- අවදානම් ස්කෑන් කිරීම

මාතෘකාව #11: අධීක්ෂණය
- SLA, SLO, Error Budget සහ SRE හි ලෝකයේ වෙනත් භයානක නියමයන් අර්ථ දැක්වීම
- SRE: SLI සහ SLO අධීක්ෂණ භාවිතය
- SRE: දෝෂ අයවැය භාවිතා කිරීමේ පුහුණුව
- SRE: බාධා කිරීම් සහ මෙහෙයුම් බර කළමනාකරණය (apigateway, සේවා දැල්, පරිපථ කඩන)
- නල මාර්ග සහ සංවර්ධන ප්‍රමිතික අධීක්ෂණ

මූලාශ්රය: www.habr.com