Slurm: Kubernetes intensive. වැඩසටහන සහ බෝනස්

මැයි 27-29 දිනවල අපි හතරවන Slurm පවත්වනවා: Kubernetes මත දැඩි.

ප්‍රසාද දීමනාව: Docker, Ansible, Ceph පිළිබඳ මාර්ගගත පාඨමාලා
අපි Kubernetes සමඟ වැඩ කිරීම සඳහා වැදගත් වන Slurm මාතෘකා වලින් ව්‍යුත්පන්න කර ඇත, නමුත් k8s සමඟ කෙලින්ම සම්බන්ධ නොවේ. කෙසේද, ඇයි සහ සිදුවූයේ කුමක්ද - කප්පාදුව යටතේ.
සියලුම Slurm 4 සහභාගිවන්නන්ට මෙම පාඨමාලා සඳහා ප්‍රවේශය ඇත.

පළමු දිනයේ සම්පූර්ණ මුදල් ආපසු
ශාන්ත පීටර්ස්බර්ග් ස්ලර්ම්හිදී, සහභාගිවන්නන් දෙදෙනෙකු පිටත්ව ගියේය අතිශයින්ම සෘණාත්මක සමාලෝචන. අන්‍යෝන්‍ය ප්‍රකාශයකින් තොරව අතීතයට ගොස් ඔවුන් සමඟ වෙන්වීමට නොහැකි වීම ගැන මම පසුතැවෙන්නේ කෙසේද?
Slurm ගැන ඔබ කිසිසේත්ම අකමැති දේ ඔබ සොයා ගන්නේ නම්, පළමු දිනය ඕනෑම සංවිධායකයෙකුට ලියන්න. අපි ප්‍රවේශය අබල කර සම්පූර්ණ සහභාගිත්ව මිල ආපසු ගෙවන්නෙමු.

තාක්ෂණික උපදේශකයින්
දන්න කෙනෙක් ඉන්නවනම් දිමිත්‍රි සිමොනොව් (ඔහු තාක්‍ෂණික අධ්‍යක්ෂවරුන්ගේ සමාජයක් පිහිටුවා ගත්හ), අපි ඔහුට Slurm වෙත ආරාධනා කළෙමු (ඉගෙනීමට, ඉටු කිරීමට නොවේ). සෑම කෙනෙකුටම උපදෙස් දීමට ඔහු පොරොන්දු විය. මෙය පරිපාලකයින්ට සහ සංවර්ධකයින්ට උනන්දුවක් නොදක්වයි, නමුත් එය තොරතුරු තාක්ෂණ කළමනාකරුවන්ට ඉතා රසවත් වනු ඇත.

Slurm යනු කුමක්ද?

Slurm-4: මූලික පාඨමාලාව (මැයි 27-29)
පළමු වරට Kubernetes දකින හෝ ඔවුන්ගේ දැනුම ක්රමානුකූල කිරීමට අවශ්ය අය සඳහා නිර්මාණය කර ඇත.
සෑම සහභාගිවන්නෙකුම Selectel වලාකුළෙහි තමන්ගේම පොකුරක් සාදා එහි යෙදුම යොදවනු ඇත.

මිල: 25 දහසක්

වැඩසටහන

මාතෘකාව #1: Kubernetes වෙත හැඳින්වීම, ප්රධාන සංරචක
• k8s තාක්ෂණය හඳුන්වාදීම. විස්තරය, යෙදුම, සංකල්ප
• Pod, ReplicaSet, Deployment, Service, Ingress, PV, PVC, ConfigMap, Secret
• පුහුණු වන්න

මාතෘකාව අංක 2: පොකුරු නිර්මාණය, ප්රධාන සංරචක, වැරදි ඉවසීම, k8s ජාලය
• පොකුරු නිර්මාණය, ප්රධාන සංරචක, වැරදි ඉවසීම
• k8s ජාලය

මාතෘකාව #3: Kubespray, සුසර කිරීම සහ Kubernetes පොකුරක් පිහිටුවීම
• Kubernetes පොකුරේ Kubespray, වින්‍යාස කිරීම සහ සුසර කිරීම
• පුහුණු වන්න

මාතෘකාව #4: Ceph, පොකුරු සැකසුම සහ නිෂ්පාදනයේ වැඩ කිරීමේ විශේෂාංග
• Ceph, පොකුරු සැකසුම සහ නිෂ්පාදනයේ වැඩ කිරීමේ විශේෂාංග
• පුහුණු වන්න: ceph පිහිටුවීම

මාතෘකාව #5: උසස් කුබර්නෙට්ස් සාරාංශ
• DaemonSet, StatefulSet, RBAC, Job, CronJob, Pod Scheduling, InitContainer

මාතෘකාව #6: හෙල්ම් හැඳින්වීම
• හෙල්ම් හැඳින්වීම
• පුහුණු වන්න

මාතෘකාව #7: ප්‍රකාශන සේවා සහ යෙදුම්
• සේවා ප්‍රකාශන ක්‍රම පිළිබඳ දළ විශ්ලේෂණය: NodePort vs LoadBalancer vs Ingress
• ඇතුල්වීමේ පාලකය (Nginx): පැමිණෙන ගමනාගමනය තුලනය කිරීම
• Сert-කළමනාකරු: ස්වයංක්‍රීයව SSL/TLS සහතික ලබාගන්න
• පුහුණු වන්න

මාතෘකාව #8: ලොග් කිරීම සහ අධීක්ෂණය
• පොකුරු නිරීක්ෂණ, Prometheus
• පොකුරු ලොග් කිරීම, Fluentd/elastic/Kibana
• පුහුණු වන්න

මාතෘකාව අංක 9: CI/CD, මුල සිටම පොකුරකට ගොඩනැඟීම

මාතෘකා අංක 10: ප්‍රායෝගික වැඩ, යෙදුම් ඩොකරීකරණය සහ පොකුරකට දියත් කිරීම

Slurm වෙබ් අඩවිය

MegaSlurm: උසස් පාඨමාලාව (මැයි 31 - ජූනි 2)
Kubernetes ඉංජිනේරුවන් සහ ගෘහ නිර්මාණ ශිල්පීන් සඳහා මෙන්ම පදනම් පාඨමාලා උපාධිධාරීන් සඳහා නිර්මාණය කර ඇත.
අපි පොකුරු සංරචක යාවත්කාලීන කිරීම සහ පොකුරට යෙදවීම එකවර දියත් කිරීම සඳහා පොකුර වින්‍යාස කරමු.

මිල: 60 දහසක් (Slurm-45 සහභාගිවන්නන් සඳහා 4 දහසක්)

වැඩසටහන

මාතෘකාව #1: ඇතුළත සිට අසාර්ථක පොකුරක් නිර්මාණය කිරීමේ ක්රියාවලිය
• Kubespray සමඟ වැඩ කිරීම
• අතිරේක සංරචක ස්ථාපනය කිරීම
• පොකුරු පරීක්ෂාව සහ දෝශ නිරාකරණය
• පුහුණු වන්න

මාතෘකාව #2: බාහිර සැපයුම්කරුවෙකු භාවිතයෙන් පොකුරේ අවසරය
• LDAP (Nginx + Python)
• OIDC (Dex + Gangway)
• පුහුණු වන්න

මාතෘකාව #3: ජාල ප්‍රතිපත්තිය
• CNI වෙත හැඳින්වීම
• ජාල ආරක්ෂණ ප්‍රතිපත්තිය
• පුහුණු වන්න

මාතෘකාව #4: පොකුරක් තුළ ආරක්ෂිත සහ ඉතා ඉහලින් පවතින යෙදුම්
• PodSecurityPolicy
• PodDisruptionBudget

මාතෘකාව #5: Kubernetes. අපි තොප්පිය යට බලමු
• පාලක ව්යුහය
• ක්රියාකරුවන් සහ CRDs
• පුහුණු වන්න

මාතෘකාව #6: පොකුරක් තුළ ප්‍රකාශිත යෙදුම්
• උදාහරණයක් ලෙස PostgreSQL භාවිතා කරමින් දත්ත සමුදා පොකුරක් දියත් කිරීම
• RabbitMQ පොකුරක් දියත් කිරීම
• පුහුණු වන්න

මාතෘකාව #7: රහස් තබා ගැනීම
• Kubernetes හි රහස් කළමනාකරණය කිරීම
• සුරක්ෂිතාගාරය

මාතෘකාව #8: තිරස් Pod Autoscaler
• සිද්ධාන්තය
• පුහුණු වන්න

මාතෘකාව #9: උපස්ථ සහ ආපදා ප්‍රතිසාධනය
• Heptio Velero (කලින් Ark) සහ etcd භාවිතයෙන් පොකුරු උපස්ථ සහ ප්‍රතිසාධනය
• පුහුණු වන්න

මාතෘකාව #10: යෙදුම් යෙදවීම
•ලින්ට්
• සැකිලි සහ යෙදවුම් මෙවලම්
• යෙදවීමේ උපාය මාර්ග

මාතෘකාව අංක 11: ප්රායෝගික වැඩ
• යෙදුම් යෙදවීම සඳහා CI/CD ගොඩනැගීම
• පොකුරු යාවත්කාලීන කිරීම

MegaSlurm වෙබ් අඩවිය

ඩොකර්, ඇන්සිබල් සහ සීෆ්

ඉතිහාස චාරිකාව

පළමු Slurm අත්හදා බැලීමක් විය. කථිකයන් ඔවුන්ගේ ඉදිරිපත් කිරීම් වචනාර්ථයෙන් වේදිකාවේ සම්පූර්ණ කළ අතර, ප්‍රේක්ෂකයින් තුළ එවැනි මට්ටමේ පරිපාලකයින් වාඩි වී සිටි අතර ඔවුන්ට කථිකයන් ලෙස ආරාධනා කිරීමට කාලය පැමිණ තිබේ.

සැබෑ මූලික පාඨමාලාව දෙවන Slurm හිදී සිදු විය: සහභාගී වූවන්ගෙන් 80% ක් පළමු වරට Kubernetes දුටු අතර, තුන්වැන්නා කිසි විටෙකත් Docker සමඟ වැඩ කර නැත.
උදේට ඩොකර් ගැන දේශනයක් අහලා හවසට කොම්බට් මොඩ් එකේ වැඩ කරන එක මිනිස්සුන්ට කොච්චර අමාරුද කියලා පැහැදිලියි.
සීෆ් බොහෝ දුෂ්කරතා ඇති කළේය. එපමණක් නොව, ප්‍රේක්ෂකාගාරය තුළ අනිවාර්යයෙන්ම Ceph පැහැදිලි කිරීමට අවශ්‍ය වූ පුද්ගලයන් 20 දෙනෙකු ද, Ceph ට කිසිසේත්ම අවශ්‍ය නොවූ තවත් 60 දෙනෙකු ද සිටියහ.

තුන්වන Slurm සඳහා, අපි Kubernetes සඳහා වැඩි කාලයක් නිදහස් කරමින් Docker සහ Ansible වෙනම webinars වෙත ගෙන ගියෙමු. විසඳුම සාරයෙන් ප්‍රායෝගික වූ අතර ක්‍රියාත්මක කිරීමේදී ඌන සංවර්ධිත විය: දේශනය පළපුරුදු පිරිමි ළමයින්ට උනන්දුවක් නොදක්වන අතර සාකච්ඡාව ආරම්භකයින්ට උනන්දුවක් නොදක්වයි.

හතරවන Slurm සඳහා, අපි Docker, Ansible සහ Ceph පිළිබඳ මාර්ගගත පාඨමාලා සකස් කළෙමු. අදහස සරලයි: එය අවශ්‍ය අය කල්පනාකාරීව පාඩම් කරනු ඇත, එය අවශ්‍ය නොවන අය එය සන්සුන්ව නොසලකා හරිනු ඇත. පරීක්ෂක කණ්ඩායම විසින් විනිශ්චය කිරීම, ඩොකර් පාඨමාලාව පැය 6-8 ක් ගතවේ. Ansible සහ Ceph තවම clock කරලා නැහැ.

:

• පර්යේෂණාත්මක පාඨමාලාව. සමහර තීරණ අසාර්ථක විය හැකිය.
• වේදිකාව (Stepik.org) ගොරහැඩි වන අතර, අපි මීට පෙර එය සමඟ වැඩ කර නැත. බොහෝ විට ගැටිති සහ ගැටිති ඇති වනු ඇත.
• මෙම පාඨමාලාව සවුත්බ්‍රිජ් සේවකයින් සඳහා පමණක් පරීක්ෂා කරන ලදී. නිසැකවම ඔබ යන විට ඔබට යමක් අවසන් කිරීමට සිදුවනු ඇත.

පසුගිය දිනක පළමු මුඩුක්කුවේ කතාබස් කිරීමේදී ඔවුන් සියලු සංවිධානාත්මක භීෂණයන් නොතකා එය කෙතරම් සිසිල් සහ විනෝදජනකද යන්න සිහිපත් කළහ. වඩාත්ම විචිත්‍රවත් හැඟීම් ලබා ගත් පළමු තැනැත්තා. අපි බලමු ඔන්ලයින් පාඨමාලා වල මුල්ම සිසුන්ට මොකද වෙන්නේ කියලා. 🙂

මූලාශ්රය: www.habr.com