🥇 د Kubernetes پراخول او ضمیمه کول (بیاکتنه او ویډیو راپور)

د اپریل په 8 په کنفرانس کې سینټ های لوډ++ 2019د "DevOps او عملیاتو" برخې برخې په توګه، یو راپور "د کوبرنیټس پراخول او بشپړول" ورکړل شوي، چې په جوړولو کې د فلانټ شرکت درې کارمندانو برخه اخیستې وه. پدې کې، موږ د ډیری شرایطو په اړه خبرې کوو په کوم کې چې موږ غوښتل د Kubernetes وړتیاوې پراخې او بشپړې کړو، مګر د کوم لپاره چې موږ چمتو او ساده حل ونه موندلو. موږ د خلاصې سرچینې پروژې په بڼه اړین حلونه لرو، او دا وینا هم دوی ته وقف شوې ده.

د دود له مخې، موږ د وړاندې کولو خوښ یو د راپور ویډیو (50 دقیقې، د مقالې په پرتله ډیر معلوماتي) او اصلي لنډیز په متن کې. لاړ شه!

په K8s کې اصلي او اضافې

Kubernetes صنعت او ادارې ته تګلارې بدلوي چې له اوږدې مودې راهیسې رامینځته شوي:

له هغه څخه مننه خلاصون، موږ نور د مفاهیمو سره کار نه کوو لکه د ترتیب تنظیم کول یا کمانډ چلول (شیف ، ځواب ورکوونکی ...) ، مګر د کانټینرونو ګروپ کول ، خدماتو او نور کاروو.
موږ کولی شو د باریکیو په اړه فکر کولو پرته غوښتنلیکونه چمتو کړو ځانګړی سایټ، په کوم کې چې دا به په لاره واچول شي: نرۍ فلزات ، د یو چمتو کونکي بادل ، او داسې نور.
د K8s سره تاسو هیڅکله د لاسرسي وړ نه یاست غوره تمرینونه د زیربنا تنظیم کولو په اړه: د اندازه کولو تخنیکونه، د ځان درملنه، د غلطۍ زغم، او نور.

په هرصورت، البته، هرڅه دومره اسانه ندي: کوبرنیټس هم خپل نوي ننګونې راوړي.

کوبنیټس نه یو ترکیب دی چې د ټولو کاروونکو ټولې ستونزې حل کوي. کور Kubernetes یوازې د لږترلږه اړینو دندو لپاره مسؤل دی چې په کې شتون لري هر کلستر:

د Kubernetes کور د کانټینرونو ګروپ کولو، د ټرافیک اداره کولو، او داسې نورو لپاره د لومړنیو بنسټیزو سیټ تعریف کوي. موږ د دوی په اړه په ډیر تفصیل سره خبرې وکړې راپور 2 کاله وړاندې.

له بلې خوا، K8s د شته دندو پراخولو لپاره عالي فرصتونه وړاندې کوي، کوم چې د نورو تړلو کې مرسته کوي - مشخص - د کارونکي اړتیاوې. د Kubernetes اضافه کول د کلستر مدیرانو مسؤلیت دی، کوم چې باید هر هغه څه نصب او تنظیم کړي چې خپل کلستر "په سم شکل کې" ترلاسه کړي [د دوی ځانګړي ستونزې حل کړي]. دا کوم ډول اضافه دي؟ راځئ چې ځینې مثالونه وګورو.

د اضافه کولو مثالونه

د Kubernetes په نصبولو سره، موږ شاید حیران شو چې هغه شبکه چې د نوډ دننه او د نوډونو ترمنځ د پوډونو د تعامل لپاره دومره اړینه ده پخپله کار نه کوي. د Kubernetes کرنل د اړینو اړیکو تضمین نه کوي؛ پرځای یې، دا شبکه ټاکي انٹرفیس (CNI) د دریمې ډلې اضافو لپاره. موږ باید د دې اضافو څخه یو نصب کړو، کوم چې به د شبکې ترتیب لپاره مسؤل وي.

یو نږدې مثال د ډیټا ذخیره کولو حلونه دي (سیمه ایز ډیسک ، د شبکې بلاک وسیله ، سیف ...). په پیل کې دوی په اصلي برخه کې وو، مګر د راتګ سره CSI وضعیت یو څه ته ورته دی چې دمخه یې تشریح شوی: انٹرفیس په کوبرنیټس کې دی ، او پلي کول یې د دریمې ډلې ماډلونو کې دي.

نور مثالونه عبارت دي له:

برید- کنټرولونکي (د دوی بیاکتنه په کې وګورئ زموږ وروستۍ مقاله).
سند - مدیر:
عملیات د اضافو ټوله ټولګي ده (چې په کې ذکر شوي سند مدیر شامل دي)، دوی ابتدايي او کنټرولر تعریفوي. د دوی د کار منطق یوازې زموږ د تصور لخوا محدود دی او موږ ته اجازه راکوي چې چمتو شوي زیربنا اجزاو (د مثال په توګه ، DBMS) په لومړنيو برخو بدل کړو ، کوم چې کار کول خورا اسانه دي (د کانټینرونو سیټ او د دوی تنظیماتو سره). د آپریټرانو لوی شمیر لیکل شوي - حتی که ډیری یې لاهم د تولید لپاره چمتو ندي ، دا یوازې د وخت خبره ده:
میټریکونه - یو بل مثال چې څنګه کوبرنیټس انٹرفیس (میتریک API) له پلي کولو څخه جلا کړ (د دریمې ډلې اضافې لکه پرومیتیس اډاپټر ، ډیټاډګ کلسټر اجنټ ...).
لپاره څارنه او احصایې، چیرې چې په عمل کې نه یوازې اړتیا لیدل کیږي Prometheus او Grafana, but also kube-state-metrics, node-exporter, etc.

او دا د اضافې بشپړ لیست ندی ... د بیلګې په توګه، په فلانټ شرکت کې چې موږ دا مهال نصب کوو 29 اضافه کول (دا ټول ټول 249 Kubernetes توکي جوړوي). په ساده ډول، موږ نشو کولی د کلستر ژوند د اضافه کولو پرته وګورو.

اتومات

آپریټرونه د معمول عملیاتو اتومات کولو لپاره ډیزاین شوي چې موږ هره ورځ ورسره مخ کیږو. دلته د ریښتیني ژوند مثالونه دي د کوم لپاره چې د آپریټر لیکل به غوره حل وي:

د غوښتنلیک لپاره د عکسونو سره یو شخصي (د بیلګې په توګه د ننوتلو اړتیا) راجستر شتون لري. داسې انګیرل کیږي چې هر پوډ یو ځانګړی راز ټاکل شوی چې په راجستر کې تصدیق کولو ته اجازه ورکوي. زموږ دنده دا ده چې ډاډ ترلاسه کړو چې دا راز په نوم ځای کې موندل کیږي ترڅو پوډونه عکسونه ډاونلوډ کړي. ډیری غوښتنلیکونه شتون لري (هر یو یې یو راز ته اړتیا لري)، او دا ګټور دی چې رازونه په منظمه توګه تازه کړئ، نو د لاس په واسطه د رازونو ایښودلو اختیار له منځه وړل کیږي. دا هغه ځای دی چې آپریټر ژغورنې ته راځي: موږ یو کنټرولر رامینځته کوو چې د نوم ځای څرګندیدو ته به انتظار باسي او د دې پیښې پراساس به د نوم ځای ته یو راز اضافه کړي.
اجازه راکړئ په ډیفالټ ډول د پوډونو څخه انټرنیټ ته لاسرسی منع دی. مګر ځینې وختونه دا اړتیا لیدل کیدی شي: دا د لاسرسي اجازې میکانیزم لپاره منطقي دی چې په ساده ډول کار وکړي پرته له دې چې ځانګړي مهارتونو ته اړتیا ولري ، د مثال په توګه ، په نوم ځای کې د یو ځانګړي لیبل شتون لخوا. چلونکی څنګه کولی شي دلته زموږ سره مرسته وکړي؟ یو کنټرولر رامینځته شوی چې په نوم ځای کې د لیبل څرګندیدو ته انتظار باسي او د انټرنیټ لاسرسي لپاره مناسب پالیسي اضافه کوي.
ورته حالت: فرض کړئ چې موږ یو مشخص اضافه کولو ته اړتیا لرو داغ، که دا ورته لیبل ولري (د یو ډول مخکینۍ سره). د آپریټر سره عملونه څرګند دي ...

په هر کلستر کې، معمول کارونه باید حل شي، او ښی دا د آپریټرونو په کارولو سره ترسره کیدی شي.

د ټولو بیان شویو کیسو لنډیز، موږ دې پایلې ته ورسیدو په Kubernetes کې د آرام کار لپاره تاسو اړتیا لرئ: الف ) اضافه نصب کړئب) آپریټرانو ته وده ورکول (د ورځني اداري دندو حلولو لپاره).

د Kubernetes لپاره بیان څنګه ولیکئ؟

په عموم کې، سکیم ساده دی:

... مګر بیا دا معلومه شوه چې:

د Kubernetes API یو غیر معمولي شی دی چې ماسټر کولو لپاره ډیر وخت نیسي؛
برنامه کول هم د هرچا لپاره ندي (د ګو ژبه د غوره ژبې په توګه غوره شوې ځکه چې د دې لپاره ځانګړی چوکاټ شتون لري - آپریټر SDK);
وضعیت پخپله د چوکاټ سره ورته دی.

لاندې نه پاس کرښه: د کنټرولر لیکلو لپاره (آپریټر) باید ولري د پام وړ سرچینې مصرف کړئ د موادو مطالعه کول. دا به د "لوی" آپریټرانو لپاره توجیه شي - ووایه، د MySQL DBMS لپاره. مګر که موږ پورته بیان شوي مثالونه په یاد ولرو (د رازونو افشا کول، انټرنیټ ته د پوډونو لاسرسی ...)، کوم چې موږ هم په سمه توګه ترسره کول غواړو، نو موږ به پوه شو چې مصرف شوې هڅې به د هغه پایلو څخه ډیر وي چې موږ ورته اړتیا لرو:

په عموم کې، یوه ستونزه رامنځ ته کیږي: ډیری سرچینې مصرف کړئ او د بیان لیکلو لپاره سم وسیله ومومئ، یا دا په زاړه طریقه ترسره کړئ (مګر ژر). د دې د حل کولو لپاره - د دې افراطونو تر مینځ د جوړجاړي موندلو لپاره - موږ خپله پروژه جوړه کړه: شیل چلونکی (د هغه هم وګورئ وروستی اعلان په مرکز کې).

شیل چلونکی

هغه څنګه کار کوي؟ کلستر یو پوډ لري چې د شیل آپریټر سره Go بائنری لري. د هغې تر څنګ یوه مجموعه ده هکس (د دوی په اړه نور معلومات - لاندې وګورئ). د شیل آپریټر پخپله د ځینو لپاره ګډون کوي پېښې په Kubernetes API کې، په هغه صورت کې چې دا ورته هکونه پیلوي.

د شیل آپریټر څنګه پوهیږي چې کوم هکونه په کومو پیښو باندې غږ کوي؟ دا معلومات پخپله د هکس لخوا د شیل چلونکي ته لیږدول کیږي، او دوی دا خورا ساده کوي.

هک د باش سکریپټ یا کوم بل اجرا وړ فایل دی چې یو واحد دلیل مني --config او د JSON سره ځواب ورکوي. وروستنۍ ټاکي چې کوم شیان ورته علاقه لري او کوم پیښې (د دې شیانو لپاره) باید ځواب شي:

زه به زموږ د یوې بیلګې په شیل آپریټر کې پلي کول روښانه کړم - د غوښتنلیک عکسونو سره شخصي راجسټرې ته د لاسرسي لپاره د تخریب رازونه. دا په دوو مرحلو مشتمل دی.

تمرین: 1. یو هک ولیکئ

لومړی، موږ به په هک کې پروسس کړو --config، دا په ګوته کوي چې موږ د نوم ځایونو سره علاقه لرو ، او په ځانګړي توګه د دوی د رامینځته کیدو شیبه:

[[ $1 == "--config" ]] ; then
  cat << EOF
{
  "onKubernetesEvent": [
    {
      "kind": "namespace",
      "event": ["add"]
    }
  ]
}
EOF
…

منطق به څه ډول ښکاري؟ همدارنګه خورا ساده:

…
else
  createdNamespace=$(jq -r '.[0].resourceName' $BINDING_CONTEXT_PATH)
  kubectl create -n ${createdNamespace} -f - << EOF
Kind: Secret
...
EOF
fi

لومړی ګام دا دی چې معلومه کړئ چې کوم نوم ځای رامینځته شوی ، او دوهم دا دی چې په کارولو سره یې رامینځته کړئ kubectl د دې نوم ځای لپاره راز.

تمرین: 2. د انځور راټولول

ټول هغه څه چې پاتې دي د شیل آپریټر ته رامینځته شوي هک انتقال کول دي - دا څنګه کولی شو؟ د شیل آپریټر پخپله د ډاکر عکس په توګه راځي ، نو زموږ دنده دا ده چې په دې عکس کې ځانګړي لارښود ته هک اضافه کړو:

FROM flant/shell-operator:v1.0.0-beta.1
ADD my-handler.sh /hooks

ټول هغه څه چې پاتې دي د هغې راټولول او فشار ورکول دي:

$ docker build -t registry.example.com/my-operator:v1 .
$ docker push registry.example.com/my-operator:v1

وروستی ټچ دا دی چې عکس په کلستر کې ځای په ځای کړي. د دې کولو لپاره، راځئ چې ولیکئ تعین کول:

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: my-operator
spec:
  template:
    spec:
      containers:
      - name: my-operator
        image: registry.example.com/my-operator:v1 # 1
      serviceAccountName: my-operator              # 2

دلته دوه ټکي شتون لري چې باید ورته پام وکړئ:

د نوي جوړ شوي انځور نښه؛
دا د سیسټم یوه برخه ده چې (لږترلږه) په کوبرنیټس کې پیښو کې ګډون کولو او د نوم ځایونو ته د رازونو تخصیص کولو حقونو ته اړتیا لري ، نو موږ د هک لپاره د خدماتو حساب (او د مقرراتو سیټ) رامینځته کوو.

پایله - موږ خپله ستونزه حل کړه خپلوان د Kubernetes لپاره په داسې طریقه چې د رازونو د تخریب لپاره یو آپریټر رامینځته کوي.

د شیل آپریټر نور ځانګړتیاوې

ستاسو د غوره شوي ډول توکي محدودولو لپاره چې هک به ورسره کار وکړي، دوی کولی شي فلټر شيد ځانګړو لیبلونو سره سم انتخاب کول (یا کارول matchExpressions):

"onKubernetesEvent": [
  {
    "selector": {
      "matchLabels": {
        "foo": "bar",
       },
       "matchExpressions": [
         {
           "key": "allow",
           "operation": "In",
           "values": ["wan", "warehouse"],
         },
       ],
     }
     …
  }
]

چمتو کړي د نقل کولو میکانیزم، کوم چې - د jq فلټر کارول - تاسو ته اجازه درکوي لوی JSON توکي په کوچنیو بدل کړئ ، چیرې چې یوازې هغه پیرامیټونه پاتې دي چې موږ یې د بدلونونو څارنه غواړو.

کله چې یو هک ویل کیږي، د شیل آپریټر یې تیریږي د څيز معلومات، کوم چې د هرې اړتیا لپاره کارول کیدی شي.

هغه پیښې چې هکونه رامینځته کوي یوازې د کوبرنیټس پیښو پورې محدود ندي: د شیل آپریټر لپاره ملاتړ چمتو کوي د وخت په تیریدو سره زنګ وهل (په دودیز مهالویش کې د کرونټاب سره ورته)، او همدارنګه یوه ځانګړې پیښه په پیل کې. دا ټولې پیښې یوځای کیدی شي او ورته هک ته ګمارل کیدی شي.

او د شیل آپریټر دوه نور ځانګړتیاوې:

دغه کار کوی په متناسب ډول. له هغه وخته چې د کوبرنیټس پیښه (لکه یو څیز رامینځته کیږي) ترلاسه شوی و ، نورې پیښې (لکه ورته څیز حذف کیږي) په کلستر کې پیښ شوي وي ، او هک باید د دې لپاره حساب وکړي. که هک د غلطۍ سره اعدام شوی وي، نو بیا به په ډیفالټ کې وي بیا زنګ وهل تر هغه چې بریالي بشپړ شي (دا چلند بدلیدلی شي).
دا صادروي میټریک د پرومیتیوس لپاره، د کوم سره چې تاسو کولی شئ پوه شئ چې ایا د شیل آپریټر کار کوي، د هر هک لپاره د غلطیو شمیر او د اوسني قطار اندازه ومومئ.

د راپور د دې برخې لنډیز:

د اضافو نصب کول

د Kubernetes سره د آرامۍ کار لپاره، د اضافو نصبولو اړتیا هم یادونه شوې. زه به تاسو ته زموږ د شرکت د لارې مثال په کارولو سره د دې په اړه ووایم چې موږ دا اوس څنګه کوو.

موږ د څو کلسترونو سره د کوبرنیټس سره کار پیل کړ، یوازینی اضافه چې انګریس وه. دا اړتیا وه چې په هر کلستر کې په مختلف ډول نصب شي ، او موږ د مختلف چاپیریالونو لپاره ډیری YAML تشکیلات جوړ کړل: بېر فلز ، AWS ...

لکه څنګه چې ډیر کلسترونه شتون درلود، نور تشکیلات شتون درلود. برسېره پردې، موږ دا تشکیلات پخپله ښه کړل، چې په پایله کې دوی خورا متفاوت شوي:

د هرڅه په ترتیب کولو لپاره، موږ د سکریپټ سره پیل کړ (install-ingress.sh)، کوم چې د کلستر ډول د دلیل په توګه اخیستی چې موږ به یې ځای په ځای کړو، د YAML اړین ترتیب یې رامینځته کړ او دا یې Kubernetes ته ورساوه.

په لنډه توګه، زموږ بله لاره او له هغې سره تړلې دلیلونه په لاندې ډول وو:

د YAML تشکیلاتو سره کار کولو لپاره ، د ټیمپلیټ انجن ته اړتیا ده (په لومړیو مرحلو کې دا ساده سیډ دی)؛
د کلسترونو د شمیر په زیاتوالي سره، د اتوماتیک تازه کولو اړتیا راغله (لومړنی حل دا و چې سکریپټ په Git کې واچوئ، د کرون په کارولو سره یې تازه کړئ او چل کړئ)؛
د پرومیتیوس لپاره ورته سکریپټ ته اړتیا وه (install-prometheus.sh)، په هرصورت، دا د دې حقیقت لپاره د پام وړ دی چې دا خورا ډیر ان پټ ډیټا ته اړتیا لري، او همدارنګه د دوی ذخیره کول (په ښه توګه - مرکزي او په کلستر کې)، او ځینې ډاټا (پاسورډونه) په اتوماتيک ډول تولید کیدی شي:
د کلسترونو مخ په زیاتیدونکي شمیر کې د یو څه غلط کولو خطر په دوامداره توګه وده کوي ، نو موږ پوه شو چې نصب کونکي (د بیلګې په توګه دوه سکریپټونه: د انګریس او پرومیتیس لپاره) سټینګ ته اړتیا وه (په ګیټ کې څو څانګې، څو کرونونه چې په ورته ډول یې تازه کړي: مستحکم یا د ازموینې کلسترونه)؛
с kubectl apply د دې سره کار کول ستونزمن شوي ځکه چې دا اعالن کونکي ندي او کولی شي یوازې شیان رامینځته کړي ، مګر د دوی د وضعیت / حذف کولو په اړه پریکړې نشي کولی؛
موږ ځینې دندې له لاسه ورکړې چې موږ په هغه وخت کې ندي پلي کړي:
- د کلستر تازه معلوماتو پایلې باندې بشپړ کنټرول،
- د ځینې پیرامیټونو اتوماتیک تعیین (د نصب سکریپټونو لپاره ان پټ) د ډیټا پراساس چې د کلستر (کشف) څخه ترلاسه کیدی شي ،
- د پرله پسې کشف په بڼه د منطقي پرمختګ.

موږ دا ټولې راټولې شوې تجربې زموږ د بلې پروژې په چوکاټ کې پلي کړې - addon-operator.

اډون چلونکی

دا د دمخه ذکر شوي شیل آپریټر پراساس دی. ټول سیسټم داسې ښکاري:

لاندې د شیل آپریټر هکس کې اضافه شوي:

د ارزښتونو ذخیره,
د هیلم چارټ,
هغه برخه د ارزښتونو پلورنځي څارنه کوي او - د کوم بدلون په صورت کې - له هیلم څخه غوښتنه کوي چې چارټ بیا وګرځوي.

په دې توګه، موږ کولی شو په کبرنیټس کې یوې پیښې ته عکس العمل وښیو، یو هک پیل کړو، او د دې هک څخه موږ کولی شو په ذخیره کې بدلون راوړو، چې وروسته به چارټ بیا ډاونلوډ شي. په پایله شوي ډیاګرام کې، موږ د هکونو سیټ او چارټ په یوه برخه کې جلا کوو، کوم چې موږ ورته وایو ماډل:

ډیری ماډلونه کیدی شي، او دوی ته موږ نړیوال هکونه، د نړیوال ارزښتونو پلورنځی، او یوه برخه اضافه کوو چې دا نړیوال پلورنځی څارنه کوي.

اوس، کله چې په کوبرنیټس کې یو څه پیښیږي، موږ کولی شو د نړیوال هک په کارولو سره غبرګون وښیو او په نړیوال پلورنځي کې یو څه بدل کړو. دا بدلون به په پام کې ونیول شي او د دې لامل شي چې په کلستر کې ټول ماډلونه راوباسي:

دا سکیم د اضافې نصبولو ټولې اړتیاوې پوره کوي چې پورته ویل شوي:

هیلم د نمونې کولو او اعلان کولو مسولیت لري.
د اتوماتیک تازه کولو مسله د نړیوال هک په کارولو سره حل شوې ، کوم چې په مهالویش کې راجسټری ته ځي او که چیرې دا هلته د نوي سیسټم عکس وګوري ، نو دا یې راوباسي (یعنې "ځان").
په کلستر کې د ذخیره کولو ترتیبات په کارولو سره پلي کیږي ConfigMap، کوم چې د ذخیرې لپاره لومړني معلومات لري (په پیل کې دوی په زیرمو کې بار شوي).
د پټنوم تولید، کشف او دوامداره کشف سره ستونزې د هکونو په کارولو سره حل شوي.
سټیګینګ د ټاګونو څخه مننه ترلاسه کیږي ، کوم چې ډاکر د بکس څخه بهر ملاتړ کوي.
پایله د میټریکونو په کارولو سره څارل کیږي چې موږ کولی شو وضعیت پوه شو.

دا ټول سیسټم په Go کې د واحد بائنری په بڼه پلي کیږي، کوم چې د اډون آپریټر په نوم یادیږي. دا د ډیاګرام ساده ښکاري:

په دې ډیاګرام کې اصلي برخه د ماډلونو مجموعه ده (لاندې په خړ رنګ کې روښانه شوی). اوس موږ کولی شو د لږې هڅې سره د اړتیا وړ اضافې لپاره ماډل ولیکو او ډاډ ترلاسه کړو چې دا به په هر کلستر کې نصب شي ، تازه به شي او هغه پیښو ته ځواب ووایی چې په کلستر کې ورته اړتیا لري.

"فلانټ" کاروي addon-operator په 70+ Kubernetes کلسترونو کې. اوسنی حالت - الفا نسخه. اوس موږ د بیټا خوشې کولو لپاره اسناد چمتو کوو، مګر د اوس لپاره په ذخیره کې مثالونه موجود ديد کوم په اساس تاسو کولی شئ خپل اډون جوړ کړئ.

زه د اډون آپریټر لپاره ماډلونه چیرته ترلاسه کولی شم؟ زموږ د کتابتون خپرول زموږ لپاره بل پړاو دی؛ موږ پلان لرو چې دا په دوبي کې ترسره کړو.

ویډیوګانې او سلایډونه

د فعالیت څخه ویډیو (~ 50 دقیقې):

د راپور وړاندې کول:

PS

زموږ په بلاګ کې نور راپورونه:

«ډیټابیسونه او کبرنیټس» (دیمیتري سټولیاروف؛ د نومبر 8، 2018 په HighLoad++);
«څارنه او Kubernetes» (دیمیتري سټولیاروف؛ د می 28، 2018 په RootConf کې);
«CI/CD د Kubernetes او GitLab سره غوره تمرینونه» (دیمیتري سټولیاروف؛ د نومبر 7، 2017 په HighLoad++);
«په کوچنیو پروژو کې د کوبرنیټس سره زموږ تجربه» (دیمیتري سټولیاروف؛ د جون 6، 2017 په RootConf کې).

تاسو ممکن په لاندې خپرونو کې هم علاقه ولرئ:

«د شیل آپریټر معرفي کول: د کوبرنیټس لپاره آپریټرونه رامینځته کول خورا اسانه شوي".

سرچینه: www.habr.com

د Kubernetes پراخول او بشپړول (بیاکتنه او ویډیو راپور)