פיקסיר האָלעס אין די קובערנעטעס קנויל. באַריכט און טראַנסקריפּט פֿון DevOpsConf

Pavel Selivanov, Southbridge סאַלושאַנז אַרכיטעקט און Slurm לערער, ​​האט אַ פּרעזענטירונג ביי DevOpsConf 2019. די רעדן איז טייל פון איינער פון די טעמעס פון די טיף קורס אויף Kubernetes "Slurm Mega".

Slurm Basic: אַן הקדמה צו Kubernetes נעמט אָרט אין מאָסקווע אויף 18-20 נאוועמבער.
Slurm Mega: קוקן אונטער די קאַפּטער פון Kubernetes — מאסקװע , 22 ־ 24 ט ן נאוועמבער .
סלורם אָנליין: ביידע קובערנעטעס קאָרסאַז שטענדיק בנימצא.

אונטער די שנייַדן איז אַ טראַנסקריפּט פון דעם באַריכט.

גוטן נאָכמיטאָג, חברים און די וואָס סימפּאַטייז מיט זיי. הייַנט איך וועל רעדן וועגן זיכערקייַט.

איך זע, אַז אין זאַל זײַנען הײַנט פֿאַראַן אַ סך זיכערהייטס וועכטער. איך בין אנטשולדיג פאר דיר פאראויס אויב איך נוצן טערמינען פון דער וועלט פון זיכערהייט נישט גענוי אזוי ווי עס איז ביי דיר.

עס איז געווען אַזוי אַז וועגן זעקס חדשים צוריק איך געפֿונען איין ציבור קובערנעטעס קנויל. פּובליק מיטל אַז עס איז אַ נט נומער פון נאָמען ספּייסאַז; אין די נאַמעספּאַסעס עס זענען יוזערז אפגעזונדערט אין זייער נאַמעספּאַסע. אַלע די ניצערס געהערן צו פאַרשידענע קאָמפּאַניעס. נו, עס איז געווען אנגענומען אַז דעם קנויל זאָל זיין געוויינט ווי אַ CDN. דאָס איז, זיי געבן איר אַ קנויל, זיי געבן איר אַ באַניצער דאָרט, איר גיין דאָרט צו דיין נאָמען פּלאַץ, צעוויקלען דיין פראַנץ.

מייַן פריערדיקן פירמע געפרוווט צו פאַרקויפן אַזאַ אַ דינסט. און איך איז געווען געבעטן צו שטורכען דעם קנויל צו זען אויב די לייזונג איז פּאַסיק אָדער נישט.

איך בין געקומען צו דעם קנויל. מ׳הא ט אי ם געגעב ן באגרענעצט ע רעכטן , באגרענעצט ע נאמע ן פלאץ . די בחורים דארט האבן פארשטאנען וואס איז זיכערקייט. זיי לייענען וועגן ראָלע-באזירט אַקסעס קאָנטראָל (RBAC) אין Kubernetes - און זיי טוויסטיד עס אַזוי אַז איך קען נישט קאַטער פּאָדס סעפּעראַטלי פֿון דיפּלוימאַנץ. איך טאָן ניט געדענקען די פּראָבלעם איך איז געווען טריינג צו סאָלווע דורך קאַטער אַ פּאָד אָן דיפּלוימאַנט, אָבער איך טאַקע געוואלט צו קאַטער נאָר אַ פּאָד. פֿאַר גוט גליק, איך באַשלאָסן צו זען וואָס רעכט איך האָבן אין דעם קנויל, וואָס איך קענען טאָן, וואָס איך קען נישט טאָן, און וואָס זיי האָבן סקרוד אַרויף דאָרט. אין דער זעלביקער צייט, איך וועט זאָגן איר וואָס זיי האָבן קאַנפיגיערד פאַלש אין RBAC.

עס איז געווען אַזוי אַז אין צוויי מינוט איך באקומען אַ אַדמיניסטראַטאָר צו זייער קנויל, געקוקט אין אַלע די ארומיקע נאָמען ספּייסאַז, געזען דאָרט די פליסנדיק פּראָדוקציע פראַנץ פון קאָמפּאַניעס וואָס האָבן שוין געקויפט די דינסט און דיפּלויד. איך קען קוים האַלטן זיך פון גיין צו עמעצער ס פראָנט און שטעלן עטלעכע שווערן וואָרט אויף די הויפּט בלאַט.

איך וועל אייך דערציילן מיט ביישפילן וויאזוי איך האב דאס געטון און וויאזוי זיך צו באשיצן פון דעם.

אבער קודם לאז איך מיך פארשטעלן. מייַן נאָמען איז Pavel Selivanov. איך בין אַן אַרכיטעקט אין Southbridge. איך פֿאַרשטיין Kubernetes, DevOps און אַלע סאָרץ פון פאַנטאַזיע טינגז. די סאָוטהברידזש ענדזשאַנירז און איך בויען אַלע דעם, און איך בין קאַנסאַלטינג.

אין אַדישאַן צו אונדזער הויפּט אַקטיוויטעטן, מיר האָבן לעצטנס לאָנטשט פּראַדזשעקס גערופֿן סלורמס. מיר פּרוּווט צו ברענגען אונדזער פיייקייט צו אַרבעטן מיט קובערנעטעס אַ ביסל צו די מאַסע, צו לערנען אנדערע מענטשן צו אַרבעטן אויך מיט K8s.

װאָס װעל איך הײַנט רעדן? די טעמע פון ​​דעם באַריכט איז קלאָר ווי דער טאָג - וועגן די זיכערהייט פון די קובערנעטעס קנויל. אָבער איך וויל גלייך זאָגן אַז די טעמע איז זייער גרויס - און דעריבער וויל איך גלייך דערקלערן וואָס איך וועל באשטימט נישט רעדן וועגן. איך וועל נישט רעדן וועגן האַקניעד טערמינען וואָס זענען שוין געניצט אַ הונדערט מאל איבער די אינטערנעט. אַלע סאָרץ פון רבק און סערטיפיקאַץ.

איך וועל רעדן וועגן וואָס ווייטיק מיר און מיין חברים וועגן זיכערהייט אין אַ קובערנעטעס קנויל. מיר זען די פראבלעמען ביידע צווישן פּראַוויידערז וואָס צושטעלן Kubernetes קלאַסטערז און צווישן קלייאַנץ וואָס קומען צו אונדז. און אפילו פון קלייאַנץ וואָס קומען צו אונדז פון אנדערע קאַנסאַלטינג אַדמין קאָמפּאַניעס. דאָס הייסט, די וואָג פון דער טראַגעדיע איז פאקטיש זייער גרויס.

עס זענען ממש דרייַ פונקטן וואָס איך וועל רעדן וועגן הייַנט:

1. באַניצער רעכט קעגן פּאָד רעכט. באַניצער רעכט און פּאָד רעכט זענען נישט די זעלבע זאַך.
2. קאַלעקטינג אינפֿאָרמאַציע וועגן דעם קנויל. איך וועל ווייַזן אַז איר קענען קלייַבן אַלע די אינפֿאָרמאַציע איר דאַרפֿן פון אַ קנויל אָן ספּעציעל רעכט אין דעם קנויל.
3. דאָס באַפאַלן אויף דעם קנויל. אויב מיר קענען נישט קלייַבן אינפֿאָרמאַציע, מיר וועלן קענען צו שטעלן אַ קנויל אין קיין פאַל. איך וועל רעדן וועגן DoS אנפאלן אויף קנויל קאָנטראָל עלעמענטן.

אן אנדער גענעראַל זאַך וואָס איך וועל דערמאָנען איז וואָס איך טעסטעד אַלע דעם אויף, אויף וואָס איך קענען באשטימט זאָגן אַז עס אַלע אַרבעט.

מיר נעמען ווי אַ יקער די ינסטאַלירונג פון אַ Kubernetes קנויל ניצן Kubespray. אויב ווער עס יז קען נישט וויסן, דאָס איז פאקטיש אַ גאַנג פון ראָלעס פֿאַר Ansible. מיר נוצן עס קעסיידער אין אונדזער אַרבעט. די גוטע זאַך איז אַז איר קענען ראָולד עס ערגעץ - איר קענען ראָולד עס אויף ברעקלעך פון אייַזן אָדער אין אַ וואָלקן ערגעץ. איין ינסטאַלירונג אופֿן אַרבעט אין פּרינציפּ פֿאַר אַלץ.

אין דעם קנויל איך וועט האָבן Kubernetes v1.14.5. די גאנצע קובע קנויל, וואָס מיר וועלן באַטראַכטן, איז צעטיילט אין נאָמען ספּייסאַז, יעדער נאַמעספּאַסע געהערט צו אַ באַזונדער מאַנשאַפֿט, און מיטגלידער פון דעם מאַנשאַפֿט האָבן צוטריט צו יעדער נאַמעספּאַסע. זיי קענען נישט גיין צו פאַרשידענע נאָמען ספּייסאַז, נאָר צו זייער אייגן. אבער עס איז אַ זיכער אַדמין חשבון וואָס האט רעכט צו די גאנצע קנויל.

איך צוגעזאגט אַז דער ערשטער זאַך מיר וועלן טאָן איז קריגן אַדמין רעכט צו דעם קנויל. מיר דאַרפֿן אַ ספּעציעל צוגעגרייט פּאַד וואָס וועט ברעכן די קובערנעטעס קנויל. כל מיר דאַרפֿן צו טאָן איז צולייגן עס צו די Kubernetes קנויל.

kubectl apply -f pod.yaml

דער פּאָד וועט אָנקומען צו איינער פון די הארן פון די קובערנעטעס קנויל. און נאָך דעם, דער קנויל וועט צופרידן צוריקקומען צו אונדז אַ טעקע גערופן admin.conf. אין קובע, דעם טעקע סטאָרז אַלע אַדמיניסטראַטאָר סערטיפיקאַץ, און אין דער זעלביקער צייט קאַנפיגיער די קנויל אַפּי. דאָס איז ווי גרינג עס איז צו באַקומען אַדמין אַקסעס צו, איך טראַכטן, 98% פון Kubernetes קלאַסטערז.

איך איבערחזרן, דעם פּאָד איז געווען געמאכט דורך איין דעוועלאָפּער אין דיין קנויל וואָס האט אַקסעס צו צעוויקלען זיין פּראַפּאָוזאַלז אין איין קליין נאַמעספּאַסע, עס איז אַלע קלאַמפּט דורך RBAC. ער האט נישט געהאט קײן רעכט. אָבער פונדעסטוועגן האָט מען צוריקגעגעבן די באַווייַזן.

און איצט וועגן אַ ספּעציעל צוגעגרייט פּאַד. מיר לויפן עס אויף קיין בילד. לאָמיר נעמען דעביאַן:דזשעססי ווי אַ בייַשפּיל.

מיר האָבן דעם זאַך:

tolerations:
-   effect: NoSchedule 
    operator: Exists 
nodeSelector: 
    node-role.kubernetes.io/master: "" 

וואָס איז טאָלעראַנץ? מאַסטערס אין אַ קובערנעטעס קנויל זענען יוזשאַוואַלי אנגעצייכנט מיט עפּעס גערופן טאַינט. און די עסאַנס פון דעם "ינפעקציע" איז אַז עס זאגט אַז פּאָדס קענען ניט זיין אַסיינד צו בעל נאָודז. אָבער קיינער טאָר נישט אָנווייַזן אין קיין פּאָד אַז עס איז טאָלעראַנט צו די "ינפעקציע". די טאָלעראַטיאָן אָפּטיילונג נאָר זאגט אַז אויב עטלעכע נאָדע האט NoSchedule, אונדזער נאָדע איז טאָלעראַנט צו אַזאַ אַ ינפעקציע - און עס זענען קיין פראבלעמען.

ווייַטער, מיר זאָגן אַז אונדזער אונטער איז ניט בלויז טאָלעראַנט, אָבער אויך וויל צו ספּאַסיפיקלי ציל די בעל. ווייַל די הארן האָבן די מערסט געשמאַק זאַך וואָס מיר דאַרפֿן - אַלע די סערטיפיקאַץ. דעריבער, מיר זאָגן NodeSelector - און מיר האָבן אַ נאָרמאַל פירמע אויף הארן, וואָס אַלאַוז איר צו אויסקלייַבן פון אַלע די נאָודז אין דעם קנויל פּונקט די נאָודז וואָס זענען הארן.

מיט די צוויי סעקציעס וועט ער באשטימט קומען צו דער בעל. אוּן עֶר וֶועט דָארְט אִיז עֶר זִיךְ מְיַישֵׁב.

אָבער נאָר קומען צו דעם בעל איז ניט גענוג פֿאַר אונדז. דאָס וועט אונדז גאָרנישט געבן. דערנאָך מיר האָבן די צוויי זאכן:

hostNetwork: true 
hostPID: true 

מיר ספּעציפיצירן אַז אונדזער פּאָד, וואָס מיר קאַטער, וועט לעבן אין די קערן נאַמעספּאַסע, אין די נעץ נאַמעספּאַסע און אין די PID נאַמעספּאַסע. אַמאָל די פּאָד איז לאָנטשט אויף די בעל, עס וועט קענען צו זען אַלע די פאַקטיש, לעבן ינטערפייסיז פון דעם נאָדע, הערן צו אַלע פאַרקער און זען די PID פון אַלע פּראַסעסאַז.

דערנאָך עס איז אַ ענין פון קליין זאכן. נעמען עטק און לייענען וואָס איר ווילט.

די מערסט טשיקאַווע זאַך איז די Kubernetes שטריך, וואָס איז פאָרשטעלן דאָרט דורך פעליקייַט.

volumeMounts:
- mountPath: /host 
  name: host 
volumes:
- hostPath: 
    path: / 
    type: Directory 
  name: host 

און זיין עסאַנס איז אַז מיר קענען זאָגן אין די פּאָד אַז מיר קאַטער, אפילו אָן רעכט צו דעם קנויל, אַז מיר ווילן צו שאַפֿן אַ באַנד פון טיפּ hostPath. דעם מיטל צו נעמען דעם דרך פון דער באַלעבאָס אויף וואָס מיר וועלן קאַטער - און נעמען עס ווי אַ באַנד. און דעמאָלט מיר רופן עס נאָמען: באַלעבאָס. מיר אָנקלאַפּן דעם גאַנצן האָסטפּאַט אין די פּאָד. אין דעם בייַשפּיל, צו די / באַלעבאָס וועגווייַזער.

איך וועט איבערחזרן עס ווידער. מיר האָבן געזאָגט דעם פּאָד צו קומען צו די בעל, באַקומען די האָסטנעטוואָרק און האָסטפּיד דאָרט - און אָנקלאַפּן די גאנצע וואָרצל פון די בעל אין דעם פּאָד.

איר פֿאַרשטיין אַז אין דעביאַן מיר האָבן באַש פליסנדיק, און דעם באַש לויפט אונטער וואָרצל. דאָס הייסט, מיר האָבן פּונקט באַקומען וואָרצל אויף דעם בעל, אָן קיין רעכט אין די קובערנעטעס קנויל.

דערנאָך, די גאנצע אַרבעט איז צו גיין צו די סאַב וועגווייַזער / האָסט / עטק/kubernetes/pki, אויב איך בין נישט טעות, קלייַבן אַלע די בעל סערטיפיקאַץ פון דעם קנויל דאָרט און, אַקאָרדינגלי, ווערן דער קנויל אַדמיניסטראַטאָר.

אויב איר קוק אין דעם וועג, דאָס זענען עטלעכע פון ​​​​די מערסט געפערלעך רעכט אין פּאָדס - ראַגאַרדלאַס פון וואָס רעכט דער באַניצער האט:

אויב איך האָבן די רעכט צו לויפן אַ פּאָד אין עטלעכע נאָמען פּלאַץ פון דעם קנויל, דער פּאָד האט די רעכט דורך פעליקייַט. איך קענען לויפן פּריוולידזשד פּאָדס, און דאָס זענען בכלל אַלע רעכט, פּראַקטאַקלי וואָרצל אויף די נאָדע.

מייַן באַליבסטע איז וואָרצל באַניצער. און Kubernetes האט דעם לויפן ווי ניט-וואָרצל אָפּציע. דאָס איז אַ טיפּ פון שוץ פון אַ העקער. צי איר וויסן וואָס די "מאָלדאַוויאַן ווירוס" איז? אויב איר זענט פּלוצלינג אַ העקער און קומען צו מיין קובערנעטעס קנויל, מיר, נעבעך אַדמיניסטראַטאָרס, פרעגן: "ביטע אָנווייַזן אין דיין פּאָדס מיט וואָס איר וועט כאַק מיין קנויל, לויפן ווי ניט-וואָרצל. אַנדערש, עס וועט פּאַסירן אַז איר לויפן דעם פּראָצעס אין דיין פּאָד אונטער וואָרצל, און עס וועט זיין זייער גרינג פֿאַר איר צו כאַק מיר. ביטע באַשיצן זיך פון זיך."

האָסט דרך באַנד איז, אין מיין מיינונג, די פאַסטאַסט וועג צו באַקומען די געוואלט רעזולטאַט פון אַ Kubernetes קנויל.

אבער וואָס צו טאָן מיט אַלע דעם?

דער געדאַנק וואָס זאָל קומען צו יעדער נאָרמאַל אַדמיניסטראַטאָר וואָס טרעפן קובערנעטעס איז: "יאָ, איך דערציילט איר, קובערנעטעס טוט נישט אַרבעטן. עס זענען האָלעס אין עס. און די גאנצע קוב איז בולשיט. ” אין פאַקט, עס איז אַזאַ אַ זאַך ווי דאַקיומענטיישאַן, און אויב איר קוק דאָרט, עס איז אַ אָפּטיילונג פּאָד זיכערהייַט פּאָליטיק.

דאָס איז אַ יאַמל כייפעץ - מיר קענען מאַכן עס אין די Kubernetes קנויל - וואָס קאַנטראָולד זיכערהייט אַספּעקץ ספּאַסיפיקלי אין די באַשרייַבונג פון די פּאָדס. דאָס איז, אין פאַקט, עס קאָנטראָלס די רעכט צו נוצן קיין האָסטנעטוואָרק, האָסטפּיד, זיכער באַנד טייפּס וואָס זענען אין די פּאָדס ביי סטאַרטאַפּ. מיט די הילף פון פּאָד סעקוריטי פּאָליטיק, אַלע דעם קענען זיין דיסקרייבד.

די מערסט טשיקאַווע זאַך וועגן די פּאָד זיכערהייט פּאָליטיק איז אַז אין די Kubernetes קנויל, אַלע PSP ינסטאָלערז זענען נישט דיסקרייבד אין קיין וועג, זיי זענען פשוט פאַרקריפּלט דורך פעליקייַט. פּאָד סעקוריטי פּאָליטיק איז ענייבאַלד מיט די אַרייַנטרעטן פּלוגין.

אָוקיי, לאָזן אונדז צעוויקלען פּאָד סעקוריטי פּאָליטיק אין דעם קנויל, לאָזן אונדז זאָגן אַז מיר האָבן עטלעכע סערוויס פּאָדס אין די נאַמעספּאַסע, צו וואָס בלויז אַדמין אַקסעס. זאל ס זאָגן, אין אַלע אנדערע קאַסעס, פּאָדס האָבן לימיטעד רעכט. ווייַל רובֿ מסתּמא דעוועלאָפּערס טאָן ניט דאַרפֿן צו לויפן פּריוולידזשד פּאָדס אין דיין קנויל.

און אַלץ מיינט צו זיין גוט מיט אונדז. און אונדזער Kubernetes קנויל קענען ניט זיין כאַקט אין צוויי מינוט.

עס איז אַ פּראָבלעם. רובֿ מסתּמא, אויב איר האָבן אַ Kubernetes קנויל, מאָניטאָרינג איז אינסטאַלירן אויף דיין קנויל. איך וואָלט אפילו גיין אַזוי ווייַט ווי צו פאָרויסזאָגן אַז אויב דיין קנויל האט מאָניטאָרינג, עס וועט זיין גערופן פּראָמעטהעוס.

וואָס איך וועל זאָגן איר וועט זיין גילטיק פֿאַר ביידע פּראָמעטהעוס אָפּעראַטאָר און פּראָמעטהעוס איבערגעגעבן אין זיין ריין פאָרעם. די קשיא איז אַז אויב איך קען נישט באַקומען אַ אַדמיניסטראַטאָר אין דעם קנויל אַזוי געשווינד, דאָס מיטל אַז איך דאַרפֿן צו קוקן מער. און איך קענען זוכן מיט די הילף פון דיין מאָניטאָרינג.

מיסטאָמע אַלעמען לייענען די זעלבע אַרטיקלען אויף Habré, און די מאָניטאָרינג איז ליגן אין די מאָניטאָרינג נאַמעספּאַסע. העלם טשאַרט איז גערופֿן בעערעך דער זעלביקער פֿאַר אַלעמען. איך בין געסינג אַז אויב איר טאָן אַ רודער ינסטאַלירן סטאַביל / פּראָמעטהעוס, איר וועט סוף אַרויף מיט בעערעך די זעלבע נעמען. און רובֿ מסתּמא איך וועט נישט אפילו האָבן צו טרעפן די דנס נאָמען אין דיין קנויל. ווייַל עס איז נאָרמאַל.

ווייַטער מיר האָבן אַ זיכער דעוו נס, אין וואָס איר קענען לויפן אַ זיכער פּאָד. און פֿון דעם פּאָד עס איז זייער גרינג צו טאָן עפּעס ווי דאָס:

$ curl http://prometheus-kube-state-metrics.monitoring 

prometheus-kube-state-metrics איז איינער פון די פּראָמעטהעוס יקספּאָרטערז וואָס קאַלעקץ מעטריקס פון די Kubernetes API זיך. עס איז אַ פּלאַץ פון דאַטן דאָרט, וואָס איז פליסנדיק אין דיין קנויל, וואָס עס איז, וואָס פּראָבלעמס איר האָבן מיט אים.

ווי אַ פּשוט בייַשפּיל:

kube_pod_container_info {נאַמעספּאַסע = "קובע-סיסטעם", פּאָד = "קובע-אַפּיסערווער-ק8ס- 1″, קאַנטיינער = "קובע-אַפּיסערווער", בילד =

"gcr.io/google-containers/kube-apiserver:v1.14.5"

,image_id=»docker-pullable://gcr.io/google-containers/kube- apiserver@sha256:e29561119a52adad9edc72bfe0e7fcab308501313b09bf99df4a96 38ee634989″,container_id=»docker://7cbe7b1fea33f811fdd8f7e0e079191110268f2 853397d7daf08e72c22d3cf8b»} 1

דורך מאַכן אַ פּשוט גרייַזל בעטן פון אַ אַנפּריווילאַדזשד פּאָד, איר קענען באַקומען די פאלגענדע אינפֿאָרמאַציע. אויב איר טאָן ניט וויסן וואָס ווערסיע פון ​​​​קובערנעטעס איר לויפן, עס וועט לייכט זאָגן איר.

און די מערסט טשיקאַווע זאַך איז אַז אין אַדישאַן צו אַקסעס קובע-שטאַט-מעטריקס, איר קענען פּונקט ווי לייכט אַקסעס פּראָמעטהעוס זיך גלייַך. איר קענען קלייַבן מעטריקס פֿון דאָרט. איר קענען אפילו בויען מעטריקס פֿון דאָרט. אפילו טעאָרעטיש, איר קענען בויען אַזאַ אַ אָנפֿרעג פֿון אַ קנויל אין פּראָמעטהעוס, וואָס וועט פשוט קער עס אַוועק. און דיין מאָניטאָרינג וועט האַלטן ארבעטן פֿון דעם קנויל בעסאַכאַקל.

און דאָ די קשיא ערייזאַז צי קיין פונדרויסנדיק מאָניטאָרינג מאָניטאָרס דיין מאָניטאָרינג. איך נאָר גאַט די געלעגנהייט צו אַרבעטן אין אַ קובערנעטעס קנויל אָן קיין קאַנסאַקווענסאַז פֿאַר זיך. איר וועט אפילו נישט וויסן אַז איך בין אַפּערייטינג דאָרט, ווייַל עס איז ניט מער קיין מאָניטאָרינג.

פּונקט ווי מיט די PSP, עס פילז ווי די פּראָבלעם איז אַז אַלע די פאַנטאַזיע טעקנאַלאַדזשיז - Kubernetes, Prometheus - זיי נאָר טאָן נישט אַרבעטן און זענען פול פון האָלעס. נישט עכט.

עס איז אַזאַ אַ זאַך - נעץ פּאָליטיק.

אויב איר זענט אַ נאָרמאַל אַדמיניסטראַטאָר, רובֿ מסתּמא איר וויסן וועגן נעטוואָרק פּאָליטיק אַז דאָס איז נאָר אן אנדער יאַמאַל, פון וואָס עס זענען שוין אַ פּלאַץ פון זיי אין דעם קנויל. און עטלעכע נעטוואָרק פּאַלאַסיז זענען באשטימט ניט דארף. און אפילו אויב איר לייענען וואָס נעטוואָרק פּאָליטיק איז, אַז עס איז אַ יאַמל פיירוואַל פון קובערנעטעס, עס אַלאַוז איר צו באַגרענעצן אַקסעס רעכט צווישן נאָמען ספּייסאַז, צווישן פּאָדס, איר זיכער באַשלאָסן אַז די פיירוואַל אין ימל פֿאָרמאַט אין קובערנעטעס איז באזירט אויף די ווייַטער אַבסטראַקציעס. ... ניין ניין . דאָס איז באשטימט ניט נייטיק.

אפילו אויב איר האָט נישט זאָגן דיין זיכערהייט ספּעשאַלאַסץ אַז ניצן דיין קובערנעטעס איר קענען בויען אַ זייער גרינג און פּשוט פיירוואַל, און אַ זייער גראַניאַלער. אויב זיי טאָן ניט וויסן דעם נאָך און טאָן ניט אַרן איר: "נו, געבן מיר, געבן מיר ..." דעריבער, אין קיין פאַל, איר דאַרפֿן נעטוואָרק פּאָליטיק צו פאַרשפּאַרן אַקסעס צו עטלעכע סערוויס ערטער וואָס קענען זיין פּולד פון דיין קנויל אָן קיין דערלויבעניש.

ווי אין דעם ביישפּיל וואָס איך האָב געגעבן, איר קענען ציען אַרויף קובע שטאַט מעטריקס פון קיין נאָמען פּלאַץ אין די Kubernetes קנויל אָן קיין רעכט צו טאָן דאָס. נעטוואָרק פּאַלאַסיז האָבן פֿאַרמאַכט אַקסעס פון אַלע אנדערע נאַמעספּאַסעס צו די מאָניטאָרינג נאַמעספּאַסע און אַז ס עס: קיין אַקסעס, קיין פראבלעמען. אין אַלע די טשאַרץ וואָס עקסיסטירן, ביידע די נאָרמאַל פּראָמעטהעוס און די פּראָמעטהעוס וואָס איז אין דער אָפּעראַטאָר, עס איז פשוט אַן אָפּציע אין די רודער וואַלועס צו פשוט געבן נעץ פּאַלאַסיז פֿאַר זיי. איר נאָר דאַרפֿן צו ווענדן עס און זיי וועלן אַרבעטן.

עס איז טאַקע איין פּראָבלעם דאָ. ווייל אַ נאָרמאַל בירדאַד אַדמין, איר רובֿ מסתּמא באַשלאָסן אַז נעץ פּאַלאַסיז זענען נישט דארף. און נאָך לייענען אַלע סאָרץ פון אַרטיקלען אויף רעסורסן ווי Habr, איר באַשלאָסן אַז פלאַנאַל, ספּעציעל מיט באַלעבאָס-גאַטעווייַ מאָדע, איז דער בעסטער זאַך איר קענען קלייַבן.

וואָס צו טאָן?

איר קענען פּרובירן צו ריפּליי די נעץ לייזונג אַז איר האָט אין דיין Kubernetes קנויל, פּרובירן צו פאַרבייַטן עס מיט עפּעס מער פאַנגקשאַנאַל. פֿאַר דער זעלביקער קאַליקאָ, פֿאַר בייַשפּיל. אָבער איך ווילן צו זאָגן גלייך אַז די אַרבעט פון טשאַנגינג די נעץ לייזונג אין אַ Kubernetes ארבעטן קנויל איז גאַנץ ניט-ניטוויאַל. איך סאַלווד עס צוויי מאָל (ביידע מאל, אָבער, טעאָרעטיש), אָבער מיר אַפֿילו געוויזן ווי צו טאָן עס בייַ סלורמס. פֿאַר אונדזער סטודענטן, מיר געוויזן ווי צו טוישן די נעץ לייזונג אין אַ Kubernetes קנויל. אין פּרינציפּ, איר קענען פּרובירן צו מאַכן זיכער אַז עס איז קיין דאַונטיים אויף די פּראָדוקציע קנויל. אָבער איר מיסטאָמע וועט נישט מצליח זיין.

און דער פּראָבלעם איז פאקטיש סאַלווד זייער פּשוט. עס זענען סערטיפיקאַץ אין דעם קנויל, און איר וויסן אַז דיין סערטיפיקאַץ וועט ויסגיין אין אַ יאָר. נו, און יוזשאַוואַלי אַ נאָרמאַל לייזונג מיט סערטיפיקאַץ אין דעם קנויל - וואָס זענען מיר באַזאָרגט, מיר וועלן כאַפּן אַ נייַ קנויל נירביי, לאָזן די אַלט פאַרפוילט, און רידיפּלויד אַלץ. אמת, ווען עס ווערט פויל, וועלן מיר מוזן זיצן א טאג, אבער דא איז א נייע אשכול.

ווען איר כאַפּן אַ נייַ קנויל, אין דער זעלביקער צייט אַרייַנלייגן קאַליקאָ אַנשטאָט פון פלאַנאַל.

וואָס צו טאָן אויב דיין סערטיפיקאַץ זענען ארויס פֿאַר אַ הונדערט יאָר און איר וועט נישט רידיפּלויד דעם קנויל? עס איז אַזאַ אַ זאַך ווי Kube-RBAC-Proxy. דאָס איז אַ זייער קיל אַנטוויקלונג, עס אַלאַוז איר צו ימבעד זיך ווי אַ סיידקאַר קאַנטיינער צו קיין פּאָד אין די Kubernetes קנויל. און עס אַקשלי מוסיף דערלויבעניש צו דעם פּאָד דורך RBAC פון Kubernetes זיך.

עס איז איין פּראָבלעם. ביז אַהער, דעם Kube-RBAC-Proxy לייזונג איז געווען געבויט אין די אָפּעראַטאָר ס פּראָמעטהעוס. אבער דעמאָלט ער איז ניטאָ. איצט מאָדערן ווערסיעס פאַרלאָזנ אויף די פאַקט אַז איר האָבן אַ נעץ פּאָליטיק און פאַרמאַכן עס מיט זיי. און דעריבער מיר וועלן האָבן צו רירייט די טשאַרט אַ ביסל. אין פאַקט, אויב איר גיין צו דעם ריפּאַזאַטאָרי, עס זענען ביישפילן פון ווי צו נוצן דעם ווי סיידקאַרס, און די טשאַרץ וועט זיין ריריטאַן מינימאַל.

עס איז נאָך איין קליין פּראָבלעם. פּראָמעטהעוס איז נישט דער בלויז איינער וואָס גיט זיין מעטריקס צו ווער עס יז. אַלע פון ​​אונדזער Kubernetes קנויל קאַמפּאָונאַנץ קענען אויך צוריקקומען זייער אייגענע מעטריקס.

אָבער ווי איך שוין געזאגט, אויב איר קענען נישט אַקסעס די קנויל און קלייַבן אינפֿאָרמאַציע, איר קענען בייַ מינדסטער טאָן עטלעכע שאַטן.

אַזוי איך וועט געשווינד ווייַזן צוויי וועגן ווי אַ Kubernetes קנויל קענען זיין רוינד.

איר וועט לאַכן ווען איך זאָגן איר דעם, דאָס זענען צוויי פאַקטיש לעבן קאַסעס.

אופֿן איינער. ריסאָרס דיפּלישאַן.

זאל ס קאַטער אן אנדער ספּעציעל פּאָד. עס וועט האָבן אַ אָפּטיילונג ווי דאָס.

resources: 
    requests: 
        cpu: 4 
        memory: 4Gi 

ווי איר וויסן, ריקוועס איז די סומע פון ​​קפּו און זכּרון וואָס איז רעזערווירט אויף דער באַלעבאָס פֿאַר ספּעציפיש פּאָדס מיט ריקוועס. אויב מיר האָבן אַ פיר-האַרץ באַלעבאָס אין אַ קובערנעטעס קנויל, און פיר קפּו פּאָדס אָנקומען דאָרט מיט ריקוועס, עס מיטל אַז קיין מער פּאָדס מיט ריקוועס וועט קענען צו קומען צו דעם באַלעבאָס.

אויב איך לויפן אַזאַ אַ פּאָד, איך וועט לויפן די באַפֿעל:

$ kubectl scale special-pod --replicas=...

דערנאָך, קיין איינער אַנדערש וועט קענען צו צעוויקלען די Kubernetes קנויל. ווייַל אַלע נאָודז וועט לויפן אויס פון ריקוועס. און אַזוי איך וועל האַלטן דיין קובערנעטעס קנויל. אויב איך טאָן דאָס אין די אָוונט, איך קענען האַלטן די דיפּלוימאַנץ פֿאַר אַ לאַנג צייַט.

אויב מיר קוקן ווידער אין די Kubernetes דאַקיומענטיישאַן, מיר וועלן זען דעם זאַך גערופֿן לימיט ראַנגע. עס שטעלט רעסורסן פֿאַר קנויל אַבדזשעקץ. איר קענען שרייַבן אַ לימיט ראַנגע אַבדזשעקט אין יאַמל, צולייגן עס צו זיכער נאַמעספּאַסעס - און דעמאָלט אין דעם נאַמעספּאַסע איר קענען זאָגן אַז איר האָבן פעליקייַט, מאַקסימום און מינימום רעסורסן פֿאַר די פּאָדס.

מיט דער הילף פון אַזאַ אַ זאַך, מיר קענען באַגרענעצן ניצערס אין ספּעציפיש פּראָדוקט נאָמען ספּייסאַז פון טימז אין די פיייקייט צו אָנווייַזן אַלע סאָרץ פון פּאַסקודנע טינגז אויף זייער פּאָדס. אָבער ליידער, אפילו אויב איר זאָגן די באַניצער אַז זיי קענען נישט קאַטער פּאָדס מיט ריקוועס פֿאַר מער ווי איין קפּו, עס איז אַזאַ אַ ווונדערלעך וואָג באַפֿעל, אָדער זיי קענען טאָן וואָג דורך די דאַשבאָרד.

און פון דעם קומט דער אופֿן נומער צוויי. מיר קאַטער 11 פּאָדס. דאָס איז עלף ביליאָן. דאָס איז נישט ווייַל איך געקומען מיט אַזאַ אַ נומער, אָבער ווייַל איך געזען עס זיך.

פאַקטיש געשיכטע. שפע ט אי ן אװנ ט הא ב אי ך געטראפ ן פארלאז ן דא ם אפיס . איך זען אַ גרופּע פון ​​דעוועלאָפּערס זיצן אין די ווינקל, פראַנטיקאַללי טאן עפּעס מיט זייער לאַפּטאַפּס. איך גיי צו די בחורים און פרעג: וואס איז מיט דיר געשען?

א ביסל פריער, אַרום נייַן אין די אָוונט, איינער פון די דעוועלאָפּערס איז געווען גרייט צו גיין היים. און איך באַשלאָסן: "איך וועל איצט פאַרקלענערן מיין אַפּלאַקיישאַן צו איין." איך געדריקט איינער, אָבער די אינטערנעט סלאָוד אַראָפּ אַ ביסל. ער האט נאכאמאל געדריקט דעם איינעם, ער האט געדריקט דעם איינס און געקליקט אריין. איך האָב געטאָן אַלץ וואָס איך קען. דעמאָלט דער אינטערנעץ געקומען צו לעבן - און אַלץ אנגעהויבן צו וואָג אַראָפּ צו דעם נומער.

אמת, די מעשה איז נישט פארגעקומען אויף קובערנעטעס, דעמאלט איז עס געווען נאמאד. ע ס הא ט זי ך געענדיק ט מי ט דע ם פאקט , א ז נא ך א שעה ן פו ן אונדזע ר פרואוו ן אפצושטעל ן נאמא ד פו ן אדורכדיגנדיק ע פרואוו ן צ ו פארקלענער ן הא ט נאמא ד געענטפערט , א ז ע ר װע ט ניש ט אויפהערן , או ן ניש ט טאן . "איך בין מיד, איך בין אַוועק." און ער האָט זיך צעקריצט.

געוויינטלעך, איך געפרוווט צו טאָן די זעלבע אויף קובערנעטעס. קובערנעטעס איז נישט צופרידן מיט עלף ביליאָן פּאָדס, ער האט געזאגט: "איך קען נישט. יקסיד די ינערלעך מויל גאַרדז." אָבער 1 פּאָדס קען.

אין רעאקציע צו איין ביליאן, האט די קובע זיך נישט צוריקגעצויגן אין זיך. ער האָט טאַקע אָנגעהויבן סקיילינג. די מער דער פּראָצעס געגאנגען, די מער צייט עס גענומען אים צו שאַפֿן נייַע פּאָדס. אבער נאָך דער פּראָצעס געגאנגען אויף. דער בלויז פּראָבלעם איז אַז אויב איך קענען קאַטער פּאָדס אַנלימאַטאַדלי אין מיין נאַמעספּאַסע, אפילו אָן ריקוועס און לימאַץ איך קענען קאַטער אַזוי פילע פּאָדס מיט עטלעכע טאַסקס אַז מיט די הילף פון די טאַסקס די נאָודז וועט אָנהייבן צו לייגן אַרויף אין זכּרון, אין קפּו. ווען איך קאַטער אַזוי פילע פּאָדס, די אינפֿאָרמאַציע פון ​​זיי זאָל גיין אין סטאָרידזש, דאָס איז, עטק. און ווען צו פיל אינפֿאָרמאַציע קומט דאָרט, די סטאָרידזש הייבט צו צוריקקומען צו פּאַמעלעך - און קובערנעטעס הייבט צו ווערן נודנע.

און נאך א פראבלעם... ווי איר ווייסט, זענען די קובערנעטעס קאנטראל עלעמענטן נישט איין צענטראלע זאך, נאר עטליכע קאַמפּאָונאַנץ. אין באַזונדער, עס איז אַ קאָנטראָללער פאַרוואַלטער, סקעדזשולער, און אַזוי אויף. אַלע די גייז וועלן אָנהייבן צו טאָן ומנייטיק, נאַריש אַרבעט אין דער זעלביקער צייט, וואָס מיט דער צייט וועט אָנהייבן צו נעמען מער און מער צייט. דער קאַנטראָולער פאַרוואַלטער וועט שאַפֿן נייַע פּאָדס. סטשעדולער וועט פּרובירן צו געפֿינען אַ נייַע נאָדע פֿאַר זיי. איר וועט רובֿ מסתּמא לויפן אויס פון נייַע נאָודז אין דיין קנויל באַלד. די Kubernetes קנויל וועט אָנהייבן צו אַרבעטן סלאָוער און סלאָוער.

אבער איך האב באשלאסן צו גיין נאך ווייטער. ווי איר וויסן, אין קובערנעטעס עס איז אַזאַ אַ זאַך וואָס גערופן אַ דינסט. נו, אין דיין קלאַסטערז, רובֿ מסתּמא, די סערוויס אַרבעט מיט IP טישן.

אויב איר לויפן אַ ביליאָן פּאָדס, פֿאַר בייַשפּיל, און דעמאָלט נוצן אַ שריפט צו צווינגען Kubernetis צו שאַפֿן נייַע באַדינונגס:

for i in {1..1111111}; do
    kubectl expose deployment test --port 80  
        --overrides="{"apiVersion": "v1", 
           "metadata": {"name": "nginx$i"}}"; 
done 

אויף אַלע נאָודז פון דעם קנויל, מער און מער נייַ יפּטאַבלעס כּללים וועט זיין דזשענערייטאַד בעערעך סיימאַלטייניאַסלי. דערצו, אַ ביליאָן יפּטאַבלעס כּללים וועט זיין דזשענערייטאַד פֿאַר יעדער דינסט.

אי ך הא ב ד י גאנצ ע גע ־ קוק ט אוי ף עטלעכ ע טויזנטע ר בי ז צען . און די פראבלעם איז אז שוין ביי דעם שוועל איז גאנץ פראבלעמאטיש צו מאכן שש צום נאָדע. ווייַל פּאַקיץ, וואָס גיין דורך אַזוי פילע קייטן, אָנהייבן צו פילן נישט זייער גוט.

און דאָס איז אויך אַלע סאַלווד מיט די הילף פון קובערנעטעס. עס איז אַזאַ אַ מיטל קוואָטע כייפעץ. שטעלט די נומער פון בנימצא רעסורסן און אַבדזשעקץ פֿאַר די נאַמעספּאַסע אין דעם קנויל. מיר קענען מאַכן אַ יאַמל כייפעץ אין יעדער נאָמען פּלאַץ פון די Kubernetes קנויל. ניצן דעם כייפעץ, מיר קענען זאָגן אַז מיר האָבן אַ זיכער נומער פון ריקוועס און לימאַץ אַלאַקייטיד פֿאַר דעם נאַמעספּאַסע, און דעמאָלט מיר קענען זאָגן אַז אין דעם נאַמעספּאַסע עס איז מעגלעך צו שאַפֿן 10 באַדינונגס און 10 פּאָדס. און אַ איין דעוועלאָפּער קענען בייַ מינדסטער דערשטיקן זיך אין די יוונינגז. קובערנעטעס וועט אים זאָגן: "איר קענט נישט פאַרגרעסערן דיין פּאָדס צו דער סומע, ווייַל די מיטל יקסידז די קוואָטע." אַז ס עס, פּראָבלעם סאַלווד. דאַקיומענטיישאַן דאָ.

איין פּראָבלעמאַטיק פונט ערייזאַז אין דעם אַכטונג. איר פילן ווי שווער עס איז שיין צו שאַפֿן אַ נאָמען פּלאַץ אין Kubernetes. צו מאַכן עס, מיר דאַרפֿן צו נעמען אַ פּלאַץ פון זאכן אין חשבון.

מיטל קוואָטע + לימיט קייט + RBAC
• שאַפֿן אַ נאַמעספּאַסע
• שאַפֿן אַ לימיטראַנגע ין
• שאַפֿן ין ריסאָרסקוואָטאַ
• שאַפֿן אַ סערוויס אַקאַונט פֿאַר סי
• שאַפֿן ראָלעביינדינג פֿאַר סי און יוזערז
• אָפּטיאָנאַללי קאַטער די נייטיק דינסט פּאָדס

דעריבער, איך וואָלט ווי צו נוצן די געלעגנהייט צו טיילן מיין דיוועלאַפּמאַנץ. עס איז אַזאַ אַ זאַך גערופן די SDK אָפּעראַטאָר. דאָס איז אַ וועג פֿאַר אַ Kubernetes קנויל צו שרייַבן אָפּערייטערז פֿאַר עס. איר קענען שרייַבן סטייטמאַנץ ניצן Ansible.

אין ערשטער עס איז געווען געשריבן אין Ansible, און דעמאָלט איך געזען אַז עס איז אַ SDK אָפּעראַטאָר און ריראָוט די Ansible ראָלע אין אַן אָפּעראַטאָר. דער דערקלערונג אַלאַוז איר צו שאַפֿן אַ כייפעץ אין די Kubernetes קנויל גערופן אַ באַפֿעל. ין אַ באַפֿעל, עס אַלאַוז איר צו באַשרייַבן די סוויווע פֿאַר דעם באַפֿעל אין יאַמל. און אין די מאַנשאַפֿט סוויווע, עס אַלאַוז אונדז צו באַשרייַבן אַז מיר אַלאַקייטינג אַזוי פילע רעסורסן.

Little מאכן דעם גאנצען קאָמפּלעקס פּראָצעס גרינגער.

און אין מסקנא. וואָס צו טאָן מיט אַלע דעם?
ערשטער. פּאָד זיכערהייט פּאָליטיק איז גוט. און טראָץ דעם פאַקט אַז קיין פון די ינסטאָלערז פון Kubernetes נוצן זיי ביז דעם טאָג, איר נאָך דאַרפֿן צו נוצן זיי אין דיין קלאַסטערז.

נעץ פּאָליטיק איז ניט נאָר אן אנדער ומנייטיק שטריך. דאָס איז וואָס איז טאַקע דארף אין אַ קנויל.

LimitRange / ResourceQuota - עס איז צייט צו נוצן עס. מיר אנגעהויבן ניצן דעם אַ לאַנג צייַט צוריק, און פֿאַר אַ לאַנג צייַט איך געווען זיכער אַז אַלעמען איז געווען ניצן עס. עס האָט זיך אַרויסגעוויזן אַז דאָס איז זעלטן.

אין אַדישאַן צו וואָס איך דערמאנט בעשאַס דעם באַריכט, עס זענען אַנדאַקיאַמעניד פֿעיִקייטן וואָס לאָזן איר צו באַפאַלן דעם קנויל. באפרייט לעצטנס ברייט אַנאַליסיס פון קובערנעטעס וואַלנעראַביליטיז.

עטלעכע זאכן זענען אַזוי טרויעריק און שעדלעך. פֿאַר בייַשפּיל, אונטער זיכער טנאָים, קיובעלעץ אין אַ קובערנעטעס קנויל קענען געבן די אינהאַלט פון די וואַרלאָקקס וועגווייַזער צו אַן אַנאָטערייזד באַניצער.

דאָ עס זענען ינסטראַקשאַנז אויף ווי צו רעפּראָדוצירן אַלץ איך דערציילט איר. עס זענען טעקעס מיט פּראָדוקציע ביישפילן פון ווי ResourceQuota און Pod Security Policy קוק ווי. און איר קענען פאַרבינדן אַלע דעם.

דאַנק צו אַלע.

מקור: www.habr.com