פֿאַרשטיין נעטוואָרק פּאָליטיק ענפאָרסמאַנט אָפּציעס מיט Calico

די Calico נעץ פּלוגין גיט אַ ברייט קייט פון נעץ פּאַלאַסיז מיט אַ יונאַפייד סינטאַקס צו באַשיצן ייַזנוואַרג מחנות, ווירטואַל מאשינען און פּאָדס. די פּאַלאַסיז קענען זיין געווענדט אין אַ נאַמעספּאַסע אָדער זיין גלאבאלע נעץ פּאַלאַסיז וואָס אַפּלייז צו באַלעבאָס ענדפּוינט (צו באַשיצן אַפּלאַקיישאַנז פליסנדיק גלייַך אויף דער באַלעבאָס - דער באַלעבאָס קענען זיין אַ סערווער אָדער אַ ווירטואַל מאַשין) אָדער ענדפּוינט פון אַרבעט מאַסע (צו באַשיצן אַפּלאַקיישאַנז פליסנדיק אין קאַנטיינערז אָדער כאָוסטיד ווירטואַל מאשינען). קאַליקאָ פּאַלאַסיז לאָזן איר צו צולייגן זיכערהייט מיטלען אין פאַרשידן פונקטן אין אַ פּאַקאַט ס וועג ניצן אָפּציעס אַזאַ ווי פּרעדנאַט, ונראַקעד און אַפּפּליאָנפאָרווערד. פארשטאנד ווי די אָפּציעס אַרבעט קענען העלפֿן פֿאַרבעסערן די זיכערהייט און פאָרשטעלונג פון דיין קוילעלדיק סיסטעם. דער אַרטיקל דערקלערט די עסאַנס פון די קאַליקאָ פּאָליטיק אָפּציעס (פּרעדנאַט, אַנראַקעד און אַפּפּליאָנפאָרווערד) געווענדט צו באַלעבאָס ענדפּאָינץ, מיט אַ טראָפּ אויף וואָס כאַפּאַנז אין פּאַקאַט פּראַסעסינג פּאַטס (יפּטאַבעלס קייטן).

דער אַרטיקל אַסומז אַז איר האָבן אַ יקערדיק פארשטאנד פון ווי Kubernetes און Calico נעץ פּאַלאַסיז אַרבעט. אויב נישט, מיר רעקאָמענדירן צו פּרובירן עס יקערדיק נעץ פּאָליטיק טוטאָריאַל и באַלעבאָס שוץ טוטאָריאַל ניצן Calico איידער לייענען דעם אַרטיקל. מיר אויך דערוואַרטן איר צו האָבן אַ יקערדיק פארשטאנד פון די אַרבעט iptables אין לינוקס.

קאַליקאָ גלאבאלע נעץ פּאָליטיק אַלאַוז איר צו צולייגן אַ גאַנג פון אַקסעס כּללים דורך לאַבעלס (צו גרופּעס פון מחנות און ווערקלאָודז / פּאָדס). דאָס איז זייער נוציק אויב איר נוצן כעטעראַדזשיניאַס סיסטעמען צוזאַמען - ווירטואַל מאשינען, אַ סיסטעם גלייַך אויף ייַזנוואַרג אָדער אַ קובערנעטעס ינפראַסטראַקטשער. אין אַדישאַן, איר קענען באַשיצן אייער קנויל (נאָדעס) ניצן אַ סכום פון דעקלאַראַטיווע פּאַלאַסיז און צולייגן נעץ פּאַלאַסיז צו ינקאַמינג פאַרקער (למשל, דורך די NodePorts אָדער פונדרויסנדיק IPs דינסט).

אין אַ פונדאַמענטאַל מדרגה, ווען קאַליקאָ קאַנעקץ אַ פּאָד צו די נעץ (זען דיאַגראַמע אונטן), עס קאַנעקץ עס צו דער באַלעבאָס ניצן אַ ווירטואַל עטהערנעט צובינד (וועט). דער פאַרקער געשיקט דורך די פּאָד קומט צו דער באַלעבאָס פֿון דעם ווירטואַל צובינד און איז פּראַסעסט אין די זעלבע וועג ווי אויב עס געקומען פֿון אַ גשמיות נעץ צובינד. דורך פעליקייַט, Calico נעמען די ינטערפייסיז CaliXXX. זינט דער פאַרקער קומט דורך די ווירטואַל צובינד, עס גייט דורך יפּטאַבלעס ווי אויב די פּאָד איז געווען איין האָפּקען אַוועק. דעריבער, ווען פאַרקער קומט צו / פון אַ פּאָד, עס איז פאָרווערדיד פון די באַלעבאָס ס פונט פון מיינונג.

אויף אַ Kubernetes נאָדע פליסנדיק קאַליקאָ, איר קענען מאַפּע אַ ווירטואַל צובינד (וועטה) צו אַ ווערקלאָוד ווי גייט. אין דעם ביישפּיל אונטן, איר קענען זען אַז vet # 10 (calic1cbf1ca0f8) איז קאָננעקטעד צו cnx-manager-* אין די קאַליקאָ-מאָניטאָרינג נאָמען.

[centos@ip-172-31-31-46 K8S]$ sudo ip a
...
10: calic1cbf1ca0f8@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1440 qdisc noqueue state UP group default
    link/ether ee:ee:ee:ee:ee:ee brd ff:ff:ff:ff:ff:ff link-netnsid 5
    inet6 fe80::ecee:eeff:feee:eeee/64 scope link
       valid_lft forever preferred_lft forever
...

[centos@ip-172-31-31-46 K8S]$ calicoctl get wep --all-namespaces
...
calico-monitoring cnx-manager-8f778bd66-lz45m                            ip-172-31-31-46.ec2.internal 192.168.103.134/32
calic1cbf1ca0f8
...

ווייַל קאַליקאָ קריייץ אַ וועטה צובינד פֿאַר יעדער ווערקלאָוד, ווי טוט עס דורכפירן פּאַלאַסיז? צו טאָן דאָס, Calico קריייץ כוקס אין פאַרשידן קייטן פון די פּאַקאַט פּראַסעסינג דרך ניצן יפּטאַבלעס.

די דיאַגראַמע אונטן ווייַזן די קייטן ינוואַלווד אין פּאַקאַט פּראַסעסינג אין יפּטאַבלעס (אָדער די נעטפילטער סאַבסיסטאַם). ווען אַ פּאַקאַט קומט דורך אַ נעץ צובינד, עס ערשטער גייט דורך די PEROUTING קייט. א רוטינג באַשלוס איז דאַן געמאכט, און באזירט אויף דעם, די פּאַקאַט פּאַסיז דורך INPUT (דירעקטעד צו באַלעבאָס פּראַסעסאַז) אָדער FORWARD (דירעקטעד צו אַ פּאָד אָדער אן אנדער נאָדע אויף די נעץ). פֿון די היגע פּראָצעס, די פּאַקאַט גייט דורך די OUTPUT און דערנאָך פּאָסטראָוטינג קייט איידער עס איז געשיקט אַראָפּ די קאַבלע.

באַמערקונג אַז די פּאָד איז אויך אַ פונדרויסנדיק ענטיטי (פארבונדן צו די וועטה) אין טערמינען פון יפּטאַבלעס פּראַסעסינג. זאל ס קיצער:

• פאָרווערדיד פאַרקער (נאַט, ראַוטיד אָדער צו / פֿון אַ פּאָד) פּאַסיז דורך די PEROUTING - FORWARD - POSTROUTING קייטן.
• פאַרקער צו די היגע באַלעבאָס פּראָצעס פּאַסיז דורך די PEROUTING - INPUT קייט.
• פאַרקער פון די היגע באַלעבאָס פּראָצעס גייט דורך די OUTPUT - POSTROUTING קייט.

Calico גיט פּאָליטיק אָפּציעס וואָס לאָזן איר צו צולייגן פּאַלאַסיז אַריבער אַלע קייטן. מיט דעם אין זינען, לאָזן אונדז קוק אין די פאַרשידענע פּאָליטיק קאַנפיגיעריישאַן אָפּציעס בנימצא אין Calico. די נומערן אין דער רשימה פון אָפּציעס אונטן שטימען צו די נומערן אין די דיאַגראַמע אויבן.

1. ווערקלאָוד ענדפּוינט (פּאָד) פּאָליטיק
2. האָסט ענדפּוינט פּאָליטיק
3. ApplyOnForward אָפּציע
4. פּרעדנאַט פּאָליטיק
5. אַנטראַקקעד פּאָליטיק

לאָמיר אָנהייבן מיט קוקן ווי פּאַלאַסיז זענען געווענדט צו ווערקלאָוד ענדפּאָינץ (Kubernetes פּאָדס אָדער OpenStack VMs), און דערנאָך קוק אין די פּאָליטיק אָפּציעס פֿאַר באַלעבאָס ענדפּאָינץ.

וואָרקלאָאַד ענדפּאָינץ

וואָרקלאָאַד ענדפּוינט פּאָליטיק (1)

דאָס איז אַן אָפּציע צו באַשיצן דיין קובערנעטעס פּאָדס. Calico שטיצט ארבעטן מיט Kubernetes NetworkPolicy, אָבער עס אויך גיט נאָך פּאַלאַסיז - Calico NetworkPolicy און GlobalNetworkPolicy. קאַליקאָ קריייץ אַ קייט פֿאַר יעדער פּאָד (ווערקלאָוד) און כוקס אין די INPUT און OUTPUT קייטן פֿאַר די ווערקלאָוד צו די פילטער טיש פון די FORWARD קייט.

האָסט ענדפּאָינץ

האָסט ענדפּאָינט פּאָליטיק (2)

אין אַדישאַן צו CNI (container נעץ צובינד), Calico פּאַלאַסיז צושטעלן די פיייקייט צו באַשיצן די באַלעבאָס זיך. אין Calico, איר קענען מאַכן אַ באַלעבאָס ענדפּוינט דורך ספּעציפיצירן אַ קאָמבינאַציע פון ​​​​די באַלעבאָס צובינד און, אויב נייטיק, פּאָרט נומערן. פּאָליטיק ענפאָרסמאַנט פֿאַר דעם ענטיטי איז אַטשיווד מיט אַ פילטער טיש אין די INPUT און OUTPUT קייטן. ווי איר קענען זען פֿון די דיאַגראַמע, (2) זיי אַפּלייז צו היגע פּראַסעסאַז אויף די נאָדע / באַלעבאָס. דאָס איז, אויב איר מאַכן אַ פּאָליטיק וואָס אַפּלייז צו דער באַלעבאָס ענדפּוינט, דאָס וועט נישט ווירקן פאַרקער צו / פֿון דיין פּאָדס. אָבער עס גיט אַ איין צובינד / סינטאַקס פֿאַר בלאַקינג פאַרקער פֿאַר דיין באַלעבאָס און פּאָדס ניצן קאַליקאָ פּאַלאַסיז. דאָס סימפּלאַפייז זייער דער פּראָצעס פון אָנפירונג פּאַלאַסיז פֿאַר אַ כעטעראַדזשיניאַס נעץ. קאַנפיגיערינג באַלעבאָס ענדפּוינט פּאַלאַסיז צו פאַרבעסערן קנויל זיכערהייט איז אן אנדער וויכטיק נוצן פאַל.

אַפּפּליאָנפאָרווערד פּאָליטיק (3)

די ApplyOnForward אָפּציע איז בארעכטיגט אין די Calico גלאבאלע נעץ פּאָליטיק צו לאָזן פּאַלאַסיז צו זיין געווענדט צו אַלע פאַרקער וואָס פאָרן דורך די באַלעבאָס ענדפּוינט, אַרייַנגערעכנט פאַרקער וואָס וועט זיין פאָרווערדיד דורך דער באַלעבאָס. דאָס כולל פאַרקער פאָרווערדיד צו די היגע פּאָד אָדער ערגעץ אַנדערש אויף די נעץ. Calico ריקווייערז אַז די באַשטעטיקן זאָל זיין ענייבאַלד פֿאַר פּאַלאַסיז ניצן PreDNAT און אַנטראַקקעד, זען די פאלגענדע סעקשאַנז. אין אַדישאַן, ApplyOnForward קענען זיין געוויינט צו מאָניטאָר באַלעבאָס פאַרקער אין קאַסעס ווען אַ ווירטואַל ראַוטער אָדער ווייכווארג NAT איז געניצט.

באַמערקונג אַז אויב איר דאַרפֿן צו צולייגן די זעלבע נעץ פּאָליטיק צו ביידע באַלעבאָס פּראַסעסאַז און פּאָדס, איר טאָן ניט דאַרפֿן צו נוצן די ApplyOnForward אָפּציע. כל איר דאַרפֿן צו טאָן איז צו שאַפֿן אַ פירמע פֿאַר די פארלאנגט האָסטענדפּוינט און ווערקלאָוד ענדפּוינט (פּאָד). קאַליקאָ איז קלוג גענוג צו דורכפירן פּאָליטיק באזירט אויף לאַבעלס, ראַגאַרדלאַס פון די ענדפּוינט טיפּ (האָסטענדפּוינט אָדער ווערקלאָוד).

פּרעדנאַט פּאָליטיק (4)

אין Kubernetes, סערוויס ענטיטי פּאָרץ קענען זיין יקספּאָוזד ויסווייניק ניצן די NodePorts אָפּציע אָדער, אָפּטיאָנאַללי (ווען ניצן Calico), דורך גאַנצע זיי מיט די Cluster IPs אָדער פונדרויסנדיק IPs אָפּציעס. Kube-proxy באַלאַנסאַז ינקאַמינג פאַרקער געבונדן צו אַ דינסט צו די פּאָדס פון די קאָראַספּאַנדינג דינסט ניצן DAT. געגעבן דעם, ווי טאָן איר דורכפירן פּאַלאַסיז פֿאַר פאַרקער קומען דורך NodePorts? צו ענשור אַז די פּאַלאַסיז זענען געווענדט איידער די פאַרקער איז פּראַסעסט דורך DAT (וואָס איז אַ מאַפּינג צווישן באַלעבאָס: פּאָרט און קאָראַספּאַנדינג דינסט), Calico גיט אַ פּאַראַמעטער פֿאַר גלאבאלע נעץ פּאָליטיק גערופֿן "preDNAT: אמת".

ווען פאַר-דנאַט איז ענייבאַלד, די פּאַלאַסיז זענען ימפּלאַמענאַד אין (4) אין די דיאַגראַמע - אין די מאַנגל טיש פון די PREROUTING קייט - גלייך איידער דנאַט. די געוויינטלעך סדר פון פּאַלאַסיז איז נישט נאכגעגאנגען דאָ, זינט די אַפּלאַקיישאַן פון די פּאַלאַסיז אַקערז פיל פריער אין די פאַרקער פּראַסעסינג וועג. אָבער, preDNAT פּאַלאַסיז רעספּעקט די סדר פון אַפּלאַקיישאַן צווישן זיך.

ווען איר שאַפֿן פּאַלאַסיז מיט פאַר-DNAT, עס איז וויכטיק צו זיין אָפּגעהיט וועגן די פאַרקער איר ווילן צו פּראָצעס און לאָזן די מערהייט צו זיין פארווארפן. פאַרקער אנגעצייכנט ווי 'לאָזן' אין די פאַר-דנאַט פּאָליטיק וועט ניט מער זיין אָפּגעשטעלט דורך די האָסטענדפּוינט פּאָליטיק, בשעת פאַרקער וואָס פיילז די פאַר-דנאַט פּאָליטיק וועט פאָרזעצן דורך די רוען קייטן.
Calico האט געמאכט עס מאַנדאַטאָרי צו געבן די אַפּפּליאָנפאָרווערד אָפּציע ווען איר נוצן PreDNAT, ווייַל די דעסטיניישאַן פון פאַרקער איז נאָך נישט אויסגעקליבן. פאַרקער קענען זיין דירעקטעד צו דער באַלעבאָס פּראָצעס, אָדער עס קענען זיין פאָרווערדיד צו אַ פּאָד אָדער אן אנדער נאָדע.

ניט-טראַקט פּאָליטיק (5)

נעטוואָרקס און אַפּלאַקיישאַנז קענען האָבן גרויס דיפעראַנסיז אין נאַטור. אין עטלעכע עקסטרעם קאַסעס, אַפּלאַקיישאַנז קען דזשענערייט פילע קורץ-געלעבט קאַנעקשאַנז. דאָס קען אָנמאַכן קאַנטראַקק (אַ האַרץ קאָמפּאָנענט פון די לינוקס נעטוואָרקינג אָנלייגן) צו לויפן אויס פון זכּרון. טראַדישאַנאַלי, צו לויפן די טייפּס פון אַפּלאַקיישאַנז אויף לינוקס, איר וואָלט האָבן צו מאַניואַלי קאַנפיגיער אָדער דיסייבאַל קאַנטראַקק, אָדער שרייַבן יפּטאַבלעס כּללים צו בייפּאַס קאַנטראַקק. אַנטראַקקעד פּאָליטיק אין קאַליקאָ איז אַ סימפּלער און מער עפעקטיוו אָפּציע אויב איר ווילן צו פּראָצעס קאַנעקשאַנז ווי געשווינד ווי מעגלעך. פֿאַר בייַשפּיל, אויב איר נוצן מאַסיוו מעמקאַטשע אָדער ווי אַן נאָך מאָס פון שוץ קעגן DDOS.

לייענען דעם בלאָג פּאָסטן (אָדער אונדזער איבערזעצונג) פֿאַר מער אינפֿאָרמאַציע, אַרייַנגערעכנט פאָרשטעלונג טעסץ ניצן אַנטראַקטיד פּאָליטיק.

ווען איר שטעלן די "דאָNotTrack: אמת" אָפּציע אין Calico GlobalNetworkPolicy, עס ווערט אַן ** אַנטראַקקעד ** פּאָליטיק און איז געווענדט זייער פרי אין די לינוקס פּאַקאַט פּראַסעסינג רערנ - ליניע. איר זוכט אין די דיאַגראַמע אויבן, אַנטראַקקעד פּאַלאַסיז זענען געווענדט אין די PREROUTING און OUTPUT קייטן אין די רוי טיש איידער קאַנעקשאַן טראַקינג (קאָננטרראַק) איז סטאַרטעד. ווען אַ פּאַקאַט איז ערלויבט דורך די אַנטראַקקעד פּאָליטיק, עס איז אנגעצייכנט צו דיסייבאַל קאַנעקשאַן טראַקינג פֿאַר דעם פּאַקאַט. עס מיינט:

• די אַנטראַקקעד פּאָליטיק איז געווענדט אויף אַ פּער פּאַקאַט יקער. עס איז קיין באַגריף פון קשר (אָדער לויפן). פעלן פון קאַנעקשאַנז האט עטלעכע וויכטיק פאלגן:
• אויב איר ווילן צו לאָזן ביידע בעטן און ענטפער פאַרקער, איר דאַרפֿן אַ הערשן פֿאַר ביידע ינבאַונד און אַוטבאַונד (ווייַל Calico טיפּיקלי ניצט קאַנטראַקק צו צייכן ענטפער פאַרקער ווי ערלויבט).
• די אַנטראַקקעד פּאָליטיק טוט נישט אַרבעטן פֿאַר Kubernetes ווערקלאָודז (פּאָדס), ווייַל אין דעם פאַל עס איז קיין וועג צו שפּור די אַוטגאָוינג קשר פון די פּאָד.
• NAT אַרבעט נישט ריכטיק מיט אַנטראַקקעד פּאַקיץ (זינט די קערן סטאָרז די NAT ​​מאַפּינג אין קאָנטראַקק).
• ווען דורכגעגאנגען דורך די "לאָזן אַלע" הערשן אין די אַנטראַקקעד פּאָליטיק, אַלע פּאַקיץ וועט זיין אנגעצייכנט ווי אַנטראַקטיד. דאָס איז כּמעט שטענדיק נישט וואָס איר ווילט, אַזוי עס איז וויכטיק צו זיין זייער סעלעקטיוו וועגן די פּאַקיץ ערלויבט דורך אַנטראַקקעד פּאַלאַסיז (און לאָזן רובֿ פאַרקער צו גיין דורך נאָרמאַל טראַקט פּאַלאַסיז).
• אַנטראַקקעד פּאַלאַסיז זענען געווענדט אין די אָנהייב פון די פּאַקאַט פּראַסעסינג רערנ - ליניע. דאָס איז זייער וויכטיק צו פֿאַרשטיין ווען קריייטינג קאַליקאָ פּאַלאַסיז. איר קענען האָבן אַ פּאָד פּאָליטיק מיט סדר: 1 און אַ אַנטראַקקעד פּאָליטיק מיט סדר: 1000. עס וועט נישט ענין. די אַנטראַקקעד פּאָליטיק וועט זיין געווענדט איידער די פּאָליטיק פֿאַר די פּאָד. אַנטראַקקעד פּאַלאַסיז רעספּעקט דורכפירונג סדר בלויז צווישן זיך.

ווייַל איינער פון די צילן פון די דאָנאָטראַק פּאָליטיק איז צו דורכפירן די פּאָליטיק זייער פרי אין די לינוקס פּאַקאַט פּראַסעסינג רערנ - ליניע, Calico מאכט עס מאַנדאַטאָרי צו ספּעציפיצירן די אַפּפּליאָנפאָרווערד אָפּציע ווען ניצן doNotTrack. רעפעררינג צו די פּאַקאַט פּראַסעסינג דיאַגראַמע, טאָן אַז די אַנטראַקקעד (5) פּאָליטיק איז געווענדט איידער קיין רוטינג דיסיזשאַנז. פאַרקער קענען זיין דירעקטעד צו דער באַלעבאָס פּראָצעס, אָדער עס קענען זיין פאָרווערדיד צו אַ פּאָד אָדער אן אנדער נאָדע.

רעזולטאַטן פון

מיר האָבן געקוקט אויף די פאַרשידן פּאָליטיק אָפּציעס (האָסט ענדפּוינט, ApplyOnForward, preDNAT און Untracked) אין קאַליקאָ און ווי זיי זענען געווענדט צוזאמען די פּאַקאַט פּראַסעסינג דרך. פארשטאנד ווי זיי אַרבעט העלפּס אין דעוועלאָפּינג עפעקטיוו און זיכער פּאַלאַסיז. מיט Calico איר קענען נוצן אַ גלאבאלע נעץ פּאָליטיק וואָס אַפּלייז צו אַ פירמע (אַ גרופּע פון ​​נאָודז און פּאָדס) און צולייגן פּאַלאַסיז מיט פאַרשידן פּאַראַמעטערס. דאָס אַלאַוז זיכערהייט און נעץ פּלאַן פּראָפעססיאָנאַלס צו קאַנוויניאַנטלי באַשיצן "אַלץ" (ענדפּוינט טייפּס) מיט אַ איין פּאָליטיק שפּראַך מיט קאַליקאָ פּאַלאַסיז.

דערקענטעניש: איך וואָלט ווי צו דאַנקען שאָן קראַמפּטאָן и Alexa Pollitta פֿאַר זייער אָפּשאַצונג און ווערטפול אינפֿאָרמאַציע.

מקור: www.habr.com