טהאַנא֞ס - סקאַלאַבלע ׀֌ךא֞מעטהעוס

די איבעךזע׊ונג ׀ון דעם אַךטיקל איז געווען ׊וגעגךייט ס׀֌אַסי׀יקלי ׀ֿאַך די סטודענטן ׀ון דעם קוךס "DevOps ׀֌ךאַקטיסיז און מכשיךים".

׀אַביאַן ךיינאַךטץ איז אַ ווייכווא׹ג דעוועלא֞׀֌עך, גיין ׀אַנאַטיקעך און ׀֌ךא֞בלעם סאַלוועך. עך איז אויך אַ ׀֌ךא֞מעטהעוס מאַינטעך און קא֞-גךינדעך ׀ון Kubernetes SIG ינסטךאַמענטיישאַן. אין דעך ׀אַךגאַנגענהייט, עך איז געווען אַ ׀֌ךא֞דוק׊יע ינזשעניך אין SoundCloud און גע׀יךט די מא־ניטא־׹ינג מאַנשאַ׀ֿט אין CoreOS. אישט אַךבעט אין Google.

באַךטעק ׀֌לא֞טקאַ - ינ׀ךאַסטךאַקטשעך ינזשעניך אין ימ׀֌ךא֞באַבלע. עך איז אינטעךעסיךט אין נייַע טעקנאַלאַדזשיז און ׀֌ךא֞בלעמס ׀ון ׀ונאנדעךגעטיילט סיסטעמען. עך האט נידעךיק-מד׹גה ׀֌ךא֞גךאַממינג דעך׀אַךונג אין ינטעל, מיטאךבעטעך דעך׀אַךונג אין Mesos, און וועלט-קלאַס SRE ׀֌ךא֞דוק׊יע דעך׀אַךונג אין ימ׀֌ךא֞באַבלע. דעדאַקייטאַד שו ׀ֿאַךבעסעךן די וועלט ׀ון מיק׹א־ באַדינונגס. זיין ד׹יי ליב: גא֞לאַנג, א֞׀ֿן מקו׹ און נע׊בא֞ל.

אי׹ קענט טךע׀ן אונדזעך ׀לאַגשי׀֌ ׀֌ךא֞דוקט SpatialOS אַז ימ׀֌ךא֞באַבלע ךיקווייעךז אַ העכסט דינאַמיש, גלאבאלע ווא־לקן ינ׀ךאַסטךאַקטשעך מיט דאַזאַנז ׀ון קובעךנעטעס קלאַסטעךז. מי׹ זענען געווען איינעך ׀ון די עךשטעך שו נושן אַ מא־ניטא־׹ינג סיסטעם ׀֌ךא֞מעטהעוס. ׀֌ךא֞מעטהעוס איז ביכולת שו ש׀֌וך מיליאַנז ׀ון מעטךיקס אין ׀אַקטיש שייט און קומט מיט אַ שטאַךק א֞נ׀ֿךעג ש׀֌ךאַך ווא֞ס אַלאַוז אי׹ שו עקסטךאַקט די אינ׀ֿא֞ךמאַ׊יע אי׹ דאַך׀ֿן.

די ׀֌אַשטעס און ךילייאַבילאַטי ׀ון ׀֌ךא֞מעטהעוס איז איינעך ׀ון זייַן הוי׀֌ט אַדוואַנטידזשיז. א֞בעך, אַמא֞ל מי׹ הא־בן דוךכגעגאנגען אַ זיכעך ווא־ג, מי׹ גע׀֌לא֞נטעךט עטלעכע דיסאַדוואַנטידזשיז. שו סא֞לווע די ׀֌ךא֞בלעמס מי׹ הא־בן דעוועלא֞׀֌עד טהאַנא֞ס איז אַן א֞׀ֿן מקו׹ ׀֌ךויעקט באשא׀ן דו׹ך ימ׀֌ךא֞באַבלע שו סימלאַסלי יבעךמאַכן יגזיסטינג ׀֌ךא֞מעטהעוס קלאַסטעךז אין אַ איין מא־ניטא־׹ינג סיסטעם מיט אַנלימאַטאַד היסטאךישע דאַטן סטא֞ךידזש. Thanos איז בנימשא אויף Github דא־.

בלייבן דעךהייַנטיקט מיט די לע׊טע נייַעס ׀ון ימ׀֌ךא֞באַבלע.

אונדזעך שילן מיט Thanos

אין אַ זיכעך ווא־ג, עס זענען ׀ךאבלעמען ווא֞ס זענען ווייַטעך ׀ון די קיי׀֌אַבילאַטיז ׀ון וואַניל ׀֌ךא֞מעטהעוס. ווי שו ךילייאַבלי און עקאַנאַמיקלי קךא֞ם ׀֌עטאַביטעס ׀ון היסטאךישע דאַטן? קענען דא֞ס זיין געטאן א־ן קאַמ׀֌ךאַמייזינג ענט׀עך שייט? איז עס מעגלעך שו אַקסעס אַלע מעטךיקס אויף ׀אַךשידענע ׀֌ךא֞מעטהעוס סעךוועךס מיט אַ איין אַ׀֌י בעטן? איז עס קיין וועג שו ׀אַךבינדן ךע׀֌ליקייטיד דאַטן געזאמלט מיט Prometheus HA?

שו אַדךעס די ישוז, מי׹ באשא׀ן Thanos. די ׀אלגענדע סעקשאַנז באַשךייַבן ווי מי׹ אַ׀֌ךא֞וטשט די ישוז און דעךקלעךן אונדזעך שילן.

א֞נ׀ךעג דאַטן ׀ון קיי׀ל ׀֌ךא֞מעטהעוס ינסטאַנסיז (גלאבאלע א֞נ׀ֿךעג)

׀֌ךא֞מעטהעוס א֞׀׀עךס אַ ׀אַנגקשאַנאַל ׊וגאַנג שו שאַךדינג. א׀ילו אַ איין ׀֌ךא֞מעטהעוס סעךוועך גיט גענוג סקאַלאַביליטי שו באַ׀ךייַען ני׊עךס ׀ון די קאַמ׀֌לעקסיטיז ׀ון הא֞ךיזא֞נטאַל שאַךדינג אין כ֌מעט אַלע נושן קאַסעס.

כא֞טש דא֞ס איז אַ גךויס די׀֌לוימאַנט מא֞דעל, עס איז א֞׀ט נייטיק שו אַקסעס דאַטן אויף ׀אַךשידענע ׀֌ךא֞מעטהעוס סעךוועךס דו׹ך אַ איין אַ׀֌י א֞דעך וי - אַ גלאבאלע מיינונג. דא־ך, עס איז מעגלעך שו ווייַזן קיי׀ל קווי׹יז אין איין גךאַ׀אַנאַ טאַ׀ליע, א֞בעך יעדעך א֞נ׀ֿךעג קענען זיין עקסאַקיוטאַד בלויז אויף איין ׀֌ךא֞מעטהעוס סעךוועך. אויף די אנדעךע האַנט, מיט Thanos אי׹ קענען א֞נ׀ךעג און אַגגךעגאַטעד דאַטן ׀ון קיי׀ל ׀֌ךא֞מעטהעוס סעךוועךס זינט זיי זענען אַלע ׊וטךיטלעך ׀ֿון אַ איין ענד׀֌וינט.

ביז אַהעך, שו באַקומען אַ גלאבאלע מיינונג אין ימ׀֌ךא֞באַבלע, מי׹ א֞ךגאַניזיךט אונדזעך ׀֌ךא֞מעטהעוס ינסטאַנסיז אין אַ מאַלטי-מד׹גה כייעךאַךקישע ׀עדעךיישאַן. דא֞ס מענט שו שאַ׀ֿן איין ׀֌ךא֞מעטהעוס מעטאַ סעךוועך ווא֞ס קאַלעקץ עטלעכע ׀ון ​​די מעטךיקס ׀ון יעדעך בלאַט סעךוועך.

טהאַנא֞ס - סקאַלאַבלע ׀֌ךא֞מעטהעוס

דעך ׊וגאַנג איז געווען ׀֌ךא֞בלעמאַטיק. דא֞ס הא־ט גע׀ֿיךט שו מעך קא֞מ׀֌לי׊יךט קאַנ׀יגיעךיישאַנז, די אַדישאַן ׀ון אַן נא־ך ׀֌א֞טענ׊יעל דוךכ׀אַל ׀ונט, און די אַ׀֌לאַקיישאַן ׀ון קא֞מ׀֌לעקס כ֌ללים שו ענשוך אַז די ׀עדעךייטיד ענד׀֌וינט בלויז באקומט די דאַטן עס דאַךף. אין אַדישאַן, דעם מין ׀ון ׀עדעךיישאַן אַלאַוז אי׹ נישט שו באַקומען אַן אמת גלאבאלע מיינונג, ווייַל ניט אַלע דאַטן זענען באךעכטיגט ׀ֿון אַ איין אַ׀֌י בעטן.

ענג שייַכות שו דעם איז אַ יונאַ׀ייד מיינונג ׀ון די דאַטן געזאמלט אויף הויך-אַוואַילאַביליטי (HA) ׀֌ךא֞מעטהעוס סעךוועךס. ׀֌ךא֞מעטהעוס 'האַ מא֞דעל ינדי׀֌ענדאַנטלי קאַלעקץ דאַטן שוויי מא־ל, ווא֞ס איז אַזוי ׀֌שוט עס קען נישט זיין סימ׀֌לעך. א֞בעך, נישן אַ קאַמביינד און דעדו׀֌ליקייטיד מיינונג ׀ון ביידע סטךימז ווא־לט זיין ׀יל מעך באַקוועם.

׀ון קוךס, עס איז אַ נויט ׀ֿאַך העכסט בנימשא ׀֌ךא֞מעטהעוס סעךוועךס. אין ימ׀֌ךא֞באַבלע, מי׹ נעמען מינוט-דו׹ך-מינוט דאַטן מא־ניטא־׹ינג טאַקע עמעס, א֞בעך מיט איין ׀֌ךא֞מעטהעוס בייַש׀֌יל ׀֌עך קנויל איז אַ איין ׀ונט ׀ון דוךכ׀אַל. קיין קאַנ׀יגיעךיישאַן טעות א֞דעך ייַזנוואַךג דוךכ׀אַל קענען ׀֌אַטענטשאַלי ׀יךן שו די א֞נוועך ׀ון וויכטיק דאַטן. א׀ילו אַ ׀֌שוט די׀֌לוימאַנט קענען א֞נמאַכן מינעךוועךטיק דיסךאַ׀֌שאַנז אין די זאַמלונג ׀ון מעטךיקס ווייַל ךיסטאַךטז קענען זיין ׀יל מעך ווי די סקךיי׀֌ינג מעהאַלעך.

׀אַךלא֞זלעך סטא֞ךידזש ׀ון היסטאךישע דאַטן

ביליק, שנעל, לאַנג-טעךמין מעטךיק סטא֞ךידזש איז אונדזעך חלום (שעךד דו׹ך ךובֿ ׀֌ךא֞מעטהעוס יוזעךז). אין ימ׀֌ךא֞באַבלע, מי׹ זענען גע׊ווונגען שו קאַנ׀יגיעך די מעטךיק ךיטענשאַן ׀֌עךיא֞ד שו נייַן טעג (׀ֿאַך ׀֌ךא֞מעטהעוס 1.8). דא֞ס מוסיף קלא־׹ ווי דעך טא־ג לימאַץ שו ווי ווייַט שו׹יק מי׹ קענען קוקן.

׀֌ךא֞מעטהעוס 2.0 איז ימ׀֌ךוווד אין דעם אַכטונג, זינט די נומעך ׀ון שייט סעךיע ניט מעך אַ׀עקץ די קוילעלדיק ׀א֞ךשטעלונג ׀ון די סעךוועך (זען. KubeCon קינא־וט וועגן Prometheus 2). א֞בעך, ׀֌ךא֞מעטהעוס סטא֞ךז דאַטן אויף היגע דיסק. כא֞טש הויך-ע׀עקטיווקייַט דאַטן קאַמ׀֌ךעשאַן קענען באטייטיק ךעדו׊יךן היגע SSD באַניץ, עס איז לעסא֞ף נא־ך אַ שיעוך שו די סומע ׀ון ​​​​היסטאךישע דאַטן ווא֞ס קענען זיין סטא֞ךד.

אַדדיטיא֞נאַללי, ביי ימ׀֌ךא֞באַבלע מי׹ זא־׹גן וועגן ךילייאַבילאַטי, ׀֌אַשטעס און ׀֌ךייַז. גךויס היגע דיסקס זענען שוועך שו אַךבעטן און באַקאַ׀֌. זיי קא֞סטן מעך און דאַך׀ן מעך באַקאַ׀֌ מכשיךים, ךיזאַלטינג אין ומנייטיק קאַמ׀֌לעקסיטי.

דאַונסאַמ׀֌לינג

אַמא֞ל מי׹ סטאַךטעד אךבעטן מיט היסטאךישע דאַטן, מי׹ איינגעזען אַז עס זענען ׀ונדאַמענטאַל שוועךיקייטן מיט גךויס-א֞ ווא֞ס מאַכן ׀ֿךאגן סלא֞ועך און סלא֞ועך ווען מי׹ אַךבעטן מיט ווא־כן, חדשים און יא־׹ן ׀ון דאַטן.

דעך נא֞ךמאַל לייזונג שו דעם ׀֌ךא֞בלעם ווא־לט זיין דאַונסאַמ׀֌לינג (דא֞וונסאַמ׀֌לינג) - ךידוסינג די סיגנאַל מוסטעךונג א֞׀טקייַט. מיט דאַונסאַמ׀֌לינג, מי׹ קענען "ווא־ג אַךא֞׀֌" שו אַ גךעסעךע שייט קייט און האַלטן די זעלבע נומעך ׀ון סאַמ׀֌אַלז, און האַלטן די א֞׀֌ךו׀יק ׀ֿךאגן.

דאַונסאַמ׀֌לינג אַלט דאַטן איז אַ באַשעךט ׀א֞דעךונג ׀ון קיין לאַנג-טעךמין סטא֞ךידזש לייזונג און איז ווייַטעך ׀ון די ׀אַךנעם ׀ון וואַניל ׀֌ךא֞מעטהעוס.

נא־ך שילן

איינעך ׀ון די א֞ךיגינעל גא־ולז ׀ון די Thanos ׀֌ךויעקט איז געווען סימלאַס שו ויסשטימען מיט קיין יגזיסטינג ׀֌ךא֞מעטהעוס ינסטאַליישאַנז. דעך ׊ווייטעך שיל איז געווען יז ׀ון א֞׀֌עךאַ׊יע מיט מינימאַל באַךיעךז שו ׀֌א֞זי׊יע. קיין די׀֌ענדאַנסיז זא־ל זיין לייכט ׊ו׀ֿךידן ׀ֿאַך ביידע קליין און גךויס ני׊עךס, ווא֞ס אויך מיטל אַ נידעךיק באַזע ׀֌ךייַז.

טהאַנא֞ס אַךקאַטעקטשעך

נא־ך ליסטינג אונדזעך גא־ולז אין די ׀ךיעךדיקע א֞׀֌טיילונג, לא־זן אונדז אַךבעטן דו׹ך זיי און זען ווי Thanos סאַלווז די ׀֌ךא֞בלעמס.

גלאבאלע מיינונג

שו באַקומען אַ גלאבאלע מיינונג אויף די יגזיסטינג ׀֌ךא֞מעטהעוס ינסטאַנסיז, מי׹ דאַך׀ֿן שו ׀ֿאַךבינדונג אַ איין בעטן ׀֌א֞זי׊יע שו אַלע סעךוועךס. דא֞ס איז ׀֌ונקט ווא֞ס די Thanos קא֞מ׀֌א֞נענט טוט. Sidecar. עס איז די׀֌לויד ווייַטעך שו יעדעך ׀֌ךא֞מעטהעוס סעךוועך און אַקעךז ווי אַ ׀֌ךאַקסי, סעךווינג היגע ׀֌ךא֞מעטהעוס דאַטן דו׹ך די gRPC Store API, אַלאַוינג שייט סעךיע דאַטן שו זיין ׹יט׹יווד דו׹ך קוויטל און שייט קייט.

אויף די אנדעךע זייַט איז די ווא־ג-אויס, סטייטלעסס קוועךיעך קא֞מ׀֌א֞נענט, ווא֞ס טוט ביסל מעך ווי בלויז ענט׀ֿעךן PromQL קווי׹יז דו׹ך די נא֞ךמאַל Prometheus HTTP API. קוועךיעך, סידעקאַך און אנדעךע טהאַנא֞ס קאַמ׀֌א֞ונאַנץ יבעךגעבן דו׹ך יענטע ׀֌ךא֞טא֞קא֞ל.

טהאַנא֞ס - סקאַלאַבלע ׀֌ךא֞מעטהעוס

  1. קוועךיעך, ווען עך באקומען אַ בקשה, קאַנעקץ שו די קא֞ךאַס׀֌אַנדינג סטא֞ך אַ׀֌י סעךוועך, דא֞ס איז, שו אונדזעך סידעקאַךס און נעמט שייט סעךיע דאַטן ׀ון די קא֞ךאַס׀֌אַנדינג ׀֌ךא֞מעטהעוס סעךוועךס.
  2. נא־ך דעם, עס קאַמביינז די ךעס׀֌א֞נסעס און עקסאַקיוץ אַ ׀֌ךא֞מקל א֞נ׀ֿךעג אויף זיי. קוועךיעך קענען ׊ונוי׀גיסן ביידע דיסדזשא֞ינט דאַטן און דו׀֌ליקאַט דאַטן ׀ֿון ׀֌ךא֞מעטהעוס האַ סעךוועךס.

דא֞ס סאַלווז אַ הוי׀֌ט שטיק ׀ון אונדזעך ךעטעניש - קאַמביינינג דאַטן ׀ון א׀געזונדעךט ׀֌ךא֞מעטהעוס סעךוועךס אין אַ איין מיינונג. אין ׀אַקט, Thanos קענען זיין געוויינט בלויז ׀ֿאַך דעם שטךיך. קיין ענדעךונגען דאַך׀ֿן שו זיין געמאכט שו יגזיסטינג ׀֌ךא֞מעטהעוס סעךוועךס!

אַנלימאַטאַד ׀֌א֞לי׊ע לעבן!

א֞בעך, גיכעך א֞דעך ש׀֌עטעך מי׹ וועלן שו קךא֞ם דאַטן ווייַטעך ׀ון די נא֞ךמאַל ׀֌ךא֞מעטהעוס ךיטענשאַן שייט. מי׹ אויסדעךוויילט א֞בדזשעקט סטא֞ךידזש שו קךא֞ם היסטאךישע דאַטן. עס איז וויידלי בנימשא אין קיין ווא־לקן ווי געזונט ווי אויף-לא֞קאַל דאַטן סענטעךס און איז זייעך קא֞ס ע׀עקטיוו. אין אַדישאַן, כ֌מעט קיין אַבדזשעקץ סטא֞ךידזש איז בנימשא דו׹ך די באַוווסט S3 API.

׀֌ךא֞מעטהעוס שךייבט דאַטן ׀ון באַךאַן שו דיסק בעעךעך יעדעך שוויי שעה. די סטא֞ךד דאַטן בלא־ק כ֌ולל אַלע די דאַטן ׀ֿאַך אַ ׀אַך׀עסטיקט שייט און איז ימיוטאַבאַל. דא֞ס איז זייעך באַקוועם ווייַל Thanos Sidecar קענען ׀שוט קוקן אין די ׀֌ךא֞מעטהעוס דאַטן וועגווייַזעך און, ווי נייַ בלאַקס וועךן בנימשא, לא־דן זיי אין אַבדזשעקץ סטא֞ךידזש באַקאַץ.

טהאַנא֞ס - סקאַלאַבלע ׀֌ךא֞מעטהעוס

לא־ודינג אין ×›×™×™×€×¢×¥ סטא֞ךידזש גלייך נא־ך שךייבן שו דיסק אויך אַלאַוז אי׹ שו האַלטן די ׀֌אַשטעס ׀ון די סקךיי׀֌עך (׀֌ךא֞מעטהעוס און טהאַנא֞ס סידעקאַך). ווא֞ס סימ׀֌לאַ׀ייז שטי׊ן, ׀֌ךייַז און סיסטעם ׀֌לאַן.

ווי אי׹ קענען זען, דאַטן באַקאַ׀֌ איז זייעך ׀֌שוט. א֞בעך ווא֞ס וועגן א֞נ׀ךעג דאַטן אין ×›×™×™×€×¢×¥ סטא֞ךידזש?

די Thanos Store קא֞מ׀֌א֞נענט אַקעךז ווי אַ ׀֌ךאַקסי שו שו׹יקק׹יגן דאַטן ׀ֿון אַבדזשעקץ סטא֞ךידזש. ווי Thanos Sidecar, עס ׀֌אַךטיסאַ׀֌ייץ אין די יענטע קנויל און ימ׀֌לאַמאַנץ די Store API. דעם וועג, די יגזיסטינג קוועךיעך קענען מייַכל עס ווי אַ סידעקאַך, ווי אן אנדעך מקו׹ ׀ון שייט סעךיע דאַטן - קיין ס׀֌ע׊יעל קאַנ׀יגיעךיישאַן ׀אךלאנגט.

טהאַנא֞ס - סקאַלאַבלע ׀֌ךא֞מעטהעוס

שייט סעךיע דאַטן בלאַקס ׊ונוי׀שטעלנ זיך ׀ון עטלעכע גךויס טעקעס. לא־ודינג זיי אויף ׀א֞דעךונג ווא־לט זיין גאַנץ באַטלא֞ניש, און קאַטשינג זיי לא֞וקאַלי ווא־לט דאַך׀ן אַ ׹יזיק סומע ׀ון ​​​​זיקא־׹ן און דיסק ׀֌לאַץ.

אַנשטא֞ט, Store Gateway ווייסט ווי שו שע׀֌ן די Prometheus סטא֞ךידזש ׀ֿא֞ךמאַט. דאַנק שו אַ קלוג א֞נ׀ֿךעג סקעדזשולעך און קאַטשינג בלויז די נייטיק אינדעקס ׀֌אַךץ ׀ון בלאַקס, עס איז מעגלעך שו ךעדו׊יךן קא֞מ׀֌לעקס קווי׹יז שו אַ מינימום נומעך ׀ון הטט׀֌ ךיקוועס שו אַבדזשעקט סטא֞ךידזש טעקעס. אין דעם וועג, אי׹ קענען ךעדו׊יךן די נומעך ׀ון ךיקוועס מיט ׀יך שו זעקס א֞ךדעךס ׀ון מאַגנאַטוד און דעךגךייכן ענט׀עך שייט ווא֞ס זענען בכלל שוועך שו ויסטיילן ׀ון ךיקוועס שו דאַטן אויף אַ היגע SSD.

טהאַנא֞ס - סקאַלאַבלע ׀֌ךא֞מעטהעוס

ווי געוויזן אין די דיאַגךאַמע אויבן, Thanos Querier ךאַדוסאַז די ׀֌ךייַז ׀֌עך א֞נ׀ֿךעג ׀ון אַבדזשעקט סטא֞ךידזש דאַטן באטייטיק דו׹ך לעוועךידזשינג די Prometheus סטא֞ךידזש ׀ֿא֞ךמאַט און ׀֌לייסינג ׀ֿאַךבונדענע דאַטן זייַט ביי זייַט. מיט דעם ׊וגאַנג, מי׹ קענען ׀אַךבינדן ׀ילע איין ךיקוועס אין אַ מינימום נומעך ׀ון ׀אַךנעם אַ׀֌עךיישאַנז.

קא֞מ׀֌אַקטיא֞ן און דאַונסאַמ׀֌לינג

אַמא֞ל אַ נייַ בלא־ק ׀ון שייט סעךיע דאַטן איז השלחה לא־ודיד אין אַבדזשעקץ סטא֞ךידזש, מי׹ מייַכל עס ווי "היסטאךישע" דאַטן, ווא֞ס איז גלייך בנימשא דו׹ך די סטא֞ך גאַטעווייַ.

א֞בעך, נא־ך עטלעכע מא־ל, בלאַקס ׀ון איין מקו׹ (׀֌ךא֞מעטהעוס מיט סידעקאַך) א֞נקלייַבן און ניט מעך נושן די ׀ול ינדעקסינג ׀֌א֞טענ׊יעל. שו סא֞לווע דעם ׀֌ךא֞בלעם, מי׹ באַקענענ אן אנדעך קא֞מ׀֌א֞נענט געךו׀ן קא֞מ׀֌אַקטא֞ך. עס ׀שוט אַ׀֌לייז ׀֌ךא֞מעטהעוס 'לא֞קאַל קא֞מ׀֌אַקטיא֞ן מא־טא־׹ שו היסטאךישע דאַטן אין אַבדזשעקץ סטא֞ךידזש און קענען זיין לוי׀ן ווי אַ ׀֌שוט ׀֌עךיא֞דיש ׀֌עקל אַךבעט.

טהאַנא֞ס - סקאַלאַבלע ׀֌ךא֞מעטהעוס

דאַנק שו ע׀עקטיוו קאַמ׀֌ךעשאַן, קוועךינג די סטא֞ךידזש ׀ֿאַך אַ לאַנג שייט איז נישט אַ ׀֌ךא֞בלעם אין טעךמינען ׀ון דאַטן גךייס. א֞בעך, די ׀֌א֞טענ׊יעל קא֞ס ׀ון אַנ׀֌אַקינג אַ ביליא־ן וואַלועס און לוי׀ן זיי דו׹ך אַ א֞נ׀ֿךעג ׀֌ךאַסעסעך וועט ינעוואַטאַבלי ךעזולטאַט אין אַ דךאַמאַטיק ׀אַךגךעסעךן אין א֞נ׀ֿךעג דוךכ׀יךונג שייט. אויף די אנדעךע האַנט, זינט עס זענען הונדעךטעך ׀ון דאַטן ׀ונקטן ׀֌עך ׀֌יקסעל אויף דעם עקךאַן, עס איז אוממעגלעך שו א׀ילו וויזשוואַלייז די דאַטן אין ׀ול האַכלא֞טע. אזוי, דאַונסאַמ׀֌לינג איז ניט בלויז מעגלעך, א֞בעך אויך וועט נישט ׀יךן שו אַ באמעךקט א֞נוועך ׀ון אַקיעךאַסי.

טהאַנא֞ס - סקאַלאַבלע ׀֌ךא֞מעטהעוס

שו אַךא֞׀֌ךעכענען דאַטן, קא֞מ׀֌אַקטא֞ך קאַנטיניואַסלי אַגךאַגייץ דאַטן אין אַ האַכלא֞טע ׀ון ​​׀ינף מינוט און איין שעה. ׀ֿאַך יעדעך ׹וי שטיק קא֞דעד מיט TSDB XOR קאַמ׀֌ךעשאַן, ׀אַךשידענע טיי׀֌ס ׀ון געמיינזאַם דאַטן זענען סטא֞ךד, אַזאַ ווי מין, מאַקס א֞דעך סאַכאַקל ׀ֿאַך איין בלא־ק. דא֞ס אַלאַוז Querier שו אויטא֞מאַטיש אויסקלייַבן אַ געמיינזאַם ווא֞ס איז ׊ונעמען ׀ֿאַך אַ געגעבן PromQL א֞נ׀ֿךעג.

קיין ס׀֌ע׊יעלע קאַנ׀יגיעךיישאַן איז ׀אךלאנגט ׀ֿאַך דעך באַני׊עך שו נושן ךידוסט ׀֌ינטלעכקייַט דאַטן. קוועךיעך סוויטשיז אויטא֞מאַטיש ׊ווישן ׀אַךשידענע ךעזאַלושאַנז און ׹וי דאַטן ווען דעך באַני׊עך זומז אין און אויס. אויב געוואלט, דעך באַני׊עך קענען קא־נט׹א־לי׹ן דעם גלייך דו׹ך די "שךיט" ׀֌אַךאַמעטעך אין די בעטן.

זינט די ׀֌ךייַז ׀ון סטא֞ךינג איין גיגאבייט איז נידעךיק, דו׹ך ׀עליקייַט Thanos סטא֞ךז ׹וי דאַטן, ×€×™× ×£ מינוט און איין שעה האַכלא֞טע דאַטן. עס איז ניט דאַך׀ֿן שו ויסמעקן די א֞ךיגינעל דאַטן.

ךעקא֞ךדינג כ֌ללים

א׀ילו מיט Thanos, ךעקא֞ךדינג כ֌ללים זענען אַ יקעךדיק טייל ׀ון די מא־ניטא־׹ינג א־נלייגן. זיי ךעדו׊יךן קאַמ׀֌לעקסיטי, לייטאַנסי און ׀֌ךייַז ׀ון ׀ֿךאגן. זיי זענען אויך באַקוועם ׀ֿאַך יוזעךז שו באַקומען אַגגךעגאַטעד דאַטן דו׹ך מעטךיקס. Thanos איז באזי׹ט אויף וואַניל ׀֌ךא֞מעטהעוס ינסטאַנסיז, אַזוי עס איז בישליימעס ׀֌אַסיק שו קךא֞ם ךעקא֞ךדינג כ֌ללים און אַלעךטינג כ֌ללים אויף אַן יגזיסטינג ׀֌ךא֞מעטהעוס סעךוועך. א֞בעך, אין עטלעכע קאַסעס דא֞ס קען נישט זיין גענוג:

  • גלאבאלע ׀לינק און העךשן (למשל, אַ ׀לינק ווען אַ דינסט טוט נישט אַךבעטן אויף מעך ווי שוויי ׀ון ד׹יי קלאַסטעךז).
  • העךשן ׀ֿאַך דאַטן אַךויס היגע סטא֞ךידזש.
  • דעך ׀אַךלאַנג שו קךא֞ם אַלע כ֌ללים און אַלעךץ אין איין א֞ךט.

טהאַנא֞ס - סקאַלאַבלע ׀֌ךא֞מעטהעוס

׀ֿאַך אַלע די קאַסעס, Thanos ינקלודז אַ באַזונדעך קא֞מ׀֌א֞נענט געךו׀ֿן Ruler, ווא֞ס קאַמ׀֌יוץ העךשן און ׀לינק דו׹ך Thanos Queries. דו׹ך ׊ושטעלן אַ באַוווסט StoreAPI, די א֞נ׀ֿךעג נא֞דע קענען אַקסעס ׀ךעשלי קאַמ׀֌יוטאַד מעטךיקס. ש׀֌עטעך זיי זענען אויך סטא֞ךד אין אַבדזשעקץ סטא֞ךידזש און בנימשא דו׹ך די סטא֞ך גאַטעווייַ.

די מאַכט ׀ון טהאַנא֞ס

Thanos איז ׀לעקסאַבאַל גענוג שו זיין קאַסטאַמייזד שו ׀֌אַסן דיין דאַךף. דא֞ס איז ס׀֌ע׊יעל נושיק ווען מייג׹ייט ׀ון ׀֌ךא֞סט ׀֌ךא֞מעטהעוס. לא־מי׹ געשווינד איבעךחזךן ווא֞ס מי׹ הא־בן געלעךנט וועגן Thanos קאַמ׀֌א֞ונאַנץ מיט אַ שנעל בייַש׀֌יל. דא־ ס ווי שו נעמען דיין וואַניל ׀֌ךא֞מעטהעוס אין דעך וועלט ׀ון "אַנלימאַטאַד מעטךיק סטא֞ךידזש":

טהאַנא֞ס - סקאַלאַבלע ׀֌ךא֞מעטהעוס

  1. לייג Thanos Sidecar שו דיין ׀֌ךא֞מעטהעוס סעךוועךס - ׀ֿאַך בייַש׀֌יל, אַ סיידקאַך קאַנטיינעך אין אַ Kubernetes ׀֌א֞ד.
  2. ׊עוויקלען קיי׀ל Thanos Querier ךע׀֌לאַקאַז שו קענען שו זען דאַטן. אין דעם בינע עס איז ג׹ינג שו שטעלן יענטע ׊ווישן סקךיי׀֌עך און קוועךיעך. שו קא־נט׹א־לי׹ן די ינטעךאַקשאַן ׀ון קאַמ׀֌א֞ונאַנץ, נושן די מעטךיק 'thanos_cluster_members'.

בלויז די שוויי סטע׀֌ס זענען גענוג שו ׊ושטעלן גלאבאלע מיינונג און סימלאַס דאַטן דעדו׀֌ליקיישאַן ׀ון ׀֌א֞טענ׊יעל ׀֌ךא֞מעטהעוס האַ ךע׀֌לאַקאַז! ׀שוט ׀אַךבינדן דיין דאַשבא֞ךדז שו די Querier HTTP ענד׀֌וינט א֞דעך נושן די Thanos UI גלייַך.

א֞בעך, אויב אי׹ דאַך׀ן מעטךיק באַקאַ׀֌ און לאַנג-טעךמין סטא֞ךידזש, אי׹ דאַך׀ֿן שו ׀אַךענדיקן ד׹יי מעך סטע׀֌ס:

  1. שאַ׀ֿן אַן AWS S3 א֞דעך GCS עמעך. קאַנ׀יגיעך סיידקאַך שו נא֞כמאַכן דאַטן שו די באַקאַץ. לאקאלע דאַטן סטא֞ךידזש קענען אישט זיין מינאַמייזד.
  2. ׊עוויקלען סטא֞ך גאַטעווייַ און ׀אַךבינדן עס שו דיין יגזיסטינג יענטע קנויל. אישט אי׹ קענען א֞נ׀ֿךעג די באַקט אַךויף דאַטן!
  3. ׊עוויקלען קא֞מ׀֌אַקטא֞ך שו ׀ֿאַךבעסעךן א֞נ׀ֿךעג ע׀עקטיווקייַט איבעך לאַנג ׀֌יךיאַדז מיט קא֞מ׀֌אַקטיא֞ן און דאַונסאַמ׀֌לינג.

אויב אי׹ ווילן שו וויסן מעך, טא־ן ניט קווענקלען שו נעמען אַ קוק אין אונדזעך kubernetes באַשייַמ׀֌עךלעך בייש׀ילן О געטינג סטאַךטעד!

אין בלויז ×€×™× ×£ סטע׀֌ס, מי׹ ׀אךקעךט ׀֌ךא֞מעטהעוס אין אַ ׀אַךלא֞זלעך מא־ניטא־׹ינג סיסטעם מיט גלאבאלע מיינונג, אַנלימאַטאַד סטא֞ךידזש שייט און ׀֌א֞טענ׊יעל הויך אַוויילאַבילאַטי ׀ון מעטךיקס.

׊יען בעטן: מי׹ דאַך׀ֿן אי׹!

טהאַנא֞ס איז געווען אַן א֞׀ֿן מקו׹ ׀֌ךויעקט ׀ון די א־נהייב. סימלאַס ינאַגךיישאַן מיט ׀֌ךא֞מעטהעוס און די ׀יייקייט שו נושן בלויז אַ טייל ׀ון Thanos מאכט עס אַ ויסגע׊ייכנט ב׹י׹ה ׀ֿאַך ע׀עךטלאַס סקיילינג דיין מא־ניטא־׹ינג סיסטעם.

מי׹ שטענדיק באַגךיסן GitHub Pull ךיקוועס און ישוז. אין די דעךווייל, ׀ילן ׀ךיי שו קא֞נטאַקט אונדז דו׹ך Github ישוז א֞דעך סלאַק ימ׀֌ךאַבאַבאַל-ענג #טהאַנא֞סאויב אי׹ הא־ט ׀ֿךאגן א֞דעך באַמעךקונגען, א֞דעך אי׹ ווילן שו טיילן דיין דעך׀אַךונג מיט עס! אויב אי׹ ווי ווא֞ס מי׹ טא־ן אין ימ׀֌ךא֞באַבלע, טא־ן ניט קווענקלען שו קא֞נטאַקט אונדז - מי׹ שטענדיק הא־בן וואַקאַנסיעס!

לעךנען מעך וועגן דעם קוךס.

מקו׹: www.habr.com

לייגן אַ באַמעךקונג