ווי וואָלט איר פילן אויב איין שיין זומער טאָג די דאַטן צענטער מיט דיין ויסריכט קוקט ווי דאָס?
א גוטן יעדער! מייַן נאָמען איז דמיטרי סאַמסאָנאָוו, איך אַרבעט ווי אַ לידינג סיסטעם אַדמיניסטראַטאָר אין "" די פאָטאָ ווייזט איינער פון די פיר דאַטן סענטערס ווו די ויסריכט וואָס דינען אונדזער פּרויעקט איז אינסטאַלירן. הינטער די ווענט עס זענען וועגן 4 טויזנט ויסריכט: סערווערס, דאַטן סטאָרידזש סיסטעמען, נעץ עקוויפּמענט, אאז"ו ו. - כּמעט ⅓ פון אַלע אונדזער ויסריכט.
רובֿ סערווערס זענען לינוקס. עס זענען אויך עטלעכע טוץ סערווערס אויף Windows (MS SQL) - אונדזער העריטאַגע, וואָס מיר האָבן סיסטאַמאַטיקלי פארלאזן פֿאַר פילע יאָרן.
אַזוי, אויף 5 יוני 2019 בייַ 14:35, ענדזשאַנירז אין איינער פון אונדזער דאַטן סענטערס געמאלדן אַ פייַער שרעק.
נעגאַטיאָן
14:45. מינערווערטיק רויך ינסאַדאַנץ אין דאַטן סענטערס זענען מער געוויינטלעך ווי איר טראַכטן. די ינדיקאַטאָרס ין די האַללס זענען נאָרמאַל, אַזוי אונדזער ערשטער אָפּרוף איז געווען לעפיערעך רויק: זיי ינטראָודוסט אַ פאַרבאָט אויף אַרבעט מיט פּראָדוקציע, דאָס איז, אויף קיין קאַנפיגיעריישאַן ענדערונגען, אויף ראָולינג אויס נייַ ווערסיעס, אאז"ו ו, אַחוץ פֿאַר אַרבעט שייַכות צו פיקסיר עפּעס.
צארן
האָבן איר אלץ געפרוווט צו געפֿינען אויס פון פייערפייטערז פּונקט ווו די פייַער איז געווען אויף די דאַך, אָדער זיך אַנטו אַ ברענען דאַך צו אַססעסס די סיטואַציע? וואָס וועט זיין דער גראַד פון צוטרוי אין אינפֿאָרמאַציע באקומען דורך פינף מענטשן?
קסנומקס: קסנומקס. מען האט באקומען אינפארמאציע אז די פייער קומט צו דער אויל סיסטעם. אבער וועט עס קומען? דער סיסטעם אַדמיניסטראַטאָר אויף פליכט רימוווז פונדרויסנדיק פאַרקער פון די פראַנץ פון דעם דאַטן צענטער.
דערווייַל, די פראַנץ פון אַלע אונדזער באַדינונגס זענען דופּליקייטיד אין דריי דאַטן סענטערס, באַלאַנסינג איז געניצט אויף די דנס מדרגה, וואָס אַלאַוז אונדז צו באַזייַטיקן די אַדרעס פון איין דאַטן צענטער פֿון די דנס, און דערמיט פּראַטעקטינג וסערס פון פּאָטענציעל פּראָבלעמס מיט אַקסעס צו סערוויסעס. . אויב פּראָבלעמס האָבן שוין פארגעקומען אין די דאַטן צענטער, עס לאָזן די ראָוטיישאַן אויטאָמאַטיש. איר קענט לייענען מער דאָ:
דער פייער האט אונז נאכנישט באטראפן אין קיין שום אופן - נישט די באנוצער און נישט קיין עקוויפּמענט זענען געשעדיגט געווארן. איז דאס אן עקסידענט? דער ערשטער אָפּטיילונג פון דעם דאָקומענט "אַקסידענט קאַמף פּלאַן" דיפיינז דעם באַגריף פון "אַקסידענט", און דער אָפּטיילונג ענדס ווי דאָס:
«אויב עס איז קיין צווייפל צי עס איז אַ צופאַל אָדער נישט, עס איז אַ צופאַל!»
14:53. א נויטפאַל קאָאָרדינאַטאָר איז באשטימט.
דער קאָאָרדינאַטאָר איז דער מענטש וואס קאָנטראָלירט קאָמוניקאַציע צווישן אַלע פּאַרטיסאַפּאַנץ, אַססעסס די וואָג פון דעם צופאַל, ניצט די עמערגענסי אַקשאַן פּלאַן, אַטראַקץ די נייטיק פּערסאַנעל, מאָניטאָרס די קאַמפּלישאַן פון ריפּערז, און רובֿ ימפּאָרטאַנטלי, דעלאַגייץ קיין טאַסקס. אין אנדערע ווערטער, דאָס איז דער מענטש וואָס מאַנידזשיז די גאנצע נויטפאַל ענטפער פּראָצעס.
מעציע
15:01. מיר אָנהייבן צו דיסייבאַל סערווערס וואָס זענען נישט שייַכות צו פּראָדוקציע.
15:03. מיר קער אַוועק אַלע רעזערווירט באַדינונגס ריכטיק.
דאָס ינקלודז ניט בלויז פראַנץ (וואָס ביז איצט ניצערס ניט מער אַקסעס) און זייער אַגזיליערי באַדינונגס (געשעפט לאָגיק, קאַטשעס, אאז"ו ו), אָבער אויך פאַרשידן דאַטאַבייסיז מיט רעפּלאַקיישאַן פאַקטאָר 2 אָדער מער (, , , וכו').
קסנומקס: קסנומקס. מען האט באקומען אינפארמאציע אז א פייער סטראשעט איינע פון די דאטא צענטער זאלן. מיר טאָן ניט האָבן ויסריכט אין דעם צימער, אָבער דער פאַקט אַז די פייַער קענען פאַרשפּרייטן פון די דאַך צו די האַללס זייער ענדערונגען די בילד פון וואָס ס געשעעניש.
(עס האט זיך שפעטער ארויסגעוויזן אז עס איז נישטא קיין פיזישע סכנה פארן זאל, ווייל עס איז הערמעטיש פארמאכט געווארן פונעם דאך. די סכנה איז געווען נאר פאר די אויל סיסטעם פון דעם זאל).
15:07. מיר לאָזן באַפֿעלן דורכפירונג אויף סערווערס אין אַקסעלערייטיד מאָדע אָן נאָך טשעקס ().
15:08. די טעמפּעראַטור אין די האַללס איז ין נאָרמאַל לימאַץ.
קסנומקס: קסנומקס. אַ פאַרגרעסערן אין טעמפּעראַטור אין די האַללס איז רעקאָרדעד.
15:13. מער ווי האַלב פון די סערווערס אין די דאַטן צענטער זענען אויסגעדרייט אַוועק. לאָמיר פאָרזעצן.
15:16. א באַשלוס איז געמאכט צו קער אַוועק אַלע ויסריכט.
15:21. מיר אָנהייבן צו קער אַוועק מאַכט צו סטאַטעלעסס סערווערס אָן ריכטיק פאַרמאַכן אַראָפּ די אַפּלאַקיישאַן און אָפּערייטינג סיסטעם.
15:23. א גרופּע פון מענטשן פאַראַנטוואָרטלעך פֿאַר MS SQL איז אַלאַקייטיד (עס זענען ווייניק פון זיי, די אָפענגיקייַט פון סערוויסעס אויף זיי איז נישט גרויס, אָבער די פּראָצעדור פֿאַר ריסטאָרינג פאַנגקשאַנאַליטי נעמט מער און איז מער קאָמפּליצירט ווי, למשל, קאַססאַנדראַ).
דעפּרעסיע
קסנומקס: קסנומקס. מען האָט באַקומען אינפֿאָרמאַציע וועגן די מאַכט איז אויסגעדרייט אין פיר האַללס פון 16 (נומער 6, 7, 8, 9). אונדזער ויסריכט איז ליגן אין האַללס 7 און 8. עס איז קיין אינפֿאָרמאַציע וועגן אונדזער צוויי האַללס (נומער 1 און 3).
יוזשאַוואַלי, בעשאַס Fires, די מאַכט צושטעלן איז מיד אויסגעדרייט, אָבער אין דעם פאַל, דאַנק צו די קאָואָרדאַנייטיד אַרבעט פון פייערפייטערז און טעכניש פּערסאַנעל פון די דאַטן צענטער, עס איז נישט אויסגעדרייט אַוועק אומעטום און נישט מיד, אָבער ווי נייטיק.
(עס איז שפּעטער דיסקאַווערד אַז די מאַכט איז נישט אויסגעדרייט אַוועק אין האַללס 8 און 9.)
15:28. מיר אָנהייבן צו צעוויקלען MS SQL דאַטאַבייסיז פֿון באַקאַפּס אין אנדערע דאַטן סענטערס.
ווילאנג וועט עס נעמען? איז עס גענוג נעץ קאַפּאַציטעט פֿאַר די גאנצע מאַרשרוט?
קסנומקס: קסנומקס. א שאַטדאַון פון עטלעכע טיילן פון דער נעץ איז רעקאָרדעד.
פאַרוואַלטונג און פּראָדוקציע נעץ זענען פיזיקלי אפגעזונדערט פון יעדער אנדערער. אויב די פּראָדוקציע נעץ איז בארעכטיגט, איר קענט גיין צו די סערווער, האַלטן די אַפּלאַקיישאַן און קער אַוועק די אַס. אויב עס איז נישט בנימצא, איר קענען קלאָץ אין דורך IPMI, האַלטן די אַפּלאַקיישאַן און קער אַוועק די אַס. אויב עס איז קיין פון די נעטוואָרקס, איר קענען נישט טאָן עפּעס. "דאנק, קאַפּ!", איר וועט טראַכטן.
"און אין אַלגעמיין, עס איז אַ פּלאַץ פון בעהאָלע," איר קען אויך טראַכטן.
די זאַך איז אַז סערווערס, אַפֿילו אָן אַ פייַער, דזשענערייט אַ ריזיק סומע פון היץ. גענוי, ווען עס איז דא א קילונג, שאפן זיי היץ, און ווען עס איז נישטא קיין קילונג, שאפן זיי א גיהנום גיהנום, וועלכער וועט, אין בעסטער, צעשמעלצן טייל פון די עקוויפּמענט און אפשלאגן נאך א טייל, און אין ערגסט... פייַער ין די זאַל, וואָס איז כּמעט געראַנטיד צו צעשטערן אַלץ.
15:39. מיר פאַרריכטן פּראָבלעמס מיט די קאָנף דאַטאַבייס.
די קאָנף דאַטאַבייס איז די באַקענד פֿאַר די דינסט מיט די זעלבע נאָמען, וואָס איז געניצט דורך אַלע פּראָדוקציע אַפּלאַקיישאַנז צו געשווינד טוישן סעטטינגס. אָן דעם באַזע, מיר קענען נישט קאָנטראָלירן די אָפּעראַציע פון דעם טויער, אָבער דער טויער זיך קענען אַרבעטן.
15:41. טעמפּעראַטור סענסאָרס אויף קאָר נעץ ויסריכט רעקאָרדירן רידינגז נאָענט צו די מאַקסימום ערלויבט. דאָס איז אַ קעסטל וואָס אַקיאַפּייז אַ גאַנץ געשטעל און ינשורז די אָפּעראַציע פון אַלע נעטוואָרקס אין די דאַטן צענטער.
15:42. אַרויסגעבן טראַקער און וויקי זענען אַנאַוויילאַבאַל, באַשטימען צו סטאַנדביי.
דאָס איז נישט פּראָדוקציע, אָבער אין פאַל פון אַ צופאַל, די אַוויילאַבילאַטי פון קיין וויסן באַזע קען זיין קריטיש.
15:50. איינער פון די מאָניטאָרינג סיסטעמען איז אויסגעמעקט.
עס זענען עטלעכע פון זיי, און זיי זענען פאַראַנטוואָרטלעך פֿאַר פאַרשידענע אַספּעקץ פון די סערוויסעס. עטלעכע פון זיי זענען קאַנפיגיערד צו אַרבעטן אָטאַנאַמאַסלי אין יעדער דאַטן צענטער (דאָס איז, זיי מאָניטאָר בלויז זייער אייגענע דאַטן צענטער), אנדערע צונויפשטעלנ זיך פון פונאנדערגעטיילט קאַמפּאָונאַנץ וואָס טראַנספּעראַנט בלייַבנ לעבן די אָנווער פון קיין דאַטן צענטער.
אין דעם פאַל עס פארשטאפט ארבעטן , וואָס אַפּערייץ אין בעל-סטאַנדביי מאָדע. סוויטשט צו סטאַנדביי.
קינדער
15:51. אַלע סערווערס אַחוץ MS SQL זענען אויסגעדרייט אַוועק דורך IPMI אָן פאַרמאַכן אַראָפּ ריכטיק.
זענט איר גרייט פֿאַר מאַסיוו סערווער פאַרוואַלטונג דורך IPMI אויב נייטיק?
דער מאָמענט ווען די ראַטעווען פון ויסריכט אין די דאַטן צענטער איז געענדיקט אין דעם בינע. אַלץ וואָס מען האָט געקענט טאָן איז געטאָן געוואָרן. עטלעכע חברים קענען רוען.
קסנומקס: קסנומקס. עס איז באקומען אינפֿאָרמאַציע אַז פראָאָן פּייפּס פון לופט קאַנדישאַנערז פּלאַצן אויף די דאַך - דאָס וועט פאַרהאַלטן די קאַטער פון די דאַטן צענטער נאָך די פייַער איז ילימאַנייטאַד.
16:19. לויט צו דאַטן באקומען פון טעכניש שטעקן פון די דאַטן צענטער, די פאַרגרעסערן אין טעמפּעראַטור אין די האַללס איז סטאַפּט.
17:10. די קאָנף דאַטאַבייס איז געזונט. איצט מיר קענען טוישן די אַפּלאַקיישאַן סעטטינגס.
פארוואס איז דאָס אַזוי וויכטיק אויב אַלץ איז שולד-טאָלעראַנט און אַרבעט אפילו אָן איין דאַטן צענטער?
ערשטער, ניט אַלץ איז שולד-טאָלעראַנט. עס זענען פארהאן פארשידענע צווייטיק סערוויסעס וואס האבן נאך נישט גענוג גענוג איבערגעלעבט א דאטן צענטער דורכפאל, און עס זענען דא דאטאבאסן אין בעל-סטאנדבי מאָדע. די פיייקייט צו פירן סעטטינגס אַלאַוז איר צו טאָן אַלץ נייטיק צו מינאַמייז די פּראַל פון די קאַנסאַקווענסאַז פון אַ צופאַל אויף ניצערס אפילו אין שווער טנאָים.
צווייטנס, עס איז געווארן קלאָר אַז די אָפּעראַציע פון די דאַטן צענטער וועט נישט זיין גאָר געזונט אין די קומענדיק שעה, אַזוי עס איז נייטיק צו נעמען מיטלען צו ענשור אַז די לאַנג-טערמין אַנאַוויילאַביליטי פון רעפּלאַקאַז קען נישט פירן צו נאָך קאָפּדרייעניש אַזאַ ווי פול דיסקס אין די רוען דאַטן סענטערס.
17:29. פּיצאַ צייט! מיר נוצן מענטשן, נישט ראָובאַץ.
רעהאַביליטאַטיאָן
18:02. אין זאַלן נומער 8 (אונדזער), 9, 10 און 11 די טעמפּעראַטור איז סטייבאַלייזד. איינער פון די וואָס בלייבט אָפפלינע (נומער 7) הייזער אונדזער ויסריכט, און די טעמפּעראַטור דאָרט האלט צו העכערונג.
18:31. ז ײ האב ן געגעב ן דע ר בלײבונ ג צ ו אנהויב ן ד י עקוויפּמענט ן אי ן ד י זאל ן 1 או ן 3 — ד י דאזיק ע זאַל ן זײנע ן ניש ט באטראכ ט געװאר ן פו ן דע ר פײער .
דערווייַל, סערווערס זענען לאָנטשט אין האַללס נומ 1, 3, 8, סטאַרטינג מיט די מערסט קריטיש אָנעס. די ריכטיק אָפּעראַציע פון אַלע פליסנדיק באַדינונגס איז אָפּגעשטעלט. עס זענען נאָך פּראָבלעמס מיט זאַל נומ 7.
18:44. די טעכנישע שטאב פונעם דאטן צענטער האט אנטדעקט אז אין צימער 7 (וואו איז נאר אונזער עקוויפּמענט) זענען פילע סערווערס נישט אויסגעלאשן. לויט אונדזער דאַטן, 26 סערווערס בלייבן דאָרט אָנליין. נאָך אַ צווייט טשעק, מיר געפֿינען 58 סערווערס.
20:18. טעקנישאַנז פון די דאַטן צענטער בלאָזן לופט דורך אַ ונאַ לופט-קאַנדישאַנד פּלאַץ דורך רירעוודיק דאַקץ וואָס לויפן דורך די כאָלווייז.
23:08. דער ערשטער אַדמין איז געשיקט אַהיים. עמעצער דאַרף שלאָפן בייַ נאַכט צו פאָרזעצן צו אַרבעטן מאָרגן. ווייַטער, מיר וועלן מעלדונג עטלעכע מער אַדמיניסטראַטאָרס און דעוועלאָפּערס.
02:56. מיר לאָנטשט אַלץ וואָס קען זיין לאָנטשט. מיר טאָן אַ פּלאַץ פון קאָנטראָלירונג פון אַלע סערוויסעס מיט אָטאַמאַטיק טעסץ.
03:02. לופטקילונג אין די לעצטע, 7 זאַל איז געזונט.
03:36. מיר געבראכט די פראַנץ אין די דאַטן צענטער אין ראָוטיישאַן אין דנס. פון דעם מאָמענט באַניצער פאַרקער הייבט צו אָנקומען.
מיר שיקן רובֿ פון די אַדמיניסטראַטיווע מאַנשאַפֿט היים. אבער מיר לאָזן אַ ביסל מענטשן הינטער.
קליין FAQ:
ק: וואָס געטראפן פון 18:31 צו 02:56?
א: נאָך דעם "דיזאַסטער אַקשאַן פּלאַן", מיר קאַטער אַלע באַדינונגס, סטאַרטינג מיט די מערסט וויכטיק אָנעס. אין דעם פאַל, דער קאָאָרדינאַטאָר אין די שמועסן אַרויסגעבן די דינסט צו אַ פריי אַדמיניסטראַטאָר, וואָס טשעקס צי די אַס און אַפּלאַקיישאַן האָבן סטאַרטעד, צי עס זענען קיין ערראָרס און צי די ינדיקאַטאָרס זענען נאָרמאַל. נאָך די קאַטער איז געענדיקט, ער ריפּאָרץ צו די שמועסן אַז ער איז פריי און באַקומען אַ נייַע דינסט פון די קאָאָרדינאַטאָר.
דער פּראָצעס איז ווייַטער סלאָוד אַראָפּ דורך ניט אַנדערש ייַזנוואַרג. אפילו אויב סטאָפּפּינג די אַס און פאַרמאַכן אַראָפּ די סערווערס זענען ריכטיק, עטלעכע סערווערס טאָן ניט צוריקקומען רעכט צו פּלוצעמדיק דורכפאַל פון דיסקס, זכּרון און שאַסי. ווען מאַכט איז פאַרפאַלן, די דורכפאַל קורס ינקריסיז.
ק: פארוואס קענען איר נישט נאָר לויפן אַלץ אין אַמאָל, און דעמאָלט פאַרריכטן וואָס קומט אַרויף אין מאָניטאָרינג?
א: אַלץ מוזן זיין געטאן ביסלעכווייַז, ווייַל עס זענען דיפּענדאַנסיז צווישן סערוויסעס. און אַלץ זאָל זיין אָפּגעשטעלט גלייך, אָן ווארטן פֿאַר מאָניטאָרינג - ווייַל עס איז בעסער צו האַנדלען מיט פּראָבלעמס רעכט אַוועק, אָן ווארטן פֿאַר זיי צו פאַרערגערן.
7:40. דער לעצטער אַדמיניסטראַטאָר (קאָאָרדינאַטאָר) איז געגאנגען צו בעט. ד י ערשט ע טא ג ארבעט , אי ז פארענדיק ט געװארן .
8:09. דער ערשטער דעוועלאָפּערס, דאַטן צענטער ענדזשאַנירז און אַדמיניסטראַטאָרס (אַרייַנגערעכנט די נייַע קאָאָרדינאַטאָר) אנגעהויבן רעסטעריישאַן אַרבעט.
09:37. מי ר האב ן אנגעהויב ן אויפהײב ן זאל ן 7 (דע ר לעצטע) .
אין דער זעלביקער צייט, מיר פאָרזעצן צו ומקערן וואָס איז נישט פאַרפעסטיקט אין אנדערע רומז: ריפּלייסינג דיסקס / זיקאָרן / סערווערס, פיקסיר אַלץ וואָס "ברענט" אין מאָניטאָרינג, באַשטימען ראָלעס צוריק אין בעל-סטאַנדביי סקימז און אנדערע קליין זאכן, פון וואָס עס זענען פונדעסטוועגן גאַנץ אַ פּלאַץ.
17:08. מיר לאָזן אַלע רעגולער אַרבעט מיט פּראָדוקציע.
21:45. די אַרבעט פון די צווייט טאָג איז געענדיקט.
09:45. היינט איז פרייטאג. עס זענען נאָך גאַנץ אַ ביסל קליין פּראָבלעמס אין מאָניטאָרינג. די אָפּרוטעג איז פאָרויס, אַלעמען וויל צו אָפּרוען. מיר פאָרזעצן צו מאַסיוו פאַרריכטן אַלץ מיר קענען. רעגולער אַדמיניסטראַטאָר טאַסקס וואָס קען האָבן געווען פּאָוסטפּאָונד זענען פּאָוסטפּאָונד. דער קאָאָרדינאַטאָר איז נייַ.
15:40. פּלוצלינג האַלב פון די קאָר נעץ עקוויפּמענט אָנלייגן אין אן אנדער דאַטן צענטער ריסטאַרטיד. פראַנץ זענען גענומען אויס פון ראָוטיישאַן צו מינאַמייז ריזיקירן. עס איז קיין ווירקונג פֿאַר יוזערז. שפעטע ר הא ט זי ך ארויסגעװיזן , א ז ס׳אי ז געװע ן א פעלערהאפט ע שאסי . דער קאָאָרדינאַטאָר איז ארבעטן אויף פאַרריכטן צוויי אַקסאַדאַנץ אין אַמאָל.
17:17. נעץ אָפּעראַציע אין אן אנדער דאַטן צענטער איז געזונט, אַלץ איז אָפּגעשטעלט. די דאַטן צענטער איז שטעלן אין ראָוטיישאַן.
18:29. די אַרבעט פון די דריט טאָג און, אין אַלגעמיין, די רעסטעריישאַן נאָך דעם צופאַל איז געענדיקט.
אַפטערוואָרד
04.04.2013, , "קלאסמייץ" — דרײ טעג איז דער טויער אין גאנצן אדער טײלװײז נישט פאראן. איבער די גאנצע צייט, מער ווי 100 מענטשן פון פאַרשידענע שטעט, פֿון פאַרשידענע קאָמפּאַניעס (אַ דאַנק ווידער!), רימאָוטלי און גלייַך אין דאַטן סענטערס, מאַניואַלי און אויטאָמאַטיש, ריפּערד טויזנטער פון סערווערס.
מיר האָבן געצויגן קאַנקלוזשאַנז. כד י צ ו פארמייד ן דא ס זא ל װידע ר ניש ט פאסירן , האב ן מי ר בי ז הײנטיק ן טא ג דורכגעפיר ט או ן װײטע ר דורכגעפירט .
וואָס זענען די הויפּט דיפעראַנסיז צווישן דעם קראַנט צופאַל און 404?
- מיר האָבן אַ "אַקסידענט קאַמף פּלאַן". אַמאָל אַ פערטל, מיר פירן עקסערסייזיז - מיר ראָלע-שפּיל אַ נויטפאַל סיטואַציע, וואָס אַ גרופּע פון אַדמיניסטראַטאָרס (אַלע אין קער) מוזן עלימינירן ניצן די "עמערגענסי אַקשאַן פּלאַן". לידינג סיסטעם אַדמיניסטראַטאָרס נעמען טורנס פּלייינג די ראָלע פון קאָאָרדינאַטאָר.
- קאָרטערלי, אין פּראָבע מאָדע, מיר יזאָלירן דאַטן סענטערס (אַלע אין קער) דורך לאַן און וואַן נעטוואָרקס, וואָס אַלאַוז אונדז צו גלייך ידענטיפיצירן באַטאַלנעקס.
- ווייניקערע דאַמידזשד דיסקס, ווייַל מיר האָבן טייטאַנד די סטאַנדאַרדס: ווייניקערע אַפּערייטינג שעה, שטרענגערע שוועל וואַלועס פֿאַר S.M.A.R.T.,
- מיר גאָר פארלאזן BerkeleyDB, אַן אַלט און אַנסטייבאַל דאַטאַבייס וואָס פארלאנגט אַ פּלאַץ פון צייט צו צוריקקריגן נאָך אַ סערווער ריסטאַרט.
- מיר רידוסט די נומער פון סערווערס מיט MS SQL און רידוסט אָפענגיקייַט אויף די רוען.
- מיר האָבן אונדזער אייגן , וווּ מיר האָבן אַקטיוולי מייגרייטיד אַלע סערוויסעס פֿאַר צוויי יאָר איצט. דער וואָלקן זייער סימפּלאַפייז די גאנצע ציקל פון ארבעטן מיט די אַפּלאַקיישאַן, און אין די געשעעניש פון אַ צופאַל עס גיט אַזאַ יינציק מכשירים ווי:
- ריכטיק האַלטן פון אַלע אַפּלאַקיישאַנז אין איין גיט;
- גרינג מייגריישאַן פון אַפּלאַקיישאַנז פון ניט אַנדערש סערווערס;
- אָטאַמאַטיק ראַנגקט (אין סדר פון בילכערקייַט פון באַדינונגען) קאַטער פון אַ גאַנץ דאַטן צענטער.
דער עקסידענט דיסקרייבד אין דעם אַרטיקל איז געווען דער גרעסטער זינט די 404 טאָג. פֿאַרשטייט זיך, אַז אַלץ איז נישט געווען גלאַטיק. פֿאַר בייַשפּיל, בעשאַס די אַנאַוויילאַביליטי פון אַ פייער-דאַמאַדזשד דאַטן צענטער אין אן אנדער דאַטן צענטער, אַ דיסק אויף איינער פון די סערווערס איז דורכפאַל, דאָס איז, בלויז איינער פון די דריי רעפּלאַקאַז אין די קאַססאַנדראַ קנויל איז געווען צוטריטלעך, וואָס איז וואָס 4,2% פון רירעוודיק. אַפּלאַקיישאַן יוזערז קען נישט קלאָץ אין. אין דער זעלביקער צייט, שוין קאָננעקטעד ניצערס פאָרזעצן צו אַרבעטן. אין גאַנץ, ווי אַ רעזולטאַט פון דעם צופאַל, מער ווי 30 פּראָבלעמס זענען יידענאַפייד - פון באַנאַל באַגז צו שאָרטקאָמינגס אין די סערוויס אַרקאַטעקטשער.
אבער די מערסט וויכטיק חילוק צווישן דעם קראַנט צופאַל און די 404 איז אַז בשעת מיר האָבן ילימאַנייטאַד די קאַנסאַקווענסאַז פון די פייַער, יוזערז זענען נאָך טעקסטינג און געמאכט ווידעא קאַללס צו , געשפילט שפּילערייַ, צוגעהערט צו מוזיק, געגעבן יעדער אנדערע מתנות, וואָטשט ווידיאס, טעלעוויזיע סעריע און טעלעוויזיע טשאַנאַלז אין , און אויך סטרימד אין .
ווי טאָן דיין אַקסאַדאַנץ גיין?
מקור: www.habr.com