áá»áœááºá¯ááºááá¯á·á¡ááœá²á·ááẠá ááºážáááºááŸá¯áá»á¬ážááᯠááŸá áºáááºáááºá Slurm áá áºáá¯á á®ááẠááááºá¡áá¬áá»á¬ážá áááºááŒáááºáá±á¬ áááºáá«ááá²áá² ááá¯ááºáá² á¡ááœá±á·á¡ááŒá¯á¶ááŸáá·áº áá±á¬ááºážááœááºá០ááá¯ááá¯áá±á¬ááºážááœááºáá±á¬ á¡ááœááºáá°ážááŒá±á¬ááºážááŸá¯á¡áá±á«áº áá±á¬ááºááŒááºáááºááŒááºáž ááŒá áºáááºá áá«áá±ááá·áº á¡áá° âááá¯ááºááá¯ááºáá±ážâ ááᯠááŒá áºááá¯ááºááá»áŸ á¡áá®ážá ááºáá¯á¶áž áá±ážááá¯ááºááẠáááºáááºážáá¬ážáá»á¬ážá á¡ááŒá±á¡áá±áá»á¬ážááᯠá¡ááŒáá·áºá¡á áá±á¬áºáááºá¡áá áºááᯠáá»áá·áºáá¯á¶ážááẠáá¯á¶ážááŒááºáá²á·áááºá
á¡áá°ážááŒááºáááºáááºáááºážáá¬áá¡ááœááºáž áá»áœááºá¯ááºááá¯á·áá¯ááºáá±á¬ááºáá²á·ááá·áºá¡áá¬áá»á¬ážááᯠá¡áá»ááºážáá»á¯á¶ážáá±á¬áºááŒáá«á- "áá«ááá¯á·áááºáá±á¬ááºá áá«ááá¯á·áá»áá¯ážáááºá ááŒá¯ááŒááºáááºá
áá«ááá¯á·áá±á·áá¬áá±áááºá" SRE ááẠáá®á¡áá¯áá®áá»áŸáá¬ááŒá
áºááŒá®áž áááºááœá±á·ááœááºáá¬á á
á
áºááŸááºáá±á¬ááŒá±ááŸááºážáááºážáá»á¬ážá ááŒá¿áá¬á¡á
á
áºá¡ááŸááºáá»á¬ážáá¬ááŒá
áºáááºá
Dmitry Anatolyevich áá á¶ááá°áá¬á¡ááá¯ááºáž áááºáá°áá áºáŠážáá áºáá±á¬ááºá០á¡áááºááá¯ááºá á±ááŒááºáž ááá¯á·ááá¯áẠâAngry Birdsâ ááᯠiPhone ááœááºááœáá·áºááŒááºážáááŒá¯ááẠááŒááºážáááºáá±á¬ááŒáá¯ááºááá¯ááºááŸá¯á áááºáá¬ááºááŒáá·áº áá«áááºáá°áá»á¬ážááᯠá¡ááœá²á·áá»á¬ážááœá²áá¬ážáááºá
ááŒá¿áá¬áá»á¬ážá áá»áá¯á·ááœááºážáá»ááºáá»á¬ážá áá»áá¯á·ááœááºážáá»ááºáá»á¬ážááŸáá·áº á¡áá¯ááºáá»á¬ážááᯠáááºážááŒáá±ážáŠážá០áááºáááºážáá¬ážáá»á¬ážá¡á¬áž áá¶á·ááá¯ážáá±ážáá²á·áá«áááºá Booking.com (áááºáá¬áááº) á០Principal Developer Ivan Kruglov Booking.com (USA) á០Principal Developer Ben Tyler Tungsten Labs (áá»á¬ááá®) á០CTO Eduard Medvedev Google (San Francisco) á០á¡ááœá±ááœá± developer Evgeniy Varavvaá
ááá¯á·á¡ááŒáẠáá«áááºáá°áá»á¬ážááẠá¡ááœá²á·áá»á¬ážááœá²á á¡áá»ááºážáá»ááºáž ááŸááºááŒáá¯ááºááŒáááºá á áááºáááºá á¬ážá áá¬áá¬áž?
á¡áá¯ááºáááºá áááºá Eduard ááŸáá·áº Evgeniy ááá¯á·ááẠááŒáá¯ááºááœá²áá
áááºáá®ááœáẠááá¬ážá
áá¬áá±á¬ááºážáá±á¬ Slurm SRE áá«áááºáá°áá»á¬ážááᯠááŒááºáá¬áá±á¬ áá®áááºáá«áá®áá»á¬ážááᯠá
áœá±áá¬ááŒáá·áº ááŒáá·áºááŸá¯áááºá
áá®áá±á¬á· áá¬áááº
áá«ááá¯á·áᬠáá«ááá¯á·áá²á·ááá¹áá¬áá áºááá¯áááºáá±á¬ááºáááº...
áá¯ááºááŸááºáááºááŸááºá á¯á ááºážááŸá¯ áááºááá¯ááºáá áºáá¯ááŸááá«áááºá (á¡áá°ážáááŒáá·áº áá±ááºáá®áááºážááŒá¬ážááŒá®áž áá¯ááºáá¶á·áá±á¬ ááŒá±á¬ááºááŒá±á¬ááºáááºážáááºáž áá®ááœááºáááºáá®ážááŸá¯ááᯠáááºáá°á០ááá«áááºáá±á¬áºáááºáž) á¡áá¯ááºáááŒá®ážáá® á¡ááŒá±á¡áá±ááœáẠáááºážááœáŸááºááá¬áá»á¬ážá áá®ááœááºáááºáá®ážáá²á·ááŒááºážááŒá áºááŒá®ážá ááá¯ááºáá áœááºážáá±á¬ááºáááºááᯠáááºááá áºá¡áá»áá¯ážáá»áá¯ážááŒáá·áº áá±á¬áºááŒáá¬ážáá«áááºá ááŒá¿áá¬áá»á¬ážááẠá¡ááœááºááœá²ááŒá¬ážááá¯ááºáááº- Moulin Rouge ááŒáá¬ááºá¡ááœáẠáááºááŸááºáá»á¬ážááᯠáá±áá¬áá±á·á áºáá²ááá¯á· ááááºáá«á áá¯ááºááŸááºááŸáá·áº áá»á±á¬áºááŒá±ááœá²áá»á¬ážá ááá¯á áá¬áá»á¬ážááᯠáá±áá¬áá±á·á áºáá²ááá¯á· 10 á áá¹ááá·áºáááºááá¯á áááºáá±ážáá«áááºá áá¯ááºááŸááºáá áºáá¯áá»ááºážá á®á áá±á¬áºááŒáá»ááºááẠá¡á±ážáá²ááœá¬ážáááºá ááŸá¬áá°ááŸá¯á 0,1% ááᯠááŒáá¯áááºááŸá¬áá¬ážááŒá®ážááŒá áºáááºá áá¶áááºáá¶áá« ááœá±áá±ážáá»á±ááŸá¯áá¯ááºáá±á¬ááºááá·áºá áá áºááẠáá áºáááá Ạááá¯á·ááá¯áẠááŸá áºáááá áºááá·áº áá»ááºááœá¬ážáá«áááºá Slurm SRE áá«áááºáá°ááẠáááºážá áááá·áºá¡áá¯ááºááœáẠáááŸá áºááŒáá¯á·ááœááºáá¬áá»á¬ážá áœá¬á
áá»áœááºá¯ááºááá¯á·ááẠáááºááá·áºá¡áá¬ááá¯áááᯠááá¯ááºááœááºááŒá±ááŸááºážááẠá¡áááºááá·áºááŒá
áºáá±áá«ááŒá®á
áá»áœááºá¯ááºááá¯á·á á áááºááŸááºáááºááá¯ááºááœáẠá¡áá±ážá á¬ážáááºáá±á¬ááºááŸá¯áá»á¬ážá áœá¬ áá«áááºáá«áááºá áááºážááá¬áááºááŸá¬ áá¯ááºááŸááºáá¯á¶á¡á¬ážáá¯á¶ážá០ááŸáá¯ážáá»á¬ážá áá±ážááŸá¯ááºážáá»á¬ážááŸáá·áº áááá¯ááºáá±á¬ááá¯ááºáá¯á¶áá»á¬ážááá¯ááºáᬠá¡áá»ááºá¡áááºáá»á¬ážááᯠá á¯á ááºážáááºááŒá áºááŒá®ážá áááºážááẠáá¯ááºááŸááºááŒá±ááŒá¬áá»ááºáá»á¬ážááᯠááŒáááŒááºážá áá¯ááºááŸááºáá¯á¶á ááŸáá¯ážá áááºážáááŸáá·áº áá±áá¬ááá¯á·ááᯠááœá±ážáá»ááºááá¯ááºá á±ááŒááºážá áááºááŸááºáá»á¬ážá¡ááœáẠááŒáá¯áááºá á¬áááºážááœááºážááŒááºážááŸáá·áº ááœá±áá±ážáá»á±ááŒááºážáá»á¬áž ááŒá¯áá¯ááºáááºááŒá áºáááºá áá±áá°áá»á¡á¬ážááŒáá·áºá ááŒáá·áºááŸá¯áá°ááẠá¡áááºáááºáá¬áááºááá¯ááºáá±á¬á¡áá¬áá»á¬ážááŒá áºáááºá ááá¯á·áá±á¬áº á¡áá¯á¶ážááŒá¯áá°ááẠááá¯ááºá¡ááœááºážá áááºááŒáááºááŸá¯ááŸáá·áº áááºáá±á¬ááºááá¯ááºááŸá¯ááá¯á·á¡ááœáẠááá¯ááºáááºážáá áºááá¯ááºááœá²á áááºááá¯á·ááŒá áºáá±áááºááá¯ááẠáá¶áááááŸááá«á
á¡áá°ážááŒááºáááºááá¯ááºá¡ááœááºá áá»áœááºá¯ááºááá¯á·ááẠSLOá SLIá SLA á¡ááœáŸááºážááááºážáá»á¬ážá áá®ááœááºáááºáá®ážáá¬ážáá±á¬ áááá¯áá¬ááá¬ááŸáá·áº á¡ááŒá±áá¶á¡áá±á¬ááºá¡á¡á¯á¶áá»á¬ážááᯠáá¯ááºáá±ážááŒá®ážá ááá¯ááºááᯠá¡áá¯á¶ážáá»ááŒááºážá á á±á¬áá·áºááŒáá·áºááŒááºážááŸáá·áº ááááá±ážááŒááºážááá¯á·ááᯠáááºááŸááºáá±ážáá«áááºá ááŒá®ážáá±á¬á· áá«ááá¯á·ááœá¬ážááŒáááºá
SLOá SLIá SLA
SLI - áááºáá±á¬ááºááŸá¯á¡ááá·áº á¡ááœáŸááºážáá»á¬ážá SLO áá»á¬ážááẠáááºáá±á¬ááºááŸá¯á¡ááá·áºáááºážááá¯ááºáá»á¬ážááŒá áºáááºá SLA - áááºáá±á¬ááºááŸá¯á¡ááá·áº ááá±á¬áá°áá®áá»ááºáá»á¬ážá
SLA ááẠáááºáá±á¬ááºááŸá¯áá áºáá¯á áá±á¬ááºáááºááŸáá·áº áááºážá áá±ážááœááºážáá°á¡ááŒá¬áž ááá¬ážááẠááá±á¬áá°áá®áá»ááºááᯠáááºááœáŸááºážááá·áº ITIL áááºážá áá Ạáá±á«áá¬áááŒá áºááŒá®áž áááºáá±á¬ááºááŸá¯á áá±á¬áºááŒáá»ááºá áá«áá®áá»á¬ážá á¡ááœáá·áºá¡áá±ážáá»á¬ážááŸáá·áº áá¬áááºááá¹ááá¬ážáá»á¬áž áá«áááºáá±á¬á á¡áá±ážá¡ááŒá®ážáá¯á¶ážááŸá¬á á€áááºáá±á¬ááºááŸá¯á¡ááœáẠááá±á¬áá°áá¬ážááá·áº á¡áááºá¡ááœá±ážá¡ááá·áºá áááºáá±á¬ááºááŸá¯á
SLO ááẠáááºáá±á¬ááºááŸá¯á¡ááá·áº áááºááŸááºážáá»ááº- SLI ááŒáá·áº ááá¯ááºážáá¬áá±á¬ áááºáá±á¬ááºááŸá¯á¡ááá·áºá¡ááœáẠáá áºááŸááºáááºááá¯áž ááá¯á·ááá¯áẠáááºááá¯ážáá»á¬áž á¡ááá¯ááºážá¡ááŒá¬ážáá áºáá¯ááŒá áºáááºá SLO á¡ááœáẠáá¯á¶ááŸááºáááºááá¯ážááẠ"SLI †áá áºááŸááº" ááá¯á·ááá¯áẠ"Lower Limit †SLI †Upper Limit" ááŒá áºáááºá
SLI ááẠáááºáá±á¬ááºááŸá¯á¡ááá·áº ááœáŸááºááŒáá»ááºáá áºáá¯âáá¶á·ááá¯ážáá±ážááá·áº áááºáá±á¬ááºááŸá¯á¡ááá·áºá ááŸá¯áá±á¬áá·áºáá áºáá¯á¡ááœáẠááá¯áá áá¯ááºáááºááŸááºáá¬ážáá±á¬ á¡áá±á¡ááœáẠá¡ááá¯ááºážá¡áá¬áá áºáá¯ááŒá áºáááºá áááºáá±á¬ááºááŸá¯á¡áá»á¬ážá á¯á¡ááœááºá áá±á¬á· SLI ááᯠáá±á¬ááºážááá¯ááŸá¯ latency á¡ááŒá ẠáááºááŸááºááẠ- áá±á¬ááºážááá¯áá»ááºáá áºáá¯á¡á¬áž áá¯á¶á·ááŒááºááŸá¯áá áºáá¯á¡ááœáẠá¡áá»áááºáááºáá»áŸááŒá¬ááŒá¬ á¡áá»áááºáá°ááááºá á¡ááŒá¬ážá¡áá¯á¶ážáá»á¬ážáá±á¬ SLI áá»á¬ážááœáẠáááºáá¶áááŸáááá·áº áá±á¬ááºážááá¯áá»ááºá¡á¬ážáá¯á¶ážá áá áºá áááºáá áºááá¯ááºážá¡ááŒá Ạáá±á¬áºááŒáá±á·ááŸáááá·áº á¡ááŸá¬ážá¡ááœááºážááŸá¯ááºážááŸáá·áº á áá áºááŒááºáááºážááŸá¯á¡á¬áž áá áºá áá¹ááá·áºáá»áŸáẠáá±á¬ááºážááá¯ááŸá¯áá»á¬ážááŒáá·áº ááá¯ááºážáá¬áá±á·ááŸááááºá
ááááá¯á¶ážá¡áá±áá²á· áá±áá¬ááºááœá±ááᯠáá»áá¯ážáá»ááºáááºá ááŒá®ážáá±á¬á· ááááºážááá±ážááœá±á ááŒá®ážáá±á¬á· ááááºážááá±ážááœá±...
á¡ááœááºážááá¯ááºážááŸáá·áº ááŒááºáá¡áá»ááºáá»á¬ážááẠSLO ááᯠááááááá áºá០á áááºá âá¡áá»ááºá¡á á®ážáá»á¬ážâ áá¬áááºá á¡áá¬á¡á¬ážáá¯á¶ážááẠá á®áá¶ááá·áºááœá²áá°ááŠážáá±á«ááºážâáá±á¬á·ááºáá²á¡ááºáá»ááºáá®áá¬á¡ááŸá¬ážáá»á¬ážá á¡ááŒá±áá¶á¡áá±á¬ááºá¡á¡á¯á¶áá»á¬áž áá»áá¯á·ááœááºážááŸá¯á á§áá·áºáááºáá»á¬ážáááºáá±á¬ááºáá¬ááŸá¯ááŸáá·áº DDoS ááá¯ááºááá¯ááºááŸá¯ááá¯á·á¡áá±á«áºááœáẠáá»áá±á¬ááºáá²á·áááºá ááá¯ááá¯ážáá¬á SLO áá«á
"- áá»á
áºááŸá
áœá¬áá±á¬áá«áááºáá°áá»á¬ážá áá«áááºážááá¯á
áááºáá»á±áááºá¡á±á¬ááºá¡áá»ááºá¡ááŒááºáá¯ááºáá«á áááºážáá»ááŸá¯á¶ážáá²á·ááááá¯á¶ážá¡áá¬á... á¡áá¬á¡á¬ážáá¯á¶ážáá«áá²á"
áááºážáá áºáá»áŸá±á¬ááºááœáẠáá±á¬ááŒá±á¬áá°áá»á¬ážááẠáááºááŒáááºááŸá¯á á¡ááŸá¬ážá¡ááœááºážáááºáá»ááºá á ááºážáááºáá±á·áá»áá·áºááŸá¯á á¡ááŸá±á¬áá·áºá¡ááŸááºáá»á¬ážááᯠá á®áá¶ááá·áºááœá²ááŒááºážááŸáá·áº áá¯ááºáááºážáááºáááºááŸá¯áááºááá¯á·ááᯠááœá±ážááœá±ážáá²á·ááŒáááºá
áá«ááá¯á·á áááºááá¬ážááá¯ááºáá°ážá áááºááá¬ážááá¯ááºáá°áž...
ááá¯á·áá±á¬áẠáá«áááºáá°áá»á¬ážááẠá¡áá¬áá»á¬ážááᯠá áááºááŒááºáááºááŒááẠ- á¡áááá¡áá»ááºááŸá¬ áááºááá·áºá¡áá¬ááᯠáŠážá áœá¬áááºážááááºááᯠáá¬ážáááºáááºááŒá áºáááºá
âááááºá áá®ááá¯áá¯á¶á
á¶áá²á· áá®ááá¯á¡áá±á¡áá¬ážáá»áá¯áž ááœá²ááœá¬ážáá¬ááᯠáá»áœááºáá±á¬áº áá
áºáá«á០áááŒááºáá°ážáá°ážáâ
áá®ááá¯áá²á· ááá±á¬áºááááŸá¯áá áºáᯠááŒá áºááœá¬ážáá²á·áá«áááºá ááœá±áá±ážáá»á±ááŸá¯ áá¯ááºáá±á¬ááºááŒááºáž áááºáá±á¬ááºááŸá¯ áá»áááºážááœá¬ážáá«áááºá á¡ááá¯áá¯á¶ážá¡áá»áááºá¡ááœááºáž áá¯ááºáá±á¬ááºááá¯ááºá áœááºážááᯠááŒááºáááºááá°ááẠáááºááá¯á·áá¯ááºáá±á¬ááºáááºáááºážá
áá»áœááºážáá»ááºáá°áá»á¬ážááẠáááºáááºážáá¬ážáá»á¬ážááᯠáá»á
áºáááºá
áœá¬ááŒáá·áºááŸá¯áᬠá¡ááŒá¬ážááŸáá·áºááœááºáá»á¬ážááᯠááŒááºáááºáá±ááŒáááºá
á¡ááœá²á·áá áºááœá²á·á á®ááẠááá±á¬áºááááŸá¯ááá»á±á¬ááºá á±ááẠá¡ááœá²á·áá¡áá¯ááºáá»á¬ážááᯠá á®á ááºáá±ážááẠ- áá¯ááºáá±á¬áºááá¯ááºáááºáá»á¬ážáá«áááºáááºá á áááºáááºá á¬ážáá±á¬áá«áá®áá»á¬áž (áááºááá¯ááºáá°áá»á¬áž) ááᯠá¡áááá±ážáááºá áá áºáá»áááºáááºážááŸá¬ááẠáŠážá á¬ážáá±ážáá»á¬áž áá»ááŸááºáá²á·áááºá á€áááºážá¡á¬ážááŒáá·áº áááºáááºážáá¬ážáá»á¬ážááẠá¡ááœááºá¡ááá·áºá¡áááºááŸááá±á¬ á¡áá»áááºá¡ááŒá±á¡áá±áá»á¬ážá¡á±á¬ááºááœáẠááá¡á¬ážáá»á¬ážá¡á±á¬ááºááœáẠá¡áá¯ááºáá¯ááºááẠáá±á·áá»áá·áºáááºááŒá¬ážáá±ážáá²á·áááºá
"áááºááá¯ááááºááá·áºá
áá¬ááœá± ááœááºáá¬áá¬áá²!"
ááŸá°áá¯ááºáá«... áá±á·áá»áá·áºáááºážááŒá®ážá¡á±á¬áẠáá¯ááºáá«á
á áá®áá¬áá»á¬ážááŸáá·áºá¡áá°á ááŒá¿áá¬áá áºáá¯á á®ááá¯ááŒá±ááŸááºážááŒá®áž ááá¯ááºááá¯áá¬áá®áááºááŒáááºááœá¬ážááŒá®ážáá±á¬ááºá á¡ááœá²á·ááẠá¡ááŒá áºá¡áá»ááºáá»á¬ážááᯠSRE ááŸá¯áá±á¬áá·áºá០áá±á·áá¬áá²á·áááºá áá»áœááºá¯ááºááá¯á·ááẠááŒá¿áá¬áá»á¬ážááᯠá¡áá±ážá áááºááœá²ááŒááºážá áááºááŒá¬ááŒá®áž - ááŒá áºááœá¬ážáááá·áºá¡ááŒá±á¬ááºážáááºážáá»á¬ážá áááºááŸá¬ážááŒááºážáááá¯ážáááºááŸá¯á ááá¯á·áá±á¬ááºááœááºá á¡ááœá²á·ááá¯ááºááŸáá·áºá á¯áá±á«ááºážá áááºážááá¯á·ááᯠáááºááá¯á·áá¬ážáá®ážááááºááᯠáá¯á¶ážááŒááºáá»ááºáá»á¬ážáá»áá²á·áááº- á á±á¬áá·áºááŒáá·áºááá¯ážáááºá¡á±á¬ááºááŒá¯áá¯ááºáááºážá áááá¯áá¬ááá¬ááᯠáá¬ááºááá¬ááŸáá áœá¬ááŒá±á¬ááºážáá²áááºážá ááœá¶á·ááŒáá¯ážááá¯ážáááºááŸá¯ááŸáá·áº áááºáááºááŸá¯áááºážáááºážááᯠáá»áááºááŸááááºážá á ááºážáá»á¥áºážá ááºážáááºážáá»á¬ážááᯠááŒá¯ááŒááºáááºážá áá±á¬ááŒá±á¬áá°áá»á¬ážá áááºááœá²á á áºáá±ážááŒááºáž á¡áá±á·á¡áá»áá·áºááᯠááá¯ááºááŒáá²á·ááŒáááºá
âáááºáá°á ááŸáááºá
ááºáá»ááºáá±ážáá²á - áá«!"
á¡áááºážáá»á¬ážá á¡á±á¬ááºááŒááºááŸá¯áá»á¬ážááᯠá¡á®áááºáááœááºážáá Ạá¡ááŸááºáá±ážááá¬ážááœáẠáááºážááŒááºá áœá¬ ááŸááºážáááºážá áœá¬ ááŸááºáááºážáááºáá¬ážáááºá
ááááá±áá¬áá»á¬ážá¡ááœáẠ- áááºááá¯ááºáá°áá»á¬ážáá¶á០áá¯ááŒá±ážááœá±á
source: www.habr.com