webinar ááœáẠáá¶á·áá»ááºážáá±á¬á¡áá¶áá«áá±á¬ááŒá±á¬áá·áº áá»áœááºá¯ááºááá¯á·á áááºážááᯠáá°ážáá°áá¬ážáá«áááºá
áá»áœááºáá±á¬á·áºáá¬áááºá Medvedev Eduard áá«á áá®áá±á·áá±á¬á· SRE ááá¯áᬠáá¬áá²á SRE áá±á«áºáá¬áá¯á¶á SRE á¡ááºáá»ááºáá®áá¬ááœá±á¡ááœáẠá¡áá¯ááºáááºááŸááºáá»ááºááœá±á áá¬ááœá±áá²á áá¯á¶ááŒááºá
áááºáá»áááŸá¯ á
á¶ááŸá¯ááºážááœá±á¡ááŒá±á¬ááºáž á¡áááºážáááºá áá°á·áá²á· á
á±á¬áá·áºááŒáá·áºááŸá¯á¡ááŒá±á¬ááºáž á¡áááºážááẠááŒá±á¬ááŒáá«áááºá áá
áºáá¬áá®á¡ááœááºáž á¡áá»á¬ážááŒá®ážáááŒá±á¬ááá¯ááºáá¬ááŒá±á¬áá·áº á¡áá±á«áºáááºááᯠáá»áŸá±á¬ááºááœá¬ážáá«áááºá áá«áá±ááá·áº áááºáá±á¬ááºážáá¯á¶ážáááºáá»ááºá¡ááœáẠáá
á¹á
ááºážááœá± áááºáá±ážáá«áááºá á¡á¬ážáá¯á¶ážá ááá·áºááᯠá
á±á¬áá·áºáá»áŸá±á¬áºáá±áá«áááº
áŠážá áœá¬ SRE ááá¯áááºááŸá¬ Site Reliability Engineering ááá¯áá¬ááᯠááŒá±á¬ááŒáá·áºáá¡á±á¬ááºá áá®ážááŒá¬áž áááºáááºáá»ááºá¡ááŒá ẠáááºááŸá¬ážáá¬áá¯á¶á áá®ážááŒá¬ážáŠážáááºáá»ááºá ááá¬ážááá¯ážáá» ááœá¶á·ááŒáá¯ážááá¯ážáááºáá±áž á¡ááá¯ááºážá¡ááá¯ááºážááœáẠDev ááŸáá·áº Ops ááẠáá¯á¶ážáááœá²ááŒá¬ážáá±á¬ á¡ááœá²á·ááŸá áºááœá²á·ááŒá áºááŒá®áž áá»á¬ážáá±á¬á¡á¬ážááŒáá·áº áá¯á¶ážáááœá²ááŒá¬ážááŒá¬ážáá¬ážáá±á¬ áááºážááá¯ááºááŸá áºáá¯ááŒáá·áº á áááºáá²á·ááŒááºáž ááŒá áºáááºá ááœá¶á·ááŒáá¯ážááá¯ážáááºáá±ážá¡ááœá²á·á áááºááŸááºážáá»ááºááŸá¬ á¡ááºá¹áá«áááºá¡áá áºáá»á¬ážááᯠáá¯ááºááœáŸááºááŒá®áž áá¯ááºáááºážáááá¯á¡ááºáá»ááºáá»á¬ážááᯠááŒáá·áºáááºážáá±ážáááºááŒá áºáááºá Ops á¡ááœá²á·á áááºááŸááºážáá»ááºááŸá¬ á¡áá¬á¡á¬ážáá¯á¶áž á¡áááºááŒá±ááŒá®áž áááºááá·áºá¡áá¬á០áá»ááºááŒá¬ážááœá¬ážááŒá±á¬ááºáž áá±áá»á¬á á±ááẠááŒá áºáááºá áááºááŸá¬ážáááºááŸá¬á á€áááºážááá¯ááºáá»á¬ážááẠáá áºáá¯ááŸáá·áºáá áºáᯠááá¯ááºááá¯ááºááá·áºáá»ááºáááºááŒá áºáááº- á¡áá¬á¡á¬ážáá¯á¶ážááẠá¡áá¯ááºááŒá áºááá¯ááºááŒá®áž áá»ááºááŒá¬ážááœá¬ážá á±áááºá¡ááœááºá á¡ááºá¹áá«áááºá¡áá áºáá»á¬ážááᯠáááºááá¯ááºááá»áŸáááºážáááºážáá¯ááºáá«á ááá¯á·á¡ááœááºááŒá±á¬áá·áºá ááᯠDevOps áá¯áá±á«áºáá±á¬ áááºážáááºážááᯠááŒá±ááŸááºážááẠááŒáá¯ážá á¬ážáá±ááá·áº ááŒááºááœááºážáááááá¹ááá»á¬ážá áœá¬ ááŸááá«áááºá
ááŒá¿áá¬ááŸá¬ áá»áœááºá¯ááºááá¯á·ááœáẠDevOps á ááŸááºážáááºážááŒááºáá¬ážáá±á¬ á¡áááá¹áá«ááºááœáá·áºááá¯áá»ááºááŸáá·áº DevOps á ááŸááºážáááºážá áœá¬ á¡áá±á¬ááºá¡áááºáá±á¬áºááŸá¯ áááŸááá«á ááœááºáá²á·áá±á¬ 2 ááŸá áºá Yekaterinburg ááŸáááœááºáááá·áºáá áºáá¯ááœááºáá»áœááºáá±á¬áºááŒá±á¬áá²á·ááŒá®ážááá¯á¡áá»áááºá¡áá DevOps ááá¹áááẠ"DevOps áá¬áá²" á¡á á®áááºáá¶á á¬ááŒáá·áºá áááºáá²á·áááºá 2017 ááœááºá Devops ááẠ10 ááŸá áºáá®ážáá«ážááŸáááŒá®ááŒá áºáá±á¬áºáááºážáááºážáááºáá¬ááŒá áºáááºááá¯áá»áœááºá¯ááºááá¯á·ááŒááºážáá¯á¶áá±áá²ááŒá áºáááºá Google á ááœááºáá²á·áá²á· ááŸá áºá¡áááºážáááºá ááŒá±ááŸááºážááá¯á· ááŒáá¯ážá á¬ážáá²á·áá²á· á¡ááœááºáá°ážáááºážáá²á· á¡ááŒá±á¡áá±áá áºáá¯áá«á
2016 áá¯ááŸá áºááœáẠGoogle ááẠSite Reliability Engineering á¡áááºááŸá á á¬á¡á¯ááºáá áºá¡á¯ááºááᯠáá¯ááºááŒááºáá²á·áááºá ááááºáá±á¬á· SRE ááŸá¯ááºááŸá¬ážááŸá¯ á áááºáá²á·áá¬á áá®á á¬á¡á¯ááºáá²á·áá«á SRE ááẠáá®ážááŒá¬ážáá¯áá¹ááá®áá áºáá¯ááŸá DevOps áá«áá¬ááá¯ááºážá áááá»áá±á¬á¡áá±á¬ááºá¡áááºáá±á¬áºááŸá¯áá áºáá¯ááŒá áºáááºá SRE á¡ááºáá»ááºáá®áá¬áá»á¬ážááẠá áá áºáá»á¬ážááᯠáá¯á¶ááŒááºá áááºáá»á áœá¬ áááºáááºááá¯ááºá á±ááẠáááááŒá¯áá«áááºá áááºážááá¯á·ááẠá¡áá»á¬ážá á¯ááŸá¬ developer áá»á¬ážááŸááŒá áºááŒá®áž áá áºáá«áá áºáá¶ááœáẠááá¯ááºáá¬áá±á¬ááœá¶á·ááŒáá¯ážááŸá¯áá±á¬ááºáá¶ááŸááá±á¬ á á®áá¶ááá·áºááœá²áá°áá»á¬ážááŒá áºáááºá ááá¯á·á¡ááŒáẠáááºážááá¯á·ááẠá áá áºá á®áá¶ááá·áºááœá²áá°áá»á¬áž áá¯ááºáá±á¬ááºáá±á·ááŸáááá·áºá¡ááá¯ááºáž áá¯ááºáá±á¬ááºááŒáá±á¬áºáááºáž áá¯ááºáá ááºážáááºážáá»ááºáá»á¬ážá á áá áºááá¯ááºáᬠááœá¶á·ááŒáá¯ážááá¯ážáááºááŸá¯ááŸáá·áº á¡ááááá¬ááá¯ááºáᬠááá¯ááºáá¬áá±á¬ áá±á¬ááºáá¶ááẠá€áá°áá»á¬ážááẠáá¯á¶ááŸáẠá á®áá¶ááá·áºááœá²áá±ážááá¯ááºáᬠá¡áá¯ááºáá»á¬ážááᯠáááŸá áºáááºáá² á¡ááá¯á¡áá»á±á¬ááºá áá áºááá¯á· áá°ážááŒá±á¬ááºážááá¯ááŒáááºáá°áá±á¬ á¡áá»ááºááᯠáŠážáááºá á±áááºá
SRE á¡ááœá²á·áá»á¬ážááŸá DevOps áá«áá¬ááá¯ááºážááᯠáááºáá±á¬ááºáá¯á¶ááá¯ááºáá¬ááŒá¿áá¬áá»á¬ážááá¯ááŒá±ááŸááºážáá±ážáá±á¬ SRE á¡ááºáá»ááºáá®áá¬áá»á¬ážááŸááááºáá°áá±á¬á¡áá»ááºááŒáá·áº á¡áá±á¬ááºá¡áááºáá±á«áºáá¬áá«áááºá á€áááºááŸá¬á áá°áá»á¬ážááŒá±á¬áá±ááŒááá·áº Dev ááŸáá·áº Ops á¡ááŒá¬áž áá°áá®áá±á¬áá»áááºáááºááŸá¯ááẠ8 ááŸá áºááŸáááŒá®ááŒá áºáááºá SRE á á¡áááºážááá¹áááẠá¡áá áºáááºáá¬áá°áá»á¬áž SRE áá»á¬ážáááŒá áºá á±ááẠáááá¯áá¬ááá¬ááŸááºáá áºáŠážááŸáá·áº áááºáá°áááºá á¡áááºááœá±ážáááºážááŒá±á¬ááºážáá¡á ááœáẠáá°áá»á¬ážááẠá¡ááœá±á·á¡ááŒá¯á¶áááŸáááŒáá±ážá ááá¯á¡ááºáá±á¬ á¡ááááá¬á¡áá»ááºá¡áááºážáááŸáááŒáá«á á¡áááºááŒá±á¬áá·áºááá¯áá±á¬áº SRE ááẠáááºááá·áºá¡áá»áááºááŸáá·áº á¡ááá¡áá» ááŸá¬ážááœá¬ážááá¯ááºáááºááᯠá¡ááá¡áá» áááááá¯ááºáá±á¬ááŒá±á¬áá·áº ááŒá áºáááºá ááá¯á·ááŒá±á¬áá·áº áá¯áá¹ááá®á¡ááœááºážáá±á¬ á¡ááŒááºááŸá¬áá« á ááºážáááºážá¡ááá¯ááºáž á€áá±áá¬ááœáẠá¡ááœá±á·á¡ááŒá¯á¶á¡áá»áá¯á· ááá¯á¡ááºáá«áááºá
SRE ááŸáá·áº devops á¡ááŒá¬áž ááŒá¬ážáá¬ážáá»ááºááᯠáá±á¬áºááŒáááºáá¬ážáᯠáá±ážááŒáááºá áá°ááᬠáá¯áá áá±á¬áºááŒáá¶áá²á·ááá«áááºá á¡ááœá²á·á¡á ááºážááŸá SRE ááá±áá¬á¡ááŒá±á¬ááºážááᯠáá»áœááºá¯ááºááá¯á·ááŒá±á¬ááá¯ááá¯ááºáá«áááºá Ops ááẠáá®ážááŒá¬ážáá¬áááŒá áºáá±áá²ááŒá áºáá±á¬ á€ááá¹áááẠDevOps áá»ááºážáááºáááºážááŸáá·áºááá°áá²á SRE ááẠááœá¶á·ááŒáá¯ážááá¯ážáááºáá±ážá¡ááœá²á·á áá áºá áááºáá áºááá¯ááºážááŒá áºáááºá áá°ááá¯á·áᬠáá¯ááºáá¯ááºááœá¶á·ááŒáá¯ážááá¯ážáááºáá±ážááŸá¬ áá«áááºáááºáááºáá±áá«áááºá SRE ááẠáá±á¬á·ááºáá²á¡ááºáá»ááºáá®áá¬áá áºáŠážá០áá±á¬ááºáá áºáŠážááá¯á· ááœáŸá²ááŒá±á¬ááºážáá±ážááá·áº á¡áááºážááá¹ááá áºáá¯ááẠááŒá áºáááºá áááºážááá¯á·ááẠá¥ááá¬á¡á¬ážááŒáá·áº UX áá®ááá¯ááºáá¬áá»á¬ážá áá±á¬á·ááºáá²áá±ážáá¬ážáá°áá»á¬ážá áá áºáá«áá áºáᶠáá¯ááºáá¯ááºáááºáá±áá»á¬áá»á¬ážáá²á·ááá¯á·ááẠáá¯ááºááŒááºáááºáá¯á¶ážáááºááŒááºážááœáẠáá«áááºááŒáááºá SRE áá»á¬ážááẠáá°áá®áá±á¬á¡ááá·áºááœáẠá¡áá¯ááºáá¯ááºáá«áááºá áááºážááá¯á·ááᯠá¡áááºááŒá¯ááẠááá¯á¡ááºáááºá áááºážááá¯á·ááᯠááŒááºáááºáá¯á¶ážáááºááẠááá¯á¡ááºáááºá ááá¯á·ááŒá±á¬áá·áº ááŒáá·áºáá»ááºááŸá¯áá áºáá¯á á®á¡ááœáẠSRE á០"áá±á¬ááºážááŒá®á á€ááŒáá·áºáá»ááºááŸá¯áááºá á€áá¯ááºáá¯ááºááẠáá¯á¶ááŒááºá áááºáá»áááŸá¯ááᯠááááá¯ááºá á±áááºááá¯ááºáá«á ááá¯ááá¯á·ááŒá áºáá»áŸáẠáááºáá¶ááá¯ááºáá±á¬ááºáá±á¬ ááá·áºáááºáá»ááºáá»á¬ážá¡ááœááºážá áá®á¡ááŒá±á¬ááºážááá¯áááºáž ááŒá±á¬áá«áááºá
ááá¯á·ááŒá±á¬áá·áº SRE ááẠáá¯ááºááá¯ááŒá±á¬ááºážáá²ááẠáá®ááá¯á¡á¬áá¬ááŸááááºá áá±áá¯áá»á¡á¬ážááŒáá·áºá áááºážááẠSRE ááᯠááœá²ááŸá¬ážá áœá¬ á¡áá±á¬ááºá¡áááºáá±á¬áºáá«á áá±ážáááºáá±á¬ áááááá¹ááá»á¬ážááᯠááŒá áºáá±á«áºá á±áá«áááºá Site Reliability Engineering á¡ááŒá±á¬ááºáž áá áºá¡á¯ááºáááºážááœááºá á¡á áááºá¡ááá¯ááºážáá»á¬ážá áœá¬ááẠá€áááááá¹ááá»á¬ážááᯠáááºááá¯á·ááŸá±á¬ááºááŸá¬ážááááºááᯠááŒá±á¬ááŒáá¬ážáááºá
SRE á ááááºážá¡áá»ááºá¡ááẠáá¯á¶ááŒá¯á¶áá±ážáá²á· áááºááᯠáááºáááºáá² áá±ážááŒáááºá SRE ááẠááááºážá¡áá»ááºá¡ááẠáá¯á¶ááŒá¯á¶áá±ážááœáẠááá¯ááºááá¯áẠáááºáááºááŸá¯ áááŸááá«á á¡ááŒá±áá¶á¡á¬ážááŒáá·áºá áá¯áá¹ááá®ááŒá®ážáá»á¬ážááœáẠáááºážááᯠáá áºáŠážáá»ááºážá á ááºážáááºáá°áá»á¬ážá áá±á·áá¬áá¯á¶ážáááºáá°áá»á¬ážá០áá¯ááºáá±á¬ááºáááºá ááá¯á·áá±á¬áº SRE ááẠá¡áá»áá¯á·áá±á¬ áá¯ááºáá±á¬ááºáá»ááºáá»á¬ážá á¡áá»áá¯á·áá±á¬ áááááááºááŒá¯ááŸá¯áá»á¬ážá áá¯á¶ááŒá¯á¶áá±ážááᯠááááá¯ááºá á±áá±á¬ á¡áá»áá¯á·áá±á¬ ááŒáá·áºáá»ááºááŸá¯áá»á¬ážááẠáá¯ááºáá¯ááºááááŸáááá¯ááºááŸá¯ááᯠááááá¯ááºá á±áááºáᯠá¡áááá¹áá¬ááºááŒáá·áº áááºážááá¯á·ááŸáá·áº á¡ááŒááºá¡ááŸáẠáá¯á¶á·ááŒááºáá«áááºá ááá¯á·ááŒá±á¬áá·áº SRE áá áºáá¯áá¯á¶ážááẠá¡áá²áááºáá°áá»á¬ážá¡áá«á¡ááẠáá¯á¶ááŒá¯á¶áá±ážá¡ááœá²á·áá»á¬ážá¡áá«á¡ááẠáááºááá·áºá¡ááœá²á·áá»á¬ážááŸáá·áºáááᯠá¡ááŒááºá¡ááŸááºáááºááœááºááŸá¯ááŸááá«áááºá ááá¯á·ááŒá±á¬áá·áºá áááºážááá¯á·ááẠDevOps ááᯠá¡áá±á¬ááºá¡áááºáá±á¬áºááẠááŒáá¯ážáááºážáá±áá»áááºááœáẠSREs áá»á¬ážááᯠá¡áááááá¯á¡ááºáá±á¬áºáááºáž áá áºáá»áááºáááºážááœáẠdeveloper áá»á¬ážá¡ááœáẠáááºáá¯ááºáááºááá¯ážááẠá¡ááœááºááŒá®ážáá¬ážáá¬áááºá ááá¯ááá¯áááºááŸá¬á ááœá¶á·ááŒáá¯ážááá¯ážáááºáá±ážá¡ááœá²á·ááá¯ááºááá¯ááºá ááá¯á¡áá« áááºážááá¯á·ááẠOps á¡ááœááºáááºáž áá¬áááºáá°áááºááá¯á¡ááºáááºáá°áá±á¬á¡áá»ááºááᯠááá¯ááºááœááºááŒá±ááŸááºážááá¯ááºá áœááºážáááŸááá±á¬á·áá«á áá®ážááŒá¬ážá¡áááºáž ááá¹ááááºáž ááŸááá«áááºá á€á¡áááºážááá¹áááᯠáááºáá»ááºááœáẠá á®á ááºáá¬ážáá«áááºá áá áºáá«áá áºáá¶ááœáẠá€á¡áááºážááá¹áááᯠá¡ááœá²á·áá¡ááœááºá¡á á¬ážááœáẠáá»áá¬ážáááºá áá®ážááŒá¬ážáá°áá áºáŠáž áá±á«áºáá¬áááºá áá áºáá«áá áºáá¶ááœáẠáá±á¬á·ááºáá²áá±ážáá¬ážáá° áá áºáŠážááŒá áºáá¬áááºá á€áááºááŸá¬ á¡ááœá²á·ááœáẠááááá¯á¶áž SRE áá±á«áºáá¬áá¯á¶ááŒá áºáááºá
SRE ááŒá±á¬áá·áº ááááá¯ááºááá·áº á áá áºá ááŸá¯ááºááœá±ážááŸá¯á áááºáááºááŸá¯á áá¯á¶ááŒááºá áááºáá»áááŸá¯ááᯠááááá¯ááºá á±áá±á¬ ááŸá¯ááºááœá±ážááŸá¯ááẠááá¯á¡ááºááŒá®áž ááá±á¬áºáá ááŒá áºáááºá ááá¯á¡ááºáá±á¬ ááŸá¯ááºááœá±ážááŸá¯ááẠáá¯ááºáá¯ááºáá áºáá¯á ááŸá¯ááºááœá±ážááŸá¯ááẠáá¯ááºáá¯ááºá¡áá áºáá»á¬ážá ááá¯á¡ááºááá·áºá¡ááá¯ááºážá¡áá¬á¡áá ááá¯ážáá¬áá±á¬á¡áá«ááŒá áºáááºá áá»áááºážááŸá¯ááºááœá±ážááŸá¯ááẠá áá áºáááŸá¯ááºááœá±ážááŸá¯áá»á¬áž ááá¯ážáá¬áá±á¬á¡áá«ááœááºá ááá¯á·áá±á¬áº áá¯ááºáá¯ááºá¡ááºá¹áá«áááºááŸáá·áº áá¯ááºáááºážááá¯á¡ááºáá»ááºáá»á¬ážááẠáááºážááᯠááá¯ááºááá¯ááºá¡áá»áá¯ážáááºáá±á¬ááºááŒááºážáááŸááá«á áá±á¬á·ááºáá²á¡ááºáá»ááºáá®áá¬ááẠáá áºáá±áá¬áá¬ááœáẠá¡ááŸá¬ážáá¯ááºááááẠááá¯á·ááá¯áẠá¡ááºáááá¯áá®áááºááẠá¡áá±á¬ááºážááœááºáá¯á¶ážááá¯ááºáá«á ááá¯á·ááá¯áẠá¡áá°ážáááá¯á¡ááºáá² áá¯ááºáá¯ááºáááŸá¯ááºááœá±ážááŸá¯ááᯠááá¯ážáá¬á á±ááá·áº áá±á¬ááºáááºá áááºáááºá á¬ážááŸá¯áá»á¬ážá¡áá»áá¯á·ááᯠááááºáááºááá¯ááºáá«áááºá áá±á¬ááºážáá±á¬ SRE ááẠá€á¡ááŒá±á¡áá±ááᯠá¡ááŒá²ááŒááºááá·áºáááºá ááá¯ááá¯áááºááŸá¬á áááºááá·áºáááááááºá ááŒáá·áºáá»ááºááŸá¯á ááœá²áááºáá±á¬ááºážááá¯ááŸá¯áááá¯á áá»áááºážáááºááá¯ážááŸá¯ááŒá±á¬áá·áºá¡áááºá¡áá²ááá¯ážáá¬áá«áááááºááá¯á·ááá·áºáááºá
áá±ážá áá¬ááŸá¬ á¡ááºáá»ááºáá®áá¬áá áºáŠážá á¡áááºážááœáẠááá¯áá¯ááá»á¬ážá áœá¬ááŸááá±á¬ á áá áºá á®áá¶ááá·áºááœá²áá°ááᯠá¡áááºááŒá±á¬áá·áº áááŸá¬ážáááááºážá á¡ááºáá»ááºáá®áá¬áá áºáŠážá á¡áááºážááá¹áááœáẠáá±á¬á·ááºáá²áá±ážáá¬ážáá°ááẠá¡áá±á¬ááºážáá¯á¶ážáá±á¬ áááºáááºážáá»á¬ážá¡ááœáẠááŒá±ááŸááºážáá»ááºááá¯ááºááŒá±á¬ááºáž áá»áœááºá¯ááºááá¯á·ááŒá±á¬ááŒáá«áááºá á¡ááºáá»ááºáá®áá¬áá áºáŠážá á¡áááºážááá¹áááœáẠáá±á¬á·ááºáá²áá±ážáá¬ážáá°ááẠá¡ááŒá²áááºáž á¡áá±á¬ááºážáá¯á¶áž áááºáááºážááŒá±ááŸááºážáá»ááºááá¯ááºáá±á¬áºáááºážá á€áá±áá¬ááœáẠááá¯ááá¯áááºááŸá¬ Ops ááœáẠáá«áááºáá±ááá·áº developer ááẠá¡ááá¯á¡áá»á±á¬ááºá áá áºá¡ááœáẠá¡áááºážááẠááá¯áááá¹áááŸáááŒá®áž á¡áá±á¬ááºá¡áááºáá±á¬áºáááºá¡ááœáẠá¡ááááá¬á¡áááºážáááºááŸáá·áº áá»áœááºážáá»ááºááŸá¯áá áºáá¯ááŸááááºá á€á¡ááá¯á¡áá»á±á¬ááºá áá áºá ááá¯á·ááŒá±á¬áá·áºá áá»áœááºá¯ááºááá¯á·ááẠá¡áá»áá¯á·áá±á¬áá¯ááºáááºážáá±á¬ááºáá¬áá»á¬ážá¡ááœáẠá¡áá»áááºáá¬áá áá¯ááºááá¯ážáá¯ááºá ááºáá¬áá MTTR (Mean Time To Recoveryá ááŒááºáááºááá°áá»áááº) áá²á·ááá¯á·áá±á¬ á¡áá±ážááŒá®ážáá±á¬ áá¯ááºáááºážááá·áºáááºáá»ááºáá»á¬ážáááºážáá«ááŸááá«áááºá ááá¯á·ááŒá±á¬áá·áºá áá»áœááºá¯ááºááá¯á·ááẠá€á¡ááŒá±á¬ááºážá¡áááºážáááºááŒá¬áá±á¬á¡áá«ááœááºáááºáž áá»áœááºá¯ááºááá¯á·ááẠá¡ááœá²á·á¡á ááºážá¡ááœáẠááœá±á á¯áá«áááºá
ááᯠSRE á áá¯ááºáá±á¬ááºááŸá¯ááá¯ááºáᬠá á¶áááºááŸááºáá»ááºáá»á¬ážá¡ááŒá±á¬ááºáž ááœá±ážááœá±ážááŒáá«á áá¯á·á ááááá¯á¶ážá¡áá±áá²á· áá¯á¶ááŒááºá áááºáá»áááŸá¯á¡ááŒá±á¬ááºážáá«á áá¯áá¹ááá®áááºáá»á¬ážá startup áá»á¬ážááœáẠá ááºáá±á¬ááºááŸá¯ááá¯áá±á¬ááºážááœááºá áœá¬áá±ážáá¬ážáá«áá áá¯ááºáá¯ááºááá¯áá±á¬ááºážááœááºááŸááºáááºá áœá¬áá±ážáá¬ážáá«áá áááºážáááºá¡áá¯ááºáá¯ááºáááá·áºáááºá áá»ááºáááºááá¯ááºááŒá±á¬ááºážáá°áá»á¬ážááá°ááá±á·ááŸááááºá áá«áá²á áá»áœááºáá±á¬áºááá¯á· áá¯ááºáá±á¬ááºážáá±á¬ááºážáá±ážáá²á·á¡ááœáẠáá»ááºá áá¬áááŸááá«áá°ážá áá¯ááºáááºá¡ááœááºááá¯ážááŸááºážáááºá áá»áá¯ážáá»ááºáááºáá¬áá»áŸáááŸááá«á áá«ááœá±á áá«ááá¯á· á á¬áá±ážááœá²ááœá± áááá¯á¡ááºáá°áž ááá¯á· ááŒá±á¬áá²á·áá°ááœá± á¡ááŒá±á¬ááºáž á ááŒáá·áºáá«á áá«ááœá±á VPI áááºážáááºáž áá¯á¶ážáá»áá¯áž ááá¯á·ááá¯á· áá®ááŸá¬ ááœá²áá±áá¬á
áá«ááœá±á¡á¬ážáá¯á¶ážááŸá¬ážáá¬áá±á¬á· áá¯ááºáá«áááºá ááŒá®ážáá±á¬á· áá®áá°ááœá±á áá¯ááºááœá± áá»ááºááœá¬ážááá¯á· áááºááœá±á·ááŸá¬ ááá¯ááºáá±á·ááŸááááºá á¡áá¬áá»á¬ážááẠááá«ááá¶ááœáẠááá·áºááŸááºážáááá±á¬ áááºážáááºážáá»á¬ážááŒáá·áº ááœá²ááœá¬ážáááºáááºá áá áºáá«ááá± áá°ááœá±á ááá¯ááºáá°ážááá¯á· ááŒá±á¬ááẠáááºáá±á¬á·á០ááŒá áºááá¬áá°ážá áá áºáá»áááºáá¯á¶ážááŒá áºáá»ááºá áááŒá¬ááááŒá áºáááºááẠá á¡áááºááŒá±á¬áá·áºááá¯áá±á¬áº 100% áááŸáááá¯ááºááŸá¯ááẠáááºááá·áºá¡áá«áá»áŸáááŒá áºááá¯ááºáá±á¬ááŒá±á¬áá·áº áááºáá°áá»áŸ 100% áááŸáááá¯ááºááẠááŒáá¯ážáááºážáá±ááŒááºážáááŸááá±á áá«á á á¶áá«á ááá¯á·ááŒá±á¬áá·áº áá»áœááºá¯ááºááá¯á·ááẠáááºáá±á¬ááºááŸá¯áá áºáá¯ááááŸáááá¯ááºááŸá¯á¡ááŒá±á¬ááºážááŒá±á¬áá±á¬á¡áá«ááœáẠáá»áœááºá¯ááºááá¯á·ááẠááá¯ážáá¯á¡ááŒá±á¬ááºážááᯠá¡ááŒá²ááŒá±á¬áá±áá«áááºá á ááá¯ážá á ááá¯ážá á ááá¯ážá á ááá¯ážá áááºážááᯠá ááºáááºáá»áááºá¡ááŒá Ạáá¬áá¬ááŒááºááá¯áá«á á¥ááá¬á 2 ááá¯ážá ááá¯á·áá±á¬áẠáá áºááŸá áºáá»áŸáẠ3 áááá áºááẠá¡áááºážáááºááá¯á á ááºáááºáá»ááẠ4 ááá¯ážááẠ5 áááºááŒá áºáááºá
ááá¯á·áá±á¬áº áá áºáá»áááºáá»áááºááœáẠPOI á áááºážááŸá®ážááŒáŸá¯ááºááŸá¶ááŸá¯á¡áá±á«áº ááŒááºá¡ááºážááœá± áá»á±á¬á·áááºážááœá¬ážáááºááŸá¬ áááºááŸá¬ážáá«áááºá ááá¯ážááá¯ážááŸá áºá០áá¯á¶ážááá¯ážááá¯á·ááœá¬ážááŒááºážááẠ3 áááºáááºááá¯á á ááºáááºááœá¬ážááŒááºážááᯠááá¯ááá¯áááºá áá±ážááá¯ážá០áá«ážáá¯ááá¯á·ááœá¬ážááŒááºážááẠáá áºááŸá áºáá»áŸáẠ47 áááá áºááŒáá·áº á ááºáááºáá±áá«áááºá á á®ážááœá¬ážáá±ážá¡ááœááºááá±á¬á· áá áá¯ážááááºááá°ážááá¯á· ááœááºáá¬áááºá áá±áá°áá»á¡á¬ážááŒáá·áº ááá¯á¡ááºáá±á¬ áá¯á¶ááŒááºá áááºáá»áááŸá¯ááẠáááºážááá¬ááá¯ááºáá¬ááŒá¿áá¬ááá¯ááºáá«á áááá¡áá»ááºááŸá¬á áááºážááẠá á®ážááœá¬ážáá±ážááŒá¿áá¬ááŒá áºááŒá®áž áá¯ááºáá¯ááºááŒá¿áá¬ááŒá áºáááºá áá¯ááºáá¯ááºá¡áá¯á¶ážááŒá¯áá°áá»á¬ážá¡áá±ááŒáá·áº áááºááá·áºá¡ááá·áºááᯠáááºáá¶ááá¯ááºááááºážá áááºážááá¯á·áá»áŸá±á¬áºááá·áºáá¬ážááá·áºá¡áá¬á áááºáá»áŸáá±ážáá»á±ááááºá á¥ááá¬á ááœá±áááºáá»áŸáá¯á¶ážááŸá¯á¶ážáááºá á áá áºáááœá±áááºáá»áŸáá¯á¶ážááŸá¯á¶ážáááºááᯠáááºáá¶ááá¯ááºáááºá
á€áá±áá¬ááœáẠá¡áá±ážááŒá®ážáá±á¬áá±ážááœááºážááŸá¬ áá»ááºá¡á
áááºá¡ááá¯ááºážáá»á¬ážá áá¯á¶ááŒááºá
áááºáá»áááŸá¯áá¬áž á¡áááºáááºážá á¡áááºááŒá±á¬áá·áºááá¯áá±á¬áº 4 ááŸáá·áº 5 2 á¡ááŒá¬áž ááŒá¬ážáá¬ážáá»ááºááᯠáá¯á¶ááŒááºá
áááºáá»áááŸá¯ 10 ááá¯ážáá¯ááŸáááá·áº á
áááºáá¯ááºážááœáẠááŒááºááá¯ááºáááºááá¯ááºáá«á á¡ááŒááºážáá»ááºážááŒá±á¬ááá»áŸáẠááá·áºáááºáá±á¬ááºááŸá¯ááœáẠá
áááºáá¯ááºážáá
áºáá¯á¶ážááœáẠáá
áºááŸá
áºáá»áŸáẠ8 ááŒááẠáá»ááºááœá¬ážáá«á OS áááºááœáẠááŒáá¯ááœá²ááŸá¯ XNUMX ááŒááẠááŒá
áºááá¯ááºááŒá±áá»á¬ážáá«áááºá á¡áá¯á¶ážááŒá¯áá°ááẠá€á¡áá¬ááᯠá¡áá¯á¶ážááŒá¯ááŒá®áž áá
áºááŸá
áºáá»áŸáẠáá
áºááŒááẠáááºáá¶á¡á¬áá¯á¶á
áá¯ááºáááºááá¯ááºáá«á áá¯á¶ááŒááºá
áááºáá»áááŸá¯ ááá¯ážáá¬ááŒááºážááŸáá·áº á¡ááŒááºáá»á¬áž ááá¯ážáá¬ááŒááºážá áá±ážááŸá¯ááºážááᯠáááºá
ááºááẠááá¯á¡ááºáá«áááºá
SRE á
á¬á¡á¯ááºááœáẠ4 ááá¯ážá០3 ááá¯ážááá¯á· ááá¯ážááŒááºážá á¥ááá¬áá±á¬ááºážáá
áºáá¯ááŸááááºá áááŸáááá¯ááºááŸá¯ ááá¯ážáá¬ááŸá¯ááẠ0,1% ááẠá¡áááºážáááºáááºážááŒá±á¬ááºáž ááœá±á·ááŸáááá±áááºá á¡áááºá áááºáá±á¬ááºááŸá¯á áááºááœá±ááŸá¬ áá
áºááŸá
áºáá»áŸáẠáá±á«áºáᬠá áááºážááŒá
áºáá«áá áááºááœá± ááá¯ážáá¬áááºááŸá¬ áá±á«áºáᬠááá ááŒá
áºáááºá ááá¯ážáá¯ááŒáá·áº áááºááá¯ááºááŸá¯ ááá¯ážááŒáá·áºááẠáá
áºááŸá
áºáá»áŸáẠáá±á«áºáᬠááá á¡á±á¬ááºáᬠáá¯ááºáá»áá«áá ááá¯ážáá¬ááŒááºážááẠááœá±ááŒá±ážá¡ááœáẠá¡áááá¹áá¬ááºááŸááááºá áá
áºááŸá
áºáá»áŸáẠáá±á«áºáᬠááá ááẠááá¯áá¯ááºáá»áá«á áááºááœá±ááá¯ážáá¬ááŒááºážááẠá¡áá¯ááºááá¬ážá
ááááºá á¡áááºážá¡ááŒá
áºáá¯ááºáá»á
ááááºáá»á¬ážááᯠáá»á±á¬áºááŒá±ážááá±ážáá±á¬ááŒá±á¬áá·áº á¡áááá¹áá¬ááºáááŸááá±á¬á·áá«á ááŒá®ážáá±á¬á· á ááá¯áž á áá«ááá¯á·á¡ááœáẠáá¯á¶áá±á¬ááºáááá·áºáááºá
á€áááºááŸá¬ áá±á¬ááºážááá¯ááŸá¯á¡á¬ážáá¯á¶ážáááºážáá°ááŒá
áºááá·áº ááá¯ážááŸááºážáá±á¬ á¥ááá¬áá
áºáá¯ááŒá
áºáááºá 3 ááá¯ážááá± 4 ááá¯ážááᯠááœá¬ážááᬠááœááºáá±ááá·áº áá
áºáá»áááºáááºážááŸá¬ á¥ááᬠ2 ááá¯ážááá± 3 ááá¯ááœá¬ážáááºááá¯ááẠáá®áá¬á áá±á«áºáᬠ9 áá±á¬ááºáá±á¬áẠá
á¯áá±á¬ááºážáá¬ážááŒá®ážáá¬ážááá¯áá±á¬á· ááœá±áá±ážááŒá±ážáá±ážá¡á á¡áááá¹áá¬ááºááŸáááá¯ááºáááºá ááá¬áá¡á¬ážááŒáá·áºá áááºááœá±á·ááœááºá ááŸááºáá¯á¶áááºááŒááºážáá±á¬ááºážááá¯áá»ááºááá»ááºááœááºááŸá¯ááẠá
á¬áá»ááºááŸá¬ááá¯ááŒááááºáá»ááºááœááºááŒááºážááẠááá¯ááá¯ážáááºá áá±á¬ááºážááá¯áá»ááºáá»á¬ážááẠááá°áá®áá±á¬á¡áá±ážáá»áááºáá»á¬ážááŸááááºá áááºážááá¯á·ááẠáá¯ááºáááºážááŸá¯áá±á¬áá·áºá០áá¯á¶ážáááœá²ááŒá¬ážááŒá¬ážáá¬ážáá±á¬ á
á¶áááºááŸááºáá»ááºáá
áºáᯠááŸááá±á¬ááºážááŸáááá¯ááºáá±á¬áºáááºážá á
ááºážáááºážá¡áá á¡áá»áá¯á·áá±á¬ áááºáá±á¬ááºááŸá¯áá»á¬ážá¡ááŒá±á¬ááºáž áááŒá±á¬áá«áá áááºážááẠáá»áŸáá»áŸáá áá¯á¶ááŒááºá
áááºáá»ááá±á¬ á¡áá®ážá
ááºáá¯á¶ážááŒá
áºáááºá
áááºáá±á¬ááºááŸá¯á¡ááœáẠáááá¯áá¬ááá¯ááºáá¬ááŒá±ááŸááºážáá»ááºáá
áºáá¯ááᯠááœá±ážáá»ááºáá±á¬á¡áá« SRE ááẠááŸáááŸáá¯ááºážáá±ážááŸá°ážáá»á¬ážáá²á០áá
áºáŠážáá¯ááºááá¯áẠáá±ážááœááºážáá
áºáᯠáááºáá¶áááŸááá²á·áá«áááºá áááºáá²á¡ááŒá±áá¶á¡áá±á¬ááºá¡á¡á¯á¶ááá¯á· áá±á«ááºážá
ááºážááŒááºážá á
ááºážáááºážáá»ááºáá»á¬ážá¡á áááºážááááºááŒáááºááŸá¯ááœáẠáá¯á¶ážááŸá¯á¶ážááŸá¯áááŸáá
á±ááẠááá¯ááŒáá«á
áá¯á·á áá¯ááºáá²á·á SRE áá»á¬ážááẠáá±á¬ááºážááá¯ááŸá¯áá»á¬ážá áááááááºááŒá¯ááŸá¯áá»á¬ážá áá¯ááºáá±ááŸá¯áá»á¬ážááẠáááá¯áá¬áááºáá¬áá»á¬ážá áááºáá±á¬ááºááŸá¯á¡áá
áºáá»á¬ážááááºáááºááŒááºážá á¡áá±ážá
á¬ážáááºáá±á¬ááºááŸá¯áá»á¬ážá ááŒá±ááŸááºážáá»ááºá¡áá
áºáá»á¬ážááᯠá¡áá±á¬ááºá¡áááºáá±á¬áºááŒááºážááá¯á·ááᯠá¡áá»áá¯ážáááºáá±á¬ááºá
á±áááºá á¡ááœá±á·á¡ááŒá¯á¶ááœá± ááá¯á¡ááºááá¯á· á¡áááºá¡áá»ááºážááœá± ááá¯á¡ááºáááºááá¯á· áá¬ááŒá±á¬áá·áº ááŒá±á¬áá¬áá²á ááááºáá±á¬á· SRE ááẠáááºááá·áºáááá¯áá¬ááŸáá·áº áá±á¬á·ááºáá²ááºááŒá±ááŸááºážáá»ááºááœááºáááᯠááááºááá¯á·áá¬ážáá±á¬ á¡áá¶áá»á¬ážáá²á០áá
áºáá¯ááŒá
áºáááºá ááá¯á·ááŒá±á¬áá·áºá SRE á¡ááºáá»ááºáá®áá¬áá
áºáŠážá¡áá±ááŒáá·áº ááááá¯á¶ážá¡áá±ááŒáá·áº áá¬ážáááºáá¯á¶áá¬áá á¡áá»áá¯á·áá±á¬áááá»áá±á¬áá¯á¶ážááŒááºáá»ááºáá»á¬ážááẠáá¯á¶ááŒááºá
áááºáá»áááŸá¯á áááºááŒáááºááŸá¯ááŸáá·áº áááºážááẠáá¯ááºáááºážááá¯á¡ááºáá»ááºáá»á¬ážááŸáá·áº áááºááá¯á·áááºá
ááºáááºááᯠáá¬ážáááºááá±á¬áá±á«ááºááááºá áááºážááẠáááºáá¶ááá¯ááºááœááºááŸáááá·áº ááŸá¯áá±á¬áá·áºááŸáááºážáá±á¬ááºážá áááºáá¬ááá¯ááºáá°ážá
ááá¯á·ááŒá±á¬áá·áºá ááá¯áá»áœááºá¯ááºááá¯á·ááẠSRE ááœáẠSLA (Service Level Agreement) á¡ááŒá Ạá¡á ááºá¡áá¬á¡á¬ážááŒáá·áº áááºááŸááºáá¬ážááá·áº áá¯á¶ááŒááºá áááºáá»áááŸá¯ááá¯ááºáᬠá á¶ááŸá¯ááºážáá»á¬ážá¡ááŒá±á¬ááºáž ááœá±ážááœá±ážááá¯ááºáá«áááºá á¡áá»á¬ážá¡á¬ážááŒáá·áº á¡áá»áœááºážááááºááŸááá±á¬ á¡áá¯á¶ážá¡ááŸá¯ááºážááŒá áºáááºá SLI (áááºáá±á¬ááºááŸá¯á¡ááá·áºá¡ááœáŸááºážááááºáž)á SLO (Service Level Objective)á áááºáá±á¬ááºááŸá¯á¡ááá·áº ááá±á¬áá°áá®áá»ááºááẠá¡áá°ážáááŒáá·áº ááœááºáááºáá»á¬ážá áááºáá±á¬ááºááŸá¯áá±ážáá°áá»á¬ážá hosting ááŒáá·áº áá¯ááºáá±á¬ááºáá²á·áá»áŸáẠáááºá¹áá±áá¡áá¯á¶ážá¡ááŸá¯ááºážááŒá áºááá¯ááºáááºá á€áááºááŸá¬ ááá·áºáááºáá±á¬ááºááŸá¯áá áºáá¯áá¯á¶ážá á áœááºážáá±á¬ááºáááºá ááŒá áºáááºáá»á¬ážá á¡ááŸá¬ážá¡ááœááºážáá»á¬ážá ááá¯ááºážáá¬ááŸá¯áá»á¬ážá á á¶ááŸá¯ááºážáá»á¬ážá¡ááœáẠáá±á¬áºááŒááá·áº áá±áá¯áá»ááá±á¬áá°áá®áá»ááºáá áºáá¯ááŒá áºáááºá SLI ááẠáááŸáááá¯ááºááŸá¯áááºááá áºááá¯ááºááá¯ááºááŒá áºáááºá ááá¯ááá¯áááºááŸá¬ SLI ááŒá áºááá¯ááºáááº- áááºáá±á¬ááºááŸá¯á០áá¯á¶á·ááŒááºáá»áááºá áá¬ááá¯ááºááŸá¯ááºážáá áºáá¯á¡ááŒá Ạá¡ááŸá¬ážá¡ááœááºážá¡áá±á¡ááœááºá ááá¯áẠhosting á¡áá»áá¯ážá¡á á¬ážá¡áá»áá¯á·ááŒá áºáá»áŸááºáááºážááẠbandwidth ááŒá áºááá¯ááºáááºá á¡ááá¡ááŸááºááŒá¯ááŒááºážááá¯ááºáᬠá¡ááºáááá¯áá®áááºáá»á¬ážááŸáá·áºáááºáááºáá¬áá»áŸáẠááœáŸááºááááºážááẠá¥ááá¬á¡á¬ážááŒáá·áº á¡ááŒá±áááŸááºáááºááŸá¯áááºááŒá áºááá¯ááºáááºá SLO (Service Level Objective) ááẠSLI ááœáŸááºááŒáá»ááºá áááºážááááºááá¯ážááŸáá·áº áá¬áááá¯á·ááᯠáá±á«ááºážá ááºáá¬ážáááºá
SLA ááẠá€áá²á·ááá¯á· ááŒá áºááá¯ááºáááºáᯠááá¯ááŒáá«á áá¯á·á áááºáá±á¬ááºááŸá¯ááẠáá áºááŸá áºáááºáá¯á¶áž á¡áá»áááºá 99,95% áááŸáááá¯ááºáá«áááºá ááá¯á·ááá¯áẠáá±ážáá¯á¶áá áºáá¯á¶áá»áŸáẠá áá¬áá®á¡ááœááºáž á¡áá±ážááŒá®ážáá±á¬ áá±á¬ááºáá¶ááŸá¯áááºááŸáẠáá á á±á¬ááºááᯠááááºáá«áááºá ááá¯á·ááá¯áẠáá±ážááœááºážáá»á¬ážá 99% ááẠáá áẠ3 á áá¹ááá·áºá¡ááœááºáž áá¯á¶á·ááŒááºááŸá¯áá»á¬ážááᯠáááŸááááºááŒá áºáááºá ááá¯ááá¯áááºááŸá¬á á¡ááŸá¬ážáá»á¬ážááŸáá·áº áá»ááŸá¯á¶ážááŸá¯áá»á¬ážááẠáá¯á¶ááŸááºááŒá áºááŒá±á¬ááºáž áá»áœááºá¯ááºááá¯á· áááŒááºážááŒááºáž áá¬ážáááºáá¬áá«áááºá áá«á áááºáá¶ááá¯ááºáá±á¬ááºáá²á· á¡ááŒá±á¡áá±áá«á áá«ááá¯á·á á á®á ááºáá±áááºá ââá¡ááá¯ááºážá¡áá¬áá áºáá¯á¡áááá±á¬áẠááœááºáá±áááºá ááá¯ááá¯áááºááŸá¬á SRE ááẠáááºážááá¯á·ááᯠááá·áºááœááºážá ááºážá á¬ážáááá·áº á¡ááŸá¬ážáá»á¬ážááᯠáá¯á¶ááŸááºá¡á¬ážááŒáá·áº áá¯á¶á·ááŒááºáááá·áº á¡ááŸá¬ážáá»á¬ážááŒá¯áá¯ááºááá¯ááºááá·áº á áá áºáá»á¬ážááᯠáááºáá±á¬ááºáá«áááºá ááŒá áºááá¯ááºááá·áºá¡áá«ááá¯ááºážá áá¯á¶ážá áœá²áá°á áááºážááá¯á·ááᯠááááááŒá¯áááá² ááá¯á·ááá¯áẠáááááŒá¯ááááá·áºáá¯á¶á á¶ááŒáá·áº á¡ááŸá¬ážáá»á¬ážááᯠááá¯ááºááœááºááŒá±ááŸááºážááá·áºáá±á¬áºáááºáž á¡áá¬á¡á¬ážáá¯á¶áž áá¯á¶ážáá¯á¶ážáá»á¬ážáá»á¬áž áá»áááºážááœá¬ážáááºááá¯ááºááá·áºá¡ááœáẠáá»á±ážáá°ážáááºááá·áº áááºážáááºážá¡áá»áá¯á·ááŸááá«áááºá
á¥ááá¬á¡á¬ážááŒáá·áºá á¡áááºá áááºááẠáá®áá®ááá¯áá áºáá¯ááᯠYouTube ááá¯á· á¡ááºáá¯ááºáá¯ááºáá«áá YouTube ááẠáááºážááá¯áá»ááºáá»ááºážááŒá±á¬ááºážááááá«á áá®áá®ááá¯ááẠááŒá®ážáá¬ážáá«áá áá±á¬áºáááºááẠá¡áá±á¬ááºážáá¯á¶ážááá¯ááºáá«áá áá±á¬ááºážááá¯áá»ááºááẠá¡áá»áááºáá¯ááºááœá¬ážáááºááŸáá·áº ááá¬áá¡ááá¯ááºáž áá»ááºááœááºáááºááá¯ááºáá«á YouTube ááẠ502 á¡ááŸá¬ážááᯠáá±ážáááºááá¯ááºáá«á YouTube á "áá»áœááºá¯ááºááá¯á·ááẠá¡áá¬á¡á¬ážáá¯á¶ážááᯠáááºáá®ážáá¬ážááŒá®ážá ááá·áºáá®áá®ááá¯ááᯠáá¯ááºáá±á¬ááºáá±áá«áááºá 10 áááá áºâá¡ááœááºážá¡áááºâááá·áºâááŒá áºâáá¬ááŸá¬áá«" á€áááºááŸá¬ ááááºááœá±á·á áœá¬ áá¯ááºáá¯ááºááŒááºážá áááá¬áááŒá áºáááºá á¥ááá¬á áááºááẠá€á¡áá¬ááᯠáá¯ááºáá±á¬ááºáá°ážáá«á ááŸá±á·áá¯á¶áž ááœá¶á·ááŒáá¯ážááá¯ážáááºááŸá¯á០áááºážááŸá®ážááŒá®ážáá¬áž ááŒá áºáááºá
áá¯á¶ááŒááºá áááºáá»áááŸá¯á á¡ááŸá¬ážá¡ááœááºážáá»á¬ážá áá»áŸá±á¬áºááá·áºáá»ááºáá»á¬ážááŒáá·áº áá¯ááºáá±á¬ááºáááºá¡ááœáẠá¡ááœááºá¡áá±ážááŒá®ážáá±á¬ MTBF ááŸáá·áº MTTR ááá¯á·á¡ááŒá±á¬ááºážááᯠáá»áœááºá¯ááºááá¯á·ááŒá±á¬ááá·áº áá±á¬ááºáá±á«áá¬ááá»á¬ážá MTBF ááẠáá»ááŸá¯á¶ážááŸá¯áá»á¬ážááŒá¬ážááœáẠáá»ááºážáá»áŸá¡áá»áááºááŒá áºáááºá MTTR ááŒááºáááºááá°ááẠáá»ááºážáá»áŸá¡áá»áááºá ááŒááºáááºááá°ááẠáá»ááºážáá»áŸá¡áá»áááºá ááá¯ááá¯áááºááŸá¬ error ááá¯ááŸá¬ááœá±ááœá±á·ááŸáááá·áºá¡áá»áááºááŸá á áááºáá±á¬ááºááŸá¯ááẠáá¯á¶ááŸááºáááºáááºááŸá¯á¡ááŒáá·áºááŒáá·áº ááŒááºáááºáá±á¬ááºááŸáááá·áºá¡áá»áááºá¡áá error áá±á«áºáá¬ááá·áºá¡áá»áááºááŸááẠá¡áá»áááºáááºáá»áŸááŒá¬ááœá¬ážáá«áááºá MTBF ááẠáá¯ááºá¡áááºá¡ááœá±ážááᯠá¡áááá¡á¬ážááŒáá·áº ááŒááºáááºáááºá ááá¯ááá¯áááºááŸá¬á SRE áá»á¬ážááẠ"áááŸá" áá¯ááŒá±á¬ááá¯ááºáááºá ááŒá®ážáá±á¬á· SRE á "ááá¯ááºáá°áž" ááá¯á· ááŒá±á¬áá²á·á¡áá« á¡ááœá²á·áá áºáá¯áá¯á¶ážá áá¬ážáááºááŸá¯ááŸáááá¯á· ááá¯áá«áááºá áá°á á¡áá¹ááá¬ááºááŸáááá¯á· ááá¯ááºáá°ážá áá°á ááá±á¬ááºážáá²á·á¡ááœááºááŒá±á¬áá·áºááá¯ááºáá² ááá¯ááºááẠáá°ááá¯ááºážáá¯áá¹ááá±á¬ááºááŸá¬ááá¯á·ááá¯á·áá«á
áá áºáááºá áá»áœááºá¯ááºáááŒá¬áááááºááœáŸááºážáá±á¬á á¬á¡á¯ááºááœááºáááºáááºážáááºážáá»á¬ážá áœá¬á áá±á¬ááºážáá«ážáá»á¬ážá áœá¬á áááºážáááºážáá»á¬ážá áœá¬á áááºážáááºážáá»á¬ážá áœá¬ááŸááááºá á¡ááŒá¬áž developer áá»á¬ážááẠSRE ááá¯áá¯ááºážáá®ážááŒááºážáááŒá¯áááºáá±áá»á¬á¡á±á¬ááºáá¯ááºáááºážá á¡ááŒá¬ážáá áºáááºááœááºáá° MTTR ááẠáááºá SLO áá»á¬áž (áááºáá±á¬ááºááŸá¯á¡ááá·áº áááºááŸááºážáá»ááº) áá±á«áºááœáẠáá¯ááºáá±á¬ááºááŒááºážááŒá áºáá«áááºá áááºážááẠá¡áá»á¬ážá¡á¬ážááŒáá·áº automation ááŒá áºáááºá á¥ááá¬á¡á¬ážááŒáá·áºá áá»áœááºá¯ááºááá¯á·á SLO ááẠáá±ážáá¯á¶áá áºáá¯á¶áá»áŸáẠ4 ááá¯ážááŒáááºááŸááá±á¬ááŒá±á¬áá·áºááŒá áºáááºá ááá¯ááá¯áááºááŸá¬ 3 áá¡ááœááºáž áá»áœááºá¯ááºááá¯á·ááẠ13 áááá áºá¡á¬ážáááºáá»áááºááá¯ááœáá·áºááŒá¯ááá¯ááºáááºá MTTR ááẠ13 áááá áºáááºáááá¯ááá¯ááºáááºááá¯ááœá±á·ááááºá áá»áœááºá¯ááºááá¯á·ááẠ13 áááá áºá¡ááœááºáž á¡áááºážáá¯á¶áž 1 á ááºáááºáá»áááºááᯠáá¯á¶á·ááŒááºáá«áá áá»áœááºá¯ááºááá¯á·ááẠáá¯á¶ážááááºá¡ááœáẠáááºáá»ááºáá áºáá¯áá¯á¶áž áá¯ááºááœá¬ážááŒá®ááŒá áºááŒá±á¬ááºáž ááá¯ááá¯áááºá SLO ááᯠáá»áá¯ážáá±á¬ááºáá±áááºá áá»ááºáá»ááŸá¯ááᯠáá¯á¶á·ááŒááºáááºááŸáá·áº ááŒá¯ááŒááºááẠ13 áááá áºááẠá ááºáá áºáá¯á¡ááœáẠá¡ááœááºááá¯áá±á¬ááºážáá±á¬áºáááºáž áá°áá¬ážá¡ááœáẠá¡ááœááºááá¯áá±á¬ááºážáá«áááºá á¡áááºááŒá±á¬áá·áºááá¯áá±á¬áº áá°áá áºáŠážááẠááááá±ážáá»ááºááᯠáááºáá¶áááŸáááá·áºá¡áá»áááºá¡ááá áá°áá¯á¶á·ááŒááºááŸá¯áááŒá¯áá®á¡ááá á¡ááŸá¬ážááá¯áá¬ážáááºááá·áºá¡áá»áááºá¡áá áááá áºáá»á¬ážá áœá¬ááŒá¬áá±ááŒá®ááŒá áºáááºá áá°áá áºáá±á¬ááºá á¡á²áá«ááᯠáááºááá¯ááŒááºááááºá áááºááá¯ááŒááºáááá²á áá¬áá¯ááºááááºááá¯áᬠáá¬ážááááºááá»ááºážá á¡á²áá«á áááá áºá¡áááºážáááºáá² ááá¯áá±á¬á·áááºá á¡ááŸááºááŸá¬á áááºááẠáá¬áá¬ááᯠááŒááºáááºá áááºááẠááá¯á¡ááºáá±á¬áºáááºážá ááá¯á·ááá¯áẠnode á¡áá áºáá áºáá¯ááᯠááŒáŸáá·áºáááºááẠááá¯á¡ááºáá±á¬áºáááºážá áááºážááᯠmanually MTTR ááẠ7-8 áááá áºááá·áºááŸááá±ááŒá®ááŒá áºáááºá áá¯ááºáááºážá ááºááᯠá¡ááá¯á¡áá»á±á¬ááºáá¯ááºáá±á¬ááºááá·áºá¡áá« MTTR ááẠáá áºá áá¹ááá·áºááá¯á·áá±á¬ááºáá±á·ááŸáááŒá®áž áá áºáá«áá áºáá¶ááœáẠáá®áá®á áá¹ááá·áºáá»á¬ážá¡áá áá±á¬ááºáááºáááºá Google ááẠáá®áá®á áá¹ááá·áºáá»á¬ážá¡ááŒá±á¬ááºážááᯠá¡áá»á¬ážá¡á¬ážááŒáá·áº ááŒá±á¬ááá¯áá±á·ááŸááá±á¬áºáááºáž áááºááœá±á·ááœááºáá° á¡áá¬á¡á¬ážáá¯á¶ážááẠá¡ááœááºáá±á¬ááºážááœááºááŒááºážáááŸááá±á
á¡áá±á¬ááºážáá¯á¶ážááŸá¬á SRE ááẠáááºážááá¯ááºáááºážááᯠáá¯á¶ážááá®ážáá«ážá¡ááá¯á¡áá»á±á¬ááºááŒááºáá¯ááºááá·áºáááºá á¡ááŒá±á¬ááºážááŸá¬ áááºážááẠMTTRá áááºážááááºááá áºáá»á¬ážá áááºáá±á¬ááºááŸá¯áá áºáá¯áá¯á¶ážá SLO ááŸáá·áº áá¯ááºáááºážá¡ááŒááºá¡á áœááºážááá¯á·ááᯠááá¯ááºááá¯ááºáááºáá±á¬ááºáá±á¬ááŒá±á¬áá·áºááŒá áºáááºá á¡áá»áááºáá»á±á¬áºááœááºáá«á SRE ááŸá¬ áá»áá¯á·ááœááºážáá±ááá¬ážáᯠáá±ážáááºá áá¶áá±á¬ááºážáá±á¬ááºáá áœá¬á áááºáá°á·ááá¯á០á¡ááŒá áºááááºáá«áá°ážá á€áááºááŸá¬ balmeless postmortem áá¯áá±á«áºáá±á¬ áá®ážááŒá¬ážáááºáá»á±ážááŸá¯áá áºáá¯ááŒá áºááŒá®ážá ááá±á·ááœááºáá»áœááºá¯ááºááá¯á·á¡ááŒá±á¬ááºážáááŒá±á¬áá«á ááá¯á·áá±á¬áºáááºážááᯠSlurm ááœááºááœá²ááŒááºážá áááºááŒá¬áá«áááºá áá®á¡ááŒá±á¬ááºážá¡áá¬áᬠá¡ááœááºá áááºáááºá á¬ážá áá¬áá±á¬ááºážáá²á· á¡ááŒá±á¬ááºážá¡áá¬áá áºáá¯ááá¯á· ááŒá±á¬ááá¯á·ááá«áááºá á¡ááŒááºážáá»ááºážááŒá±á¬ááá»áŸáẠáá±ážáá¯á¶áá áºáá¯á¶áá»áŸáẠáááºááŸááºáá»áááºááẠáá»á±á¬áºááœááºááœá¬ážáá«á áá°ááá¯ááºážááᯠá¡áááºážááẠá¡ááŒá áºáááºááááºá ááá¯ááá¯áááºááŸá¬ áá°ááá¯ááºážááᯠá¡ááŒá áºáááºááŒááºážááẠá¡áá»áá¯ážááŒá áºááœááºážááŸá¯ áááŸáááŒá±á¬ááºážá áááºáá°á·ááá¯áá»áŸ á¡ááŒá áºááááºáá² á¡ááŒá±á¡áá±ááᯠááŒá¯ááŒááºááŒá®áž áá»áœááºá¯ááºááá¯á·ááœááºááŸáááá·áºá¡ááá¯ááºáž áá¯ááºáá±á¬ááºáá«á áá»áœááºá¯ááºáá¡ááœá±á·á¡ááŒá¯á¶á¡áá á€áá»ááºážáááºááŸá¯ááẠá¡áááºážá¡áá»á¬ážá á¯á¡ááœáẠá¡áá°ážáááŒáá·áº áá¯ááŸá¬ážááœáẠá¡áááºážáááºáá°ážááŒá¬ážáá±á¬áºáááºáž áááºážááẠá¡áááá¹áá¬ááºááŸáááŒá®áž á¡ááœááºáá±á¬ááºážááœááºáá«áááºá ááá¯á·ááŒá±á¬áá·áº á€á¡ááŒá±á¬ááºážá¡áá¬ááᯠáááºááŸá¯ááá¯ááºá á±ááẠáá±á¬ááºážáá«ážááŸáá·áº á á¬áá±á¡áá¯á¶ážááœáẠáá»áœááºá¯ááºá¡ááŒá¶ááŒá¯áá«áááºá ááá¯á·ááá¯áẠSlurm SRE ááá¯á· áá¬áá«á
ááŸááºážááŒáá«áá á±á á¡áááºá áá±ážáá¯á¶áá áºáá¯á¶áá»áŸáẠSLO á¡áá»áááºááá¯áá»á±á¬áºááœááºáá«áá á ááºáááºáá»áááºááẠ13 áááá áºááá¯ááºáá±á¬áºáááºáž 15 ááŒá áºáá«áá áááºážá¡ááœáẠáááºáá°á áá¯ááºáá±á¬ááºááá¯ááºáááºáááºážá áá¯ááºáá«áááºá SRE áᬠááá¯ážááœá¬ážáá²á· áá»á°ážááœááºááŸá¯ ááá¯á·ááá¯áẠá¡áá¯á¶ážáá»ááŸá¯ áá áºáá¯áá¯ááᯠááŸááºážáááºážá áœá¬ ááŒá¯áá¯ááºáá¬ážáá¬ááŒá±á¬áá·áº á¡ááŒá áºáááºá áᬠááŒá áºááá¯ááºáá«áááºá áá±áá¬á ááºáá¬á á á®áá¶ááá·áºááœá²áá°ááẠá¡áá»áááºááá¬ážáááœá²áá¬ážáá² ááŒá¯ááŒááºááááºážááááºážááŸá¯á¡áá»áá¯á· ááŒá¯áá¯ááºáá¬ážáá±á¬ááŒá±á¬áá·áº áááºážá¡ááœáẠá¡ááŒá áºáá¯á¶áá»á áá¬ááŒá áºááá¯ááºáá«áááºá áá±áá¬á ááºáá¬áá á®áá¶ááá·áºááœá²áá°áááºáááºážááá¯á¡ááŒá áºáááºáá«áá SLO ááá¯ááŸáááŸáá¯ááºážáá±á¬á¡áá«ááŒá¯ááŒááºááááºážááááºážááŸá¯ááá¯ááœááºáá»ááºááŒááºážáááŸááá±á¬ Ops ááŸáá¯áá¹ááá¯ááºáááºáááºážááá¯á¡ááŒá áºáááºááááºááŒá áºáááºá áááºáá±áá»á¬á áááºážááá¬ááá¯ááºáᬠáá«ááá¯ááºáᬠááá¯á·ááá¯áẠáá±áá¬á ááºáᬠá á¬áá»á¯ááºááᯠáááºááŸááºáá±ážááá¯ážáá²á·áá±á¬ áá áºá á¯á¶áá áºáŠážááẠáá±áá¬á ááºáá¬á SLA ááᯠááá¯á¡ááºáá±á¬ á ááºáááºááŸá¯á¡ááœáẠáá®ááá¯ááºážáá¯ááºáá¬ážááŒááºáž ááá¯ááºáá°áá±á¬ á¡áá»ááºááᯠááá¯áá áá¯ááºáá² áá±á¬ááºááœááºáá±ážáááŒááºáž ááŒá áºáá«áááºá ááá¯á·ááŒá±á¬áá·áº á€á¡ááŒá±á¡áá±ááœáẠá¡á¬ážáá¯á¶ážááᯠááŒááºážááŒááºážáá»ááºáž á¡ááŒá áºáá¯á¶áá»áááºá áá®á¡ááŒá±á¡áá±ááŸá¬ áááºáá°á·ááá¯á០á¡ááŒá áºááááºáá°ážááá¯á· ááá¯ááá¯áá¬áá«á áá«áá±ááá·áº ááŒá¯ááŒááºááá¯á·áá±á¬á· ááá¯áá¬áá±á«á·á á¡á²áá«ááŒá±á¬áá·áº áááºááœá²á á áºáá±ážáá¬ááœá±ááŸááááºá á¥ááá¬á¡á¬ážááŒáá·áºá GitHub postmortems áá»á¬ážááᯠáááºáááºááŸá¯ááŒá®áž á€ááá á¹á áááºáá áºáá¯á á®ááœáẠá¡ááœááºá áááºáááºá á¬ážááœááºáá±á¬ááºážáá±á¬á áá±ážáááºááŒá®áž ááá»áŸá±á¬áºááá·áºáá¬ážáá±á¬ áá¬ááºáááºážáá áºáá¯ááºááŒá áºáá±áá«áá á€áá°ááᯠá¡ááŒá áºáááºááááºáá°á áááºáá°áá»áŸ á¡á á¬ážááá¯ážááá¯ááºáá«áááºá áááá»áá²á· áááŒáá·áºá á¯á¶áá²á· áá¯ááºáááºážá ááºááœá±á¡áá±á«áº á¡ááŒá²áááºáž á¡ááŒá áºáááºáááºá
áá±á¬ááºáá±ážááœááºážáá áºáá¯áá® áááºááœá¬ážáá¡á±á¬ááºá á¡ááá¯á¡áá»á±á¬ááºá áá áºá á¡ááŒá¬ážá¡ááŒá±á¬ááºážá¡áá¬áá»á¬ážááœáẠautomation á¡ááŒá±á¬ááºážááŒá±á¬áá±á¬á¡áá«á áááºá¡ááŸááºááááºááááºážáááºážáááºááẠá¡ááá¯á¡áá»á±á¬ááºáá¯ááºáá±á¬ááºááẠá¡áá»áááºááá¯ááá°áá² á¡áá¯ááºáá áºáá¯ááᯠá¡ááá¯á¡áá»á±á¬ááºáá¯ááºáá±á¬ááºáá¬ááœáẠá¡áá»áááºáááºáá»áŸááŒá¬á¡á±á¬ááºáá¯ááºáá±á¬ááºááá¯ááºáááºááᯠááŒá±á¬ááŒááá·áºááá¬ážááᯠáááŒá¬ááááá¯ážáá¬ážáá«áááºá áá¶áááºážááŸááááºá áááºážáááá¬ááá±á¬á· SREs á á¡áá¯ááºáá áºáá¯ááᯠá¡ááá¯á¡áá»á±á¬ááºáá¯ááºáá±á¬ááºáá²á·á¡áá« á¡áá»áááºáá¯ááºáááºáá¬áá¯á¶áá¬áá MTTR á automation á ááá¯ááºááá¯ááºáááºáá±á¬ááºáá²á·á¡ááœááºááŒá±á¬áá·áº áááºážáááá¬áá«á ááŒá±á¬ááá»áŸáẠáááºážááá¯á·ááẠáá¯ááºáááºážááœá¬ážááá¯ááºáá±á¬ á¡áááºážá¡ááŒá áºáá áºáá¯ááŒá áºááá·áº áááºáááºážáá»á¬ážááŸáá·áº developer áá»á¬ážá á áááºáá¬ááºááᯠáááºáááºáááºá áá¯ááºááá¯ážáá¯ááºá ááºááœá±ááᯠáá»áŸá±á¬á·áá»ááŒáááºá á€á¡áá¬á¡á¬ážáá¯á¶ážááẠá¡áá¯ááºá¡áá±á«áº á¡ááŒá¯ááá±á¬áá±á¬ááºáá±á¬ á¡áá»áá¯ážáááºáá±á¬ááºááŸá¯áá»á¬ážááŸáááŒá®áž ááááºá¡áá±ááŒáá·áº á¡ááá¯á¡áá»á±á¬ááºá áá áºááẠá¡áá»áááºáá¯ááºáááºáá¬áááºáᯠáááºááá±á¬áºáááºáž áá¯ááºáááºážá¡áá±á«áºááœáẠá¡áá»áá¯ážáááºáá±á¬ááºááŸá¯ááŸááááºá
á¡ááŸááºááŸá¬á áááºážááẠá¡ááŒá²áááºážáá®ážáá«ážááŸáááŒá®áž SRE áá¡áááºážááá¹áááœáẠáá áºá á¯á¶áá áºáá¯ááẠá¡ááá¯á¡áá»á±á¬ááºáááŒá áºááá·áºááá·áºááá á¹á áá»á¬áž á¡ááœááºáááºážáá«ážáá«áááºá áá±á¬ááºáá áºáá¯ááá±á¬á· error budget ááá¯á·áá±á«áºáá²á· á¡ááŸá¬ážááœá±á¡ááœáẠáááºáá»ááºá¡ááŒá±á¬ááºáž ááœá±ážááœá±ážáá«áááºá ááááºáá±á¬á·á áááºááá¯ááºááá¯ááºáááºááŸááºáá¬ážáá²á· SLO ááẠá¡áá¬á¡á¬ážáá¯á¶ážá ááá·áºá¡ááœáẠááá¯áá±á¬ááºážáá±áááºááá¯ááẠáá«á ááááºááá±á¬ááºážáá°ážá SLO ááẠá¡á±á¬ááºááá¯ááºážáá¬áá á¡áá®ážá ááºáá¯á¶áž á¡áááºáá±á¬ááºáá áºáá¯á¡ááŒá áºáááºáž áá¯ááºáá±á¬ááºáá±á¬ááŒá±á¬áá·áºá áááºááá¯ááºááá¯áẠSLO á 99% áááŸáááá¯ááºááŸá¯áᯠáááºááŸááºááá¯ááºáá±á¬á¡áá«ááœááºá á¡ááŸááºááááºááœáẠááá·áºááœáẠ99,99% ááŸááááºááá¯áá«á ááá·áºááœáẠáá¯ááºáááºážááᯠáá¯á¶ážáááááá¯ááºá á±áááºááá¯ááºááá·áº á ááºážáááºááŸá¯áá»á¬ážá¡ááœáẠáá±áá¬á¡áá»áá¯á·ááŸááááºá áááºááá¯ááºááá¯ááºá á€á¡áá¬á¡á¬ážáá¯á¶ážááᯠá¡áá°áááœáá¯á¶ážááŒááºáá¬ážááŒá®ážááŒá áºáá±á¬ááŒá±á¬áá·áºá áá®áá±áá¬ááᯠááá¯á¶ážáá«áá°ážá ááá·áºááœáẠá¡áá¯á¶ážááááºáá±á¬ á¡ááŸá¬ážáá»á¬ážá¡ááœáẠáááºáá»ááºáá áºáá¯ááŸááááºá
á¡á²áá«ááᯠáá«ááá¯á· áá¬áá¯ááºááá²á áá»áœááºá¯ááºááá¯á·ááẠá¡áá¬áááºááááºážá¡ááœáẠá¡áá¯á¶ážááŒá¯áááºá áá¯ááºáá¯ááºááŸá¯á¡ááŒá±á¡áá±áá»á¬ážááœáẠá ááºážáááºááŒááºážá¡ááœááºá á áœááºážáá±á¬ááºáááºááᯠááááá¯ááºá á±ááá¯ááºáá±á¬ á¡ááºá¹áá«áááºá¡áá áºáá»á¬ážááᯠáá¯ááºááœáŸááºááŒááºážá¡ááœááºá áá¯ááºáá±ááŸá¯áá»á¬ážá¡ááœááºá ááŒá¯ááŒááºááááºážááááºážáááºá á á®á ááºáá¬ážááá·áºá¡áá»áááºáá»á¬ážá¡ááœááºá ááŒá±á¬ááºážááŒááºá ááºážáá»ááºážááá¯áááºáž áá»áá·áºáá¯á¶ážáááº- áááºáá»ááºáá¯ááºááœá¬ážáá«áá ááá¯á·ááá¯ááºáá«á áá»áœááºá¯ááºááá¯á·ááẠSLO ááᯠáá»á±á¬áºááœááºááœá¬ážáá±á¬ááŒá±á¬áá·áº á¡áá áºáá áºá á¯á¶áá áºáá¬ááᯠáá¯ááºááŒááºááá¯ááºáááºááá¯ááºáá±á áááºáá»ááºá áá¯ááºááœá¬ážáá«ááŒá®á á áœááºážáá±á¬ááºáááºááᯠááááá¯ááºá á±ááẠáá áºáá¯áá¯ááᯠáá¯ááºááŒááºáá¬ážááŒá®ážá ááá¯ááá¯áááºááŸá¬á áááºážááẠSLO ááᯠááá¯ááºááá¯ááºááá¯ážá á±áá±á¬ ááŒá¯ááŒááºááŸá¯áá»áá¯ážááá¯ááºáá«áá áá»áœááºá¯ááºááá¯á·ááẠáááºáá»ááºááᯠáá»á±á¬áºááœááºááœá¬ážáááºááŒá áºááŒá®ážá á€á¡ááŒá±á¡áá±ááẠááá¯ážááœá¬ážáá«áááºá áááºážááᯠááœá²ááŒááºážá áááºááŒá¬ááẠááá¯á¡ááºááŒá®ážá áááºááœá²á á áºáá±ážááŒááºáž ááŸáá·áº á¡áá»áá¯á·áá±á¬ áá¯ááºáááºážá áẠááŒááºáááºááŸá¯áá»á¬áž ááŒá áºááá¯ááºáááºá
ááá¯ááá¯áááºááŸá¬á áááºáá±á¬ááºááŸá¯ááá¯ááºááá¯ááºá áá±á¬ááºážááœááºá áœá¬á¡áá¯ááºááá¯ááºáá«áá SLO ááá¯áá¯á¶ážá áœá²ááŒá®áž áááºáá»ááºááᯠáááºááœá±á·á ááºážáááºááŸá¯áá»á¬ážááœáẠááá¯á¶ážá áœá²áá²á á¡áá»áá¯á·áá±á¬áá¯ááºáá±ááŸá¯áá»á¬ážááœááºááá¯ááºáá² áá°á·áá¬áá¬áá°áᬠá¡áá¯á¶ážááŒá¯áá«áá á áááºáááºá á¬ážááœááºááŒááºáááºááŸá¯áá»á¬ážá¡á á¬áž á áááºáááºá á¬ážááœááºá¡ááºá¹áá«áááºáá»á¬ážá¡á á¬ážá á áááºáááºá á¬ážááœáẠáá¯ááºáá±ááŸá¯áá»á¬ážá¡á á¬áž áááºááá·áºáááºáá®ážááŸá¯á¡áá¯ááºáááá¯á¡á á¬ážá áááºáá»ááºááá¯á¡á á®á¡á á¥áºááŒááºááááºá ááá¯á·ááá¯áẠSLO ááᯠáááºážááŒááºááẠááá¯ááºáá²áá±á¬ááŒááºáááºááŸá¯áá»á¬ážááŸáá·áº ááá¯ááºááœááºááŒá±ááŸááºážááááºááŒá áºááŒá®áž áááºážááẠáááŒá¬áááááŒá áºááá·áºáá±á¬áá¯ááºáááºážá ááºáá áºáá¯áááºážááŒá áºáááºá
ááá¯á·ááŒá±á¬áá·áºá áá»áœááºá¯ááºááá¯á·ááœáẠá¡ááŸá¬ážá¡ááœááºážáá»á¬ážá¡ááœáẠáááºáá»ááºááá¯ááŸááá±á¬ á¡ááŒá±á¡áá±ááœááºá SRE ááŸáá·áº developer ááŸá áºáŠážá áá¯á¶ážááᯠáá°ááá¯ááºážá á áááºáááºá á¬ážááŒáááºááᯠááœá±á·ááá«áááºá áá±á¬á·ááºáá²á¡ááºáá»ááºáá®áá¬áá»á¬ážá¡ááœááºá áá»áœááºááœááºážáá»ááºáá»á¬ážá¡ááœáẠááŒá®ážáá¬ážáá±á¬áááºáá»ááºááá¯áááºááŸá¬ áá¯ááºáá±ááŸá¯áá»á¬ážá á ááºážáááºááŸá¯áá»á¬ážá á ááºážáááºááŸá¯áá»á¬ážááᯠáááºááá¯ááºááœááºááŒá±ááŸááºážááá¯ááºáááºáᯠááá¯ááá¯áááºá SRE áá»á¬ážá¡ááœááºá á¡ááŸá¬ážá¡ááœááºážáá»á¬ážá¡ááœáẠáááºáá»ááºáá áºáá¯ááŸáá·áº ááá¯áááºáá»ááºááᯠááá·áºááœááºážááŒááºážááẠáááºážááá¯á·áá¡áá¯ááºááᯠááá¯ááºááá¯ááºáá±á¬ááºážááœááºá áœá¬ áá¯ááºáá±á¬ááºáá±ááŒááºážááᯠááá¯ááá¯áááºá áááºážááẠáá°ážáá±á«ááºážáá¯ááºáá±á¬ááºááŸá¯áá»áá¯ážá á á±á·áá±á¬áºááŸá¯ááᯠáááºáá±á¬ááºá á±áááºá ááá·áº SRE áá»á¬ážááᯠáá±á¬á·ááºáá²áá±ážáá¬ážáá°áá»á¬ážá¡áá±ááŒáá·áº áá¬ážáá±á¬ááºáá«áá ááá·áºááœáẠáá±á¬ááºážááœááºáá±á¬á¡áá¯ááºá¡ááœáẠáá±áá¬ááá¯ááááºááŒá áºááŒá®áž áá¯ááºááá¯ážáá¯ááºá ááºáá»á¬ážá áœá¬ áááºážáá«ážááœá¬ážáááºááŒá áºáááºá
áá¯ááºáá¯ááºááŸá¯ááœáẠáááºááœá±á·á
ááºážáááºááŸá¯áá»á¬ážááẠá¡ááœá²á·ááŒá®ážáá»á¬ážááœáẠSRE á á¡áá±ážáá«ááŒá®áž á¡áá±ážáá«áá±á¬ á¡á
áááºá¡ááá¯ááºážáá
áºáá¯ááŒá
áºááŒá±á¬ááºáž ááœá±á·ááŸáááá«áááºá áááºážááᯠá¡áá»á¬ážá¡á¬ážááŒáá·áº Chaos Monkey áá¯áá±á«áºáá±á¬ á¡áá¯á¶ážáááºááŸá¯áá
áºáá¯áá¯ááºááœáŸááºáá±á¬ Netflix ááŸá¡ááœá²á·á០áááºážáááºáá¬áá±á¬ chaos engineering áá¯áá±á«áºáááºá
Chaos Monkey ááẠCI/CD ááá¯ááºááá¯ááºážááá¯á· áá»áááºáááºááŒá®áž áá¯ááºáá¯ááºááŸá¯ááœáẠáá¬áá¬ááᯠáá»áááºáž áá»ááºááœá¬ážá
á±áááºá ááááºá SRE ááœá²á·á
ááºážáá¯á¶ááœááºá áá»áœááºá¯ááºááá¯á·ááẠááŸááá·áºáá»áá¬ážáá±á¬áá¬áá¬ááẠáá°á·áá¬áá¬áá° áááá¯ážááŒá±á¬ááºážááᯠáá»áœááºá¯ááºááá¯á·ááŒá±á¬áá±áá«áááºá áááºáá»ááºá¡ááœááºáž áá«áá«á áááºáá¶ááá¯ááºáᬠáá¯ááºáááºážááᯠáááááá¯ááºá
á±áá«á áá¯ááºáá«áááºá Netflix ááŸá¬ áááá¯á¡ááºáá²á· áá¬áá¬ááœá± áá¯á¶áá¯á¶áá±á¬ááºáá±á¬ááºá á¡áá¯áá°á
áᬠáá¯á¶áá¯á¶áá±á¬ááºáá±á¬áẠááŸááá«áááºá áá«ááœá±á¡á¬ážáá¯á¶áž ááŒá¯ááŒááºááá¯á· áááá¯ááºááŒá®áž áá¯á¶ážá
áœá²áá° áá
áºáá¯áá¯á¶áž ááááá±á¬áẠááááºááá¯ááºá¡á±á¬ááºáá²á· ááá¯ááá¯á·áá±á¬áẠá¡áá¯á¶ážá
ááááºá¡ááœáẠáá¬áá¬áá
áºáá¯á¶ážááᯠáááºáá°á០ááá»ááºáá¬ážáá«áá°ážá
Netflix ááœáẠááá¯áá²á·ááá¯á·áá±á¬ á¡áá¯á¶ážáááºááŸá¯á¡á á¯á¶á¡áááºááᯠáááá¬ááŸááá²á·ááŒá®áž áááºážááá¯á·áá²ááŸáá áºáá¯ááŒá áºááá·áº Chaos Gorilla ááẠAmazon á Availability Zones áá áºáá¯á¡á¬áž áá¯á¶ážáááááºáá áºááá¯ááºáááºá á¡áááºá¡áá¬ááá¯á¡áá»áá¯ážáááºáá±á¬ááºááááºážá á¡áááºá¡áá¬á¡áá±á«áºááœááºáá°áááºáááºááá¯áá¯á¶ážáááŸááºážááŸááºážáááºážáááºážááááá±á¬á¡áá«ááá¯á¡áá¬áá»á¬ážáááºááááŠážá áœá¬á áá»áŸáá¯á·ááŸááºááŸá®ááá¯ááŸá¯ááá¯áá±á¬áºááŒáááºáá°áá®áááºá áááºážááẠáááºááẠmicroservice áá áºáá¯ááŸáá·áº á¡áá¯ááºáá¯ááºáá±ááŒá®áž á á¬ááœááºá á¬áááºážáá»á¬ážááẠááŒá®ážááŒáá·áºá á¯á¶ááŸá¯áááŸááá«áá áááºážááẠááá·áºá¡ááœáẠáááºážááŸá®ážáá±áá±áááºá ááá¯á·á¡ááŒááºá áááºážááẠá áá±ážáá±á«áºááœáẠáááºááááºážááá¯ááºáá±á¬ áá¯ááºááŸá á¡ááŸá¬ážáá»á¬ážááᯠáááºážááááẠáá»á¬ážá áœá¬ á¡áá±á¬ááºá¡áá° ááŒá áºá á±áááºá á¡ááŒá±á¬ááºážááŸá¬ áááºááá·áº staging ááẠá¡ááá¡áá» áááá»áá±á¬ ááá¯ááºáá±á¬áºááŸá¯ ááá¯ááºáá±á¬ááŒá±á¬áá·áºá áááºá áá±áž ááœá¬ááŒá¬ážáá±á¬ááŒá±á¬áá·áºá áááºáá¯á¶á ᶠááœá²ááŒá¬ážáá±á¬ááŒá±á¬áá·áº á ááºáá á¹á ááºáž áááááᬠáá»á¬ážáááºá ááŒá áºááá¯ááºááŒá±á¡áá»á¬ážáá¯á¶ážááá±á¬á· áááŒá¬áž Peak loads áá»á¬ážáááºáááºáž ááá»áŸá±á¬áºááá·áºáá²ááŸáá·áº ááŸááºážááááááá¯ááºáá«á ááá¯á·á¡ááŒáẠáááºáá»ááºáááºáá»á±á¬áºááœááºáááááá·áº ááá¯á ááºážáááºááŸá¯ááẠá¡ááá·áºááŒáŸáá·áºáááºááŒááºážá autotestsá CI / CD ááá¯ááºááá¯ááºážááᯠáááºáá±á¬á·á០áááºážáááááºááá¯ááºááá·áº á¡ááŒá±áá¶á¡áá±á¬ááºá¡áŠáá»á¬ážááœáẠá¡ááŸá¬ážá¡ááœááºážáá»á¬ážááᯠáááºážááááẠá¡ááœááºá¡áá±á¬ááºá¡áá°ááŒá¯áá«áááºá ááá·áºáááºáá»ááºááœáẠá¡á¬ážáá¯á¶ážáá«áááºáá±ááá»áŸá ááá·áºáááºáá±á¬ááºááŸá¯ááẠá¡ááœááºááŒá±á¬ááºá áá¬áá±á¬ááºážáá¯á¶ááá±á¬áºáááºáž áá¬áᬠáá»ááœá¬ážáááºá á¡áááºáááºááá¯ážááŒá®áž áá»ááºááœá¬ážáááºá á¡áá±ážáááŒá®ážáá«á ááá¯ááºáá°ážá á¡á²áá«á áá¯á¶ááŸááºáá«áá²á áá±á¬ááºážáá«áááºá bug ááœá±ááᯠáááºážááá¯á· áá°áá®áá±ážáááºá áááºážááŸá¬ áááºáá»ááºááŸáááẠáá¯á¶ážááá¯á·ááááºá
áá±áž- áááºááá¯á á¬áá±áá»áá¯áž á¡ááŒá¶ááŒá¯ááá¯ááºááá²á á¡áá¯á¶ážááŸá¬ á á¬áááºážáá±ážáá«á á á¬áá±ááœá± á¡áá»á¬ážááŒá®ážááŸááááºá áá»áœááºáá±á¬áº á¡ááŒá¶áá±ážááá·áº á¡á á®á¡áááºáá¶á ᬠá¡áááºážáááºáá«á áááºážáááºáááºááá¯á·á¡áá¯ááºáá¯ááºááááºážá SRE ááẠáááºážááá¯á·áááá¯ááºááá¯ááºáá±á¬á·ááºáá²ááºáá¯ááºáá¯áẠááá¯á·ááá¯áẠááœá¶á·ááŒáá¯ážááŸá¯á¡áááºážáá¯á¶ážáááŸááá² áá¯áá¹ááá®áá»á¬ážááœáẠá¡áá¯ááºáá¯ááºáááºá á¥ááá¬á¡á¬ážááŒáá·áºá á¡ááááá¯ááºáá±á¬ááºáá»ááºááẠáá±á¬á·ááºáá²ááá¯ááºááá·áº áá¯ááºáááºážáá áºáá¯ááœááºááŒá áºáááºá á¡ááááá¯ááºáá±á¬ááºáá»ááºááẠáá±á¬á·ááºáá²ááºááá¯ááºááá·áº áá¯ááºáááºážáá áºáá¯ááœááºá SRE ááẠá¡ááŒá¬ážáá±áá¬ááá¯ááºážááŸáá·áº á¡áá°áá°áááºá¡áá¯ááºáá¯ááºáááºá á¡ááŒá±á¬ááºážááŸá¬ áá¯ááºáááºážáá áºáá¯ááœáẠáááºááẠááá®ááœááºááá±ážááá·áºááá¯áẠáá±á¬á·ááºáá²ááºáá¯ááºáá¯ááºáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááẠááá¯á¡ááºáá±á¬ááŒá±á¬áá·áºá á¡ááºááááºáá»á¬ážááœááºáááºááá¯á¡ááºáááºá áááºááŒá±á¬ááºážáá²áááºááá¯á¡ááºááẠá¡ááŒá±áá¶á¡áá±á¬ááºá¡áŠááœá± ááŒá®ážááœá¬ážááá¯á· ááá¯áááºá áá»á²á·ááœááºááá¯á· ááá¯áááºá SRE áá»á¬ážááẠá€áá¯ááºáááºážá ááºáá»á¬ážááœáẠááŒá áºááá¯ááºáá»á±ááŸááá±á¬ ááŒá¿áá¬áá»á¬ážááᯠááœá²ááŒá¬ážáááºááŸááºááŒá®áž ááá·áºááŸááºážáá±ážáᬠááá¯ážáááºááŸá¯á¡áá»áá¯á·ááᯠá áááºáᬠáá¯ááºáááºážááá¯á¡ááºáá»ááºáá»á¬áž ááŒá±á¬ááºážáá²ááŒá®ážáá±á¬áẠáááºážááá¯á·ááᯠááááºážáá»á¯ááºááá¯ááºáááºá á¡áááºá ááá·áºááœáẠá¡áááºážáá¯á¶áž áá¬áá¬á¡áááºážáááºááŸáááŒá®áž á¡áááºá ááá·áºááœáẠSRE áá áºáá¯ááŸáááẠáá±á¬á·ááºáá²ááºááœá¶á·ááŒáá¯ážááá¯ážáááºááŸá¯ááœáẠáá«áááºááẠáá¯á¶ážááááá¯á¡ááºáá±á¬ááŒá±á¬áá·áºááŒá áºáááºá
áá¯áá¹ááá®ááŒá®ážáá»á¬ážááẠáááºáá»ááºááŸáá·áº á ááºážáááºááẠáá±áá¬ááŸááá±á¬ááŒá±á¬áá·áº á¡áá±ážá á¬ážááá±á¬áá»ááºáá»á¬ážá á¡ááœá²á·á¡á ááºážáááºáá»á¬ážá¡ááœááºáááºáž á¡áá¬ážáá°áááºááŒá áºáááºá ááá¯á·áá±á¬áºáá áºáá»áááºáááºážááœááºá á€á ááºážáááºááŸá¯á¡áá®ážá¡ááŸá¶á¡á¬ážáá¯á¶ážááá¯áááºááá·áºáá±áá¬ááœááºáááá¯á¡áá¯á¶ážááŒá¯ááá¯ááºáááºá ááá¯ááá¯áááºááŸá¬ SREá áá¯ááºáá«áááºá Google ááœááºá Netflix á Dropbox ááœááºáá±á«áºáá¬áááºá ááá¯á·áá±á¬áº áá áºáá»áááºáááºážááœáẠáá¯áá¹ááá®áááºáá»á¬ážááŸáá·áº áá¯ááºáááºážá áááºáá°áá»á¬ážááẠááá¯á·áá®áááºá á á¬á¡á¯ááºáááºá á¡á á®áááºáá¶á á¬áá»á¬ážááᯠááŒáá·áºááŸá¯ááá¯ááºáá±ááŒá®ááŒá áºáááºá áá°ááá¯á·á áá®á¡ááŒá±á¬ááºážááᯠááá¯áááŒá¬ááááŒá¬ážáá¬áááºá áááá»áá²á·ááá°áá¬ááœá±ááá¯ááŒáá·áºááŒáááºá á¡áááºááŒá±áááºáááºáááºá ááááºá¡áá¯á¶ážáááºááá¯ááºáááºá áá«ááá¯áááºáž ááá¯á¡ááºáááºá á¡áááºážáá±á¬ááºážáááºá
ááá¯ááá¯áááºááŸá¬á á€áá¯ááºáááºážá ááºáá»á¬ážááᯠá á¶áááºááŸááºááŒááºážááá¯ááºáᬠá¡áááá¡áá¯ááºá¡á¬ážáá¯á¶ážááᯠááá·áºá¡ááœáẠáá¯ááºáá±á¬ááºááŒá®ážááŒá áºáááºá ááá·áºáá¯áá¹ááá®ááœáẠSRE áá¡áááºážááá¹áááᯠá¡ááá¡áá»áá¯á¶ážááŒááºáááºááŸáá·áº áááºáá¶áá±á¬áºááŒááŒá®ážááŒá áºááá·áº á€á¡áá±á·á¡áá»áá·áºá¡á¬ážáá¯á¶ážááᯠáááºááœá±á·á¡áá±á¬ááºá¡áááºáá±á¬áºááẠááá·áºá¡ááœáẠáá»ááºááŸááá±áá«áááºá ááá¯ááá¯áááºááŸá¬ áá¯áá¹ááá®áááºáá»á¬ážá¡ááœáẠá¡áá¯á¶ážáááºáá±á¬ á¡ááŒá±áá¶áá°áá»á¬ážááŸá áááºážááẠSLAá SLIá SLO á á¡ááŒá²áááºážá¡áááá¹áá«ááºááœáá·áºááá¯áá»ááºááŒá áºáá«áááºá á¡áááºá áááºááẠáá±á¬á·ááºáá²ááºááœáẠááá«áááºáá«áá áááºážááá¯á·ááẠá¡ááŸá¬ážáá»á¬ážá¡ááœáẠá¡ááœááºážááá¯ááºáž SLA ááŸáá·áº internal SLO áá»á¬áž ááŒá áºáááá·áºáááºá áááºážááẠá¡ááœá²á·á¡ááœááºážááŸáá·áº áá¯ááºáááºážá¡ááœááºáž á áááºáááºá á¬ážááœáẠááœá±ážááœá±ážááŸá¯áá»á¬ážááᯠá¡ááŒá²áááºážááá¯ááᯠááŒá áºáá±á«áºá á±áááºá á¡ááŒá±á¬ááºážááŸá¬ áááºá¡ááŒá±áá¶á¡áá±á¬ááºá¡á¡á¯á¶á á á¶ááŒáá¯ááºáááºážá ááºá¡áá»áá¯á·ááœáẠá¡áá¯á¶ážááŒá¯áá«áá á á¶ááŒááá¯ááºááá¯ááºážááẠááá¯á¡ááºáááºááẠáá»á¬ážá áœá¬ááá¯áá±áá±á¬ááŒá±á¬áá·áºááŒá áºáááºá ááŒá®ážáá±á¬á· áááºáž IT áá¬áááŸá¬ ááŸááá²á· áá® ááá¯ážáᯠááá¯ážáá¯á áááºáž á¡áᯠáááẠáááá¯á¡ááºáá±á¬á·áá°ážá áá«áá±ááá·áº áá áºáá»áááºáááºážááŸá¬áá² áááºáᬠá¡áá»áááºááŒá¯ááºážááá¯ááºááŒá®áž áááŒá¬ážá¡áá¬ááœá±á¡ááœáẠá¡ááŸá¬ážááœá±á¡ááœáẠáááºáá»ááºááᯠááŒá¯ááºážááá¯ááºáá«áááºá
ááá¯á·ááŒá±á¬áá·áº á á±á¬áá·áºááŒáá·áºáá±á·áá¬ááŒááºážááŸáá·áº ááŒá®ážááŒááºááŒááºážá¡ááœá²á·á¡á ááºážááẠáááºááá·áºá¡ááœááºá¡á á¬áž áá¯áá¹ááá®á¡ááœááºáááᯠá¡áá¯á¶ážáááºáá«áááºá áá±áá°áá»á¡á¬ážááŒáá·áºá á¡ááŸá¬ážáá»á¬ážááẠáááºáá¶ááá¯ááºáá±á¬á áááºáá»ááºááŸáááá·áºáá±áá¬á áááºááŸááºážáá»ááºáá»á¬ážááŸáááá·áº áááºááá·áº á¡ááœááºá¡á á¬ážááŸááá±á¬ áá¯áá¹ááá®áá áºáá¯á¡ááœááºáááᯠá¡ááœááºá¡á á¬ážá áá° 3 áŠážá¡ááœáẠá áááºáá¯ááºáá±á¬ááºááŒááºážá០á á á¡áá¯á¶ážáááºááá·áº áááºážáááºážáá áºáá¯ááŒá áºáááºá
áááºážááá¬ááá¯ááºážááá¯ááºáᬠááœá²ááœá²ááŸá¯áá»á¬ážá áá±á¬ááºáá¯á¶ážá¡áá»ááºááŸá¬ á á±á¬áá·áºááŒáá·áºááŒááºáž ááŒá áºáááºá SLAá SLIá SLO á¡ááŒá±á¬ááºáž ááŒá±á¬áá±áá»áŸáẠáá»áœááºá¯ááºááá¯á·ááẠáááºáá»ááºááŸáá·áº ááá¯ááºáá®ááŸá¯ááŸááááŸáá áá»áœááºá¯ááºááá¯á·á áááºááŸááºážáá»ááºáá»á¬ážááᯠááá¯ááºáá¬ááŒááºáž ááŸááááŸáá áá±á¬ááºáá¯á¶áž SLA ááᯠáá»áœááºá¯ááºááá¯á· áááºááá¯á· ááœáŸááºážááá¯ážááá¯ááºáááºááᯠá á±á¬áá·áºááŒáá·áºááŒááºáž áááŸááá² áá¬ážáááºááá¯ááºáá±á¬ááŒá±á¬áá·áº ááŒá áºáááºá á á±á¬áá·áºááŒáá·áºá á áºáá±ážááŒááºážááŸá¬ á€áá²á·ááá¯á·ááŒá áºáá±áááºááᯠáá»áœááºá¯ááºá¡ááŒáááºáá»á¬ážá áœá¬ááŒááºáá°ážáááº- á¥ááá¬á áá¬áá¬áᶠáá±á¬ááºážááá¯ááá·áºá¡áá»áááºá áá»ááºážáá»áŸá¡áá»ááẠááá¯á·ááá¯áẠáá±áá¬áá±á·á áºááá¯á· áá±á¬ááºážááá¯áá»ááºá¡áá±á¡ááœááºá¡áá»áá¯á·ááŸááááºá áá°á·ááŸá¬ á¡ááºáá»ááºáá®áá¬áá áºáá±á¬ááºáá²á· á á¶ááŸá¯ááºážáá áºáá¯ááŸááááºá áááºááá áºááẠá á¶ááŸá¯ááºážááŸáá·áº ááœá±áááºááœá¬ážáá«á á¡á®ážáá±ážááºáá áºá á±á¬áẠáá±á¬ááºáá¬áááºá á ááºážáááºážá¡áá á€á¡áá¬ááẠáá¯á¶ážáá¡áá¯á¶ážááááºáá±á¬ááŒá±á¬áá·áºá áááºážááẠááááá±ážáá»ááºáá»á¬áž áá áºáááºážááŒááºážá á á±á¬áá·áºááŒáá·áºááŒááºážá០áááºáá±á·áá»áºáá»á¬áž áá áºáááºážá á±ááŒááºážá áá°áá áºáŠážááẠá¡áá»áááºááá¯ááºážááœáẠáááºážááá¯á·ááᯠáŠážá áœá¬á¡áááºááŒááºááá¯ááááºááŒá áºááŒá®ážá ááá¯ááá¯áááºááŸá¬á áááºááá áºááááºááá¯ážááᯠáá¯á¶ážááŒááºááŒááºážáᯠááá¯ááá¯áá«áááºá áá¯ááºáá±á¬ááºáá»ááºá¡áá»áá¯á·ááá¯á¡ááºáááºá áá¯áááá¡áá±ááŒáá·áºá á¡ááŒá±áá¶á¡á¬ážááŒáá·áº áá°á·áá¶á០áááºááá·áºáá¯ááºáá±á¬ááºáá»ááºáá»áŸ áááá¯á¡ááºáá±á¬á¡áá«ááœáẠá€ááááá±ážáá»ááºá¡á¬ážáá¯á¶ážááᯠáááááŒá¯áááá¯á¶áá¬ááŒá áºáááºá áááºážááẠáá±á¬ááºážááœááºáá±á¬ á á±á¬áá·áºááŒáá·áºáá±ážá ááºážáá»ááºážááŒá áºááŒá®áž SRE ááᯠá¡áá±á¬ááºá¡áááºáá±á¬áºááá·áºá¡áá« ááááá¯á¶ážá ááºážáá»ááºážááŸá¬ áá¯ááºáá±á¬ááºáá»áẠááá¯á¡ááºááá·áºá¡áá«ááŸáᬠá¡ááŒá±á¬ááºážááŒá¬ážáá»áẠááœááºáá±á«áºáá¬áááºááŒá áºáááºá
á á¶ááá á¹á ááœááºá ááŒá áºááẠá ááá·áºááŸááááºá ááááá±ážáá»ááºááœá±á áááºááŸááºááœá±ááŸááááºá ááŸááºáááºážááœá±ááŸááááºá ááááá±ážáá»ááºáá»á¬ážááẠááá·áºá¡á¬áž áá»ááºáá»ááºážá¡áá±ážáá°áá±á¬ááºááœááºááẠááá¯á¡ááºááá·áºá¡áá¬áá»á¬ážááŒá áºáááºá ááá¯ááá¯áááºááŸá¬á á¡áá¬á¡á¬ážáá¯á¶ážáá»ááºááœá¬ážáááºá ááá¯ááŒááºáááºááá¯á¡ááºáááºá áááºááŸááºááœá±á ááŸá±á¬áá·áºááŸá±ážáá¬ááœá± ááá¯á¡ááºáááºá áá¯ááºáá²á·á ááẠáá áºáá¯áá¯áá¯ááºááẠááá¯á¡ááºáááºá áááºááá¯ááºááá¯áẠáá áºáá¯áá¯áá¯ááºááẠááá¯á¡ááºáááºá á¡ááá¯á¡áá»á±á¬ááºá áá Ạáá¡á±á¬ááºááŒááºáá±á¬áºáááºáž áá±á¬ááºáááá áºá¡áááºážáááºááŒá¬á¡á±á¬áẠáááºáá¯ááºáá±á¬ááºááẠáááá¯á¡ááºáá«á ááŸááºáááºážáá»á¬ážááẠáá¯ááºáá±á¬ááºáááºáááá¯á¡ááºáá±á¬ á¡áá¬ááŒá áºááŒá®áž áá±áá¯áá»á¡á¬ážááŒáá·áº áá±á¬ááºážááœááºáá«á áááºážááá¯á·ááᯠáááºáá°áá»áŸ áááºáááºááá¯ááºáá«á á¡áá»áááºá¡áá±á¬áºááŒá¬á¡á±á¬áẠáá áºáá¯áᯠáá»ááºááœá¬ážáá²á·á¡áá« á¡á²áá«ááᯠáá»áœááºáá±á¬áºááá¯á· áááááá¯ááºáá²á·á¡áá« ááŸááºáááºážááœá±ááᯠáááºááá¯á·áá² ááá¯áá«áááá·áºáááºá áá«ááŸááá¯áẠáá¯áá±áááá¯ááºááá¯á· ááá¯ááá¬ážá ááá¯á·áá±á¬áº áá±áá¯áá»á¡á¬ážááŒáá·áº áááºááá·áºáá¯ááºáá±á¬ááºááŸá¯áá»áŸ áááá¯á¡ááºááá·áºá¡áá¬á¡á¬ážáá¯á¶ážááẠáá áºáá¯á¶ážáá»á¬ážáá¶áá±á¬ááºááœá¬ážáááºá
á€á¡áá¬á¡á¬ážáá¯á¶ážá áá±ážááœááºááá¯ážáá»áá¯ážá¡áá±ááŒáá·áºá áá»áœááºá¯ááºááá¯á·ááẠáááºááá·áºááŒá áºáááºáá»á¬áž ááá¯á¡ááºáááºááᯠáááºááŸááºááŒá®áž á€áá¯ááºáá±á¬ááºáá»ááºáá»á¬ážááẠáááºááá·áºá¡áá¬ááŒá áºááá·áºáááºááᯠáá±á¬ááºážá áœá¬áá±á¬áºááŒáá«áá áá¯ááºáá±á¬ááºáá»ááºááẠá¡ááá¯á¡áá»á±á¬ááºáá¯ááºáá±á¬ááºááá¯ááºáááºáᯠááá¯ááá¯áááºá á¡á²áá«á áá¬ááŒá áºááá²á áááááŸáá០ááœá¬ážááŒáá¬á ááŸá¯ááºááŸá¬ážááŒáá¡á±á¬ááºá á€áá¯ááºáá±á¬ááºáá»ááºá áá±á¬áºááŒáá»ááºááá¯á· áá»áœááºá¯ááºááá¯á·ááœá¬ážáá«á ááá¯á·áá±á¬áẠáá»áœááºá¯ááºááá¯á·ááẠá¡ááá¯á¡áá»á±á¬ááºá áá áºááá¯á· áááºááœá¬ážááŒáááºá ááá¯ááá¯áááºááŸá¬á áááºááá·áº á¡ááá¯á¡áá»á±á¬ááºá áá áºááẠááŒá áºáááºáá áºáá¯á¡áá±á«áº áá¯á¶á·ááŒááºááŸá¯ááŒáá·áº á áááºáááºá
á á±á¬áá·áºááŒáá·áºááŒááºážá០áá»áœááºá¯ááºááá¯á·ááẠObservability áá¯áá±á«áºáá±á¬ áá±á«áá¬ááá áºáá¯ááá¯á· áááºááœá¬ážáá«áááºá ááœááºáá²á·ááá·áºááŸá áºá¡áááºážáááºá á€á áá¬ážáá¯á¶ážááŸáá·áºáááºáááºá áá±á¬ááºážááœááŸá¯á¡áááºážáááºááŸááá²á·áááºá ááŒá®ážáá±á¬á· áá°á¡áááºážáááºá áá¬ááá¯ááá¯ááá¯áááºááá¯áᬠáááºá ááºááŒá®áž áá¬ážáááºáá«áááºá ááá¯á·áá±á¬áº á¡áááá¡áá»ááºááŸá¬ Observability ááẠá áá áºááœáá·áºáááºážááŒááºáá¬ááŸá¯á¡ááœáẠáááºááá áºáá áºáá¯ááŒá áºáááºá áá áºáá¯áᯠááŸá¬ážááœá¬ážáá«áá á¡ááá¡áá» ááŸá¬ážááœá¬ážáááºááŸáá·áº ááá¯á¡áá»áááºááœáẠá áá áºá á¡ááŒá±á¡áá±ááẠáááºáá»áŸ áá»ááºááŒááºá áœá¬ áá¯á¶ážááŒááºááá¯ááºáááºáááºážá áá¯ááºáá ááºážáááºážáá»ááºáá»á¬ážá- áááºááá·áºáá¯ááºáá±á¬ááºáá»ááºáá»ááºááœááºá áááºááá·áºáááºáá±á¬ááºááŸá¯á០áá¡á±á¬ááºááŒááºáá«á á¥ááá¬á internal variablesá configuration á áááºááá¯á¡ááŒá±á¡áá±áá²á á¡ááŒá±áá¶á¡áá±á¬ááºá¡á¡á¯á¶ááá¯ááºážá¡áá áááºážááẠáááŸáááá¯ááºááŸá¯áá¯ááºááœáẠáá»áá¯á·ááœááºážááŸá¯ááŒá áºááœá¬ážáá²á·ááŒá±á¬ááºážááŸáá·áº ááá·áºááœáẠKubernetes ááŸááá«áá áááºááá·áº pod ááœáẠáá»ááºááœááºááŸá¯ááŒá áºááœá¬ážáá²á·áááºá pod áá¡ááŒá±á¡áá±ááŸá¬ á¡áááºáááºážá ááá¯á·ááŒá±á¬áá·áºá Observability ááẠMTTR ááŸáá·áº ááá¯ááºááá¯ááºáááºá ááºááŸá¯ááŸááááºá áááºáá±á¬ááºááŸá¯á Observability ááŒáá·áºáá¬ážáá±á error ááá¯áá±á¬áºáá¯ááºáááºááá¯ááá¯ááœááºáá°áá±á error ááá¯ááŒááºáááºááá¯ááá¯ááœááºáá°áá±á error ááá¯á¡ááá¯á¡áá»á±á¬ááºááŒá¯áá¯ááºáááºááá¯ááá¯ááœááºáá°áá±á MTTR áááºážáááá·áºáá±ááŒá áºáááºá
áá¯áá¹ááá®áááºáá»á¬ážáá®ááá¯á· áá áºáááºááŒá±á¬ááºážááŒááºáááºá ááá¯áááºáá»áŸáẠá¡áááºážá¡ááœááºá¡á á¬ážááᯠáááºááá¯á·ááá¯ááºááœááºááŒá±ááŸááºážááááºáááºážá á¡ááœá²á·áááºáá áºáá¯ááẠáá®ážááŒá¬áž SRE ááᯠááŸá¬ážáááºážááẠááá¯á¡ááºááŒááºáž ááŸáá áá®á¡ááŒá±á¬ááºážááᯠáááºážáááºážá á±á¬ááŒá®áž ááŒá±á¬ááŒá®ážááŒá®á á áááºáááºáá±á¬ááºááŒááºáž ááá¯á·ááá¯áẠá¥ááá¬á¡á¬ážááŒáá·áº á¡ááœá²á·áá áºááœá²á·á ááœá¶á·ááŒáá¯ážááá¯ážáááºááŸá¯ááááá¡ááá·áºááœááºá SRE ááẠá¡ááœááºáá°ážááŒá±á¬ááºážáá±ážááá¹ááá áºáá¯ááŒá áºáá¬ááá¯ááºáá±á¬ááŒá±á¬áá·áº áááºážááẠáá¯á¶ážááááá¯á¡ááºáá«á á¡áááºážáá¯á¶áž ááœá²ááŒá¬ážááŸá¯á¡áá»áá¯á·ááŸááá±á¬ááŒá±á¬áá·áº áááºážááẠá¡áááºážááᯠá¡áááºážááẠááŒááºáááºááŸááºáááºá á±áááºááŒá áºáááºá ááá¯á·á¡ááŒáẠááá¯ážáááºááŸá¯ááŸáá·áºá¡áá°á áá±áá¯áá»á¡á¬ážááŒáá·áº SRE á áá¬áááºáá»á¬ážááẠáááááá¬áᬠááŒá±á¬ááºážáá²áá¬áááºáá°áá±á¬ á¡áá»ááºá¡ááœáẠáá°áá»á¬ážááᯠááŒááºáááºáá±ážáááá·áºáááºá áá°áá áºáá±á¬ááºááᯠááŸá¬ážááẠáá°á·ááŸá¬ áá»áŸá±á¬áºááá·áºáá»ááºááœá±ááŸááááºá á€áá»áŸá±á¬áºááá·áºáá»ááºáá»á¬ážááẠá¡áá»áááºááŸáá·áºá¡áá»áŸ ááŒá±á¬ááºážáá²áááºááá¯ááºáá±á¬áºáááºáž ááá¯á¡ááºáá»ááºáá»á¬ážááẠá¡ááœááºááŒá±á¬ááºážáá²ááœá¬ážáááá·áºáááºá ááá¯á·ááŒá±á¬áá·áº á¡á á±á¬ááá¯ááºážá¡ááá·áºáá»á¬ážááœáẠSRE ááᯠáááºáá²á·ááá¯á· ááŸá¬ážáááºážááááºáááºážá ááá¯áá·áºááá¯ááá¯áẠááŒá¯á á¯áá»áá¯ážáá±á¬ááºááᬠááá¯ááœááºáááºá áá«áá±ááá·áº á ááºážá á¬ážááá»áá¯ážáááºáá«áááºá
áá áºáá¯áááºážáá±á¬ááŒáœááºážáá»ááºááŸá¬ á¡ááœááºáááºážáá»ááºááŒá®áž áá±á¬ááºážááœááºá áœá¬áááºááŸááºáá¬ážáá±á¬ ááá¯ážáááºááŸá¯ááá¯á¡ááºáá»ááºáá»á¬ážááŸááá±áá±á¬á¡áá« ááŒá áºáá±á¬ááºážááŒá áºááá¯ááºáááºá ááá¯ááá¯áááºááŸá¬ startup áá áºáá¯áá¡ááŒá±á¡áá±ááœááºá áááºážááẠáááºážááŸá®ážááŒá¯ááºááŸá¶áá°áá»á¬ážáá¶á០ááá¡á¬ážá¡áá»áá¯á· ááŒá áºááá¯ááºáááºá ááá¯ážáááºááŸá¯á¡ááœáẠá¡ááŒáááºáá»á¬ážá áœá¬ áá áºáá«áááºáž ááá·áºááŸááºážáá»ááºáá»áá¯ážááŒá áºáááºá ááá¯á·áá±á¬áẠSRE ááᯠááŸá¬ážáááºážááŒááºážááẠááá¬ážáá»áŸáááá¯ááºáá±á¬ááŒá±á¬áá·áº á¡ááŒá±áá¶á¡á¬ážááŒáá·áº ááá¬ážáá»áŸááá«áááºá áá»áœááºá¯ááºááá¯á·ááœáẠááá¯ážáááºááŸá¯á¡ááœáẠááá¯á¡ááºáá»ááºáá»á¬ážááŸááá«áááºá ááá¯ááá¯á·áá±á¬ááá¯ážáááºááŸá¯á¡ááœáẠáááºááá·áºá¡áá¬á០áá»ááºááŒá¬ážááœá¬ážááẠááá¯ááºáá°áá±á¬á¡áá»ááºááᯠáá¬áááºáá°ááá·áºáá°áá áºáŠáž ááá¯á¡ááºáá«áááºá
áá±á¬ááºáááºáá±ážááœááºážáá áºáá¯á áá±á¬á·ááºáá²á¡ááºáá»ááºáá®áá¬áá»á¬ážááẠá ááºážáááºááŸá¯áá»á¬ážá¡á±á¬ááºááŒááºáá±á¬áºáááºáž áá¯ááºáá¯ááºááŸá¯ááᯠááŒááºáá±á¬ááºáᬠá¡ááŒá±á áá¯ááºá áááºážááᯠáááºáá±á¬ááºáᬠá¡ááŒá¬ážá¡ááºá¹áá«áááºáá»á¬ážááᯠááŒááºáá±á¬ááºááá¯ááºááá·áºá¡áá« áááºááá¯á·áá¯ááºáá±á¬ááºááááºáááºážá ááá¯á·ááŒá±á¬áá·áºá á€ááá á¹á ááœááºá áááºážáááºááááºáááºáá¬ážáá±á¬á¡ááŸá¬ážáá»á¬ážá¡ááœááºáááºáá»ááºááŒá áºáááºá áááºáá±á¬ááºááŸá¯á¡áá»áá¯á·ááŸáá·áº á¡ááºá¹áá«áááºá¡áá»áá¯á·ááᯠáá¯ááºáá¯ááºáá±ážááœáẠá ááºážáááºáá±ááŒá®ááŒá áºáááºá á¡áá¯á¶ážááŒá¯áá°á¡áááºážá á¯áá¬ááŒá áºáá±á¬áºáááºáž áá¯ááºáá¯ááºáá±ážááœáẠáá¯ááºáá±á¬ááºáá¬ážááŒá®ážááŒá áºááá·áºá¡áá»áááºááœáẠáááºážááẠáááá¹ááá®ááŒá áºááá¯ááºáá±á¬áºáááºážá áá áºáá¯áá¯áá»ááºááœá¬ážáá«á á¥ááá¬á¡á¬ážááŒáá·áºá á¡áá¯á¶ážááŒá¯áá°á¡á¬ážáá¯á¶ážá áááºáááºááá·áºááẠáááºážááẠááŒáá·áºáááºážáá±ážáááºáᯠáá»áŸá±á¬áºááá·áºáá¬ážááŒá®ážáá¬ážááŒá áºáááºá á¡ááŸá¬ážáá»á¬ážá¡ááœááºáááºáá»ááºá ááá¯á·ááŒá±á¬áá·áºá áá¯ááºáá²á·á á¡áá»áá¯á·áá±á¬á¡áá¯á¶ážááŒá¯áá°áá»á¬ážá¡ááœáẠerror áá áºáá¯ááŸááááºááŒá áºáá±á¬áºáááºážá áááºážááẠáá¯á¶ááŸááºááŒá áºááŒá±á¬ááºáž áá»áœááºá¯ááºááá¯á·ááŒá±á¬áá¬ážááŒá®ážááŒá áºáááºá
SRE áááááá¬áá»á¬ážááŸáá·áºáááºáááºá áá±ážááœááºážáá áºáá¯ááŸááá²á·áááºá ááá¯ááá¯áááºááŸá¬á SREs áá»á¬ážááẠá¡ááŒá¬ážáá°áá»á¬áž á¡áá¯á¶ážáááŒá¯ááá¯ááºáá±á¬ á¡áá°ážáááŒáá·áº áá áºáá¯áá¯ááŸááá«ááá¬ážá ááááºáá±á¬á·á á¡áá»áá¯á·áá±á¬á¡áá°ážááŒá¯ utilities áá»á¬ážááŸááá«áááºá á¥ááá¬á¡á¬ážááŒáá·áº loads áá»á¬ážááᯠsimulates ááá¯á·ááá¯áẠcanary A/B testing ááœááºáá«áááºááá·áºáá±á¬á·ááºáá²ááºá¡áá»áá¯á·ááŸááááºá ááá¯á·áá±á¬áº á¡ááŒá±áá¶á¡á¬ážááŒáá·áº SRE toolkit ááẠááá·áº developer áá»á¬ážá¡áá¯á¶ážááŒá¯áá±ááŒá®ááŒá áºáááºá á¡áááºááŒá±á¬áá·áºááá¯áá±á¬áº SRE ááẠááœá¶á·ááŒáá¯ážááá¯ážáááºáá±ážá¡ááœá²á·ááŸáá·áº ááá¯ááºááá¯áẠááááœá±á·áááºáá¶áá±á¬ááŒá±á¬áá·áº ááŒá áºáááºá ááá·áºááœáẠááá°áá®áá±á¬áááááá¬áá»á¬ážááŸááá«áá áááºážááẠáá áºááŒáá¯ááºáááºážáá¯ááºáá±á¬ááºááẠá¡áá»áááºáá°ááááá·áºáááºááŒá áºáááºá á¡áá°ážáááŒáá·áº SRE áá»á¬ážááẠá¡áááºážááŒá®ážáá»á¬ážááŸáá·áº á¡áá¯ááºáá¯ááºáá«áá á¡ááœá²á·áá»á¬ážá áœá¬ááŸáááá¯ááºáá±á¬ áá¯áá¹ááá®ááŒá®ážáá»á¬ážááœááºá áááºážááẠá€áá±áá¬ááœáẠáá»á¬ážá áœá¬á¡áá±á¬ááºá¡áá°ááŒá áºá á±ááá·áº áá¯áá¹ááá®áá áºáá¯áá¯á¶áž á á¶áááºááŸááºááŒááºážááŒá áºáááºá á¡áááºááŒá±á¬áá·áºááá¯áá±á¬áº ááá°áá®áá±á¬ utilities 50 ááᯠá¡ááœá²á· 50 ááœááºá¡áá¯á¶ážááŒá¯áá«áá ááá¯ááá¯áááºááŸá¬ SRE ááẠáááºážááá¯á·ááᯠáááá¬ážáááẠááŒá áºáááºá á¡á¬ážáá¯á¶áž áá¯ááºáá«ááẠáá«ááááºáá±á¬á·ááŸááŒá áºáá¬ááŸá¬ááá¯ááºáá°ážá á¡áá¯ááºáá¡áááºá¡ááœá±ážá á¡áááºážáá¯á¶ážá¡áááºážá¡áá»áá¯á·áááááºážáá»á¯ááºááŸá¯á¡áááºá¡ááœá±ážáááºáááááá¬áá¬áá»áááºážáááá·áºáááºá
áá»áœááºá¯ááºááá¯á·á webinar ááẠááŒá®ážááœá¬ážáá«ááŒá®á á¡ááŒá±áá¶á¡áá»ááºá¡áá»áá¯á·ááᯠááŒá±á¬ááŒááá¯ááºáá²á·áááºá áá¯ááºáá«áááºá SRE á¡ááŒá±á¬ááºážááᯠáá áºáá¬áá®á¡ááœááºážááŸá¬áá² ááŒá±á¬ááŒááŒá®áž áá¬ážáááºááá¯ááºááŸá¬áá«á áá«áá±ááá·áº áá®ááœá±ážáá±á«áºáá¯á¶áááºážáááºážá á¡ááááá±á¬á·áá»ááºááœá±ááᯠáá±á¬áºááŒááá¯ááºáááºááá¯á· áá»áŸá±á¬áºááá·áºáá«áááºá á áááºáááºá á¬ážáá«á á¡ááŒá±á¬ááºážá¡áá¬ááᯠá á±á·á á±á·á ááºá ááºáá±á·áá¬áááºá áááºááá¯ááºááá¯ááºáá±á·áá¬áááºá áááºážááᯠá¡ááŒá¬ážáá¯áá¹ááá®áá»á¬ážá á¡ááŒá¬ážáá¯áá¹ááá®áá»á¬ážááœáẠáááºááá¯á·á¡áá±á¬ááºá¡áááºáá±á¬áºáá±áááºááᯠááŒáá·áºááŸá¯ááẠááŒá áºááá¯ááºáá«áááºá ááá¯á·ááŒá±á¬áá·áºá áá±áá±á¬áºáá«áá®áá¡á á±á¬ááá¯ááºážááœááºá Slurm SRE ááœáẠáá»áœááºá¯ááºááá¯á·áᶠáá¬áá«á
Slurm SRE ááẠááá¯áá»áá±á¬áºááŒá±á¬áá±ááá·áºá¡ááŒá±á¬ááºážá¡áá¬áá»á¬ážá¡ááŒá±á¬ááºážááŒá±á¬ááá·áº áá¯á¶ážáááºááŒá¬ á¡áá°ážááŒááºáááºáááºáááºážááŒá
áºááŒá®ážá áááºááœá±á·áá»áá±á¬ááá
á¹á
áá»á¬ážááœáẠáááºááœá±á·áá¯ááºáá±á¬ááºááŒááºážááŒáá·áº ááá¯ááá¯áááºááŸáá¯ááºážá
áœá¬ááŒáá·áº áááºááœá±á·áá¯ááºáááºážááœááºáá
áºáá¯áá¯á¶ážááᯠáááºááœá±á·áá¯ááºáá±á¬ááºááẠáááºááœááºáá«áááºá áá°ááœá±ááᯠá¡ááœá²á·ááœá±ááœá²áááºá áááºážááá¯á·á¡á¬ážáá¯á¶ážá áááá·áºááŒá
áºáááºááŸááºááœá±ááᯠááá¯ááºáá¯ááºááŒáááá·áºáááºá ááá¯á·ááŒá±á¬áá·áº áá»áœááºá¯ááºááá¯á·ááœáẠBooking.com áááºážááŒááᬠIvan Kruglov ááŸáá·áº Ben Tyler ááŸááááºá áá»áœááºá¯ááºááá¯á·ááœáẠSan Francisco á០Google á០á¡á¶á·ááœááºáá±á¬ááºážáá±á¬ Eugene Barabbas ááŸááááºá ááŒá®ážáá±á¬á· áá«áááºážááᯠáá
áºáá¯áá¯ááŒá±á¬áááºá áá«ááŒá±á¬áá·áº áá»áœááºáá±á¬áºááá¯á·ááᯠáá¬áááºááá¯á· áá±áá»á¬áá«á
á±á
áá®áá±á¬á· áá»ááºážááá¯ážá
á¬áááºážá SRE ááœáẠááá¯ážáá¬ážáá»ááºáá»á¬ážááŸááááºá
chaos engineering á á¡ááŒá±áá¶áá°áá»á¬ážááá¯ááºáᬠáá±á¬ááºááẠááá·áºáẠá áá¯
á
áááºáááºá
á¬ážááœááºáá±á¬ááºážáá«áž:
á¡áá¯ááᯠá¡áá»áááºááá¯ááºáž áá¬ážáá±á¬ááºáá±ážááá¯á· áá»á±ážáá°ážáááºáá«áááºá áá
áºáá¯áᯠáááºáá°ááŒá®ážááŒá®ááá¯á· áá»áŸá±á¬áºááá·áºáá«áááºá áá®áááºáá áá±á·áá¬ááá¯á· áá¯á¶áá±á¬ááºáá²á· á¡ááŒá±á¬ááºážá¡áá¬ááœá± ááŸááááºááá¯á· áá»áŸá±á¬áºááá·áºáá«áááºá ááœá±á·áááºá áá±áá±á¬áºáá«áá®ááŸá¬ áá»áŸá±á¬áºááá·áºáááºá
á¡ááá¯áá« webinar ááᯠEduard Medvedev ááŸáá»ááºážááá²á·áááºá
PS: á
á¬áááºáá«ááá¬áá«áá°áá»á¬ážá¡ááœáẠEduard ááẠááá¯ážáá¬ážáá»ááºá
á¬áááºážááᯠáá±ážáá²á·áááºá áááºááœá±á·áá¬ážáááºááá¯áá°áá»á¬áž ááŒáá¯ááá¯áá«áááºá
source: www.habr.com