SRE (Site Reliability Engineering) ááẠáááºááá±á¬áá»ááºáá»á¬ážááᯠáááºááŸááºážáá®ááá¯ááºá
á±ááẠáá»ááºážáááºááŸá¯áá
áºáá¯ááŒá
áºáááºá áááºážááᯠDevOps á¡ááœáẠáá°áá±á¬ááºáá
áºáá¯á¡ááŒá
ẠáááºááŸááºááŒá®áž DevOps á¡áá±á·á¡áá»áá·áºáá»á¬ážááᯠá¡áá¯á¶ážáá»áá¬ááœáẠáááºááá¯á·á¡á±á¬ááºááŒááºááááºááᯠááŒá±á¬ááŒáááºá á€áá±á¬ááºážáá«ážááᯠáá¬áá¬ááŒááºáá«áááºá á
á¬á¡á¯ááºáá»á¬áž Google á០áá»áœááºá¯ááºááẠá€áá¬áá¬ááŒááºááᯠááá¯ááºááá¯ááºááŒááºáááºááŒá®áž á
á±á¬áá·áºááŒáá·áºááŒááºážáá¯ááºáááºážá
ááºáá»á¬ážááᯠáá¬ážáááºááŒááºážá¡ááœáẠáá»áœááºá¯ááºáááá¯ááºááá¯ááºá¡ááœá±á·á¡ááŒá¯á¶ááᯠá¡á¬ážááá¯ážáá«áááºá ááŒá±ážáááºážáá¯ááºáá¶ááá¯ááºážááœáẠО áááºáá±á¬ááºááŸá¯á¡ááá·áº áááºááŸááºážáá»ááºáá»á¬ážááá¯ááºáᬠá¡áá¬ážáá°á
á¬á¡á¯ááºá á¡áááºáž á á áá¬áá¬ááŒááºááá¯áá»ááºáá
áºáá¯ááá¯á·áááºáž ááá·áºááºáá
áºáá¯áááºáá²á·áááºá
ááŒá±á¬ááºáá¬áá¬ááŒááºá áááºááŸá¯áá¶á
á¬ážáá«á
Google SRE á¡ááœá²á·áá»á¬ážááœáẠá¡á±á¬ááºááŒááºáá±á¬ á
á±á¬áá·áºááŒáá·áºá
á
áºáá±ážááŒááºážááŸáá·áº á¡áááá±ážáá»ááºá
áá
áºáá»á¬áž áááºáá±á¬ááºáááºá¡ááœáẠá¡ááŒá±áá¶áá°áá»á¬ážááŸáá·áº á¡áá±á¬ááºážáá¯á¶ážá¡áá±á·á¡áá»áá·áºáá»á¬ážááŸááááºá á€á¡áááºážááœáẠáááºá
á¬áá»ááºááŸá¬áááºáááºáá°ááẠáááºá
á¬áá»ááºááŸá¬ááᯠááŒáá·áºááŸá¯áá°ááŒá¯á¶ááœá±á·áááá¯ááºááá·áº ááŒá¿áá¬áá»á¬ážááŸáá·áº áááºá
á¬áá»ááºááŸá¬áá»á¬ážááᯠááŒááááºáááºáá²á
á±ááá·áº ááŒá¿áá¬áá»á¬ážááᯠááŒá±ááŸááºážáááºážááá¯á·ááᯠá¡ááŒá¶ááŒá¯áá¬ážáááºá
áááºááŸááº
á á±á¬áá·áºááŒáá·áºááŒááºážááŸáá·áº áááºáááºááá·áº á¡ááŒá±á¬ááºážá¡áá¬áá»á¬ážááᯠááœá±ážááœá±ážááẠáá áºáá¯áááºážáá±á¬ áá±á«áá¬á áááŸááá«á Google ááœááºáááºá á¡á±á¬ááºáá±á¬áºááŒáá«á¡áá¯á¶ážá¡ááŸá¯ááºážáá»á¬ážááẠá¡áá»á¬ážá¡á¬ážááŒáá·áº á¡áá¯á¶ážáááŒá¯áá±á¬áºáááºáž á¡áá¯á¶ážá¡áá»á¬ážáá¯á¶ážáá±á¬ á¡áááá¹áá«ááºááœáá·áºááá¯áá»ááºáá»á¬ážááᯠá á¬áááºážááŒá¯á á¯áá«áááºá
á á±á¬áá·áºááŒáá·áºáá±á·áá¬ááŒááºáž
á áá áºá¡ááŒá±á¬ááºáž á á¯áá±á¬ááºážááŒááºážá áá¯ááºáá±á¬ááºááŒááºážá á á¯á ááºážááŒááºážááŸáá·áº á¡áá»áááºááŸáá·áºáááŒá±ážáá® ááááºážááááºážá¡áá»ááºá¡áááºáá»á¬ážááᯠááŒáááŒááºáž- áá±á¬ááºážááá¯áá»ááºá¡áá±á¡ááœááºááŸáá·áº áá±á¬ááºážááá¯áá»ááºá¡áá»áá¯ážá¡á á¬ážáá»á¬ážá á¡ááŸá¬ážá¡áá±á¡ááœááºááŸáá·áº á¡ááŸá¬ážá¡áá»áá¯ážá¡á á¬ážáá»á¬ážá áá±á¬ááºážááá¯áá»ááºáá¯ááºáá±á¬ááºáá»áááºááŸáá·áº áá¬áá¬ááœáá·áºáá»áááºá
á¡ááŒá°áá±á¬ááºáá±áá¹áá¬ááá¯á á±á¬áá·áºááŒáá·áº
ááŸááºáááºážáá»á¬ážá JVM ááá¯á·ááá¯áẠHTTP ááá¯ááºááœááºáá° áááá¯ááá¯ááºážáááºááá áºáá»á¬ážá¡áá«á¡ááẠá áá áºá¡ááœááºážááá¯ááºážá០ááŒáááá·áº áááºááá áºáá»á¬ážá¡áá±á«áº á¡ááŒá±áá¶á á á±á¬áá·áºááŒáá·áºááŒááºážá
Black box á á±á¬áá·áºááŒáá·áºááŒááºážá
á¡áá¯á¶ážááŒá¯áá°áá¡ááŒááºááŸá¡ááá®áá±ážááŸááºážáá¡ááŒá¯á¡áá°ááá¯á ááºážáááºááŒááºážá
áááºááŸáºáá¯ááºáá»á¬áž (áááºááŸáºáá¯ááºáá»á¬áž)
áááºáá±á¬ááºááŸá¯áá»á¬ážá á¡ááá áá»ááºážáá¬áá±áž ááœáŸááºááááºážáá»á¬ážááᯠááŒá¯á¶áá¯á¶áá¯á¶ážáááºáá±ážááá·áº á¡ááºáá¬áá±á·á áºáá áºáᯠ(áá»á¬ážáá±á¬á¡á¬ážááŒáá·áº áááºá¡ááºáá¬áá±á·á áºáá áºáá¯)á áááºááŸáºáá¯ááºááœáẠá á áºáá¯ááºááŸá¯áá»á¬ážá ááŒáááá·áº áááºááá áºáá»á¬ážááᯠááœá±ážáá»ááºááá¯ááºááá·áº á áœááºážááẠá¡á ááŸááááºááá¯á· ááŸáááá¯ááºáááºá á¡ááºáá¬áá±á·á áºááẠáá¯á¶ážá áœá²áá°áá»á¬ážá¡ááœáẠá¡áá±ážááŒá®ážáá¯á¶áž áááºááá áºáá»á¬ážááᯠááœá²ááŒá¬ážáááºááŸááºááẠáá®ááá¯ááºážáá¯ááºáá¬ážáááºá áááºááŸáºáá¯ááºááẠáááºážááá¬ááá¯ááºáᬠáá¶á·ááá¯ážáá°áá®áá±ážáááºáááºážáá»á¬ážá¡ááœáẠá¡áá»ááºá¡áááºáá»á¬ážááá¯áááºáž ááŒáááá¯ááºáááº- áá±á¬ááºážááá¯áá»ááºáááºážá á®ááŒááºážá áŠážá á¬ážáá±ážá¡ááŸá¬ážáá»á¬ážá á¬áááºážá áá±ážáá¬ážááá·áº áááºáááºáá áºáá¯á¡ááœáẠáá¬áááºáá±ážá¡ááºáá¬ážáá±á¬ á¡ááºáá»ááºáá®áá¬áá áºáŠážá
ááááá±ážáá»áẠ(ááááá±ážáá»ááº)
á¡ááŸá¬ážá¡ááœááºážáá»á¬áž ááá¯á·ááá¯áẠáá±á¬ááºážááá¯ááŸá¯áááºážá á®ááŸá¯ ááá¯ážáá¬ááŒááºážááŒá±á¬áá·áº á¡á áá»áá¯ážááá¯ááºááá·áº á¡á®ážáá±ážááºááŒáá·áº ááá¯á·ááá¯áẠá¡ááŒá¬ážáááºážááŒáá·áº áá°áá áºáŠážá០áááºáá¶áááŸáááẠáááºááœááºáá¬ážááá·áº á¡ááŒá±á¬ááºážááŒá¬ážá á¬áá»á¬ážá á¡ááŒá±á¬ááºážááŒá¬ážáá»ááºáá»á¬ážááᯠáááºááŸááºáá»á¬ážá á¡á®ážáá±ážááºááááá±ážáá»ááºáá»á¬ážááŸáá·áº messenger áááºáá±á·áá»áºáá»á¬ážá¡ááŒá Ạá¡áá»áá¯ážá¡á á¬ážááœá²ááŒá¬ážáá¬ážáááºá
á¡áááºážáá¶á¡ááŒá±á¬ááºážááá¬áž (á¡ááŒá áºá¡ááŒá±á¬ááºážááá¬áž)
ááŒá¯ááŒááºááá·áºá¡áá«ááœáẠáá±á¬á·ááºáá²áá»áá¯á·ááœááºážáá»áẠááá¯á·ááá¯áẠáá°áá¬ážá¡ááŸá¬ážáá áºáᯠáááºáá¶áááŒá áºááœá¬ážááá·áºáá«á ááŒá¿áá¬ááœáẠá¡áááá¡ááŒá±á¬ááºážáááºážáá»á¬ážá áœá¬ááŸáááá¯ááºáááº- áá¯ááºáááºážá ááºá¡ááá¯á¡áá»á±á¬ááºá áá áºááá¯á¶áá±á¬ááºááŒááºážá áá±á¬á·ááºáá²áá»áá¯á·ááœááºážáá»ááºá á¡ááá®áá±ážááŸááºážáá¯áá¹áááá±ááá±á·áá¬ááŸá¯ ááá¯á¶áá±á¬ááºááŒááºážá á€á¡áá»ááºáá áºáá¯á á®ááẠá¡áááºážáá¶á¡ááŒá±á¬ááºážááá¬ážááŒá áºááá¯ááºááŒá®áž áááºážááá¯á·á¡á¬ážáá¯á¶ážááᯠáááºááŸá¬ážáá áºááááºááŒá áºáááºá
Node and machine (node ââand machine)á
áá¯ááºááá¯ááºážááá¯ááºáá¬áá¬áá¬á áááá¯áá¬á áẠááá¯á·ááá¯áẠááœááºááááºáá¬áá áºáá¯áá±á«áºááœáẠáá¯ááºáá±á¬ááºáá±ááá·áº á¡ááá®áá±ážááŸááºážáá áºáá¯á ááŒá áºáááºáá áºáá¯ááᯠáááºááœáŸááºážááẠáá²ááŸááºááá¯ááºáá±á¬ áá±á«áá¬ááá»á¬ážá á ááºáá áºáá¯áááºážááœáẠáááºáá±á¬ááºááŸá¯áá»á¬ážá áœá¬ ááŸáááá¯ááºáá«áááºá áááºáá±á¬ááºááŸá¯áá»á¬ážáááº-
- áá áºáá¯ááŸáá·áºáá áºáá¯áááºá ááºáá±áááº- á¥ááá¬á áááºááŸáºáá¬áá¬ááŸáá·áº áááºáá¬áá¬áá áºáá¯á
- áá°áá®áá±á¬áá¬á·ááºáá²ááŸá ááááºááá¯ááºáá±á¬áááºáá±á¬ááºááŸá¯áá»á¬áž- á¥ááá¬á áá¯ááºááá¯ááŸá±á¬ááºááŸá¯áá áºáá¯ááŸáá·áº ááœá²á·á ááºážááŸá¯á áá áºáá áºáá¯á¡ááœáẠwizard áá áºáá¯á ááá¯á·ááá¯áẠ.
ááœááºážááá¯áž
áá±á¬á·ááºáá²ááºááœá²á·á ááºážáá¯á¶ááœáẠáááºááá·áºááŒá±á¬ááºážáá²ááŸá¯áááá¯á
á á±á¬áá·áºááŒáá·áºááá¯á· áá¬ááŒá±á¬áá·áº ááá¯á¡ááºáá¬áá²á
á¡ááá®áá±ážááŸááºážáá»á¬ážááᯠá á±á¬áá·áºááŒáá·áºáááá·áº á¡ááŒá±á¬ááºážáááºážáá»á¬ážá áœá¬ááŸááá«áááºá
áá±ááŸááºáááºážááŒá±á¬ááºážáá»á¬ážááᯠáá±á·áá¬ááŒááºážá
áá±áá¬áá±á·á Ạáááºáá±á¬ááºááŒá®ážááá²á áááºáá±á¬ááºááŒááºááŒáẠááŒá®ážááœá¬ážáá±áá²á áá±á·á ááºá¡áá¯á¶ážááŒá¯áá°á¡áá±á¡ááœááºá áááºááá¯ááŒá±á¬ááºážáá²á
á áœááºážáá±á¬ááºááẠááŸáá¯ááºážááŸááºááŸá¯
Acme Bucket of Bytes 2.72 ááœáẠáá±ážááŒááºážáá»ááºáá»á¬ážááẠAjax DB 3.14 ááẠááá¯ááá¯ááŒááºáááºáá«ááá¬ážá áá±á¬ááºááẠnode áá áºáá¯áá±á«áºáá¬ááŒá®ážáá±á¬áẠáááºááŸáºáá¯ááºáá¬ážááá·áº áá±á¬ááºážááá¯ááŸá¯áá»á¬ážááẠáááºáá»áŸ ááá¯ááá¯áá±á¬ááºážááœááºááááºážá ááá¯ááºááẠááááºá¡áááºááẠááŸá±ážááœá±ážáá±áá«ááá¬ážá
ááááá±ážáá»áẠ(ááááá±ážáá»ááºáá»á¬áž)
áá áºáá¯áᯠáá»ááºááœá¬ážááŒá®áž áá áºáá±á¬ááºáá±á¬ááºá á¡á²áá«ááᯠááŒááºááááºá áá«ááŸááá¯áẠáá áºáá¯áᯠáááŒá¬ááẠáá»ááºáá±á¬á·ááŸá¬ ááŒá áºááŒá®áž áá áºáá±á¬ááºáá±á¬ááºá áááŒá¬ááẠá á áºáá±ážáááŸá¬ ááŒá áºáá«áááºá
áááºááŸáºáá¯ááºáá»á¬áž áááºáá®ážááŒááºážá
áááºááŸáºáá¯ááºáá»á¬ážááẠá¡ááŒá±áá¶áá±ážááœááºážáá»á¬ážááᯠááŒá±ááá¯ááá·áºááŒá®áž áá áºáá¯áá¯á០áá«áááºááá·áºáááºá - ááŸá±á¬áá·áºááŸá±ážááŸá¯áá»á¬áž (latency)á á¡ááœá¬ážá¡áᬠ(traffic)á á¡ááŸá¬ážá¡ááœááºážáá»á¬áž (errors) ááŸáá·áº load value (saturation)á
áá±á¬ááºááŒá±á¬ááºážááŒáẠááœá²ááŒááºážá áááºááŒá¬ááŸá¯ ááŒá¯áá¯ááºááŒááºáž (áá®áá¬ááº)
áá±á¬ááºážááá¯ááŸá¯ áá¯ááºáá±á¬ááºáá»ááẠááŒá¬ááŒáá·áºáá»ááẠááá¯ážáá¬áááºá áá
áºáá»áááºáááºážááœáẠá¡ááŒá¬ážáá¬áá»á¬áž ááŒá
áºáá²á·ááááºážá
á
á±á¬áá·áºááŒáá·áºáá±ážá
áá
áºáá»á¬ážááẠáá¯ááºáááºážáá±á¬ááºááŸááºážáá±ážá
áá
áºáá»á¬ážá¡ááœáẠáá±áá¬áááºážááŒá
áºáá
áºáá¯á¡ááŒá
Ạá¡áá¯á¶ážáááºááŒá®áž áá¯á¶ááŒá¯á¶áá±ážááŒá
áºáááºáá»á¬ážááᯠááœá²ááŒááºážá
áááºááŒá¬áá¬ááœáẠááœááºáá°áá»á±á¬ááœá±á·á
á±áá«áááºá á€á
á¬á¡á¯ááºááẠSRE áá»á¬ážááœáẠáá»áœááºážáá»ááºááá·áº á¡ááºáá»ááºáá®áá¬áááºáááºáá»á¬ážááᯠá¡á¬áá¯á¶á
áá¯ááºáá¬ážáá±á¬ááŒá±á¬áá·áºá áá»áœááºá¯ááºááá¯á·ááẠá
á±á¬áá·áºááŒáá·áºáá±ážáááºážááá¬áá»á¬ážááᯠá€áá±áá¬ááœáẠááœá±ážááœá±ážáááºááá¯ááºáá«á
á á±á¬áá·áºááŒáá·áºááŒááºážááŸáá·áº ááááá±ážáá»ááºáá»á¬ážááẠá áá áºáá»ááºááœá¬ážááá·áºá¡áá« ááá¯á·ááá¯áẠáá»ááºáá±á¬á·áááºááᯠááááá¯ááºáááºá á áá áºáá áºáá¯ááẠáá°á·ááá¯ááºáá° á¡ááá¯á¡áá»á±á¬áẠáááŒá¯ááŒááºááá¯ááºáá±á¬á¡áá«ááœáẠáá»áœááºá¯ááºááá¯á·ááẠáá°áá¬ážáá áºáŠážá¡á¬áž ááááá±ážáá»ááºááᯠááœá²ááŒááºážá áááºááŒá¬áááºá ááŒá¿áá¬ááŸááá±ááŒááºáž ááŸáá áááŸá áá¯á¶ážááŒááºáááºá áááºážááᯠááŒá¯ááŒááºáááºááŸáá·áº áááºážá áá°áá¡ááŒá±á¬ááºážáááºážááᯠáá¯á¶ážááŒááºááẠáá»áœááºá¯ááºááá¯á· á¡ááá¯ááŸááááºá áááºááẠá áá áºá¡á áááºá¡ááá¯ááºážáá»á¬ážááᯠá á áºáá±ážááŒááºážáááŒá¯áá«áá "áá áºáá¯áá¯á á¡áááºážáááºáá°ážáááºážáá¯á¶ááááº" ááŒá áºáá±á¬ááŒá±á¬áá·áº áááºááááá±ážáá»ááºáááŸááááºááá¯ááºáá«á
áá°áá¬ážááááá±ážáá»ááºáá»á¬ážááᯠáááºáá±ážááŒááºážááẠáááºáááºážáá áºáŠážáá¡áá»áááºááᯠá¡ááœááºá á»á±ážááŒá®ážáá±á¬ á¡áá¯á¶ážááŒá¯ááŸá¯áá áºáá¯ááŒá áºáááºá áááºáááºážá¡áá¯ááºáá¯ááºáá±áá«á ááááá±ážáá»ááºááẠá¡áá¯ááºá¡ááœá¬ážá¡áá¬ááᯠá¡ááŸá±á¬áá·áºá¡ááŸááºáá±ážáááºá áááºáááºážá á¡áááºááŸá¬áá±ááẠááááá±ážáá»ááºá ááá¯ááºááá¯ááºá¡áá»áááºááœá±ááᯠá¡ááŸá±á¬áá·áºá¡ááŸááºáá±ážááŒá®áž á¡áááºáá¬áááºáž ááŒá áºááá¯ááºáá«áááºá ááááá±ážáá»ááºáá»á¬áž áááŒá¬ááááŒá áºáá±á«áºáá±á¬á¡áá«á áááºáááºážáá»á¬ážááẠá¡ááœááºáááºážááŒááºážá ááŸá±á¬áá·áºááŸá±ážááŒááºáž ááá¯á·ááá¯áẠáááºáá¬áá±á¬ááááá±ážáá»ááºáá»á¬ážááᯠáá»á áºáá»á°ááŸá¯áááºáá«áááºá áá°áá¶áá¶ááŒá áºáááºáá»á¬ážááŒáá·áº áá¯á¶ážááœááºáá¬ážááá·áº áááá·áºááááá±ážáá»ááºááᯠáá¶áááºáá¶áá« áá»á áºáá»á°ááŸá¯ááŒáááºá áá°áá¶áá¶ááŒá áºáááºáá»á¬ážááẠáá»ááºááŒááºáá±á¬ááŒá¿áá¬ááŸá¬ááœá±ááŒááºážááŸáá·áº ááŒá±ááŸááºážááŒááºážááᯠáá¬ážáá®ážááá¯ááºáá±á¬ááŒá±á¬áá·áº áááºáá±á¬ááºááŸá¯ááŒááºáá±á¬ááºááŸá¯áá»á¬ážááẠá¡áá»áááºááŒá¬ááŒáá·áºááá¯ááºáááºá áááá±á¬ááºáá±á¬ á¡áá»á¬ážáá°ááŸá¬ ááááºá á¬á áá áºáá»á¬ážááẠáá±á¬ááºážááœááºáá±á¬ á¡áá»ááºááŒááŸá¯á០áá°áá¶áá¶á¡áá»áá¯ážááŸááááºá
á á±á¬áá·áºááŒáá·áºáá±ážá áá áºá០áá»áá¯ážááŒá±á¬ááºážáá®áá»á±á¬áºáá±á¬ áá»áŸá±á¬áºááá·áºáá»ááºáá»á¬ážááᯠáá¯á¶ážááŒááºááŒááºážá
ááŸá¯ááºááœá±ážáá±á¬ á¡ááá®áá±ážááŸááºážáá áºáá¯á¡ááœáẠá á±á¬áá·áºááŒááºááŒáá·áºááŸá¯ááŒááºážááᯠáááºááŸááºááŒááºážááẠááŸá¯ááºááœá±ážáá±á¬ á¡ááºáá»ááºáá®áá¬á¡áá¯ááºáá áºáá¯ááŒá áºáááºá á á¯áá±á¬ááºážááŒááºážá ááŒáááŒááºážááŸáá·áº ááááá±ážááŒááºážáááááá¬áá»á¬ážá áááá¬áááºááŸá¬ážáá±á¬ á¡ááŒá±áá¶á¡áá±á¬ááºá¡á¡á¯á¶áá áºáá¯ááŒáá·áºááẠá¡ááœá²á·ááẠ10-12 áŠážááŸááá±á¬ Google SRE á¡ááœá²á·ááœáẠáá¯á¶ááŸááºá¡á¬ážááŒáá·áº á á±á¬áá·áºááŒáá·áºáá±ážá áá áºáá»á¬ážááᯠáááºáá±á¬ááºááááºážááááºážááẠá¡ááááááºááœááºáá»ááºááŒá áºááá·áº áá°áá áºáŠáž ááá¯á·ááá¯áẠááŸá áºáŠážáá«áááºáááºá á á±á¬áá·áºááŒáá·áºáá±ážá¡ááŒá±áá¶á¡áá±á¬ááºá¡á¡á¯á¶ááᯠáá±áá°áá»á¡á¬ážááŒáá·áº áááá¯áá»á¯ááºááá¯ááºáá¬ážáá±á¬ááŒá±á¬áá·áº á€á¡áá±á¡ááœááºááẠá¡áá»áááºááŒá¬áá¬áááºááŸáá·áºá¡áá»áŸ áá»á±á¬á·áááºážááœá¬ážáá±á¬áºáááºáž SRE á¡ááœá²á·áá áºáá¯á á®ááœáẠáá¯á¶ááŸááºá¡á¬ážááŒáá·áº á¡áááºážáá¯á¶áž á á±á¬áá·áºááŒáá·áºáá±ážáá®ážááá·áºáááºáááºážáá áºáŠážááŸááááºá á á±á¬áá·áºááŒáá·áºáá±ážá áá ẠáááºááŸáºáá¯ááºáá»á¬ážááᯠááŒáá·áºááŸá¯ááẠá¡ááœááºá áááºáááºá á¬ážá áá¬áá±á¬ááºážáá±á¬áºáááºážá SRE á¡ááœá²á·áá»á¬ážááẠááŒá¿áá¬áá»á¬ážááᯠá á±á¬áá·áºááŒáá·áºááẠáááºáá¬ážááŒááºááᯠááŒáá·áºááŸá¯ááẠáá áºá á¯á¶áá áºáŠáž ááá¯á¡ááºááá·áº á¡ááŒá±á¡áá±áá»á¬ážááᯠááá¯áá áá¯áẠááŸá±á¬ááºááŒááºáááºáᯠááá¯ááá«áááºá
áá±áá¯áá»á¡á¬ážááŒáá·áºá Google ááẠá¡áá±á¬ááºážáá¯á¶ážááŒá áºáááºááŸááºááᯠááœá²ááŒááºážá áááºááŒá¬ááŸá¯áááááá¬áá»á¬ážááŒáá·áº ááá¯ážááŸááºážááŒá®áž ááŒááºáááºáá±á¬ á á±á¬áá·áºááŒáá·áºáá±ážá áá áºáá»á¬ážááá¯á· ááŒá±á¬ááºážááœáŸá±á·áá²á·áááºá áááºááŸááºáá»ááºáá»á¬ážááᯠááá·áºááŸááºážááẠááá¯á·ááá¯áẠáá°áá¡ááŒá±á¬ááºážá¡áááºážááᯠá¡ááá¯á¡áá»á±á¬áẠááŸá¬ááœá±ááœá±á·ááŸáááẠááŒáá¯ážá á¬ážááá·áº "ááŸá±á¬áºááá¬" á áá áºáá»á¬ážááᯠáá»áœááºá¯ááºááá¯á· ááŸá±á¬ááºááŒááºáá«áááºá áá¯á¶ážá áœá²áá°áá»á¬ážá áá±á¬ááºážááá¯ááŸá¯áá»á¬ážááœáẠááááºááœááºáá² á¡ááŒá±á¬ááºážá¡áá¬áá»á¬ážááᯠááááŸáááá¯ááºáá±á¬ á¡á¬áá¯á¶áá¶áááááá¬áá»á¬ážááẠáá áºáá¯áááºážáá±á¬ áááºááŒááºá¥ááá¬áá»á¬ážááŒá áºáááºá á€á¡á¬áá¯á¶áá¶áááááá¬áá»á¬ážááẠááá¯ážááŸááºážáá±áááœá±á·á áááºážááá¯á·ááẠááŒááºážáááºáá±á¬ááœá²ááœá²áá»ááºáá»á¬ážááᯠáá»ááºááŒááºá áœá¬ ááááŸáááá¯ááºáááºá á á±á¬áá·áºááŒáá·áºáá±ážáá±áá¬ááᯠá¡áá¯á¶ážááŒá¯ááẠá¡ááŒá¬ážáá±á¬áºáááºáá»á¬ážááŒá áºááá·áº á áœááºážáááºá á®áá¶ááŒááºáž ááá¯á·ááá¯áẠáá¬ááºá¡ááœá¬ážá¡áᬠááŒáá¯áááºááá·áºááŸááºážááŒááºážáá²á·ááá¯á·áá±á¬ á¡áá»áá¯ážá¡á á¬ážáá»á¬ážááẠááá¯ááá¯á áááºáá±á«áºááŸá¯ááŒá áºáááºá áááá·áºáá±á¬ááá°áá¬ááŸá¯ááºáž (áá¬áá® ááá¯á·ááá¯áẠáááºáá»á¬áž) ááŒáá·áº á¡ááœááºááŸááºáá»á¬ážáá±á¬ á¡áá»ááẠ(ááá»á¬áž ááá¯á·ááá¯áẠááŸá áºáá»á¬áž) ááᯠá á±á¬áá·áºááŒáá·áºááŒááºážááẠáá±ááŸááºáááºážááŒá±á¬ááºážááᯠáá±á¬áºááŒáááá·áºáááºá
Google SRE á¡ááœá²á·ááẠááŸá¯ááºááœá±ážáá±á¬ ááŸá®ááá¯ááŸá¯á¡ááá·áºáá»á¬ážááᯠáá±á¬ááœá±ážá¡á±á¬ááºááŒááºááŸá¯ááŒáá·áº ááá¯ááºááœááºááŒá±ááŸááºážáá²á·áááºá "áá±áá¬áá±á·á áºá ááŸá±ážááœá±ážáá±áááºááá¯áᬠáááááºá áá±áá¬áá±á·á áºááŸá±ážááœá±ážááŸá¯ ááááá±ážáá»ááºáá áºáᯠááááºá ááá¯ááºááẠááá¯ááºááááá±ážáá»áẠááŸá±ážááœá±ážááœá¬ážáááºá" ááŸá®ááá¯ááŸá¯á¡ááŒá±áá¶á ááºážáá»ááºážáá»á¬ážááẠá¡áá»á¬ážá¡á¬ážááŒáá·áº áá±áá¬á ááºáá¬ááá¯á· áá¯á¶ážá áœá²áá°á¡ááœá¬ážá¡áá¬ááᯠá á áºáá¯ááºááá·áºá áá áºáá²á·ááá¯á·áá±á¬ áá»áœááºá¯ááºááá¯á·áá áá áºá áááŒá±á¬ááºážáá²áá±á¬á¡á áááºá¡ááá¯ááºážáá»á¬ážááᯠáááºááœáŸááºážáá«áááºá á¥ááá¬á¡á¬ážááŒáá·áºá "áá±áá¬á ááºáá¬á¡ááœá¬ážá¡áá¬á á áºáá¯ááºááŒááºážááᯠá á®á ááºáááºááŸááºáá¬ážáá«áá á¡áá¯á¶ážááŒá¯áá°áá±á¬ááºážááá¯áá»ááºáá»á¬ážááᯠáá¯ááºáá±á¬ááºáá¬ááœáẠááŸá±á¬áá·áºááŸá±ážááŸá¯áá»á¬ážá¡ááŒá±á¬ááºáž áá»áœááºá¯ááºá¡á¬áž ááááá±ážááŒááºážáááŒá¯áá«ááŸáá·áº" ááẠáá±áá¬á ááºáá¬ááááá±ážáá»ááºáá»á¬ážá¡ááœáẠáá¯á¶á ááºážáá»ááºážáá áºáá¯ááŒá áºáááºá áá»áœááºá¯ááºááá¯á·áá¡ááŒá±áá¶á¡áá±á¬ááºá¡á¡á¯á¶ááẠá ááºáááºáááŒááºááŒááºáááºááŒááºáááºááŸá¯ááŸá¯ááºážááœáẠá¡áááºáááŒááºááŸááá±áá±á¬ááŒá±á¬áá·áº Google ááŸá¡ááœá²á·á¡áááºážáááºááẠááŸá¯ááºááœá±ážáá±á¬ááŸá®ááá¯ááŸá¯á¡ááá·áºáá»á¬ážááᯠáá¶á·ááá¯ážáá±ážáá«áááºá
á€á¡áááºážááœááºáá±á¬áºááŒáá¬ážáá±á¬ á¡áá°á¡áá¡áá»áá¯á·ááẠááŸááºáááºáá²ááŒá áºáááº- á¡áá°ážáááŒáá·áº á¡ááŒá²ááŒá±á¬ááºážáá²áá±áá±á¬ á áá áºáá»á¬ážááœáẠáá±á¬áá«ááá¹ááá¬á០á¡ááŒá áºá¡ááŒá±á¬ááºážááá¬ážáá®ááá¯á· áá»ááºááŒááºá áœá¬ááœá±á·áá»á¬ážááẠáááºážáááºážá¡ááŒá²ááŸááá«áááºá ááá¯á·ááŒá±á¬áá·áºá á€á¡áááºážááœáẠá á±á¬áá·áºááŒáá·áºáá±ážá áá áºáá»á¬ážá¡ááœáẠáááºááŸááºážáá»ááºá¡áá»áá¯á·ááŸáá·áº ááá¯áááºážááá¯ááºáá»á¬ážááᯠáááºááá¯á·á¡á±á¬ááºááŒááºááááºááᯠáá±á¬áºááŒáá¬ážáá±á¬áºáááºáž á á±á¬áá·áºááŒáá·áºáá±ážá áá áºáá»á¬ážááẠá¡ááœá²á·ááŸááá°ááá¯ááºážá¡ááœáẠááá¯ážááŸááºážááŒá®áž áá¬ážáááºááá¯ááºá á±ááẠá¡áá±ážááŒá®ážáá«áááºá
á¡áá¬ážáá°á áá°áá¶áá¶á¡ááá·áºáááá·áºááŒá®áž á¡áá»ááºááŒááŸá¯á¡ááá·áºááŒáá·áºáá±á á±ááẠááááá±ážáá»ááºáá±ážáá±ááá·áº á¡áá¬ááá¹áá¯áá»á¬ážááᯠá á±á¬áá·áºááŒáá·áºááẠáá»ááºážáááºááŸá¯áá»á¬ážááẠá¡ááœááºááá¯ážááŸááºážááŒá®áž áá¯á¶ááŒááºá áááºáá»ááááºá áá°áá¬ážáá»á¬ážá¡ááœáẠááááá±ážáá»ááºáá»á¬ážááᯠáá¯ááºáá±ážááá·áº á ááºážáá»ááºážáá»á¬ážááẠáá¬ážáááºááẠááœááºáá°ááŒá®áž ááŸááºážáááºážááŒááºáá¬ážáá±á¬ ááŒá¿áá¬ááᯠáááºááŒááá·áºáááºá
á¡ááŒá±á¬ááºážáááºážáá»á¬ážááŸáá·áº ááá¹ááá¬áá»á¬áž
áááºáá
á±á¬áá·áºááŒáá·áºáá±ážá
áá
áºááẠ"áá¬ááŒá±á¬áá·áºáá»ááºááááºáž" ááŸáá·áº "áá¬ááŒá±á¬áá·áºáá»ááºááááºáž" áá°áá±á¬áá±ážááœááºážááŸá
áºáá¯ááá¯ááŒá±ááá·áºáááºá
âáá»áá¯ážááœá¬ážááŒááºážâ ááẠáá±á¬áá«ááá¹ááá¬ááᯠáááºááœáŸááºážááŒá®áž âáá¬ááŒá±á¬áá·áº áá»áá¯ážááŒá±á¬ááºážâ ááá¯áááºááŸá¬ á¡ááŒá±á¬ááºážáááºážááᯠáááºááœáŸááºážáááºá á¡á±á¬ááºáá±á¬áºááŒáá«ááá¬ážááœáẠááá¯áá²á·ááá¯á·áá±á¬ááá·áºááºáá»á¬ážáááá°áá¬áá»á¬ážááá¯ááŒááá¬ážáááºá
ááá¹ááá¬
á¡ááœá±á¬áá»ážááá»áž
HTTP Error 500 ááá¯á·ááá¯áẠ404 ááᯠáááºáá¶áá±áá«áááºá
áá±áá¬áá±á·á
áºáá¬áá¬áá»á¬ážááẠáá»áááºáááºááŸá¯áá»á¬ážááᯠááŒááºážááá¯áá±ááŒáááºá
áá¬áá¬áá¯á¶á·ááŒááºááŸá¯ ááŸá±ážááœá±ážáááºá
ááŒáá·áºáá¬ážáá±á¬ CPU á¡áá¯á¶ážááŒá¯ááŸá¯ ááá¯á·ááá¯áẠáá»ááºá
á®ážáá±áá±á¬ á¡á®áá¬áááºááŒáá¯áž
á¡áá¹áá¬áááááŸá á¡áá¯á¶ážááŒá¯áá°áá»á¬ážááẠááŒá±á¬áẠGIFs áá»á¬ážááᯠááááŸááá«á
áááºá CDN ááẠáááá¹áá¶ááá¬ááŸááºáá»á¬ážááŸáá·áº ááŒá±á¬ááºáá»á¬ážááᯠáá¯ááºážáá®ážáá±á¬ááŒá±á¬áá·áº á¡áá»áá¯á· IP áá»á¬ážááᯠáá¬áááºáá»ááºá
á¬áááºážááœááºážáá¬ážáááºá
áá®ážááá·áºá¡ááŒá±á¬ááºážá¡áá¬ááᯠáá±áá¬ááá¯ááºážááœáẠáááá¯ááºáááºá
áá±á¬á·ááºáá²ááºá¡áá
áºáá
áºáá¯ááᯠááœáŸáá·áºáááºááá¯ááºááŒááºážááŒáá·áº Firewall ááẠACL á¡á¬ážáá¯á¶ážááᯠáá±á·ááœá¬ážáá²á·ááŒá®áž áá°ááá¯ááºážááᯠáááºááœáá·áºááŒá¯áá²á·áááºá
"áá¬" ááŸáá·áº "áá¬ááŒá±á¬áá·áº" ááá¯á·ááẠá¡ááŒáá·áºáá¯á¶ážá¡áá»ááºááŒááŸá¯ááŸáá·áº áá°áá¶áá¶á¡áááºážáá¯á¶ážááŒáá·áº áá±á¬ááºážááœááºáá±á¬ á á±á¬áá·áºááŒáá·áºáá±ážá áá áºááᯠáááºáá®ážáááºá¡ááœáẠá¡áá±ážááŒá®ážáá¯á¶ážáá±á¬ á¡áá±á¬ááºá¡áŠáá»á¬ážáá²á០áá áºáá¯ááŒá áºáááºá
Black-box ááŸáá·áº White-box
áá»áœááºá¯ááºááá¯á·ááẠáá»ááºááŒáá·áºáá±á¬ á¡ááŒá°áá±á¬ááºáá±á¬ááºá áºá á±á¬áá·áºááŒáá·áºááŒááºážá¡á¬áž áá±á«á·áá±á«á·áááºáááºáá±á¬ black-box á á±á¬áá·áºááŒáá·áºááŒááºážááŸáá·áºá¡áá° á¡áá±ážáá«áá±á¬ááá¯ááºážáá¬ááŸá¯áá»á¬ážá¡ááœáẠáá±á«ááºážá ááºáá¬ážáááºá Black-box ááᯠWhite-box ááŸáá·áº ááŸáá¯ááºážááŸááºááẠá¡ááœááºáá°áá¯á¶ážáááºážáááºážááŸá¬ Black-box ááẠáá±á¬áá«ááá¹ááá¬áá»á¬ážááᯠá¡á¬áá¯á¶á áá¯ááºááŒá®áž áááºááŒáœáá±á¬á á±á¬áá·áºááŒáá·áºááŒááºážááẠáá¯á¶á·ááŒááºááŸá¯ááŒá áºáááº- "ááá¯á áá áºááẠáá±á¬ááºážááœááºá áœá¬á¡áá¯ááºááá¯ááºáá«á" White-box ááẠá áá áºáá»á¬ážá á¡ááœááºážááá¯ááºáž á á áºáá±ážááŒááºážá áœááºážáááºá¡áá±á«áº áá°áááºáááº- ááŒá áºáááºááŸááºáááºážáá»á¬áž ááá¯á·ááá¯áẠáááºáá¬áá¬áá»á¬ážá ááá¯á·ááŒá±á¬áá·áºá White-box ááẠááá·áºá¡á¬áž áá±á¬ááºážááá¯áá»ááºááᯠááŒááºáááºáá±ážááá¯á·ááŒááºážáá²á·ááá¯á·áá±á¬ áá±á¬ááºáá¬ááá·áºááŒá¿áá¬áá»á¬ážá áá»áœááºááœááºážáá»ááºáá»á¬ážááᯠááŸá¬ááœá±ááá¯ááºá á±áá«áááºá
Multi-layer system ááœáẠá¡ááºáá»ááºáá®áá¬áá áºáŠážá áá¬áááºááá¹ááá¬ážá§áááá¬á¡ááœááºáž ááá¹ááá¬ááẠá¡ááŒá¬ážá¡ááºáá»ááºáá®áá¬áá áºáŠážá áá¬áááºá§áááá¬á¡ááœááºáž ááá¹ááá¬áá áºáá¯ááŒá áºáááºá á¥ááá¬á¡á¬ážááŒáá·áºá áá±áá¬áá±á·á áºá áœááºážáá±á¬ááºááẠáá»áááºážááœá¬ážáááºá áá±áá¬áá±á·á áºáááºááŒááºáž ááŸá±ážááœá±ážááŒááºážááẠáááºážááá¯á·ááᯠáá±á¬ááºááŸááºážááá¯ááºáá±á¬ áá±áá¬áá±á·á ẠSRE á ááá¹ááá¬áá áºáá¯ááŒá áºáááºá ááá¯á·áá±á¬áºá ááŸá±ážááœá±ážáá±á¬áááºááá¯ááºááá¯ááŒáá·áºáá±ááá·áº front-end SRE á¡ááœááºá áá°áá®áá±á¬áá±áá¬áá±á·á áºáááºááŒááºážá¡ááœáẠá¡ááŒá±á¬ááºážáááºážááŸá¬ áá±áá¬áá±á·á áºááŸá±ážááŒááºážááŒá±á¬áá·áºááŒá áºáááºá ááá¯á·ááŒá±á¬áá·áº white-box monitoring ááẠáááºáá»áŸáá»ááºáááºážáááºáá±á«áºáá°áááºá áá áºáá«áá áºáá¶ááœáẠáá±á¬áá«ááá¹ááá¬áá»á¬ážá¡áá±á«áº á¡á¬áá¯á¶á áá¯ááºááŒá®áž áá áºáá«áá áºáá¶ááœáẠá¡ááŒá±á¬ááºážáááºážáá»á¬ážáá±á«áºááœáẠáá°áááºáááºá
á¡ááŸá¬ážááŸá¬ááŒááºááŒááºážá¡ááœáẠtelemetry á á¯áá±á¬ááºážáá±á¬á¡áá«á White-box á á±á¬áá·áºááŒáá·áºááŸá¯ ááá¯á¡ááºáááºá áááºáá¬áá¬áá»á¬ážááẠáá±áá¬áá±á·á áºáá±ážááœááºážáá»á¬ážááᯠáá¯á¶á·ááŒááºááẠááŸá±ážáá±áá«áá áááºáá¬áá¬ááẠáá±áá¬áá±á·á áºááŸáá·áº áááºááœááºáá¬ááœáẠáááºáá»áŸááŒááºáááºááŒá±á¬ááºážá áááºážááẠáá¯á¶á·ááŒááºááŸá¯áááºáá»áŸááŒááºáááºáááºááᯠáááºáááááºááá¯á¡ááºáááºá ááá¯ááºáá«áá ááŸá±ážááœá±ážáá±á¬áá±áá¬áá±á·á áºáá¬áá¬ááŸáá·áº áááºáá¬áá¬ááŸáá·áº áá±áá¬áá±á·á áºááŒá¬ážááŸá ááœááºáááºááŒá¿áá¬ááŒá¬áž ááœá¬ááŒá¬ážáá»ááºááᯠáááºááŒá±á¬ááŒááá¯ááºáááºááá¯ááºáá±á
Black-box á á±á¬áá·áºááŒáá·áºááŒááºážááœáẠááááá±ážáá»ááºáá»á¬áž áá±ážááá¯á·áá¬ááœáẠá¡ááá á¡á¬ážáá¬áá»ááºáá áºáᯠááŒá áºáááº- ááŒá¿áᬠá¡ááŸááºáááẠááá¹ááá¬áá»á¬áž ááŒá áºáá±á«áºááŒá®ážáá±á¬á¡áá«ááœáẠáááºáá¶áá°áá¶ááá¯á· á¡ááŒá±á¬ááºážááŒá¬ážáá»ááºáá áºáᯠáá¯ááºáá±ážáá«áááºá á¡ááŒá¬ážáá áºáááºááœááºáá° ááá±á«áºáá±á«ááºáá±ážáá±á¬ Black-box ááŒá¿áá¬á¡ááœááºá ááá¯á·áá±á¬áº áá±á¬ááºáá¬ááá·áºáá áºáá¯á¡ááœááºá á á±á¬áá·áºááŒáá·áºááŒááºážááẠá¡áá¯á¶ážááááºáá±á
ááœáŸá±áá±á¬ááºá¡áá»ááºáá±ážáá»ááº
ááœáŸá±áá±á¬ááºá á±á¬áá·áºááŒáá·áºááŒááºážá¡áá»ááºáá±ážáá»ááºááŸá¬ latencyá trafficá errors ááŸáá·áº saturation ááá¯á·ááŒá áºáááºá á¡áá¯á¶ážááŒá¯áá°á áá áºáááºááá Ạáá±ážáá¯ááá¯áᬠááá¯ááºážáá¬ááá¯ááºáá»áŸáẠááá¯áá±ážáá¯ááᯠá¡á¬áá¯á¶á áá¯ááºáá«á
ááŸá±á¬áá·áºááŸá±áž
áá±á¬ááºážááá¯ááŸá¯ááᯠáá¯ááºáá±á¬ááºááẠááá¯á¡ááºááá·áºá¡áá»áááºá á¡á±á¬ááºááŒááºáá±á¬áá±á¬ááºážááá¯ááŸá¯áá»á¬ážááŸáá·áº áá¡á±á¬ááºááŒááºáá±á¬áá±á¬ááºážááá¯ááŸá¯áá»á¬ážá áá±á¬ááºáá»áá±ááŸá¯ááᯠááá¯ááºážááŒá¬ážááẠá¡áá±ážááŒá®ážáááºá á¥ááá¬á¡á¬ážááŒáá·áºá áá±áá¬áá±á·á Ạááá¯á·ááá¯áẠá¡ááŒá¬ážáá±á¬ááºááœááºá០áá»áááºáááºááŸá¯ááŒááºáá±á¬ááºááŒááºážááŒá±á¬áá·áº ááŒá áºáá±á«áºáá¬áá±á¬ HTTP 500 á¡ááŸá¬ážáá áºáá¯ááẠá¡ááœááºáá»ááºááŒááºá áœá¬ ááŸá¬ááœá±ááœá±á·ááŸáááá¯ááºáá±á¬áºáááºáž HTTP 500 á¡ááŸá¬ážááẠáá¡á±á¬ááºááŒááºááá·áº áá±á¬ááºážááá¯áá»ááºááᯠááœáŸááºááŒááá¯ááºáááºá á¡áá¯á¶ážá á¯á¶ latency á¡áá±á«áº á¡ááŸá¬áž 500 á á¡áá»áá¯ážáááºáá±á¬ááºááŸá¯ááᯠááŸá¬ááœá±ááŒááºážááẠááŸá¬ážááœááºážáá±á¬ áá±á¬ááºáá»ááºáá»á¬ážááᯠááŒá áºáá±á«áºá á±ááá¯ááºáááºá á¡ááŒá¬ážáá áºáááºááœááºá ááŸá±ážááœá±ážáá±á¬á¡ááŸá¬ážááẠááŒááºáááºáá±á¬á¡ááŸá¬ážáá áºáá¯áááºá ááá¯á·ááŒá±á¬áá·áº error latency ááᯠááŒá±áá¬áá¶ááẠá¡áá±ážááŒá®ážááŒá®áž error latency ááᯠá á áºáá¯ááºáá¯á¶áᬠááŒá áºáááºá
á¡ááœá¬ážá¡áá¬
á¡ááá·áºááŒáá·áºá áá áºáááºááá áºáá»á¬ážááŒáá·áº ááá¯ááºážáá¬áá±á¬ ááá·áºá áá áºá¡ááœáẠáá±á¬ááºážááá¯ááŸá¯á¡áá±á¡ááœááºá áááºáááºáá±á¬ááºááŸá¯áá áºáá¯á¡ááœááºá á€ááá¯ááºážáá¬ááŸá¯ááẠáá¯á¶ááŸááºá¡á¬ážááŒáá·áº áá±á¬ááºážááá¯ááŸá¯áá»á¬ážáááá±á¬ááá¬áá¡á ááá¯ááºážááŒá¬ážáá¬ážáá±á¬ HTTP áá±á¬ááºážááá¯ááŸá¯á¡áá±á¡ááœáẠ(á¥ááá¬á áááºááŒáááºáá±á¬ ááá¯á·ááá¯áẠááŒá±á¬ááºážáá²áá±áá±á¬á¡ááŒá±á¬ááºážá¡áá¬) ááᯠááá¯ááºá á¬ážááŒá¯áááºá á¡áá¶áá¯ááºááœáŸáá·áºááŒááºážá áá áºá¡ááœááºá á€ááá¯ááºážáá¬ááŸá¯ááᯠááœááºááẠI/O ááŸá¯ááºáž ááá¯á·ááá¯áẠáá áºááŒáá¯ááºáááºáž áááºááŸááºá¡áá±á¡ááœááºááᯠáááá¯ááŒá¯ááá¯ááºáááºá áá±á¬á·áááºááá¯áž ááá¯ááŸá±á¬ááºááŸá¯á áá áºá¡ááœááºá á€ááá¯ááºážáá¬ááŸá¯ááẠá¡áá±á¬ááºážá¡ááẠááá¯á·ááá¯áẠáá áºá áá¹ááá·áºáá»áŸáẠááŸá¬ááœá±ááŸá¯áá»á¬áž ááŒá áºááá¯ááºáááºá
á¡ááŸá¬ážáá»á¬áž
á€áááºááŸá¬ áá¡á±á¬ááºááŒááºáá±á¬ áá±á¬ááºážááá¯ááŸá¯ááŸá¯ááºáž (á¥ááá¬á HTTP 500)á ááœááºááá¯ááºáá±á¬áááºáž (á¥ááᬠHTTP 200 áá±á¬áºáááºážáá±á¬ááºáž á¡ááŒá±á¬ááºážá¡áá¬ááŸáá·áº áá±á«ááºážá ááºááŒááºáž) ááá¯á·ááá¯áẠáá°áá«áá¡á¬ážááŒáá·áº (á¥ááá¬á "áááºááẠáá áºá áá¹ááá·áºá¡ááœááºáž áá¯á¶á·ááŒááºááŸá¯ááᯠáááºážáá°áá«áá áá áºá áá¹ááá·áºááẠá¡ááŸá¬ážáá áºáá¯ááŒá áºáááºá") áá»ááŸá¯á¶ážááŸá¯á¡ááŒá±á¡áá±á¡á¬ážáá¯á¶ážááᯠáá±á¬áºááŒááẠHTTP áá¯á¶á·ááŒááºáá¯ááºáá»á¬áž áá¯á¶áá±á¬ááºá áœá¬áááŸááá«áá áá áºá áááºáá áºááá¯ááºáž áá»áá¯á·ááœááºážááŸá¯ááᯠááŸá¬ááœá±ááẠá¡áááºáááºáž (á¡ááœááºážááá¯ááºáž) áááá¯ááá¯áá±á¬áá»á¬áž ááá¯á¡ááºááá¯ááºáááºá ááŸá¬ážááœááºážáá±á¬áá±á¬ááºážááá¯ááŸá¯áá»á¬ážá¡á¬ážáá¯á¶ážááᯠá á±á¬áá·áºááŒáá·áºááŒááºážááẠááááºážá¡áá»ááºá¡áááºááá¯ááºááá¯ááºáá±á¬áºáááºáž á¡áá¯á¶ážááŸá¡áá¯á¶ážá áá áºá ááºážáááºááŸá¯áá»á¬ážááẠáááºááŸá¬ážááœááºážáá±á¬á¡ááŒá±á¬ááºážá¡áá¬ááᯠáá¯ááºáá±á¬ááºáá±ááŒá±á¬ááºáž ááŸá¬ááœá±ááœá±á·ááŸáááẠáá°áá®áá±ážááá¯ááºáá«áááºá
ááœáŸá²
áááºááá áºááẠááá·áºáááºáá±á¬ááºááŸá¯ááᯠáááºáá»áŸá¡áá¯á¶ážááŒá¯áááºááᯠááŒááááºá á€áááºááŸá¬ á¡ááá·áº á¡áááºá¡ááŸááá¯á¶áž á¡áááºážá¡ááŒá áºáá»á¬ážááᯠááœá²ááŒá¬ážáááºááŸááºáá±ážááá·áº á áá áºá á±á¬áá·áºááŒáá·áºááá¯ááºážáá¬ááŸá¯áá áºáᯠ(á¥ááá¬á á¡ááá·áºá¡áááºááŸááá±á¬ áááºááá¯áá®á áááºááá¯áá®ááᯠááŒááááºá á¡ááá·áºá¡áááºááŸááá±á¬ I/O á áá áºááœááºá I/O á¡áá±á¡ááœááºááᯠááŒááááº)á á áá áºáá»á¬ážá áœá¬ááẠáááºážááá¯á· 100% á¡áá¯á¶ážááŒá¯ááŸá¯ááá¯á·ááá±á¬ááºáá® áá¯ááºáá¯ááºááœá¬ážááŒá±á¬ááºáž áááááŒá¯áá«á ááá¯á·ááŒá±á¬áá·áº á¡áá¯á¶ážááŒá¯ááŸá¯áá áºááŸááºáá¬ážááŸáááŒááºážááẠáááŸááááŒá áºááá¯á¡ááºáá«áááºá
ááŸá¯ááºááœá±ážáá±á¬á áá áºáá»á¬ážááœáẠááŒáá·áºáá¬ážáá±á¬á¡ááá·áºáááºááá¯ááºážáá¬ááŒááºážááŒáá·áº ááœáŸá²á áá¯ááŸá¯ááᯠááŒáá·áºá áœááºááá¯ááºáááº- ááá·áºáááºáá±á¬ááºááŸá¯ááẠá¡ááœá¬ážá¡áá¬ááŸá áºáááᯠáá±á¬ááºážá áœá¬ááá¯ááºááœááºááá¯ááºáááºá 10% ááá¯á¡ááœá¬ážá¡áá¬ááá¯áᬠááá¯ááºááœááºááá¯ááºááẠááá¯á·ááá¯áẠáááºážááẠáááºááŸááá¯ááºáá±á¬ááºááá¯ááºáááºááẠáá¬ááºááŒá±á¬á¡ááœá¬ážá¡áá¬áááºážáá«ážááŒááºážááá¯ááẠááá¯ááºááœááºááá¯ááºáá«ááá¬ážá áá±á¬ááºážááá¯áá»ááºá ááŸá¯ááºááœá±ážááŸá¯ááᯠááŒá±á¬ááºážáá²á á±áá±á¬ ááá·áºáááºáá±á¬ááºáá»á¬ážááá«áá±á¬ ááá¯ážááŸááºážáá±á¬áááºáá±á¬ááºááŸá¯áá»á¬ážá¡ááœáẠ(á¥ááᬠ"áá«á·ááá¯áá¬ááŸááá±ážáá«áá²á·" ááá¯á·ááá¯áẠ"áá»áœááºá¯ááºááŸá¬ áá áºáá°áá°ážááŒá¬ážáá±á¬ monotonic integer áá áºáá¯ááá¯áááº") ááœáẠáá¯á¶á á¶áááºááŸááºááŸá¯ááᯠááŒá±á¬ááºážáá²áá²áá±á¬ static load test value ááẠáá¯á¶áá±á¬ááºááá¯ááºáá«áááºá ááá¯á·áá±á¬áºáááºážá ááááºá á¬ááá¯ááºááœáẠááœá±ážááœá±ážáá¬ážááá·áºá¡ááá¯ááºážá áááºáá±á¬ááºááŸá¯á¡áá»á¬ážá á¯ááẠCPU á¡áá¯á¶ážáá»ááŸá¯ ááá¯á·ááá¯áẠá¡áááºááá¯ááºážáááºááŸááºáá¬ážáá±á¬ ááœááºáááºáááºážáááºáá²á·ááá¯á·áá±á¬ ááœááºááá¯ááºá¡áá»ááºááŒááŸá¯áá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááá·áºáááºá latency ááŒáá·áºáááºáá¬ááŒááºážááẠáááŒá¬áá ááŒáá·áºáááŒááºážá á¡áááááœáŸááºááŒáá»ááºááŒá áºáááºá ááŒáááºážáá±á«ááºáááºáá áºáá¯ááœáẠ99th áá¬ááá¯ááºááŸá¯ááºážáá¯á¶á·ááŒááºááŸá¯á¡áá»áááºááᯠááá¯ááºážáá¬ááŒááºáž (á¥ááᬠáá áºáááá áº) ááẠá¡ááœááºá á±á¬áá±á¬ saturation signal ááá¯áá±ážááá¯ááºáááºá
áá±á¬ááºáá¯á¶ážááœááºá saturation ááẠáááŒá¬áá® saturation á ááá·áºááŸááºážáá»ááºáá»á¬ážááŸáá·áºáááºáž áááºá ááºáá±áááºá "áááºá database ááẠáááºá hard drive ááᯠ4 áá¬áá®á¡ááœááºáž ááŒáá·áºááœá¬ážáá¯á¶ááá«áááºá"
ááœáŸá±á¡áá»ááºááŒááŸá¯áá±ážáá¯áá¯á¶ážááᯠááá¯ááºážáá¬ááŒá®áž áááºááá áºáá»á¬ážáá²á០áá áºáá¯ááŸáá·áº ááŒá¿áá¬ááŸáááá·áºá¡áá« (ááá¯á·ááá¯áẠááœáŸá²áá¬áá¯áá®ážáá«áž ááŒá¿áá¬áá áºáá¯) ááŸááá«á áá°ááᯠá¡ááŒá±á¬ááºážááŒá¬ážáá«áá áááºááááºáá±á¬ááºááŸá¯ááᯠá á±á¬áá·áºááŒáá·áºááŒááºážááŒáá·áº á¡áá»á¯á¶ážáááºáááºááŒá áºáááºá
á¡ááŒá®áž (ááá¯á·ááá¯áẠáááááá¬áááºáá¬ááá¬ááŸáá·áº á áœááºážáá±á¬ááºáááº) á¡ááœáẠá áááºáá°áá«
á á±á¬áá·áºááŒáá·áºáá±ážá áá áºááᯠá¡á ááŸá¡áá¯á¶áž áááºáá±á¬ááºááá·áºá¡áá«á áá»ááºážáá»áŸááŒá¬áá»áááºá áá»ááºážáá»áŸ node CPU á¡áá¯á¶ážáá»ááŸá¯ ááá¯á·ááá¯áẠáá»ááºážáá»áŸáá±áá¬áá±á·á áºáá±ááá¯ááºááŸá¯ááá¯á·á¡áá±á«áº á¡ááŒá±áá¶á á áá áºáá áºáá¯ááᯠáá®ááœááºááẠááœá²áá±á¬ááºááŸá¯ááŸááááºá áá±á¬ááºáá¯á¶ážááá°áá¬ááŸá áºáá¯á á¡áá¹ááá¬ááºááŸá¬ áááá¬áááºááŸá¬ážáááº- áááá¯áááºáá¬áá»á¬ážááŸáá·áº áá±áá¬áá±á·á áºáá»á¬ážááᯠá¡ááœááºááá·áºááŸááºážááááºáá±á¬áááºážáááºážááŒáá·áº á áœáá·áºáá áºáá¬ážáááºá áá±á¬ááºáá»áá¬ááœá±áá±á«á·á á¡áááºá áááºááẠáá áºá áá¹ááá·áºáá»áŸáẠáá±á¬ááºážááá¯ááŸá¯ 100 ááœáẠáá»ááºážáá»áŸ latency 1000ms ááŸááá±á¬ áááºáááºáá±á¬ááºááŸá¯ááᯠáá¯ááºáá±á¬ááºáá±áá«á áá±á¬ááºážááá¯ááŸá¯ 1% ááẠ5 á áá¹ááá·áºááŒá¬ááá¯ááºáááºá áá¯á¶ážá áœá²áá°áá»á¬ážááẠááá¯áá²á·ááá¯á·áá±á¬ áááºáááºáá±á¬ááºááŸá¯áá»á¬ážá áœá¬ááᯠááŸá®ááá¯áá±áá«áá áá»á±á¬áá±á¬ááºáá±á¬ááºáá¶áá áºáá¯áááºážá 99th áá¬ááá¯ááºááŸá¯ááºážááẠá¡ááºáá¬áá±á·á áºá áá»ááºážáá»áŸáá¯á¶á·ááŒááºáá»áááºááᯠá¡ááœááºááá° ááŒá áºáá¬ááá¯ááºáááºá
á¡ááŸá±ážáá»ááºážáá»áŸááŸáá·áº á¡ááœááºááŸá±ážáá±á¬ áá±á¬ááºážááá¯áá»ááºáá»á¬ážá á¡ááŒá®ážááᯠááá¯ááºážááŒá¬ážááẠá¡ááá¯ážááŸááºážáá¯á¶ážáááºážáááºážááŸá¬ á á¬áááºážááá¬ážáá»á¬ážááœáẠáá±á¬áºááŒáá¬ážáá±á¬ áá±á¬ááºážááá¯áá»ááºáá»á¬ážááᯠááá¯ááºážáá¬ááŒááºáž (áá®á ááá¯ááááºáá»á¬ážááẠááŒáááẠááá·áºáá»á±á¬áºáá±á¬áááááá¬áá áºáá¯ááŒá áºáááº)á á¡ááŸááºáááẠááŸá±á¬áá·áºááŸá±ážááŒááºážááẠáááºáá±á¬ááºááŸá¯á០áá±á¬ááºážááá¯áá»ááºáááºáá»áŸ áá±á¬ááºááœááºáá±ážáá²á·áááºá 0 ms ááŸáá·áº 10ms á¡ááŒá¬ážá 10ms ááŸáá·áº 30ms á¡ááŒá¬ážá 30ms ááŸáá·áº 100ms á¡ááŒá¬ážá 100ms ááŸáá·áº 300ms á¡ááŒá¬ážá á áááºááá¯á·á histogram áá±á¬ááºáá»á¬ážááᯠááá·áºááŸááºážááŒá±á¡á¬ážááŒáá·áº á¡áááá¯ážáá»á²á·ááŒááºáž (á¡áá»áẠá áá»ááºááá·áºááŒáá·áº) ááẠáá±á¬ááºážááá¯áá»ááºáá»á¬ážááᯠááŒáá·áºáá»ááºááŒááºáá±á¬ááºááẠááœááºáá°áá±á¬áááºážáááºážáá áºáá¯ááŒá áºáááºá
ááá¯ááºážáá¬ááŸá¯áá»á¬ážá¡ááœáẠááŸááºáááºáá±á¬ á¡áá±ážá áááºááᯠááœá±ážáá»ááºáá«á
á áá áºá ááœá²ááŒá¬ážááŒá¬ážáá¬ážáá±á¬ á¡á áááºá¡ááá¯ááºážáá»á¬ážááᯠá¡áá±ážá ááẠá¡ááá·áºá¡áá»áá¯ážáá»áá¯ážááŒáá·áº ááá¯ááºážáá¬ááá·áºáááºá á¥ááá¬á¡á¬ážááŒááºá·:
- CPU á¡áá¯á¶ážááŒá¯ááŸá¯ááᯠá¡áá»áááºá¡ááá¯ááºážá¡áá¬áá áºáá¯á¡áá ááŒáá·áºááŸá¯ááŒááºážá latency ááŒáá·áºáá¬ážááŒááºážááᯠááŒá áºáá±á«áºá á±ááá·áº ááŸááºáá»á¬ážáá±á¬ spikes áá»á¬ážááᯠááŒááááºááá¯ááºáá«á
- á¡ááŒá¬ážáá áºáááºááœááºá áá áºááŸá áºáá»áŸáẠ9 áá¬áá®áááºáááá¯áá±á¬ á ááºáááºáá»ááẠ(99,9% ááŸá áºá ááºááœáá·áºáá»áááº) ááá¯áááºááŸááºážáá¬ážááá·áº áááºáááºáá±á¬ááºááŸá¯á¡ááœáẠHTTP 200 áá¯á¶á·ááŒááºááŸá¯ááᯠáá áºáááá áºáá»áŸáẠáá áºááŒááẠááá¯á·ááá¯áẠááŸá áºááŒáááºáááºááá¯á á á áºáá±ážááŒááºážááẠáááá¯á¡ááºáá² áááŒá¬ááááŒá áºááá¯ááºáááºá
- á¡áá¬ážáá°á 99,9-1 áááá áºááá¯ááºáž áá áºááŒáááºáááºááá¯ááááŸáááá¯ááºááŸá¯ 2% á¡ááœáẠhard drive ááœáẠáá±áá¬ááœááºááᯠá á áºáá±ážááŒááºážááẠáááá¯á¡ááºáá«á
á¡ááá¯ááºážá¡áá¬áá»á¬ážá á¡áá±ážá áááºááœá²á·á ááºážáá¯á¶ááᯠááá¯á áá¯ááºáá«á áá áºá áá¹ááá·áºáá»áŸáẠ1 ááŸá¯ááºážááŸááá±á¬ CPU á¡áá¯á¶ážááŒá¯ááŸá¯ááŸá¯ááºážááẠá áááºáááºá á¬ážá áá¬áá±á¬ááºážáá±á¬áá±áá¬ááᯠáá±ážá áœááºážááá¯ááºáá±á¬áºáááºáž ááá¯áá²á·ááá¯á·áá±á¬ áááŒá¬ááááá¯ááºážáá¬ááŸá¯áá»á¬ážááẠá á¯áá±á¬ááºážá ááááºážáááºážáááºááŸáá·áº ááœá²ááŒááºážá áááºááŒá¬ááẠá¡ááœááºá á»á±ážááŒá®ážáá«áááºá áááºáá á±á¬áá·áºááŒáá·áºáá±ážáááºážááá¯ááºááẠááŒáá·áºáá¬ážáá±á¬á¡áá±ážá áááºáá±á¬áºááŒááŸá¯ááá¯á¡ááºááŒá®áž ááŒáá·áºáá¬ážáá±á¬áá¯á¶á·ááŒááºááŸá¯áááá¯á¡ááºáá«áá áá¬áá¬áá±á«áºááœáẠáááºááá áºáá»á¬ážá á¯á ááºážááŸá¯ááᯠáááºááŸááºááŒá®áž ááá¯áááºááá áºáá»á¬ážááᯠá á¯á ááºážáᬠá á¯á ááºážáááºá¡ááœáẠááŒááºáá áá áºáá áºáá¯ááᯠááŒááºáááºááŒááºážááŒáá·áº á€áá¯ááºáá»á ááááºáá»á¬ážááᯠáá»áŸá±á¬á·áá»ááá¯ááºáááºá ááá¯ááºááá¬áž:
- CPU á¡áá¯á¶ážááŒá¯ááŸá¯ááᯠá áá¹ááá·áºááá¯ááºážááá¯ááºážáá«á
- á¡áá±ážá áááºááᯠ5% ááá¯á· áá»áŸá±á¬á·áá»áá«á
- áááá áºááá¯ááºáž á á¯á ááºážááá¯ááºážáá¬ááŸá¯áá»á¬ážá
á€áááºážáá»á°áá¬ááẠááá·áºá¡á¬áž ááœá²ááŒááºážá áááºááŒá¬ááŸá¯ááŸáá·áº ááá¯ááŸá±á¬ááºááŸá¯á¡ááœáẠááŒáá·áºáá¬ážáá±á¬áá¯ááºáá»á ááááºáá»á¬ážáááœá±á·ááŒá¯á¶áá² á¡ááœááºá¡áá±ážá áááºá¡áá»ááºá¡áááºáá»á¬ážááᯠá á¯áá±á¬ááºážááá¯ááºá á±áááºááŒá áºáááºá
áááºááá¯ááºááá»áŸ ááá¯ážááŸááºážáá±á¬áºáááºáž áááœááºáá«á
ááá°áá®áá±á¬ ááá¯á¡ááºáá»ááºáá»á¬ážááᯠáá áºáá¯ááŸáá·áºáá áºáá¯á¡áá±á«áºááœáẠáá¬ážááŸáááŒááºážááẠá¡ááœááºááŸá¯ááºááœá±ážáá±á¬ á á±á¬áá·áºááŒáá·áºáá±ážá áá áºáá áºáá¯áá®ááá¯á· áŠážáááºááœá¬ážá á±ááá¯ááºáááºá á¥ááá¬á¡á¬ážááŒáá·áºá ááá·áºá áá áºááœáẠá¡á±á¬ááºáá«ááŸá¯ááºááœá±ážáá±á¬ááŒááºá ááºáá»á¬áž ááŸáááá¯ááºáááº-
- áá±á¬ááºážááá¯ááŸá¯ latency á¡ááœáẠááá°áá®áá±á¬ ááá·áºáááºáá»ááºáá»á¬ážá¡áá ááá°áá®áá±á¬ áá¬ááá¯ááºááŸá¯ááºážáá»á¬ážá¡ááá¯ááºá
- ááŒá áºááá¯ááºáá±á¬ á¡ááŒá±á¬ááºážááá¬ážáá»á¬ážááᯠááŸá¬ááœá±áá±á¬áºáá¯ááºááẠá¡ááá¯áá¯ááºááᯠáá±ážáá¬ážááŒááºážá
- ááŒá¿áá¬áá»á¬ážá ááŒá áºááá¯ááºáá±á¬ á¡ááŒá±á¬ááºážáááºážáá áºáá¯á á®á¡ááœáẠáááºááá¯ááºáᬠáááºááŸáºáá¯ááºáá»á¬áž áááºáá®ážáá«á
ááŒá áºááá¯ááºáá»á±ááŸááá±á¬ ááŸá¯ááºááœá±ážááŸá¯áá»á¬ážá á¡áááºážá¡ááŒá áºáá»á¬ážááẠáááºáá±á¬á·á០ááá¯á¶ážáá«á áá±á¬á·ááºáá²ááºá áá áºáá»á¬ážá¡á¬ážáá¯á¶ážáá²á·ááá¯á·áááºá á á±á¬áá·áºááŒáá·áºá á áºáá±ážááŸá¯ááẠá¡ááœááºááŸá¯ááºááœá±ážááŒá®áž áá»ááºá á®ážááœááºáááºá ááŒá±á¬ááºážáá²áááºááŸáá·áº ááááºážááááºážáááºáááºáá²áááºá
ááá¯á·ááŒá±á¬áá·áº áááºááá¯ááºááá»áŸ ááá¯ážááŸááºážá á±ááẠáááºá á á±á¬áá·áºááŒáá·áºáá±ážá áá áºááᯠáá®ááá¯ááºážááœá²áá«á ááŒá±áá¬áá¶ááá·áºá¡áá¬ááᯠááœá±ážáá»ááºááá·áºá¡áá« á¡á±á¬ááºáá«ááá¯á·ááᯠááŸááºáá¬ážáá¬ážáá«á
- ááŒá áºáááºááŸááºáá»á¬ážááᯠá¡áá»á¬ážáá¯á¶ážáááºážááááá¯ááºáá±á¬ á ááºážáá»ááºážáá»á¬ážááẠááá¯ážááŸááºážá ááŒáá¯áááºááŸááºážáááá¯ááºááŒá®áž áááºááá¯ááºááá»áŸ á áááºáá»áááá·áºáááºá
- áááŒá¬ááááá¯áááᯠáá¯ááºáá±á¬ááºáá±ááá·áº áá±áá¬á á¯áá±á¬ááºážááŒááºážá á á¯á ááºážááŒááºážááŸáá·áº ááááá±ážááŒááºážá¡ááœáẠááœá²á·á ááºážááŸá¯áá¯á¶á ᶠ(á¥ááá¬á á¡áá»áá¯á·áá±á¬ SRE á¡ááœá²á·áá»á¬ážá¡ááœáẠáá¯á¶ážááá áºááŒáááºáááºáááºážáá±á¬) ááᯠáááºááŸá¬ážááá·áºáááºá
- áááºááá·áº á¡á ááºážááŒáá·áºááŸá¯ááŸá¯ á¡ááá·áºááœáẠáááŒááá² á á¯áá±á¬ááºážáá¬ážááá·áº áááºááá áºáá»á¬áž ááá¯á·ááá¯áẠááááá±ážáá»áẠáá áºáá¯áá¯á áá»ááºáá áºááẠááá¯ááºá á¬ážááŸááºáá±á¬ááºážáá»á¬ážááŒá áºáááºá
Google ááœááºá ááááá±ážáá»ááºáá»á¬áž ááŸáá·áº áááºááŸáºáá¯ááºáá»á¬áž áá±á«ááºážá ááºáá¬ážáá±á¬ á¡ááŒá±áá¶á á¯áá±á¬ááºážááŸá¯ááŸáá·áº áááºááá áºáá»á¬áž á á¯á ááºážááŸá¯ááẠá¡áá±á¬áºáá±áž ááá¯ááºááá¯ááºáá«ááŸááá±á¬ á áá áºáá áºáá¯á¡ááŒá Ạáá±á¬ááºážááœááºá áœá¬ á¡áá¯ááºáá¯ááºááẠ(Google á á á±á¬áá·áºááŒáá·áºáá±ážá áá áºááẠá¡ááŸááºááááºááœáẠá áá áºááœá²áá»á¬ážá áœá¬ááá¯á· ááœá²ááœá¬ážáá±á¬áºáááºáž áá»á¬ážáá±á¬á¡á¬ážááŒáá·áº á€á áá áºááœá²áá»á¬ážá ááá¹áá¡á¬ážáá¯á¶ážááᯠááááŸáááŒáááº)á ááŸá¯ááºááœá±ážáá±á¬ á áá áºáá»á¬ážááᯠá ááºážáááºááŒááºážá á¡ááŒá¬ážáááºážáááºážáá»á¬ážááŒáá·áº á á±á¬áá·áºááŒáá·áºááŒááºážá¡á¬áž ááœá²áá±á¬ááºááá¯ááºáááº- á¡áá±ážá ááẠá áá Ạáááá¯ááá¯ááºážá áá¯ááºáááºážá áẠá¡ááŸá¬ážááŸá¬ááŒááºááŒááºážá ááŒá±áá¬áá¶ááŒááºáž ááŒáœááºážáá»áẠááá¯á·ááá¯áẠáá»ááºááœááºááŸá¯ á¡áá±ážá áááºáá»á¬ážá áááºá ááºážáááºááŒááºážá ááŸááºáááºážá á¯áá±á¬ááºážááŒááºážááŸáá·áº ááœá²ááŒááºážá áááºááŒá¬ááŒááºáž ááá¯á·ááá¯áẠáááºážááŒá±á¬ááºážá á áºáá±ážááŒááºáž á€á¡áá¬á¡áá»á¬ážá á¯ááẠá¡ááŒá±áá¶á á±á¬áá·áºááŒáá·áºááŒááºážááŸáá·áº áá°áá®áá±áá±á¬áºáááºáž áááºážááá¯á·ááᯠáá±á¬ááŸá±á¬ááŒááºážááẠááááºáá»á¬ážá áœá¬ááᯠááŒá áºáá±á«áºá á±ááŒá®áž ááŸá¯ááºááœá±ážááŒá®áž ááŒáœááºáááºáá±á¬á áá áºááᯠáááºáá®ážáá±ážáááºááŒá áºáááºá áá±á¬á·ááºáá²ááœá¶á·ááŒáá¯ážááá¯ážáááºááŸá¯á á¡ááŒá¬ážááá¹ááá»á¬ážá áœá¬áá²á·ááá¯á·áááºá ááŸááºážááŸááºážáááºážáááºážá ááá¯ážááŸááºážáá±á¬á áá±á«á·áá±á«á·áá«ážáá«áž áá±á«ááºážá ááºáá±á«ááºážá ááºáá¬ážáá±á¬ ááœá²ááŒá¬ážáá±á¬á áá áºáá»á¬ážááᯠáá¶á·ááá¯ážáá±ážááŒááºážááẠá¡áá±á¬ááºážáá¯á¶ážáá»á°áá¬ááŒá áºááẠ(á¥ááá¬á á¡áá»áááºááŒá¬ááŒáá·áºá áœá¬ á¡áááºáááŒááºááŸááá±ááá¯ááºáá±á¬ áá±á¬áºáááºáá áºáá¯ááŒá áºááá·áº ááẠAPI ááᯠá¡áá¯á¶ážááŒá¯á á¡áá»ááºážáá»á¯ááºáá±áá¬ááᯠáá¯ááºáá°áááºá )
á¡ááŒá±áá¶áá°áá»á¬ážááᯠáá»áááºáááºááŒááºážá
á€á¡áááºážááœáẠááœá±ážááœá±ážáá¬ážáá±á¬ á¡ááŒá±áá¶áá°áá»á¬ážááᯠGoogle SRE á¡ááœá²á·áá»á¬ážá០áá±á¬ááºáá¶ááŒá®áž ááá¯ááºáá¬áá±á¬ á á±á¬áá·áºááŒáá·áºááŒááºážááŸáá·áº ááááá±ážááá·áº áá¿ááá áºáá¯á¡ááŒá Ạáá±á«ááºážá ááºááá¯ááºáá«áááºá á€á á±á¬áá·áºááŒáá·áºáá±ážáá¿áááᯠááá¯ááºáá¬ááŒááºážááẠááŸá áºááá¯ááœááºáá±á¬ááºážáááºá áááºážááẠááááá±ážáá»ááºáááºážá áá áºáá áºáá¯ááᯠáááºáá®ážááŒááºáž ááá¯á·ááá¯áẠááŒááºáááºááŒááºáááºááŒááºážá¡ááœáẠáá±á¬ááºážáá±á¬á¡á ááŸááºáá áºáá¯ááŒá áºááŒá®áž ááá·áºá¡ááœá²á·á¡á ááºážá¡ááœááºá¡á á¬áž ááá¯á·ááá¯áẠáááºáá±á¬ááºááŸá¯ ááá¯á·ááá¯áẠá áá áºáááŸá¯ááºááœá±ážááŸá¯áááœá²ááŒá¬ážáá² áá¯ááºáááºážáá±á¬ááºááœááºááŸá¯áá»á¬ážá¡ááœáẠááŸááºáááºáá±á¬áá±ážááœááºážáá»á¬ážáá±ážááẠáá°áá®áá±ážááá¯ááºáá«áááºá
á á±á¬áá·áºááŒáá·áºááŒááºážááŸáá·áº ááááá±ážááŒááºážá ááºážáá»ááºážáá»á¬ážááᯠáááºáá®ážáá±á¬á¡áá«ááœááºá á¡á±á¬ááºáá«áá±ážááœááºážáá»á¬ážáá±ážááŒááºážááẠááŸá¬ážááœááºážáá±á¬á¡ááŒá¯ááá±á¬áá»á¬ážááŸáá·áº áááá¯á¡ááºáá±á¬ááááá±ážáá»ááºáá»á¬ážááᯠááŸá±á¬ááºááŸá¬ážááẠáá°áá®áá±ážááá¯ááºáá«áááºá
- á€á ááºážáá»ááºážááẠá¡áá±ážáááŒá®ážá á¡áá±ážáá°ááẠáá±á¬ááºážááá¯ááŸá¯áá»á¬ážááŸáá·áº áá¯á¶ážá áœá²áá°ááᯠáááœáŸá²áááŸá±á¬ááºáᬠáááºáá±á¬ááºááŸá¯ááŸááá±á¬ á¡ááŒá¬ážááá¯ááºáá±á¬ ááááŸáááá¯ááºáá±á¬ á áá áºá¡ááŒá±á¡áá±ááᯠááŸá¬ááœá±ááœá±á·ááŸááá«ááá¬ážá
- á€ááááá±ážáá»ááºááᯠáá»á áºáá»á°ááŸá¯ááá¯ááºáá«ááá¬ážá á€ááááá±ážáá»ááºááᯠáááºá¡áá»áááºááŸáá·áº á¡áááºááŒá±á¬áá·áº áá»á áºáá»á°ááŸá¯ááá¯ááºááááºážá á€á¡ááŒá±á¡áá±ááᯠáááºááá¯á·ááŸá±á¬ááºááŸá¬ážááá¯ááºáááºáááºážá
- á€ááááá±ážáá»ááºááẠáá¯á¶ážá áœá²áá°áá»á¬áž ááá¯ážááœá¬ážá áœá¬ ááááá¯ááºáá¶áá±ááááºáᯠááá¯ááá¯áá«ááá¬ážá á¥ááá¬á¡á¬ážááŒáá·áº áá¬ááºááŒá±á¬ááááºááá¯á·ááŒááºáž ááŒá±á¬áá·áº ááá¯á·ááá¯áẠá ááºážáááºááŸá¯á áá áºáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááá·áºá¡áá«á áááºááá·áºá¡áá¬á¡á¬áž á á áºáá¯ááºááá·áºááááºáž áá°áá±á¬ ááááá±ážáá»ááºáá»á¬áž ááŸááá«ááá¬ážá
- á€ááááá±ážáá»ááºááᯠáá¯á¶á·ááŒááºá á¡áá±ážáá°ááá¯ááºáá«ááá¬ážá á€á¡á á®á¡áá¶áá»á¬ážááẠá¡áá±ážáááŒá®ážááŒá áºáá±áá«ááá¬áž ááá¯á·ááá¯áẠáá¶áááºá¡áá á á±á¬áá·áºááá¯ááºáá«ááá¬ážá áá¯ááºáá±á¬ááºáá»ááºááᯠá¡ááá¯á¡áá»á±á¬ááºááŒá¯áá¯ááºááẠáá±ážáááºážáá«ááá¬ážá á€áá¯ááºáá±á¬ááºáá»ááºááẠáá±ááŸááºááŒá±ááŸááºážáá»áẠááá¯á·ááá¯áẠáá±ááá¯ááŒá±ááŸááºážáá»ááºááŒá áºáá«ááá¬ážá
- á¡áá»áá¯á·áá±á¬áá°áá»á¬ážááẠá€ááŒá¿áá¬á¡ááœáẠááááá±ážáá»ááºáá»á¬ážá áœá¬áááŸááááºá ááá¯á·ááŒá±á¬áá·áº á¡áá±á¡ááœááºááᯠáá»áŸá±á¬á·áá»ááẠááŒá áºááá¯ááºáá«ááá¬ážá
á€áá±ážááœááºážáá»á¬ážááẠááááá±ážáá»ááºáá»á¬ážááŸáá·áº ááááá±ážáá»ááºá áá áºáá»á¬ážááá¯ááºáᬠá¡ááŒá±áá¶á¡ááœá±ážá¡áá±á«áºááᯠáááºáááºá á±áááº-
- ááááá±ážáá»ááºáá áºáá¯áááºáá¬ááá¯ááºážá áá»áœááºá¯ááºááẠá¡áá±ážáááŒá®ážáá¯á¶á·ááŒááºááááºá ááááºáááºážááẠáá áºáá±á·ááᯠá¡ááŒáááºáá±á«ááºážáá»á¬ážá áœá¬ á¡áá»ááºá ááá¯áá¯ááºááá¯ááºáá«áááºá
- ááááá±ážáá»ááºáá áºáá¯á á®ááẠáá±á¬ááºáá¯á¶ážáá±á«áºááŒá áºááá«áááºá
- ááááá±ážáá»ááºáá áºáá¯á¡ááœáẠáá¯á¶á·ááŒááºááŸá¯áá áºáá¯á á®ááá¯ááºážááẠáá°áá¬ážááá¯á·á áááºáá±á¬ááºá áœááºáááºááŸá¯ ááá¯á¡ááºáá«áááºá á¡ááŒá±á¬ááºážááŒá¬ážáá»ááºááẠá¡ááá¯á¡áá»á±á¬áẠáá¯ááºáá±á¬ááºááá¯ááºáá»áŸáẠááá¬ááá·áºáá«á
- ááááá±ážáá»ááºáá»á¬ážááẠááŒá¿áá¬á¡áá Ạááá¯á·ááá¯áẠááááºá áááŒá áºáá²á·ááá·áº á¡ááŒá áºá¡áá»ááºáá áºáá¯á¡ááŒá±á¬ááºáž ááŒá áºááá·áºáááºá
á€áá»ááºážáááºááŸá¯ááẠá¡áá»áá¯á·áá±á¬ ááœá²ááŒá¬ážááŸá¯áá»á¬ážááᯠááŸá¯ááºáá«ážá á±áááº- ááááá±ážáá»ááºáá áºáá¯ááẠááááºá¡ááŒá±á¡áá±áá±ážáá¯ááᯠáá»á±áááºá á±áá«áá ááááá±ážáá»ááºááẠWhite-box á á±á¬áá·áºááŒáá·áºáá±ážá áá Ạááá¯á·ááá¯áẠBlack-Box á០áá±ážááá¯á·ááŒááºážááŸááááŸá ááá á¹á áááŸááá«á á€áá»ááºážáááºááŸá¯ááẠá¡áá»áá¯á·áá±á¬ ááœá²ááŒá¬ážááŸá¯áá»á¬ážááᯠá¡á¬ážááŒáá·áºáá±ážáááº- á¡ááŒá±á¬ááºážááá¬ážááẠáá±á¬áá«ááá¹ááá¬áá»á¬ážááᯠáá±á¬áºáá¯ááºáá¬ááœáẠááá¯ááá¯á¡á¬ážá áá¯ááºáá¯ááºááŒááºážááẠááá¯áá±á¬ááºážáááºá á¡ááŒá±á¬ááºážááá¬ážáá»á¬ážááŸáá·áº áááºáááºáá¬áá»áŸáẠááŸá±á¬ááºááœáŸá²ááááá±á¬ á¡ááŒá±á¬ááºážááá¬ážáá»á¬áž á¡ááœááºáᬠá áááºáá°ááẠááá¯á¡ááºáá«áááºá
áá±ááŸááºá á±á¬áá·áºááŒáá·áº
ááá±á·áá±ááºáá¯ááºáá¯ááºááŸá¯áááºáááºážáá»ááºááœááºá á á±á¬áá·áºááŒáá·áºáá±ážá áá áºáá»á¬ážááẠáá±á¬á·ááºáá²ááºáááá¯áá¬áá¯á¶á á¶ááŒá±á¬ááºážáá²ááŒááºážá áááºáá»ááŒááºážááá¹ááá¬áá»á¬ážááŸáá·áº á áœááºážáá±á¬ááºáááºáá áºááŸááºáá»á¬ážááŒáá·áº á¡á ááºáá áá¯ááºááŒá±á¬ááºážáá²áá±áá±á¬áá¯ááºáá¯ááºááŸá¯á áá áºáá áºáá¯ááᯠá á±á¬áá·áºááŒáá·áºáá«áááºá áááºááŸáááœáẠá¡ááá¯á¡áá»á±á¬ááºááŒááºááœááºááẠáááºáá²áá±ááá·áº ááááá±ážáá»ááºáá»á¬ážááẠáá¯á¶ááŸááºááŒá áºáá¬ááá¯ááºááŒá®ážá ááá¯ááºááœááºááŒá±ááŸááºážááẠááá¯ááºáááºááá·áºááá¯áẠááŒá áºáá±á¬ááºážááŒá áºááá¯ááºáááºá á€á¡áá»áááºááœáẠáá áºá á¯á¶áá áºáá±á¬ááºááẠááŒá¿áá¬á á¡áááºážáá¶á¡ááŒá±á¬ááºážááá¬ážáá»á¬ážááᯠááŸá¬ááœá±ááŒá®áž ááŒá±ááŸááºážááẠááá¯á¡ááºáá«áááºá ááá¯ááá¯á·áá±á¬ ááŒááºáá¬ážááŸá¯áááŒá áºááá¯ááºáá«á ááááá±ážáá»ááºááᯠáá¯á¶á·ááŒááºááŸá¯ááẠá¡ááá¯á¡áá»á±á¬ááºá áá Ạá¡ááŒáá·áºááŸáááẠááá¯á¡ááºáááºá
á á±á¬áá·áºááŒáá·áºáá±áž áá¯á¶ážááŒááºáá»ááºáá»á¬ážááᯠáá±ááŸááºáááºááŸááºážáá»ááºáá»á¬ážááŒáá·áº ááŒá¯áá¯ááºááẠá¡áá±ážááŒá®ážáá«áááºá ááá±á·áá¯ááºáá±á¬ááºáá±ááá·áº ááááá±ážáá»ááºááá¯ááºážááẠáá°áá áºáŠážá¡á¬áž ááááºááŒááºááœáẠá áá áºááá¯ážáááºáá±á¬ááºážááœááºá á±ááẠáá±ážááœá¬ááœá¬ážá á±áááºá ááá¯á·ááŒá±á¬áá·áº á á±á¬áá·áºááŒáá·áºáá±ážá áá áºá¡á¬áž áá±ááŸááºááœáẠááá¯ážáááºáá±á¬ááºážááœááºáá¬á á±ááẠááá¯á¡ááºááá·áºá¡áá»áááºá¡ááœáẠá¡áá»áá¯ážááŒá áºááœááºážáá±á¬á áá áºááááŸáááá¯ááºááŸá¯ ááá¯á·ááá¯áẠá áœááºážáá±á¬ááºáááºáá»áááºážááœá¬ážáááºáááºá á€ááŒá áºá ááºááᯠááá¯ááºáá±á¬áºáá±á¬ á¥ááá¬ááŸá áºáá¯ááᯠááŒáá·áºááŒáá«á áá¯á·á
Bigtable SRE- ááááá±ážáá»ááºááœááºáá²ááŒááºážá¡ááŒá±á¬ááºáž áá¬ááºáááºáž
Google á á¡ááœááºážááá¯ááºáž á¡ááŒá±áá¶á¡áá±á¬ááºá¡áŠáá»á¬ážááᯠáá¯á¶ááŸááºá¡á¬ážááŒáá·áº áááºáá±á¬ááºááŸá¯á¡ááá·áº (SLO) áááºááŸááºáá»ááºáá»á¬ážááŒáá·áº áá±ážáá±á¬ááºáá¬ážááŒá®áž ááá¯ááºážáá¬áá«áááºá ááœááºáá²á·áá±á¬ááŸá áºáá»á¬ážá¡ááœááºážá Bigtable áááºáá±á¬ááºááŸá¯á SLO ááẠáááºáááºáá±áá±á¬ áááá¯ááºážááá·áºááᯠá¡áá¯áá°ááá·áº áá±á«ááºážá ááºááœá±áá±ážáá»á±ááŸá¯áá áºáá¯á áá»ááºážáá»áŸá áœááºážáá±á¬ááºáááºá¡áá±á«áº á¡ááŒá±áá¶áá¬ážáááºá Bigtable ááŸáá·áº ááá¯ááŸá±á¬ááºááŸá¯á¡á á¯á¡áá±ážá á¡ááá·áºáááá·áºáá»á¬ážááœáẠááŒá¿áá¬áá»á¬ážááŒá±á¬áá·áºá áá»ááºážáá»áŸá áœááºážáá±á¬ááºáááºááᯠ"ááŒá®áž" á¡ááŒá®ážááŒáá·áº áá±á¬ááºážááŸááºáá²á·áááº- á¡ááá¯ážáá¯á¶áž 5% ááẠá á¯á¶á ááºážááŸá¯áá»á¬ážááẠáá»ááºáá»á¬ážááẠáááŒá¬áá ááŸá±ážááœá±ážáá±áááºáááºá
SLO áááºááŸááºáá»ááºáá»á¬áž áá®ážáááºáá¬áááºááŸáá·áºá¡áá»áŸ SLO áááºááŸááºáá»ááºááᯠáá»á±á¬áºááœááºááœá¬ážáá±á¬á¡áá« á¡á®ážáá±ážááºááááá±ážáá»ááºáá»á¬áž áá±ážááá¯á·áá²á·áááºá ááááá±ážáá»áẠááŸá áºáá»áá¯ážá áá¯á¶ážááᯠáááŒá¬áá áááŒá¬áá áá±ážááá¯á·áá²á·ááŒá®áž áááºáá¶ááá¯ááºááœáẠáááŸáááá·áº á¡ááºáá»ááºáá®áá¬ááá¯ááºáᬠá¡áá»áááºááá¬áááᯠáá¯á¶ážá áœá²áááº- á¡ááœá²á·ááẠá¡ááŸááºáááẠáááºááá¯ááºááá·áº á¡áá»ááºá¡áá»áá¯á·ááᯠááŸá¬ááœá±ááẠááááá±ážáá»ááºáá»á¬ážááᯠááá¯ááºážááŒá¬ážááẠá¡áá»áááºáá»á¬ážá áœá¬ áá¯á¶ážá áœá²áá²á·áááºá ááááá±ážáá»ááºá¡áá»áá¯á·ááᬠá¡ááá¯áá«ááŒá¿áá¬á¡ááœáẠá¡ááŸááºááááºááŒá áºáá±á¬ááŒá±á¬áá·áº áá¯á¶ážá áœá²áá°áá»á¬ážááᯠá¡ááŸááºááááºááááá¯ááºá á±ááá·áº ááŒá¿áá¬áá áºáá¯ááᯠáá»áœááºá¯ááºááá¯á· áááŒá¬áá ááœááºááœá¬ážáá«áááºá ááááá±ážáá»áẠá¡áá»á¬ážá¡ááŒá¬ážááẠáá¬ážáááºááá¯ááºáá±á¬ á¡ááŒá±áá¶á¡áá±á¬ááºá¡á¡á¯á¶ááá¯ááºáᬠááŒá¿áá¬áá»á¬ážááŒá±á¬áá·áº á¡áá±ážáááŒá®ážááá¯ááºáááᯠá á¶áááºážáááºážááŒáá·áº ááá¯ááºááœááºááŒááºáž ááá¯á·ááá¯áẠááá¯ááºááœááºááŒááºáž áá¯á¶ážááááŒá¯ááŒááºážááá¯á·ááŒá±á¬áá·áºááŒá áºáááºá
á¡ááŒá±á¡áá±ááᯠáá¯á á¬ážáááºá á¡ááœá²á·ááẠBigtable á á áœááºážáá±á¬ááºáááºááᯠááŒáŸáá·áºáááºááẠá¡á¬ážááœááºááœááºá áá¯áẠáá¯ááºáá±á¬ááºáá±á ááºááœááºá áá»áœááºá¯ááºááá¯á·á SLO áá áºááŸááºá¡ááŒá Ạáá±ážááŒááºážáá»áẠáá¯á¶á·ááŒááºááŸá¯ááŸá±á¬áá·áºááŸá±ážááŸá¯á¡ááœáẠ75th áá¬ááá¯ááºááŸá¯ááºážááᯠáá¬áá®áááºááŸááºáá¬ážáá«áááºá á¡á®ážáá±ážááºááááá±ážáá»ááºáá»á¬áž á¡áá»á¬ážá¡ááŒá¬ážááŸááá±á¬ááŒá±á¬áá·áº áááºážááá¯á·ááᯠáá±á¬áá«ááŸá¬ááœá±ááẠá¡áá»áááºááŒá¯ááºážááẠáááŒá áºááá¯ááºáá±á¬ááŒá±á¬áá·áº áá»áœááºá¯ááºááá¯á·áááºáž ááááºáá¬ážáááºá
á€áááºážáá»á°áá¬ááẠáá»áœááºá¯ááºááá¯á·á¡á¬áž áááºážáá»á°áá¬ááá¯ááºáá¬ááŒá¿áá¬áá»á¬ážááᯠá¡áááºáááŒááºááŒá±ááŸááºážááŒááºážáááºá Bigtable ááŸáá·áº ááá¯ááŸá±á¬ááºááŸá¯á¡á á¯á á¡á±á¬ááºá¡ááœáŸá¬áá»á¬ážááœáẠáá±ááŸááºááŒá¿áá¬áá»á¬ážááᯠá áááºááŒá±ááŸááºážááá¯ááºá á±áá²á·áááºá á¡ááºáá»ááºáá®áá¬áá»á¬ážááẠáá áºáá»áááºáá¯á¶ážááááá±ážáá»ááºáá»á¬ážááŒáá·áº áááá¯ááºááá¯ááºáá² ááŒá®ážááŒá±á¬ááºááœá¬ážáá±á¬á¡áá«ááœáẠá¡ááºáá»ááºáá®áá¬áá»á¬ážááẠá¡ááŸááºáááẠá¡áá¯ááºáááá¯ááºáááºá á¡áá¯á¶ážá áœááºá¡á¬ážááŒáá·áºá ááááá±ážáá»ááºáá»á¬ážáá¯ááºáá±á¬ááºáá¬ááœáẠáá¬áá®ááŸá±á¬áá·áºááŸá±ážááŒááºážááẠáááºáá±á¬ááºááŸá¯á¡áááºá¡ááœá±ážááᯠááŒáŸáá·áºáááºáá±ážááá¯ááºáá²á·áááºá
Gmail- ááŒáá¯áááºááá·áºááŸááºážááá¯ááºáá±á¬á á¡ááºááºááá¯áá®áááºáá°áá¬ážáá¯á¶á·ááŒááºááŸá¯
á¡á ááá¯ááºážááœááºá Gmail ááẠáá¯ááºáááºážá ááºááŸá¬ááœá±ááŸá¯á¡ááœáŸááºážá¡ááá¯ááºážáá»á¬ážááᯠá¡á á¯ááá¯ááºá¡á ááºážááá¯ááºááŒá¯áá¯ááºááẠáááºáá®ážáá¬ážááá·áº ááœááºážáá¶áá¬ážáá±á¬ Workqueue áá¯ááºáááºážá ááºááááºážáá»á¯ááºááŸá¯á áá áºáá±á«áºááœáẠáááºáá±á¬ááºáá¬ážáááºá Workqueue ááᯠáá¬ááŸááºáá¶áá±á¬ áá¯ááºáááºážá ááºáá»á¬ážááŸáá·áº ááá¯ááºáá»á±á¬áá®ááœá±ááŒá áºá¡á±á¬áẠáá¯ááºáá±á¬ááºáá²á·ááŒá®áž áá±á¬ááºááá¯ááºážááœáẠGmail ááœáẠá¡áá¯á¶ážááŒá¯áá²á·áá±á¬áºáááºážá á¡áááºážááŒáá±á¬ á¡áá»áááºááá¬ážá áá áºáá¯ááºááŸá á¡áá»áá¯á·áá±á¬ áá»áœááºááœááºážáá»ááºáá»á¬ážááẠááŒá¯ááŒááºááẠá¡ááœááºáááºáá²áá«áááºá
ááá¯á¡áá»áááºááœááºá Workqueue ááᯠá¡áá¯á¶ážááŒá¯á áá áºáá¯áá»ááºážáá¯ááºáá±á¬ááºá áá¬áá»á¬ážááᯠáá»ááºááááºážááá¯ááºááá·áºá¡áá«ááœáẠá¡áá»ááºááŒááŸá¯áá»á¬áž áá¯ááºáá±á¬ááºááá¯ááºá á±ááẠGmail á á±á¬áá·áºááŒáá·áºááŸá¯ááᯠáááºáá±á¬ááºáá¬ážáá«áááºá ááá¯á¡áá»áááºá Gmail ááẠáá±á¬ááºáá±á«ááºážáá»á¬ážá áœá¬áá±á¬ á¡áá¯ááºáá»á¬ážááᯠáá¯ááºáá±á¬ááºáá²á·ááŒá®ážááŒá áºáá±á¬ááŒá±á¬áá·áº áá áºáá¯á á®ááẠáá»áœááºá¯ááºááá¯á·áá¡áá¯á¶ážááŒá¯áá°áá»á¬ážá áá¬ááá¯ááºááŸá¯ááºážá¡ááá¯ááºážá¡á áá»á¬ážááᯠáá±ážá¡ááºáá¬ážáá±á¬ááŒá±á¬áá·áº á€áá»ááºážáááºáááºážááẠá á¶ááŒááá¯ááºáá±á Gmail á¡áá¯á¶ážááŒá¯áá°áá»á¬ážááẠáá±á¬ááºážááœááºáá±á¬á¡áá¯á¶ážááŒá¯áá°á¡ááœá±á·á¡ááŒá¯á¶ááŸáá á±ááẠáá±áá»á¬á á±ááẠáá»áœááºá¯ááºááá¯á· á¡áá°ážááá¯á áá¯ááºáá²á·áááºá ááá¯á·áá±á¬áº ááááá±ážáá»ááºáá»á¬ážá áœá¬ááᯠááá¯ááºááœááºááŒá±ááŸááºážááŒááºážááẠáá±ážááœááºážáá¯ááºá áá¬áááŸááá«á
á€ááŒá¿áá¬ááá¯ááŒá±ááŸááºážáááºá¡ááœáẠGmail SRE ááẠá¡áá¯á¶ážááŒá¯áá°áá»á¬ážá¡áá±á«áº áááºáá±á¬ááºááŸá¯á¡áááºážáá¯á¶ážááŒá áºá¡á±á¬áẠáááºááá¯ááºááá»áŸ á¡áá±á¬ááºážáá¯á¶áž á¡ááŸá¬ážááŸá¬ááŒááºááá·áº á¡á á®á¡á ááºááᯠá¡ááŸá¬ážááŸá¬ááẠáááááá¬áá áºáá¯ááᯠáááºáá®ážáá²á·áááºá á¡ááœá²á·ááẠááŒá¿áá¬ááŸá¬ááœá±ááŒááºážá០áá±ááŸááºááŒá±ááŸááºážáá»ááºáááœá±á·ááŸáááá»ááºáž áá¶ááá¬áá áºáá¯áá¯á¶ážááᯠááá¯ážááŸááºážá áœá¬á¡ááá¯á¡áá»á±á¬ááºááŒááºááŒá áºá á±ááẠááœá±ážááœá±ážááŸá¯áá»á¬ážá áœá¬ááŒá¯áá¯ááºáá²á·ááŒáá±á¬áºáááºáž á¡áá»áá¯á·á ááá¯á¡ááŒá±ááẠááŒá¿áá¬áá¡ááŸááºááááºááŒá±ááŸááºážááŒááºážááᯠááŸá±á¬áá·áºááŸá±ážá á±áááºááᯠá áá¯ážááááºááŒáááºá
á€áá²á·ááá¯á· áááºážáá¬ááŸá¯áá»á¬ážááẠá¡áááºážá¡ááœááºážááœááºáá¬áááºááŒá áºáá±á·ááŸáááŒá®áž áááŒá¬ááááá¯áááᯠááááááá¯ááºááᯠá ááºážáááºážááŸáááŸá¯á¡áá±á«áº áá¯á¶ááŒááºááŸá¯áááºážáá²á·ááŸá¯ááᯠáááºáááºá á±áááº- á¡áá»áá¯á·áá±á¬á¡ááœá²á·áá¬ážáá»á¬ážááẠááá·áºáá»á±á¬áºáá±á¬ááŒááºáááºááŸá¯á¡ááœáẠá¡áá»áááºáá±ážááá¯áá±á¬áºáááºáž á¡áá»áá¯á·á áá±á¬ááºáá¯á¶ážááŒááºáááºááŸá¯ááᯠáá±á·ááœá¬ážáᬠáá¬áá®ááŒááºáááºááŸá¯ áá¬áá ááºááŒá¬áááºááᯠá áá¯ážááááºááŒáááºá á¡ááŒá²áááºážááŒá±ááŸááºážáááá·áºá¡á á¬áž ááŒá¿áá¬áá»á¬ážááᯠáá¬áá®ááŒá±ááŸááºážááẠááœááºáá°ááœááºážáá±á¬ááŒá±á¬áá·áº á€ááŒá¿áá¬ááẠáááááŸáá·áºááá¯ááºáááºáá«áááºá áááŠážáá¬áá»ááºááŸá¯ áááºáá¬ááœá¬ážááá·áºááá¯áẠáá±ááŸááºááŒá áºááá¯ááºáá»á±ááŸááá±á¬ áá±ááŸááºááŒááºáááºááŸá¯áá»á¬ážááᯠáŠážá á¬ážáá±ážáá¯ááºáá±á¬ááºááŒááºážááŒáá·áº áááºáá±áá»á¬áá»á¬ážááŸáá·áº áááºážááá¬ááá¯ááºáá¬áááºáááºážáá»á¬ážááẠáá±ááŸááºááŒááºáááºááŸá¯áá»á¬ážááᯠá¡áá±á¬ááºá¡áááºáá±á¬áºáá¬ááœáẠá¡áááá¡áááºážááá¹áá០áá«áááºáá«áááºá
áá¯á¶ááŸáẠáááºááá²áá² ááááá±ážáá»ááºáá»á¬ážááŸáá·áº á¡ááºááºááá¯áá®ááẠáá¯á¶á·ááŒááºááŸá¯áá»á¬ážááẠá¡áá®áá±á¬ááºá¡áᶠááŒá áºááá·áºáááºá á€ááááá±ážáá»ááºáá»á¬ážááᯠá¡ááá¯á¡áá»á±á¬ááºáá¯ááºáá±á¬ááºááẠááá·áºá¡ááœá²á·á០ááœáá·áºáá¯ááºáá±ááŒááºážá á¡ááœá²á·ááẠá¡ááºáááá¯áá®áááºáá»á¬ážááᯠáá¯á¶ááŒááºááá¯ááºáááºáᯠáá¯á¶ááŒááºá áááºáá»ááŸá¯ áááºážáá²á·ááœá¬ážá á±áááºá áá«áᬠááá¯ááºááœááºááŒá±ááŸááºážáááá·áº áá±ážáááºáá²á· ááŒá¿áá¬áá áºáá¯áá«á
áá±ááŸááº
á¡áá»á¬ážá¡á¬ážááŒáá·áº á¡ááŒááºá¡áááºáá áºáá¯ááẠBigtable ááŸáá·áº Gmail ááá°áá¬áá»á¬ážááᯠáá»áááºáááºáááº- áá±ááá¯ááŸáá·áº áá±ááŸááºáááŸáááá¯ááºááŸá¯á¡ááŒá¬áž ááŒáá¯ááºááá¯ááºááŸá¯á áááŒá¬ááááá¯áááᯠááŒááºážááŒááºážáááºáááºá¡á¬ážáá¯ááºááŒááºážááẠáá»ááºá á®ážááœááºáá±á¬á áá áºá¡á¬áž ááŒáá·áºáá¬ážáá±á¬áááŸáááá¯ááºááŸá¯áááŸáááẠáá°áá®áá±ážááá¯ááºáá±á¬áºáááºáž á€áááºážááŒá±á¬ááºážááẠá¡áá»á¬ážá¡á¬ážááŒáá·áº á¡áá»áááºááá¯ááá¯ááŒá áºááŒá®ážá á¡ááœá²á·ááá¯ááºáááºáááºážááœááºážáááºááŸá¯ááŸáá·áº áá°áá®áá±á¬áá°áá²áá±á¬ááºážáááºáááºá¡ááœá²á·áá¡ááœá²á·áááºá¡áááºážáááºá¡áá±á«áºááœáẠááŸá®ááá¯áá±ááá±á·ááŸááááºá
ááááºážáá»á¯ááºáá¬ážáá±á¬á áá±ááá¯áááºááŸááºážáá®ááŸá¯ áá»áááºážááŒááºážááẠáááŒá¬áááá¬áá»ááºááá±á¬áºáááºáž á áá áºááá±ááŸááºáááºááŒáááºááŸá¯á¡ááœáẠáá»á°áá¬ááŒá±á¬ááºá¡áá±ážááŒá®ážáá«áááºá á¡áá®ážáá»ááºááŸá¯ááœáẠááááá±ážáá»ááºáá áºáá¯á á®ááᯠáá ááºážá á¬ážááẠá¡áá±ážááŒá®ážáááºá ááá¯á·áá±á¬áº ááááá±ážáá»ááºáá»á¬ážá á¡áá¯á¶ážá á¯á¶ááŸá¯ááºážááẠáá»ááºážáá¬áá±á¬á áá±á¬ááºážá áœá¬á¡áá¯á¶ážááŒá¯ááá¯ááºáá±á¬á áá áºáá áºáá¯ááŸáá·áº á¡áá¬ážá¡áá¬ááŸááá±á¬á¡ááœá²á·ááŸáá·áº ááá·áºáá»á±á¬áºáá±á¬ááŒáá¯áááºááá·áºááŸááºážáá»ááºáá áºáá¯áá®ááá¯á· áŠážáááºááœá¬ážááŒááºážááŸááááŸáááᯠááá·áºááœááºážá ááºážá á¬ážááẠá¡áá±ážááŒá®ážáá«áááºá áá»áœááºá¯ááºááá¯á·ááẠááááá±ážááŸá¯ááŸá¯ááºážááááºážááááºážá á¬áááºážááá¬ážáá»á¬áž (á¡ááá¯ááºážááá¯ááºážááœáẠá¡ááŒá áºá¡áá»ááºáá»á¬ážá¡ááŒá Ạáá±á¬áºááŒáá±á·ááŸáááŒá®áž á¡ááŒá áºá¡áá»ááºáá áºáá¯ááẠáááºá ááºááŒá áºáááºáá»á¬ážá áœá¬áá«áááºáááº) ááᯠá á®áá¶ááá·áºááœá²ááŒááºážááŒáá·áº áá¯á¶ážááá áºááŒááẠá¡á á®áááºáá¶á á¬áá»á¬ážááœáẠááá¯ááºážááŒá¬ážá áááºááŒá¬ááŒá®áž áá¯á¶ážááŒááºáá»ááºáá»ááŸááºáá°áá»á¬ážááẠááááá±ážáá»ááºá áá áºáááºááŸáá·áº á¡ááœá²á·áá áºáá¯áá¯á¶ážááá»ááºážáá¬áá±ážááᯠá ááºáááºáááŒááºáááºááŒááá¯ááºá á±áá«áááºá
áá±á¬ááºáá»ááº
áá»ááºážáá¬áá±á¬ á á±á¬áá·áºááŒáá·áºááŒááºážááŸáá·áº ááááá±ážáá»ááºáá»á¬ážáá®ááá¯á· áááºážááŒá±á¬ááºážááẠááá¯ážááŸááºážááŒá®áž ááá¯ážááŸááºážáá«áááºá ááááá±ážáá»ááºáá»á¬ážáá¯ááºáá±ážááá·áº ááŒá¿áá¬áááá¹ááá¬áá»á¬ážááᯠá¡á¬áá¯á¶á áá¯ááºáá¬ážááŒá®áž á¡ááŒá±á¬ááºážáááºážááᯠá á±á¬áá·áºááŒáá·áºááŒááºážááẠá¡ááŸá¬ážááŸá¬ááŒááºááŒááºážááŒá¿áá¬áá»á¬ážá¡ááœáẠá¡áá±á¬ááºá¡áá°áá áºáá¯ááŒá áºáááºá áá±áá¬áá±á·á áºáááºááŒááºážááŸáá·áº á áœááºážáá±á¬ááºáááºá á±á¬áá·áºááŒáá·áºááŒááºážááá¯á·ááᯠáá±áá¬áá±á·á áºááá¯ááºááá¯ááºá ááá¯ááºááá¯ááºáá¯ááºáá±á¬ááºááá·áºáá±á¬áºáááºáž áááºááááºážáá»á¯ááºáá¬ážáá±á¬ stack ááœáẠáááºááááºážáá»á¯ááºáá¬ážáá±á¬ á¡á á¯á¡áá±ážááœáẠááŸááá±áá±áá± áá±á¬áá«ááá¹ááá¬áá»á¬ážááᯠá á±á¬áá·áºááŒáá·áºááŒááºážááẠááá¯ááá¯ááœááºáá°áá«áááºá á¡á®ážáá±ážááºááááá±ážáá»ááºáá»á¬ážááẠá¡ááœááºá¡ááá·áºá¡áááºááŒáá·áº á¡áá¯á¶ážááŒá¯ááá¯ááºááŒá®áž á¡ááœááºááá° áá°áá¶áá¶á¡ááŒá áºááá¯á· ááá¯ážáá»á¬ážáá¬áááºáááºá áááºážá¡á á¬áž áááºááẠá¡á®ážáá±ážááºááŒáá·áº ááááá±ážáá¬ážááá·áº áááºááŸáááŒá¿áá¬á¡á¬ážáá¯á¶ážááᯠá á±á¬áá·áºááŒáá·áºááá·áº áááºááŸáºáá¯ááºááᯠá¡áá¯á¶ážááŒá¯ááá·áºáááºá áááá¯ááºážááá¯ááºáá¬áááºá ááºááŸá¯áá»á¬ážááᯠááœá²ááŒááºážá áááºááŒá¬ááẠáááºááŸáºáá¯ááºááá¯áááºáž ááœá²ááŸááºáááºážáá áºáá¯ááŸáá·áº ááœá²ááá¯ááºáááºá
áá±ááŸááºááœááºá áá±á¬áá«ááá¹ááá¬ááááá±ážáá»ááºáá»á¬ážááŸáá·áº ááŒá¯á¶ááœá±á·áá¬ááá¯ááºáá±á¬ áááá·áºááŒá¿áá¬áá»á¬ážááŒá¬áž á¡á±á¬ááºááŒááºáá±á¬ á¡ááŒá±á¬ááºážá¡áá²ááᯠá¡áá±á¬ááºá¡áááºáá±á¬áºááẠááá¯á¡ááºááŒá®áž á á±á¬áá·áºááŒáá·áºá á áºáá±ážááŸá¯ááẠáá»ááºááŒááºáá±á¬áá±á¬áá«ááŸá¬ááœá±ááŸá¯ááᯠá¡áá±á¬ááºá¡áá°ááŒá¯ááŒá±á¬ááºáž áá±áá»á¬á á±áááºá¡ááœáẠáááºážááá¯ááºáá»á¬ážááᯠááá¯ááºáá»á±á¬áá®ááœá±ááŒá áºá¡á±á¬áẠáá»áááºááŸáááẠááá¯á¡ááºáá«áááºá
áá¬áá¬ááŒááºááᯠá¡áá¯á¶ážáááááºáá±ážááá¯á· áá»á±ážáá°ážáááºáá«áááºá á
á±á¬áá·áºááŒáá·áºááŒááºážá¡ááŒá±á¬ááºáž áá»áœááºá¯ááºá áááºáá®ááááºáá»ááºáááºááá¯á· á
á¬áááºážááœááºážáá«á О .
source: www.habr.com