áá±á¬ááºážáá«ážááá¬áá¬ááŒááºááᯠáááºáááºážáá¬ážáá»á¬ážá¡ááœáẠá¡áá°ážááŒááºáááºáá¬ážáá«áááºá
áá»áœááºá¯ááºááá¯á·á á¡áááºáááá¯ááºáá¯áẠSpatialOS ááá¯ááŒáá·áºáááºážá Kubernetes á¡á
á¯á¡áá±áž áá«áááºáá»á¬ážá
áœá¬áá«ááŸááá±á¬ á¡ááœááºááœááºáááºááŒá®áž ááá¹áá¬áá¯á¶ážááá¯ááºáᬠcloud á¡ááŒá±áá¶á¡áá±á¬ááºá¡áŠ ááá¯á¡ááºáááºáᯠImprobable á០ááá·áºááŸááºážááá¯ááºáá«áááºá áá»áœááºá¯ááºááá¯á·ááẠá
á±á¬áá·áºááŒáá·áºáá±ážá
áá
áºááᯠááááá¯á¶ážá¡áá¯á¶ážááŒá¯ááá·áºáá°áá»á¬ážáá²á០áá
áºáŠážááŒá
áºáááºá
Prometheus áááá¯ážááŸááºážááŸá¯ááŸáá·áºáá¯á¶ááŒááºá
áááºáá»áááŸá¯áááºáááºážáá¡áááá¡á¬ážáá¬áá»ááºáá»á¬ážáá²ááŸáá
áºáá¯ááŒá
áºáááºá ááá¯á·áá±á¬áºá áá»áœááºá¯ááºááá¯á·ááẠáááºááŸááºáá¬ážáá±á¬á¡ááá¯ááºážá¡áá¬ááᯠáá»á±á¬áºááŒááºááŒá®ážáááºááŸáá·áº áá»áœááºá¯ááºááá¯á·ááẠá¡á¬ážáááºážáá»ááºáá»á¬ážá
áœá¬ááᯠááŒá¯á¶ááœá±á·áá²á·ááááºá áá®ááŒá¿áá¬ááœá±ááᯠááŒá±ááŸááºážááá¯á· áá»áœááºáá±á¬áºááá¯á· áá®ááœááºááŒá®ážáá«ááŒá®á
Thanos áá²á· áá»áœááºáá±á¬áºááá¯á·áá²á· áááºážááá¯ááºááœá±áá«á
á¡ááá¯ááºážá¡áá¬áá áºáá¯ááœááºá vanilla Prometheus áá áœááºážáááºáááºáá»á±á¬áºááœááºáá±á¬ááŒá¿áá¬áá»á¬ážáá±á«áºáá¬áááºá áááá¯ááºážá¡áá»ááºá¡áááºáá»á¬ážá petabytes ááᯠáá¯á¶ááŒááºá áááºáá»áááŒá®áž á á®ážááœá¬ážáá±ážá¡á áááºááá¯á·ááááºážáááºážáááºáááºážá áá¯á¶á·ááŒááºáá»áááºááᯠá¡áá»áŸá±á¬á·ááá±ážáá² áááºážááᯠáá¯ááºáá±á¬ááºááá¯ááºáá«ááá¬ážá API áá±á¬ááºážááá¯áá»ááºáá áºáá¯áááºážááŒáá·áº ááá°áá®áá±á¬ Prometheus áá¬áá¬áá»á¬ážááœááºááŸááá±á¬ áááºááá áºá¡á¬ážáá¯á¶ážááᯠáááºáá±á¬ááºááŒáá·áºááŸá¯ááá¯ááºáá«ááá¬ážá Prometheus HA ááᯠá¡áá¯á¶ážááŒá¯á á á¯áá±á¬ááºážáá¬ážáá±á¬ áááºáá°áá±áá¬áá»á¬ážááᯠáá±á«ááºážá ááºááẠáááºážáááºážááŸááá«ááá¬ážá
á¡ááá¯áá«ááŒá¿áá¬áá»á¬ážááá¯ááŒá±ááŸááºážááẠThanos ááá¯áááºáá®ážáá²á·áááºá á¡á±á¬ááºáá±á¬áºááŒáá«ááá¹ááá»á¬ážááẠá€ááŒá¿áá¬áá»á¬ážááᯠáá»áœááºá¯ááºááá¯á· áááºááá¯á·áá»ááºážáááºáá¯á¶ááŸáá·áº áá»áœááºá¯ááºááá¯á·ááááºážááá¯ááºáá»á¬ážááᯠááŸááºážááŒáá¬ážáááºá
Prometheus ááŒá áºáááºáá»á¬ážá áœá¬á០á¡áá»ááºá¡áááºááᯠáá±ážááŒááºážááŒááºáž (ááá¹áá¬áá¯á¶ážááá¯ááºáᬠá á¯á¶á ááºážááŸá¯)
Prometheus ááẠsharding á¡ááœáẠáá¯ááºáá±á¬ááºááá¯ááºáá±á¬ áá»ááºážáááºááŸá¯ááᯠáá±ážáááºá Prometheus áá¬áá¬áá áºáá¯áááºážáááẠá¡áá¯á¶ážááŒá¯áá°ááá¯ááºážáá®ážáá«ážááœáẠá¡áá»á¬ážááá¯ááºááœá²áá¯ááºááŒááºážáááŸá¯ááºááœá±ážááŸá¯áá»á¬ážá០áá¯á¶áá±á¬ááºáá±á¬á¡ááœááºá¡á á¬ážááᯠáá±ážá áœááºážááá¯ááºáááºá
áááºážááẠáá±á¬ááºážááœááºáá±á¬á¡áá¯á¶ážáá»ááŸá¯áá¯á¶á á¶áá áºáá¯ááŒá áºáá±á¬áºáááºáž API ááá¯á·ááá¯áẠUI áá áºáá¯áááºážááŸáá áºááá·áº ááá°áá®áá±á¬ Prometheus áá¬áá¬áá»á¬ážááœáẠáá±áá¬ááᯠáááŒá¬ááááá°ááẠááá¯á¡ááºáá«áááºá áá±áá»á¬áá«áááºá Grafana á¡ááá·áºáá áºáá¯ááœáẠáá±ážááœááºážáá»á¬ážá áœá¬ááᯠááŒáááá¯ááºáá±á¬áºáááºážá áá±ážááŒááºážááŸá¯áá áºáá¯á á®ááᯠPrometheus áá¬áá¬áá áºáá¯áá±á«áºááœááºáᬠáá¯ááºáá±á¬ááºááá¯ááºáááºá á¡ááŒá¬ážáá áºáááºááœááºá Thanos ááŒáá·áº áááºááẠPrometheus áá¬áá¬áá»á¬ážá áœá¬á០á¡áá»ááºá¡áááºá¡á¬ážáá¯á¶ážááᯠá¡áá¯á¶ážááŸááºáá áºáá¯áááºážá០ááá°á¡áá¯á¶ážááŒá¯ááá¯ááºáá±á¬ááŒá±á¬áá·áº áááºáá±ážááŒááºážááŒá®áž á á¯á ááºážááá¯ááºáá«áááºá
ááááºáá Improbable ááœáẠááá¹áá¬áá¯á¶ážááá¯ááºáá¬á¡ááŒááºááá¯ááááºá áá»áœááºá¯ááºááá¯á·ááẠáá»áœááºá¯ááºááá¯á·á Prometheus ááŒá
áºáááºáá»á¬ážááᯠá¡ááá·áºáá±á«ááºážáá»á¬ážá
áœá¬ááá¯á· á
á¯á
ááºážáá¬ážáá«áááºá
áá®áá»ááºážáááºááŸá¯áᬠááŒá¿áá¬ááŒá
áºáá²á·áá«áááºá áááºážááẠááá¯ááá¯ááŸá¯ááºááœá±ážáá±á¬ááœá²á·á
ááºážáá¯á¶áá»á¬ážá áá»ááŸá¯á¶ážááŸá¯ááŒá
áºááá¯ááºáá»á±áá
áºáá¯áááºááá¯ážáá¬ááŒááºážááŸáá·áº áááºááááºá¡áá¯á¶ážáááºá¡ááŸááºááẠáááºážááá¯á¡ááºááá·áºáá±áá¬ááá¯áá¬áááºáá¶áááŸáááŒá±á¬ááºážáá±áá»á¬á
á±áááºá¡ááœáẠááŸá¯ááºááœá±ážáá±á¬á
ááºážáá»ááºážáá»á¬ážá¡áá¯á¶ážááŒá¯ááŒááºážááᯠááŒá
áºáá±á«áºá
á±áá«áááºá ááá¯á·á¡ááŒááºá API áá±á¬ááºážááá¯áá»ááºáá
áºáá¯áááºážá០áá±áá¬á¡á¬ážáá¯á¶ážááᯠááááŸáááá¯ááºáá±á¬ááŒá±á¬áá·áº á€á¡ááœá²á·áá»á¯ááºáá»áá¯ážááẠááá·áºá¡á¬áž á
á
áºááŸááºáá±á¬ ááá¹áá¬áá¯á¶ážááá¯ááºáá¬á¡ááŒááºááᯠáááŸáááẠááœáá·áºáááŒá¯áá«á
á€á¡áá¬ááŸáá·áº áá®ážáááºá áœá¬áááºá ááºááŸá¯ááẠááŒáá·áºáá¬ážáá±á¬áááŸáááá¯ááºááŸá¯ (HA) Prometheus áá¬áá¬áá»á¬ážáá±á«áºááœáẠá á¯áá±á¬ááºážáá¬ážáá±á¬ áá±áá¬áá»á¬ážááᯠáá áºá á¯áá áºá ááºážáááºážááŒáá·áºááŸá¯ááŒááºážááŒá áºáá«áááºá Prometheus á HA áá±á¬áºáááºááẠáá±áá¬ááᯠááŸá áºááŒáááºáááá ááœááºáááºá áœá¬ á á¯áá±á¬ááºážáá¬ážáá±á¬ááŒá±á¬áá·áº ááá¯ážááŸááºážáá±á¬ááŒá±á¬áá·áº áááºážááẠááá¯ážááŸááºážáááááá¯ááºáá«á ááá¯á·áá±á¬áºá ááŸá áºáá¯áá¯á¶ážá áá±á«ááºážá ááºáá¯á¶ááŸáá·áº áááºáá±áá±á¬ ááŒááºááœááºážááᯠá¡áá¯á¶ážááŒá¯ááŒááºážá ááá¯á¡áááºááŒá±áá«áááºá
áá¯ááºáá«áááºá á¡ááœááºáááŸáááá¯ááºáá±á¬ Prometheus áá¬áá¬áá»á¬áž ááá¯á¡ááºáá«áááºá Improbable ááœááºá áá»áœááºá¯ááºááá¯á·ááẠáá áºáááá áºááŒá®ážáá áºáááá Ạáá±áá¬á á±á¬áá·áºááŒáá·áºááŒááºážááᯠá¡ááŸááºáááẠá¡áá±ážá¡áááºáá¯ááºáá±á¬ááºáááºá ááá¯á·áá±á¬áº á¡á á¯á¡áá±ážáá áºáá¯áá»áŸáẠPrometheus á á¶ááá°áá¬áá áºáá¯ááŸáááŒááºážááẠáá¡á±á¬ááºááŒááºááá·áºá¡áá»ááºáá áºáá»ááºááŒá áºáááºá ááœá²á·á ááºážááŸá¯ááá¯ááºáᬠá¡ááŸá¬ážá¡ááœááºáž ááá¯á·ááá¯áẠáá¬á·ááºáá² áá»áá¯á·ááœááºážááŸá¯ááá¯ááºážááẠá¡áá±ážááŒá®ážáá±á¬áá±áá¬áá»á¬áž áá¯á¶ážááŸá¯á¶ážááœá¬ážááá¯ááºáááºá ááŒááºáááºá áááºááá·áºá¡áá»áááºááẠááŒá áºáá¯ááºááá·áºáá¬áááẠáááááá¬áá¬ááá¯ááŸááºááá¯ááºáá±á¬ááŒá±á¬áá·áº ááá¯ážááŸááºážáá±á¬á¡áá¯á¶ážáá»ááŸá¯áá áºáá¯ááẠáááºááá áºáá»á¬ážá á¯á ááºážááŸá¯ááœáẠá¡áá±ážá á¬ážá¡ááŸá±á¬áá·áºá¡ááŸááºááŒá áºá á±ááá¯ááºáááºá
áááá¯ááºážá¡áá»ááºá¡áááºáá»á¬ážááᯠáá¯á¶ááŒááºá áááºáá»ááá±á¬ ááááºážáááºážááŸá¯
á á»á±ážáá±á«ááŒá®áž ááŒááºáááºááŒá®áž áá±ááŸááºáááºááá áºááá¯ááŸá±á¬ááºááŸá¯ááŸá¬ áá»áœááºá¯ááºááá¯á·áá¡áááºááẠ(Prometheus á¡áá¯á¶ážááŒá¯áá°á¡áá»á¬ážá á¯ááŸáá»áŸáá±áááº)á Improbable ááœááºá áá»áœááºá¯ááºááá¯á·ááẠáááºááá áºáá»á¬áž ááááºážááááºážááá·áºáá¬áááᯠááá¯ážááẠ(Prometheus 1.8 á¡ááœááº) áááºááŸááºááẠá¡áááºážá¡ááŒáẠááá¯ááºážá á±áá²á·áááºá áááºážááẠáá»áœááºá¯ááºááá¯á· áá±á¬ááºááŒá±á¬ááºážááŒááºááŒáá·áºááá¯ááºááá·áº á¡ááá¯ááºážá¡áá¬ááᯠáááá¬áááºááŸá¬ážáá±á¬ ááá·áºáááºáá»ááºáá»á¬ážááᯠáá±á«ááºážááá·áºáááºá
á¡áá»áááºá
á®ážáá®ážá¡áá±á¡ááœááºááẠáá¬áá¬á á¡áá¯á¶ážá
á¯á¶á
áœááºážáá±á¬ááºáááºá¡áá±á«áº ááááºáá±á¬ááºáá±á¬á·áá±á¬ááŒá±á¬áá·áº Prometheus 2.0 ááẠá€ááá
á¹á
ááœáẠááá¯ááá¯áá±á¬ááºážááœááºáá¬áá«ááẠ(ááŒáá·áºááŸá¯áá«á
ááá¯á·á¡ááŒááºá Improbable ááœáẠáá»áœááºá¯ááºááá¯á·ááẠáá¯á¶ááŒááºá áááºáá»áááŸá¯á ááá¯ážááŸááºážááŸá¯ááŸáá·áº áá¯ááºáá»á ááááºáá»á¬ážááᯠá¡áá±ážáá¬ážáá«áááºá á ááºááœááºážáá áºááŒá®ážáá»á¬ážááẠáááºáááºáááºááŸáá·áº á¡áááºááááºážááẠááá¯ááááºáá²áááºá áááºážááá¯á·ááẠááá¯ááá¯áá¯ááºáá»ááŒá®áž á¡áááºáááááá¬áá»á¬áž ááá¯ááá¯ááá¯á¡ááºáá±á¬ááŒá±á¬áá·áº áááá¯á¡ááºáá±á¬ ááŸá¯ááºááœá±ážááŸá¯áá»á¬áž ááŒá áºáá±á«áºáá²á·áááºá
ááŸááá·áºáá»ááŒááºáž
áá»áœááºá¯ááºááá¯á·ááẠáááá¯ááºážááá¯ááºáá¬á¡áá»ááºá¡áááºáá»á¬ážááᯠá áááºáá¯ááºáá±á¬ááºáááºááŸáá·áº áá»áœááºá¯ááºááá¯á·ááẠáá±áá¬áááºááá¹ááááºáá»á¬ážá ááá»á¬ážááŸáá·áº ááŸá áºáá±á«ááºážáá»á¬ážá áœá¬ááŒáá·áº áá¯ááºáá±á¬ááºáá±áá±á¬ááŒá±á¬áá·áº áá±ážááŒááºážá á¯á¶á ááºážááŸá¯áá»á¬áž ááŸá±ážááœá±ážáᬠááŸá±ážááœá±ážá á±ááá·áº á¡ááŒá±áá¶áá»áá±á¬ á¡áááºá¡áá²áá»á¬áž ááŸááá±ááŒá±á¬ááºáž áá»áœááºá¯ááºááá¯á· ááááŸáááá¯ááºááá«áááºá
áá®ááŒá¿áá¬á¡ááœáẠá
á¶ááŒááŒá±ááŸááºážáá»ááºááŒá
áºááŸá¬áá«á
áá±áá¬áá±á¬ááºážáá»á¬ážááᯠááŸááá·áºáá»ááŒááºážááẠáá±ááŸááºááá¯ááŸá±á¬ááºááŸá¯ááŒá±ááŸááºážáá»ááºá áááœáŸá²áááŸá±á¬ááºáᬠááá¯á¡ááºáá»ááºááŒá áºááŒá®áž vanilla Prometheus á á¡ááá¯ááºážá¡áá¬ááẠáá»á±á¬áºááœááºáá«áááºá
á¡ááá¯áááºážááá¯ááºáá»á¬áž
Thanos ááá±á¬áá»ááºá áá°ááááºááŸááºážáá»ááºáá»á¬ážáá²ááŸáá áºáá¯ááŸá¬ ááŸáááŒá®ážáá¬áž Prometheus áááºáááºááŸá¯áá»á¬ážááŸáá·áº áá»á±á¬ááœá±á·á áœá¬ áá±á«ááºážá ááºáááºááŒá áºáááºá áá¯ááá áááºááŸááºážáá»ááºááŸá¬ áááºáá±á¬ááºááẠá¡áá¬ážá¡áá®áž á¡áááºážáá¯á¶ážááŒáá·áº áááºáááºáááœááºáá°ááŒááºáž ááŒá áºáááºá áááºááá·áºááŸá®ááá¯ááŸá¯áááᯠá¡áá±ážá á¬ážááŸáá·áº ááŒá®ážáá¬ážáá±á¬ áá¯á¶ážá áœá²áá°áá»á¬ážá¡ááœáẠá¡ááœááºááá° áá»á±áááºá á±ááá·áºáááºá áááºážááẠá¡ááŒá±áá¶áá¯ááºáá»á ááááºáááºáž áááºáá¬áááºá
Thanos áááá¯áá¬áááºáá¬
ááááºá¡ááá¯ááºážááœáẠáá»áœááºá¯ááºááá¯á·ááááºážááá¯ááºáá»á¬ážááᯠá á¬áááºážááŒá¯á á¯ááŒá®ážáá±á¬ááºá áááºážááá¯á·ááá¯ááŒááºá Thanos ááẠá€ááŒá¿áá¬áá»á¬ážááᯠáááºááá¯á·ááŒá±ááŸááºážáááºááᯠááŒáá·áºááŒáá«á áá¯á·á
ááá¹áá¬áá¯á¶ážááá¯ááºáá¬á¡ááŒááº
ááŸáááŒá®ážáá¬áž Prometheus ááŒá
áºáááºáá»á¬ážáááááºááœáẠááá¹áá¬áá¯á¶ážááá¯ááºáá¬ááŒááºááœááºážááᯠáááŸááááºá áá»áœááºá¯ááºááá¯á·ááẠáá±á¬ááºážááá¯áá»ááºáá
áºáá¯á¡á¬áž ááá·áºááœááºážááá·áºá¡áá»ááºááᯠáá¬áá¬á¡á¬ážáá¯á¶ážááá¯á· áá»áááºáááºááẠááá¯á¡ááºáááºá áááºážááẠThanos á¡á
áááºá¡ááá¯ááºážáá¯ááºáá±á¬ááºááá·áºá¡ááá¯ááºážááŒá
áºáááºá
á¡ááŒá¬ážáá
áºáááºááœáẠPrometheus HTTP API ááŸáá
áºááá·áº PromQL áá±ážááœááºážáá»á¬ážááᯠááŒá±ááá¯áá¯á¶ááẠá¡áááºážáááºááá¯á áá¯ááºáá±á¬ááºááá¯ááºáá±á¬ ááá¯ááºáá¶áá²á· Querier á¡á
áááºá¡ááá¯ááºážááẠá¡ááá¯ááºážá¡áá¬-á¡ááœááºá ááá¯ááºáá¶áá²á· Querier á¡á
áááºá¡ááá¯ááºážááŒá
áºáááºá Querierá Sidecar ááŸáá·áº á¡ááŒá¬ážáá±á¬ Thanos á¡á
áááºá¡ááá¯ááºážáá»á¬ážááŸáá
áºááá·áº áááºááœááºááá¯ááºáááºá
- Querier ááẠáá±á¬ááºážááá¯áá»ááºáá áºáá¯áááºáá¶áááŸááá±á¬á¡áá«á áááºááá¯ááºááá·áº Store API áá¬áá¬á ááá¯ááá¯áááºááŸá¬ áá»áœááºá¯ááºááá¯á·áááá¯ááºáá¬ážáá»á¬ážáá¶ááá¯á· áá»áááºáááºááŒá®áž áááºááá¯ááºáᬠPrometheus áá¬áá¬áá»á¬ážá០á¡áá»áááºá á®ážáá®ážáá±áá¬ááᯠáááºáá¶áááŸááá«áááºá
- áááºážáá±á¬ááºá áááºážááẠáá¯á¶á·ááŒááºááŸá¯áá»á¬ážááᯠáá±á«ááºážá ááºááŒá®áž áááºážááá¯á·ááœáẠPromQL query áá áºáá¯ááᯠáá¯ááºáá±á¬ááºáááºá Querier ááẠdisjoint data ááŸáá·áº Prometheus HA áá¬áá¬áá»á¬ážá០áá±áá¬ááœá¬ážááŒááºážááᯠáá±á«ááºážá ááºááá¯ááºáááºá
áááºážááẠáá»áœááºá¯ááºááá¯á·á ááá±áá¹ááá á¡áááá¡ááá¯ááºážááᯠááŒá±ááŸááºážáá±ážááẠ- áá®ážááŒá¬áž Prometheus áá¬áá¬áá»á¬ážá០áá±áá¬áá»á¬ážááᯠááŒááºááœááºážáá áºáá¯áááºážááá¯á· áá±á«ááºážá ááºáá¬ážáááºá ááááºáá±á¬á· Thanos ááẠá€á¡ááºá¹áá«áááºá¡ááœááºáᬠá¡áá¯á¶ážááŒá¯ááá¯ááºáááºá áááºááŸá Prometheus áá¬áá¬áá»á¬ážááœáẠá¡ááŒá±á¬ááºážá¡áá²áá»á¬áž ááŒá¯áá¯ááºááẠáááá¯á¡ááºáá«á
á¡ááá·áºá¡áááºáááŸá áááºáááºážá
ááá¯á·áá±á¬áºá áááŒá¬áá® ááá¯á·ááá¯áẠáá±á¬ááºááá¯ááºážááœáẠáá»áœááºá¯ááºááá¯á·ááẠáá¯á¶ááŸáẠPrometheus ááááºážááááºážáá»áááºááẠáá±áá¬ááᯠááááºážáááºážááá¯áá«áááºá áááá¯ááºážá¡áá»ááºá¡áááºáá»á¬ážááᯠááááºážáááºážááẠá¡áá¬ááá¹áá¯ááá¯ááŸá±á¬ááºááŸá¯ááᯠáá»áœááºá¯ááºááá¯á·ááœá±ážáá»ááºáá²á·áááºá áááºážááᯠáááºááá·áº cloud ááŸáá·áºáááᯠáá»ááºáá»ááºááŒáá·áºááŒáá·áº áááŸáááá¯ááºááŒá®áž áá¯ááºáá»á áááẠáááºáá¬áá«áááºá ááá¯á·á¡ááŒááºá áá°áááá»á¬ážáá±á¬ S3 API ááŸáá áºááá·áº áááºááá·áºá¡áá¬ááá¹áá¯ááá¯ááŸá±á¬ááºááŸá¯áááá¯áá®ážáá«ážááᯠáááŸáááá¯ááºáááºá
Prometheus ááẠááá·áºááŸááºážááŒá±á¡á¬ážááŒáá·áº ááŸá áºáá¬áá®ááá¯ááºáž RAM á០áá±áá¬áá»á¬ážááᯠdisk ááá¯á· áá±ážáá«áááºá ááááºážáááºážáá¬ážááá·áº áá±áá¬ááá±á¬ááºááœáẠáááºááŸááºáá¬ážáá±á¬ á¡áá»áááºáá¬ááá áºáá¯á¡ááœáẠáá±áá¬á¡á¬ážáá¯á¶áž áá«áááºááŒá®áž áááŒá±á¬ááºážáá²ááá¯ááºáá«á Thanos Sidecar ááẠPrometheus áá±áá¬áááºážááœáŸááºááᯠááá¯ážááá¯ážááŸááºážááŸááºážááŒáá·áºááá¯ááºááŒá®áž ááááºááá¯á·á¡áá áºáá»á¬ážáááŸááá¬áááºááŸáá·áºá¡áá»áŸ áááºážááá¯á·á¡á¬áž á¡áá¬ááá¹áá¯ááá¯ááŸá±á¬ááºááŸá¯áá¯á¶ážáá»á¬ážááœáẠáááºááá¯ááºáá±á¬ááŒá±á¬áá·áº áááºážááẠá¡ááœááºá¡áááºááŒá±áá«áááºá
áá
áºááºááá¯á· á
á¬áá±ážááŒá®ážááŒá®ážáá»ááºáž á¡áá¬ááá¹áá¯ááá¯ááŸá±á¬ááºááŸá¯áá²ááá¯á· ááœááºážááŒááºážááẠááŒá
áºáá¬áááá¯ážááŸááºážááŸá¯ááᯠááááºážááááºážááá¯ááºá
á±ááẠ(Prometheus ááŸáá·áº Thanos Sidecar)á áá¶á·ááá¯ážááŸá¯á áá¯ááºáá»á
ááááºááŸáá·áº á
áá
áºáá®ááá¯ááºážááᯠááá¯ážááŸááºážá
á±áááºá
áááºááœá±á·ááŒááºááá¯ááºáááºá¡ááá¯ááºážá áá±áá¬á¡áááºáá°ážáá°ááŸá¯áááºá¡ááœááºááá¯ážááŸááºážáááºá ááá¯á·áá±á¬áº á¡áá¬ááá¹áá¯ááá¯ááŸá±á¬ááºááŸá¯ááœáẠáá±áá¬ááᯠáá±ážááŒááºážááŒááºážááŸáá·áºáááºáááºááá±á¬á
Thanos Store á¡á áááºá¡ááá¯ááºážááẠá¡áá¬ááá¹áá¯ááá¯ááŸá±á¬ááºááŸá¯ááŸáá±áá¬ááá¯ááá°ááẠááá±á¬ááºá á®áá áºáá¯á¡ááŒá Ạáá¯ááºáá±á¬ááºáááºá Thanos Sidecar áá²á·ááá¯á·áááºážááẠá¡áááºážá¡áá»ááºážá¡á á¯á¡áá±ážááœááºáá«áááºááŒá®áž Store API ááá¯á¡áá±á¬ááºá¡áááºáá±á¬áºáááºá á€áááºážá¡á¬ážááŒáá·áº ááŸáááŒá®ážáá¬áž Querier ááẠáááºážá¡á¬áž á¡áá»áááºá á®ážáá®ážáá±áá¬á á¡ááŒá¬ážáááºážááŒá áºáá áºáá¯á¡áá±ááŒáá·áº - á¡áá°ážááœá²á·á ááºážáá¯á¶ááŒááºáááºááŸá¯áááá¯á¡ááºáá«á
Time series data blocks áá»á¬ážááœáẠááŒá®ážáá¬ážáá±á¬ááá¯ááºáá»á¬ážá
áœá¬ áá«áááºáá«áááºá áááºážááá¯á·ááᯠáááºááá¯á¡á¬ážááŒáá·áº áááºáá±ážááŒááºážááẠáááá±á¬ááºááŸá¯ áááŸááá«áá²á áááºážááá¯á·ááᯠá
ááºááœááºážá ááááºážáááºážááŒááºážááŸá¬ ááŒá®ážáá¬ážáá±á¬ memory ááŸáá·áº disk space áá»á¬ážá
áœá¬ ááá¯á¡ááºáá«áááºá
áááºážá¡á á¬ážá Store Gateway ááẠPrometheus ááá¯ááŸá±á¬ááºááŸá¯áá±á¬áºáááºááᯠáááºááá¯á·ááá¯ááºááœááºááááºááᯠáááááºá á áááºáá»áá±á¬ á á¯á¶á ááºážááŸá¯á¡áá»áááºááá¬ážááŸáá·áº áá¯ááºááœááºáá»á¬ážá ááá¯á¡ááºáá±á¬ á¡ááœáŸááºážá¡á áááºá¡ááá¯ááºážáá»á¬ážááá¯áᬠáááºááŸáºáá¯ááºááŒááºážááŒá±á¬áá·áºá ááá¯ááŸá±á¬ááºááŸá¯ááá¯ááºáá»á¬ážááᯠobject storage ááá¯ááºáá»á¬ážá¡ááœáẠá¡áááºážáá¯á¶áž HTTP áá±á¬ááºážááá¯áá»ááºá¡áá±á¡ááœááºá¡áá ááŸá¯ááºááœá±ážáá±á¬áá±ážááŒááºážáá»ááºáá»á¬ážááᯠáá»áŸá±á¬á·áá»ááá¯ááºáááºá á€áááºážá¡á¬ážááŒáá·áºá áááºááẠáá±á¬ááºážááá¯ááŸá¯á¡áá±á¡ááœááºááᯠááŒááºážá¡á¬áž áá±ážáá¯á០ááŒá±á¬ááºáá¯á¡áá áá»áŸá±á¬á·áá»ááá¯ááºááŒá®áž áá±áá¯áá»á¡á¬ážááŒáá·áº áá±á¬ááºážááá¯ááŸá¯áá»á¬ážá០áá±áááœááºáž SSD áá±á«áºááŸá áá±áá¬ááá¯á· ááœá²ááŒá¬ážáááºáááºáá²áá±á¬ áá¯á¶á·ááŒááºááŸá¯á¡ááŒáááºáá»á¬ážááᯠáááŸáááá¯ááºáááºá
á¡áááºáá±á¬áºááŒáá« áá¯á¶ááœááºááŒáá¬ážááá·áºá¡ááá¯ááºáž Thanos Querier ááẠPrometheus ááá¯ááŸá±á¬ááºááŸá¯áá¯á¶á
á¶ááᯠá¡áá¯á¶ážáá»áᬠáááºá
ááºáá±áá¬ááᯠáá±ážáá»ááºážáááºáá»áẠáá±áá¬áá»ááŒááºážááŒáá·áº á¡áá¬ááá¹áá¯ááá¯ááŸá±á¬ááºááŸá¯áá±áá¬á á
á¯á¶á
ááºážááŸá¯áá
áºáá¯áá»áŸáẠáá¯ááºáá»á
ááááºááᯠáááááá¬áᬠáá»áŸá±á¬á·áá»áá±ážáá«áááºá á€áááºážáááºážááá¯á¡áá¯á¶ážááŒá¯ááŒááºážááŒáá·áºá áá»áœááºá¯ááºááá¯á·ááẠáá
áºáá¯áááºážáá±á¬ áá±á¬ááºážááá¯áá»ááºáá»á¬ážá
áœá¬ááᯠá¡áááºážáá¯á¶áž á¡á
á¯ááá¯ááºáá¯ááºáá±á¬ááºááŸá¯á¡áá±á¡ááœááºááá¯á· áá±á«ááºážá
ááºááá¯ááºáá«áááºá
ááŸááá·áºáá»ááŒááºážááŸáá·áº ááŸááá·áºáá»ááŒááºáž
á¡áá»áááºá á®ážáá®ážáá±áá¬ááᯠá¡áá¬ááá¹áá¯ááá¯ááŸá±á¬ááºááŸá¯ááœáẠá¡á±á¬ááºááŒááºá áœá¬ááá·áºááœááºážááŒá®ážáááºááŸáá·áºá Store Gateway ááŸáá áºááá·áº áá»ááºáá»ááºážáááŸáááá¯ááºááá·áº "áááá¯ááºážáááº" áá±áá¬á¡ááŒá Ạáá»áœááºá¯ááºááá¯á· áááºáá¶áá«áááºá
ááá¯á·áá±á¬áºáááºáž á¡áá»áááºá¡áááºááŒá¬ááŒá®ážáá±á¬ááºá á¡áááºážá¡ááŒá áºáá áºáᯠ(Prometheus with Sidecar) á០ááááºááá¯á·ááŸá¯áá»á¬áž á á¯áá¯á¶áá¬ááŒá®áž á¡ááŒáá·áºá¡á ááœáŸááºážááááºážá¡áá¬ážá¡áá¬ááᯠá¡áá¯á¶ážáááŒá¯áá±á¬á·áá«á á€ááŒá¿áá¬ááá¯ááŒá±ááŸááºážáááºá áá»áœááºá¯ááºááá¯á·ááẠCompactor áá¯áá±á«áºáá±á¬ á¡ááŒá¬ážá¡á áááºá¡ááá¯ááºážáá áºáá¯ááᯠááááºáááºáá±ážáá²á·áááºá áááºážááẠPrometheus á local compaction engine ááᯠá¡áá¬ááá¹áᯠááá¯ááŸá±á¬ááºááŸá¯ááœáẠáááá¯ááºážá¡áá»ááºá¡áááºááŸáá·áº ááá¯ážááŸááºážá áœá¬ á¡áá¯á¶ážáá»ááŒá®áž ááá¯ážááŸááºážáá±á¬ á¡áá»áááºá¡ááá¯ááºážá¡ááŒá¬ážá¡ááá¯áẠá¡áá¯ááºá¡áá¯ááºáá áºáá¯á¡ááŒá Ạáá¯ááºáá±á¬ááºááá¯ááºáááºá
áááá±á¬ááºáá±á¬ ááááááºááŸá¯á¡á¬áž áá»á±ážáá°ážáááºáá»ááºá á¡áá»áááºááŒá¬ááŒáá·áºá
áœá¬ ááá¯ááŸá±á¬ááºááŸá¯ááᯠáá±ážááŒááºážááŒááºážááẠáá±áá¬á¡ááœááºá¡á
á¬áž áááºááŸááºáá»ááºáá»á¬ážááœáẠááŒá¿áá¬áááŒá
áºá
á±áá«á ááá¯á·áá±á¬áºá áááºááá¯ážáá
áºáá®áá®áá¶ááᯠáá¯ááºááá¯ážááŒá®áž query áááá¯áááºáá¬ááŸáá
áºááá·áº áááºážááá¯á·ááᯠáááºáááºáá¯ááºáá±á¬ááºááŒááºážá á¡áá¬ážá¡áá¬áá¯ááºáá»á
ááááºááẠquery execution time ááᯠáááááá¬áá¬ááá¯ážáá¬á
á±áááºááŸá¬ áááœá²áááœá±ááŒá
áºáááºá á¡ááŒá¬ážáá
áºáááºááœááºá á
ááááºáá±á«áºááœáẠpixel áá
áºáá¯áá»áŸáẠdata point áá¬ááŸáá·áºáá»á®ááŸááá±áá±á¬ááŒá±á¬áá·áºá áá±áá¬ááᯠresolution á¡ááŒáá·áºááŒáá·áºááŒááºáá±á¬ááºáááºáááºáááŒá
áºááá¯ááºáá±á¬á·áá«á ááá¯á·ááŒá±á¬áá·áºá ááŸááá·áºáá»ááŒááºážááẠááŒá
áºááá¯ááºáááºáá¬áá áááá»ááŸá¯ááᯠáááá¬áááºááŸá¬ážá
áœá¬ áá¯á¶ážááŸá¯á¶ážááœá¬ážá
á±áááºááá¯ááºáá±á
áá±áá¬ááá°áá¬ááᯠááŸááá·áºáá»áááºá Compactor ááẠááŒááºáááºááŒááºáá¬ážááŸá¯ áá«ážáááá
áºááŸáá·áº áá
áºáá¬áá®á¡ááœááºáž áá±áá¬áá»á¬ážááᯠá¡áááºáááŒáẠá
á¯á
ááºážáááºá TSDB XOR ááááááºááŸá¯ááᯠá¡áá¯á¶ážááŒá¯á áá¯ááºáá¯ááºáá¬ážáá±á¬ á¡ááŒááºážáááºáá
áºáá¯á
á®á¡ááœááºá áá
áºáá¯á¶ážá¡ááœáẠminá max ááá¯á·ááá¯áẠsum áá²á·ááá¯á· ááá°áá®áá±á¬ á
á¯á
á¯áá±á«ááºážáá±áá¬á¡áá»áá¯ážá¡á
á¬ážáá»á¬ážááᯠááááºážáááºážáá¬ážáááºá áááºážááẠQuerier á¡á¬áž áá±ážáá¬ážááá·áº PromQL áá±ážááœááºážá¡ááœáẠááá·áºáá»á±á¬áºáá±á¬ á¡á
á¯ááá¯ááºáá
áºáá¯ááᯠá¡ááá¯á¡áá»á±á¬áẠááœá±ážáá»ááºááá¯ááºá
á±áá«áááºá
áá»áŸá±á¬á·áá»áááá»áá±á¬áá±áá¬ááá¯á¡áá¯á¶ážááŒá¯áááºá¡ááœááºá¡áá¯á¶ážááŒá¯áá°á¡ááœááºá¡áá°ážááœá²á·á ááºážáá¯á¶áááá¯á¡ááºáá«á Querier ááẠá¡áá¯á¶ážááŒá¯áá°á¡á¬áž áá°ážááºáá»á²á·ááŒááºážááŒáá·áº ááœá²ááŒá¬ážáá±á¬ áá¯á¶ááááºáá±á¬áºááŸá¯áá»á¬ážááŸáá·áº áá±áá¬á¡ááŒááºážáá»á¬ážááŒá¬ážááœáẠá¡ááá¯á¡áá»á±á¬ááºááŒá±á¬ááºážáááºá ááá¹áááŸááá«áá á¡áá¯á¶ážááŒá¯áá°ááẠáá±á¬ááºážááá¯áá»ááºááŸá "ááŒá±ááŸááºáž" ááá·áºáááºáá»ááºáá»á¬ážááŸáá áºááá·áº áááºážááᯠááá¯ááºááá¯ááºááááºážáá»á¯ááºááá¯ááºáááºá
áá ẠGB ááᯠááááºážáááºážáá¬ááœáẠáá¯ááºáá»á áááẠáááºážáá«ážáá±á¬ááŒá±á¬áá·áº Thanos ááẠáá¯á¶ááŸááºá¡á¬ážááŒáá·áº áá±áá¬áá¯ááºááŒááºážá áá«ážáááá áºááŸáá·áº áá áºáá¬áá® ááŒááºáááºááŒááºáá¬ážááŸá¯áá±áá¬ááᯠááááºážáááºážáá«áááºá áá°áááºážáá±áá¬ááá¯áá»ááºáááºáááá¯á¡ááºáá«á
á¡áá¶ááœááºážááŒááºáž á ááºážáá»ááºážáá»á¬áž
Thanos ááŸáá·áºáááºá ááŸááºáááºážáááºááŒááºážá ááºážáá»ááºážáá»á¬ážááẠá á±á¬áá·áºááŒáá·áºáá±ážá¡á á¯á áááŸááááŒá áºá¡á áááºá¡ááá¯ááºážáá áºáá¯ááŒá áºáááºá áááºážááá¯á·ááẠááŸá¯ááºááœá±ážááŸá¯á áá¯á¶á·ááŒááºáá»áááºááŸáá·áº áá±ážááŒááºážááŸá¯áá»á¬ážá¡ááœáẠáá¯ááºáá»á ááááºááᯠáá»áŸá±á¬á·áá»áá±ážáááºá áááºážááá¯á·ááẠáááºááá áºáá»á¬ážááŒáá·áº á á¯á ááºážáá¬ážáá±á¬ áá±áá¬ááᯠááá°áááºá¡ááœááºáááºáž á¡áá¯á¶ážááŒá¯áá°áá»á¬ážá¡ááœáẠá¡áááºááŒá±áá«áááºá Thanos ááẠvanilla Prometheus instances áá»á¬ážááá¯á¡ááŒá±áá¶áá¬ážááŒá®ážá ááá¯á·ááŒá±á¬áá·áº áááºááŸá Prometheus áá¬áá¬ááœáẠá¡áá¶ááœááºážááŒááºážá ááºážáá»ááºážáá»á¬áž ááááºážáááºážááŒááºážááŸáá·áº ááááá±ážááŒááºážá ááºážáá»ááºážáá»á¬ážááᯠá¡ááŒáá·áºá¡ááááºáá¶ááá¯ááºáááºá ááá¯á·áá±á¬áº á¡áá»áá¯á·ááá á¹á áá»á¬ážááœáẠáááºážááẠááá¯á¶áá±á¬ááºááá¯ááºáá«á
- ááá¹áá¬áá¯á¶ážááá¯ááºáá¬ááááá±ážáá»ááºááŸáá·áº á ááºážáá»ááºáž (á¥ááá¬á áááºáá±á¬ááºááŸá¯áá áºáá¯ááẠá¡á á¯á¡á ááºážáá¯á¶ážáá¯á០ááŸá áºáá¯áááºááá¯á á¡áá¯ááºááá¯ááºááá·áºá¡áá« ááááá±ážáá»ááºáá áºáá¯)á
- á ááºááœááºážááá¯ááŸá±á¬ááºááŸá¯ááŒááºááá±áá¬á¡ááœáẠá ááºážáá»ááºážá
- á ááºážáááºážáá»ááºáá»á¬ážááŸáá·áº ááááá±ážáá»ááºáá»á¬ážááᯠáá áºáá±áá¬áááºážááœáẠááááºážáááºážááá¯áá±á¬ááá¹áá
á€ááá
á¹á
áááºá¡á¬ážáá¯á¶ážá¡ááœáẠThanos ááœáẠThanos Queries ááŸáá
áºááá·áº á
ááºážáááºážááŸáá·áºááááá±ážáá»ááºáá»á¬ážááá¯ááœááºáá»ááºáá±ážááá·áº Ruler áá¯áá±á«áºáá±á¬ áá®ážááŒá¬ážá¡á
áááºá¡ááá¯ááºážáá
áºáá¯áá«áááºáááºá áá°áááá»á¬ážáá±á¬ StoreAPI ááᯠáá¶á·ááá¯ážááŒááºážááŒáá·áºá Query node ááẠáááºáááºá
áœá¬ ááœááºáá»ááºáá¬ážáá±á¬ áááºááá
áºáá»á¬ážááᯠáááºáá±á¬ááºááŒáá·áºááŸá¯ááá¯ááºáá«áááºá áá±á¬ááºááá¯ááºážááœáẠáááºážááá¯á·ááᯠá¡áá¬ááá¹áá¯ááá¯ááŸá±á¬ááºááŸá¯ááœáẠááááºážáááºážáá¬ážááŒá®áž Store Gateway ááŸáááá·áº áááŸáááá¯ááºáá«áááºá
Thanos áá áœááºážá¡á¬áž
Thanos ááẠááá·áºááá¯á¡ááºáá»ááºáá»á¬ážááŸáá·áºááá¯ááºáá®á á±ááẠá áááºááŒáá¯ááºááŒááºáááºááá¯ááºáá±á¬ááºá¡á±á¬áẠáá»á±á¬á·ááŒá±á¬ááºážáá«áááºá ááœááºááŒáẠPrometheus á០ááŒá±á¬ááºážááœáŸá±á·ááá·áºá¡áá« á¡áá°ážáááŒáá·áº áááºážááẠá¡áá¯á¶ážáááºáááºá Thanos á¡á áááºá¡ááá¯ááºážáá»á¬ážá¡ááŒá±á¬ááºáž áá»áœááºá¯ááºááá¯á·áá±á·áá¬áá²á·áá¬ááᯠá¡ááŒááºá¥ááá¬ááŒáá·áº á¡áá»ááºá¡ááŒááºááŒááºááá¯ááŒáá«á áá¯á·á á€áááºááŸá¬ áááºá vanilla Prometheus ááᯠ"á¡ááá·áºá¡áááºáá²á· áááºááá áºáá»á¬áž ááá¯ááŸá±á¬ááºááŸá¯" áááá¹áá¬ááá¯á· áááºááá¯á·áá°áá±á¬ááºááœá¬ážááááºáááºážá
- Thanos Sidecar ááᯠáááºá Prometheus áá¬áá¬áá»á¬ážááá¯á· áá±á«ááºážááá·áºáá« - á¥ááá¬á Kubernetes pod á¡ááœááºážááŸá sidecar container áá áºáá¯á
- áá±áá¬ááŒáá·áºááŸá¯ááá¯ááºá á±ááẠThanos Querier áá¯á¶áá°áá»á¬ážá áœá¬ááᯠá¡áá¯á¶ážááŒá¯áá«á á€á¡ááá·áºááœáẠScraper ááŸáá·áº Querier á¡ááŒá¬áž á¡áááºážá¡áá»ááºážá áá¬ážáá»á¬ážááᯠáááºááŸááºááẠááœááºáá°áááºá á¡á áááºá¡ááá¯ááºážáá»á¬ážá á¡ááŒááºá¡ááŸááºáááºáá±á¬ááºááŸá¯ááᯠá á áºáá±ážááẠ'thanos_cluster_members' áááºááá áºááᯠá¡áá¯á¶ážááŒá¯áá«á
á€á¡ááá·áºááŸá áºááá·áºááŒáá·áº ááá¹áá¬áá¯á¶ážááá¯ááºáá¬ááŒááºááœááºážááŸáá·áº á¡áá¬ážá¡áá¬ááŸááá±á¬ Prometheus HA áá¯á¶áá°áá»á¬ážáá¶á០áá»á±á¬ááœá±á·á áœá¬áá±áá¬áá°ážáá°ááŸá¯ááᯠááŒáá·áºáááºážááẠáá¯á¶áá±á¬ááºáá«áááºá áááºá áááºááŸáºáá¯ááºáá»á¬ážááᯠQuerier HTTP á¡áá¯á¶ážááŸááºááá¯á· ááá¯ážááŸááºážá áœá¬ áá»áááºáááºáá« ááá¯á·ááá¯áẠThanos UI ááᯠááá¯ááºááá¯ááºá¡áá¯á¶ážááŒá¯áá«á
ááá¯á·áá±á¬áºáááºáž áááºááẠáááºááá áºáá»á¬áž á¡áááºááááºážáááºážááŸá¯ááŸáá·áº áá±ááŸááºááá¯ááŸá±á¬ááºááŸá¯ ááá¯á¡ááºáá«áá áááºááẠáá±á¬ááºááẠá¡ááá·áºáá¯á¶ážááá·áºááᯠááŒá®ážááŒá±á¬ááºááẠááá¯á¡ááºáááá·áºáááº-
- AWS S3 ááá¯á·ááá¯áẠGCS áá¯á¶ážááᯠáááºáá®ážáá«á á€áá¯á¶ážáá»á¬ážááá¯á· áá±áá¬áá°ážáá°ááẠSidecar ááᯠá á®á ááºáááºááŸááºáá«á ááá¯á¡áá«ááœáẠáá±áááœááºáž áá±áá¬ááá¯ááŸá±á¬ááºááŸá¯ááᯠáá»áŸá±á¬á·áá»ááá¯ááºááŒá®ááŒá áºáááºá
- Store Gateway ááá¯á¡áá¯á¶ážááŒá¯ááŒá®áž ááá·áºááŸáááŒá®ážáá¬áž á¡áááºážá¡áá»ááºážá¡á á¯á¡áá±ážááá¯á· áá»áááºáááºáá«á áááá¹áá°áá°ážáá¬ážáá±á¬áá±áá¬ááᯠááᯠáááºáá±ážááŒááºážááá¯ááºáá«ááŒá®á
- compaction ááŸáá·áº downsampling ááᯠá¡áá¯á¶ážááŒá¯á á¡áá»áááºááŒá¬ááŒáá·áºá áœá¬ áá±ážááŒááºážááŸá¯ áááá±á¬ááºááŸá¯ ááá¯ážáááºá á±ááẠCompactor ááᯠá¡áá¯á¶ážááŒá¯áá«á
áááºááá¯ááá¯ááááŸáááá¯áá«á, áá»áœááºá¯ááºááá¯á·áááŒáá·áºááŸá¯áááºáá¯á¶á·ááá¯ááºážááá±áá«áá²á·á
á¡ááá·áºáá«ážááá·áºááŒáá·áº Prometheus ááᯠááá¹áá¬áá¯á¶ážááá¯ááºáá¬á¡ááŒááºá á¡ááá·áºá¡áááºáááŸá ááá¯ááŸá±á¬ááºááŸá¯á¡áá»áááºááŸáá·áº áááºááá áºáá»á¬ážáááŸáááá¯ááºááŸá¯ á¡áá¬ážá¡áá¬ááŒáá·áºáá¬ážáá±á¬ áá¯á¶ááŒááºá áááºáá»ááá±á¬ á á±á¬áá·áºááŒáá·áºáá±ážá áá áºá¡ááŒá Ạáá»áœááºá¯ááºááá¯á· ááŒá±á¬ááºážáá²áá±ážáá²á·áá«áááºá
áá±á¬ááºážááá¯áá»ááºááᯠááœá²áá¯ááºáá«- áá«ááá¯á· áááºážááᯠááá¯á¡ááºáááºá
áá»áœááºá¯ááºááá¯á·ááẠGitHub Pull áá±á¬ááºážááá¯ááŸá¯áá»á¬ážááŸáá·áº ááŒá¿áá¬áá»á¬ážááᯠá¡ááŒá²ááŒáá¯ááá¯áá«áááºá á€á¡áá±á¬á¡ááœááºáž Github Issues ááá¯á·ááá¯áẠslack ááŸáááá·áº áá»áœááºá¯ááºááá¯á·áᶠáááºááœááºááá¯ááºáá«áááºá
source: www.habr.com