Roman Khavronenko "ExtendedPromQL" ááž áĄá áŽáááşááśá áŹá á áŹááŹá¸áážááşáááşá¸ááᯠáááşáááş áĄáááŻááźáŻááŤáááşá
ááŤáˇáĄááźáąáŹááşá¸ áĄáááŻááťáŻááşá ááťá˝ááşááąáŹáˇáşááŹáááşá Roman ááŤá ááťá˝ááşáŻááşáááş CloudFlare áĄáá˝ááş áĄááŻááşááŻááşááźáŽá¸ áááşáááşáá˝ááş ááąáááŻááşááŤáááşá ááŤááąáááˇáş ááťá˝ááşááąáŹáşá VictoriaMetrics ááááşá¸ááťáąáŹááşá¸áá°áááşá¸ ááźá
áşááŤáááşá
ááźáŽá¸ááąáŹáˇ ááťá˝ááşááąáŹáşá á
áŹááąá¸áááŹááŤá
âááŹááŹááźááşááźááşá¸áĄáááşáĄáá˛ááťáŹá¸â ááŻááąáŤáşááąáŹ ááááĄáááŻááşá¸ááźááˇáş á áááşáááşááźá áşááźáŽá¸ áááşá¸áá˝ááş áááşáááˇáşááŹááŹá ááŹá¸ áááŻáˇáááŻááş áááşáá˝ááşááąá¸ááŹááŹá ááŹá¸ááťážáááş áĄááąá¸ááźáŽá¸áááşáá°ááąáŹáĄááťááşááᯠááťá˝ááşáŻááşááźáąáŹááŤáááşá áĄááźáąáŹááşá¸áážáŹ áááşáááş áááşá áĄáá˝áąá¸áĄááźááşááťáŹá¸ááᯠáĄááźáŹá¸áá°áá áşáŚá¸ áááŻáˇáááŻááş á áá áşáááŻáˇ áááşááźááŻáśááźá áşááźáŽá¸á ááąáŹááşá¸áááŻááťááşáá áşááŻááᯠáááşááŻáśáá˝ááşá¸ááŻáśááźáąáŹááˇáş ááźá áşáááşá áĄááşááŹáááşááąáŤáşááá°áá˝áąá áááşááŹááŹá ááŹá¸á áááŻááąáŹááşá¸áᲠ- java áááŻáˇáááŻááş áĄááźáŹá¸áá áşááŻááŻááᯠááźááşá¸ááŻáśááąááźáááşá ááťá˝ááşáŻááşáááŻááşáááŻááşáĄáá˝ááşá á¤áĄááŹáĄáŹá¸ááŻáśá¸áááş áĄáááĄááťááźá áşááąáŹááźáąáŹááˇáş áĄááŻááşáá áşááŻááᯠáá˝áąá¸ááťááşáááş áááŻáĄááşáááşáᯠááŻáśá¸ááźááşáá˛áˇáááşá
áĄá áááą á áááŻááşááĄáąáŹááşá PromQL áááŻááŹááŹáá˛á PromQL áááş Prometheus Query Language ááźá áşáááşá áĄááťáááşá áŽá¸ááŽá¸ááąááŹá áĄááťáááşá áŽá¸ááŽá¸ááťáŹá¸ááážááááş Prometheus áá˝ááş ááťá˝ááşáŻááşáááŻáˇáááş ááąá¸áá˝ááşá¸ááťáŹá¸áá˝á˛áˇá ááşá¸ááŻáśááźá áşáááşá
áĄááťáááşá áŽá¸ááŽá¸ááąááŹáááŻáᏠááŹáá˛á á áŹááŹá¸áĄáá áááşá¸áááŻáˇáááş ááąáŹááşááŻáśá¸ááŻááźá áşáááşá
áá°áááŻáˇááŹááąááąáŹááąáŤááşá¸á ááş:
- ááŤáááŻáˇ ááŹááźááˇáşááąááŹáá˛á
- ááźááˇáşáááŻááşááąáŹáˇá
- ááźáŽá¸ááąáŹáˇ áááşáááşáááŻá¸ááᯠááźááŹáá˛á
á¤áááŹá¸áááŻááźááˇáşááťážááş (á¤áááŹá¸áááş ááťá˝ááşáŻááşáááźáąáážááşá¸ááťáŹá¸áá áŹáááşá¸áĄááşá¸ááťáŹá¸áááŻááźááááˇáş ááťá˝ááşáŻááşáááŻááşá¸áážááźá áşáááş)á áááŻáˇááąáŹááş á¤ááąá¸áá˝ááşá¸ááťáŹá¸ááᯠá¤ááąááŹáá˝ááş áĄááźááşááźáąáááŻáááŻááşááŤáááşá
ááźáąáážááşá¸áá˝áąááᯠááźááˇáşááąáááşá áĄáááášááŤááşáááŻááźááşááźáŽá¸ ááźááˇáşáááŻááşáá˛áˇáĄááťáááşááᯠááźááşááŤáááşá áááŻáááŻáááşáážáŹ á¤ááŻáśááźááşá¸áááŻááźááˇáşááŤá ááááşášááá˝áąááąáˇáá˝ááş ááťá˝ááşáŻááşáááş ááźáąáážááşá¸ áá ,ááá áááˇáş ááťážáąáŹááşáážááşá¸áá˛áˇáááşáᯠáĄáá˝ááşááá°ááźáąáŹáááŻááşáááşá ááŤá áĄááťáááşá áŽá¸ááŽá¸ááąááŹááŤá
ááᯠáááşá¸áááŻáˇáĄáŹá¸ áááŹá¸áá áşááŻá ááŻáśá áśááźááˇáş áĄááźáŹá¸ááąááŹááŻáśá áśáááŻáˇ "ááťááŻá¸" (áĄáá˝ááşááźáąáŹááşá¸) ááźááŤá ááŻáˇá ááŽáážáŹ ááťá˝ááşááąáŹáşáááŻáˇ ááźááˇáşááąááŹáá˝áąáážááááşá á¤áá˝ááş ááťá˝ááşáŻááşáááş meta-data ááŻááąáŤáşááąáŹ ááąáŹááşáááşááąááŹáĄáááşá¸áááşááᯠáááşáááˇáşáááŻááşáááşá áááŻáááŻáááşáážáŹ áááşá¸áááş ááťá˝ááşáŻááşáááŻááşá áĽáááŹáĄáŹá¸ááźááˇáş Jay áážááˇáş Silent Bob ááž áá°áážá áşáŚá¸ááźá áşáááşá áĄá˛á፠ááŤáááŻáˇááźááˇáşááąááŹá áĄá˛ááŤá ááŹáááŻááźááźáŽá¸ áĄá˛ááŽáááşáááŻá¸ááᯠááźáááŻááşááŹáá˛á
áĄáᯠááŽááąááŹáĄáŹá¸ááŻáśá¸ááᯠááąááŹááąáˇá
áşáážáŹ ááááşá¸áááşá¸áááŻáˇ ááźááŻá¸á
áŹá¸ááźááˇáşááĄáąáŹááşá áĽáááŹáĄáŹá¸ááźááˇáşá ááťá˝ááşáŻááşáááş ClickHouse syntax áááŻáá°áá˛áˇáááşá á¤áá˝ááşááťá˝ááşáŻááşáááŻáˇáááş "ááźáąáážááşá¸ááťáŹá¸" ááŻááąáŤáşááąáŹáááŹá¸áá
áşááŻáááŻáááşááŽá¸ááąáááşáááŻáááŻáááşáážáŹááťá˝ááşáŻááşáááŻáˇááźááˇáşááąáááˇáşáĄááŹááźá
áşáááşá á¤ááąááŹá ááťá˝ááşáŻááşáááŻáˇááźááˇáşáážáŻááąáŹáĄááŤá áááşá¸áááş áĄáááşáĄááŹááźáááŹá¸ááááşá¸á ááťá˝ááşáŻááşáááŻáˇááááşá¸áááşá¸áááˇáş áááşááŹááąááŹáĄááťááŻáˇ- Jay áážááˇáş Silent Bobá
áááşá¸áĄáŹá¸ááŻáśá¸áááŻááźááşááąáŹááşáááŻááşáááşááźááŻá¸á áŹá¸áááşá ááááŚá¸á á˝áŹáááşá¸áááşáážáááąáŹááźáąáŹááˇáş Grafana áááŻáĄááŻáśá¸ááźáŻáááşááźá áşáááşá
áááŻáˇáĄááźááşááťá˝ááşáŻááşáááŻáˇáááşá¤ plugin áááŻáĄááŻáśá¸ááźáŻááŤáááşá ááŽáĄáá˝ááş áĄááźáąáŹááşá¸áááşá¸ áážá áşááŻáážáááŤáááşá ááááĄááťááşá ááťá˝ááşááąáŹáşááąá¸ááŹá¸ááŹááźá áşáááŻáˇááŤá ááźáŽá¸ááąáŹáˇ Grafana áážáŹ ááźáááŻáˇ ClickHouse á áĄááťáááşá áŽá¸ááŽá¸ááąááŹááᯠáá˝á˛ááŻááşáááŻáˇ áááşááąáŹááşáááşáá˛áá˛áááŻáᏠá፠áĄáááĄááťáááááşá
Graph Panel áá˝ááş ááźáááŤáááşá áááşá¸áááş Grafana áá˝ááş áá°ááźááŻááşáĄááťáŹá¸ááŻáśá¸ áĄáááˇáşááźá áşááźáŽá¸ áĄááťáááşáážááˇáş áááşáááŻá¸ááᯠááźáááąáŹááźáąáŹááˇáş ááťá˝ááşáŻááşáááŻáˇáá˝ááş áááˇáşáááşááťááşáážá áşááŻáᏠáááŻáĄááşááŤáááşá
áĄáááŻá¸áážááşá¸ááŻáśá¸ááąá¸áá˝ááşá¸áááŻááąá¸ááźááŤá
ááŻáˇ - ááťá˝ááşáŻááşáááŻáˇáááşááŽá¸ááŹá¸ááąáŹáááŹá¸áá˝ááş á¤ááąááŹááᯠClickHouse áá˝ááşááááşá¸áááşá¸ááŹá¸áááˇáş Grafana áá˝ááş ááźáąáážááşá¸á
áŹáááşá¸áĄááşá¸ááťáŹá¸áááŻááźááááşá¸á ááźáŽá¸ááąáŹáˇ áááŻá¸áážááşá¸áá˛áˇááąá¸áá˝ááşá¸ááᯠááąá¸áááşá ááťá˝ááşáŻááşáááŻáˇáááş áĄáááˇáşááťáŹá¸ááž áá˝áąá¸ááťááşáááşá ááťá˝ááşáŻááşáááŻáˇáááş áááşáááŻá¸áá
áşááŻááᯠáá˝áąá¸ááťááşááźáŽá¸ á¤áááşáááŻá¸ááťáŹá¸á áĄááťáááşááᯠáá˝áąá¸ááŤá áááŻáááŻáááşáážáŹ ááťá˝ááşáŻááşáááŻáˇááźáąáŹáá˛áˇááąáŹ áá°ááŽááąáŹ ááąáŹááşááŻáśá¸ááŻááᯠáá˝áąá¸ááťááşááŤá
ááááşáĄááąááźááˇáşá á¤ááááşáááŻááťá˝ááşáŻááşáááŻáˇááážááá˛áˇáááşá áá°ááŹááźáąáŹááˇáş áá°á¸áááşá¸ááąááŹáᲠáááşáá°áááá˛á
áážááşááŤáááşá áááşáĄááťáááşáĄáááŻááş áĄááťááŻá¸áĄá áŹá¸áá˝á˛áááŻáˇ áááŻááŤáááşá
áĄááŻáśá¸áá˝ááş ááťá˝ááşáŻááşáááŻáˇáááş áááŻáááŻááąáŹááşá¸áá˝ááşááąáŹáşáááşá¸ áá°á¸áááşá¸ááąáŹáĄááťáááşáááŹá¸ááᯠááážáááŤáááşá ááŹááźáąáŹááˇáşáá˛áááŻáᏠáááşáá°áááá˛á áážááşááŤáááşá ááŤáááşáá° áážá áşááąáŹááşáážáááŤáááşá Grafana áážáŹ áĄááťáááşá áŽá¸ááŽá¸ áážá áşááŻááᯠááąá¸ááŤáááşá ááŹááźá áşáááŻáˇáá˛áááŻááąáŹáˇ ááťá˝ááşááąáŹáşáááŻáˇá data model áááŻááźááşááźáŽá¸ááźáąáážááşá¸áááşá time series áá áşááŻá áŽáᏠááŹáááşáá áşááŻáá˛áˇ labels key-values ââáĄáŹá¸ááŻáśá¸ááᯠáá°á¸ááźáŹá¸áá˛áˇááąáŤááşá¸á ááşáážáŻáá áşááŻááŤáá˛á
áááŻáˇááźáąáŹááˇáş ááťá˝ááşáŻááşáááŻáˇáááş ááŽá¸ááźáŹá¸áá°áá áşáŚá¸ááᯠáá˝áąá¸ááťááşáááş áááŻáĄááşááŤáááşá ááŤáááŻáˇá ááťáąá¸ááᯠáá˝áąá¸áááşá
áááşáá˝á˛ááŤá ááᯠááááşáá áşáááş áĄáážááşáááŹá¸áážááˇáşáá°áááşá áĄááŻá ááŻáśáážááşáĄááťáááşáááŹá¸áá áşááŻááźá áşááźáŽá¸ áĄááŹáĄáŹá¸ááŻáśá¸á ááąáŹááşá¸ááąáŹááşá¸áĄááŻááşááŻááşááąááŤáááşá
áá°ááŽááąáŹáĄááŹáááŻáááşáááşáá˛áˇáááŻáˇááŻááşááąáŹááşááááşáááŻáááşááááąáŹáşáááşá¸ Prometheus áá˝ááş PromQL áážááááˇáşá áĄááźááşá¸ááťááşá¸ááąáŹáˇ ááŽáááŻááŤáá˛á áááşá¸áááşá¸áááŻáá˝ááşáááşá áĄáŹá¸ááŻáśá¸ááᯠááťááŻá¸ááťááşáááŻááşááźááĄáąáŹááşá ááźáąáážááşá¸áá˝áąáážááşá¸áá˛áˇááźáááşá Jay ááźááˇáş á á áşááŻááşáááşá áááşáááŻá¸áá áşááŻááááş áááŻáĄááşááźáąáŹááşá¸ á¤ááąááŹáá˝ááş ááťá˝ááşáŻááşáááŻáˇ ááááşáážááşááŹá¸áᲠáĄááťáááşááᯠááťá˝ááşáŻááşáááŻáˇ ááá˝áąá¸ááťááşááŤá
ááᯠJay áááŻáˇáááŻááş Silent Bob á áá˝áąáˇááťáŹá¸áážáŻáĄááźááşáážáŻááşá¸ááᯠáá˝ááşááťááşááźááˇáşááźááŤá ááŻáˇá ClickHouse áá˝ááşá áĄáááĄááťáĄááźááşáážáŻááşá¸ááááş áĄáážááşáĄáá˝á˛ááťáŹá¸ááźáŹá¸ááźáŹá¸ááŹá¸ááťááşááᯠáá˝ááşááťááşááźáŽá¸ áĄáááĄááťáĄááźááşáážáŻááşá¸ááážááááş ááťá˝ááşáŻááşáááŻáˇáááş RunDifference áááŻááŻááşááąáŹááşáááş áááŻáĄááşááŤáááşá ááąáŹááşá¸áááŻááťááşáááş á¤áá˛áˇáááŻáˇ ááźá áşááááˇáşáááşá
Silent Bob áááŻáˇáááŻááş Jay áááş áá áşá áášáááˇáşááťážááş áááˇáşáážááşá¸ááźáą 1,8 áážááşá¸áááˇáş á¤áááşáááŻá¸ááťáŹá¸ááᯠááźááááşááźá áşáááşá
Prometheus áážáŹ áááşáááşá¸ áĄá˛ááŤááᯠáááşáááŻááŻááşáááá˛á áĄáááşááááş áĄááťáŹá¸ááźáŽá¸ áááŻáá˝ááşáááşá
Grafana áá˝ááşáááşá¸ áá˝ááşáá°á áąáááşáĄáá˝ááş PromQL áážááˇáş áĄáá˝ááşáááşáá°ááąáŹ ááŻááşáááŻá¸áážáŻáá áşááŻááᯠáááˇáşáá˝ááşá¸áá˛áˇáááşá áááşá¸ááᯠRate Macros ááŻááąáŤáşáááş áááŻáˇáááŻááş áááş áááşá¸ááᯠááąáŤáşáááŻáááťážááᯠááąáŤáşáááşá Grafana áá˝ááş áááşáááş "áážáŻááşá¸" ááŻáᏠááąá¸ááŹá¸ááąáŹáşáááşá¸ áááşáážááŻááşá¸ááąáŹ áá áşááąááŹá áááşá¸áááş á¤ááťážááźáŽá¸ááŹá¸ááąáŹ ááąáŹááşá¸áááŻáážáŻáĄááźá áş ááźáąáŹááşá¸áá˛áá˝áŹá¸áááşá áááşá¸áááŻááźááˇáşáááşáááşááááŻáĄááşááŤá áááşá¸áááşáá áşááąááŹááŹáá˝ááşáážáááąáŹáşáááşá¸á á¤áá˛áˇáááŻáˇááąáŹááźáŽá¸ááŹá¸ááąáŹ SQL queries ááťáŹá¸áááŻááąá¸ááŹá¸ááźááşá¸áááşáĄááźá˛áááşá¸á áťáąá¸ááźáŽá¸ááąáŹááźáąáŹááˇáşáááşáĄááťáááşáĄááťáŹá¸ááźáŽá¸ááŻááşáááşá áááş áĄáá˝ááşááá° áĄáážáŹá¸ááŻááşááááźáŽá¸ ááźá áşááťááşááąáááşááťáŹá¸ááᯠáĄááťáááşáĄááźáŹááźáŽá¸ ááŹá¸ááááşáááŻááşááŤá
ááźáŽá¸ááąáŹáˇ ááŤá ááááŻááşáá áşááŻááąáŤáşáážáŹááąáŹááş áĄáśááááşáá˛áˇ query áá áşááŻááźá áşááźáŽá¸á áĄá˛ááŤááᯠááąáŹáşááśáážá áşááŻááąáŹááş áá˝á˛áá˛áˇáááŹááŤá áááşá¸áááş ClickHouse áá˝ááşáááşá¸ áá°ááŽááąáŹáážáŻááşá¸ááŹá¸ááᯠááźáŻááŻááşááąá¸áááˇáş ááąáŹááşá¸áááŻááťááşáá áşááŻáááşá¸ ááźá áşáááşá áááŻáˇááąáŹáş áĄááťáááşá áŽá¸ááŽá¸áážá áşááŻááŻáśá¸áĄáá˝ááş Silent Bob áážááˇáş Jayá áááŻáˇááźáąáŹááˇáş ááťá˝ááşáŻááşáááŻáˇáá˝ááş áĄááťáááşá áŽá¸ááŽá¸áážá áşááŻáážááááşá ááŤáˇáĄááźááşáĄáááąáŹáˇ ááŤá áĄáááşá¸áááşáá˛ááąááźáŽá
Prometheus áĄá áááşá¸áááş sum (áážáŻááşá¸) ááźá áşááááˇáşáááşá ClickHouse áĄáá˝ááş ááťá˝ááşáŻááşáááş Prometheus query áážááˇáşáá°ááąáŹ RateColumns ááŻááąáŤáşááąáŹ ááŽá¸ááźáŹá¸ macro áá áşááŻááᯠááźáŻááŻááşáá˛áˇáááşá
ááťá˝ááşáŻááşáááŻáˇááźááˇáşáá˛áˇáᏠPromQL áááş áĄáá˝ááşáĄáąá¸áááşáᯠáááşáááąáŹáşáááşá¸ áááşá¸áá˝ááş áááˇáşáááşááťááşááťáŹá¸áážááááşá
áá°áááŻáˇááŹááąááąáŹááąáŤááşá¸á ááş:
- áááˇáşáááşáá˝áąá¸ááťááşáážáŻá
- áĄááŹá¸áááşááťáŹá¸ ááťáááşáááşááŤá
- ááśáˇáááŻá¸áážáŻ áážáááźááşá¸ ááážáááŤá
áĄáááşá áááşáááş áááşá¸áážááˇáş áĄááťáááşáĄááąáŹáşááźáŹ áĄááŻááşááŻááşáá˛áˇááťážááş áá áşááŤáá áşááś PromQL áá˝ááş áá áşááŻááŻááŻááşáááş áĄáá˝ááşáááşáá˛ááźáąáŹááşá¸ áááşáááááźáŽá¸ SQL áá˝ááş áááşáĄáŹá¸ááŻáśá¸ááŽá¸ááŤá¸ááᯠááŻááşááąáŹááşáááŻááşáááşá áĄááźáąáŹááşá¸áážáŹ ááťá˝ááşáŻááşáááŻáˇááźáąáŹáá˛áˇááąáŹ á¤áá˝áąá¸ááťááşá ááŹááťáŹá¸áĄáŹá¸ááŻáśá¸ááᯠSQL áá˝ááş ááŻááşááąáŹááşáááŻááşááąáŹááźáąáŹááˇáş ááźá áşáááşá . ááŤááąáááˇáş ááŻáśá¸ááᏠáĄáááşááźáąááŤáˇáááŹá¸á ááźáŽá¸ááąáŹáˇ ááŤá áĄááźá˛áááşá¸ áĄá á˝ááşá¸áááşááŻáśá¸ ááŹááŹá ááŹá¸á áĄáááşááźáąááŻáśá¸áááŻáˇ áááşááŤáááşá
áááŻáˇááźáąáŹááˇáşá áá áşááŤáá áşááśáá˝ááş áááşáááş áĄááŻááşááťáŹá¸áĄáá˝ááş ááŹááŹá ááŹá¸áá áşááŻááᯠáá˝áąá¸ááťááşáááş áááŻáĄááşáááşá Batman áá˛áˇ Superman áááŻáˇáá˛áˇ áááŻááşáá˝á˛áá áşááŻáááŻááŤáá˛á Superman á áááŻáááşááŹáááşáááŻáᏠáážááşá¸ááŤáááşá ááŤááąáááˇáş Batman á áááŻáááşáá˝áąáˇááťááźáŽá¸ áá°ááŹááŻááşááąáááşáááŻááŹááᯠáĄáááĄááťáááá˛áˇáĄáá˝ááş áá°áˇáááŻáĄáááŻááşáá°áááŻááşáá˛áˇááŤáááşá
ááąáŹááşáĄáááŻááşá¸áááąáŹáˇ Extending PromQL ááźá áşááŤáááşá
áá áşáááş VictoriaMetrics áĄááźáąáŹááşá¸á VictoriaMetrics áááŻááŹááŹáá˛á áááşá¸áááş áĄááťáááşá áŽá¸ááŽá¸ááąááŹááąáˇá áşáá áşááŻááźá áşááźáŽá¸ áááşá¸áááş OpenSource áá˝ááşááźá áşááźáŽá¸á ááťá˝ááşáŻááşáááŻáˇáááş áááşá¸ááá áşááŻáááşá¸áážááˇáş áĄá áŻáááŻááşááŹá¸áážááşá¸ááťáŹá¸ááᯠááźááˇáşááąááŤáááşá ááťá˝ááşáŻááşáááŻáˇáá áśáááşáážááşááťááşááťáŹá¸áĄáá áááşá¸áááşáááŻá áťáąá¸áá˝ááşáá˝ááşáĄááźááşááŻáśá¸ááźá áşááźáŽá¸á Prometheus áááş 0,4-1,2 áážáááąáŹáĄááŤá áááşáážááá°áááŻáˇáĄá áŽáááşááśáááşáážáŹáĄááťááşáá áşááŻááťážááş 1,4 bytes áááˇáş compression áážááˇáşáááşáá°áááşá
Prometheus áá áşááŻáááşá¸áááşáááá°á¸á ááťá˝ááşáŻááşáááŻáˇáááş InfluxDBá Graphiteá OpenTSDB ááᯠááśáˇáááŻá¸ááąá¸áááşá
áááşáááş ááťá˝ááşáŻááşáááŻáˇá "ááąá¸" áááŻááşáááşá áááŻáááŻáááşáážáŹ áááşáááş áĄááťááşáĄáááşááąáŹááşá¸ááťáŹá¸ááᯠáá˝ážá˛ááźáąáŹááşá¸áááŻááşáááşá
Prometheus áážááˇáş Grafana áááŻáˇáááşá¸ PromQL áĄááşááťááşááᯠááśáˇáááŻá¸ááąá¸ááŤáááşá Grafana áá˝ááşá áááşáááş Prometheus áĄááŻáśá¸áážááşááᯠVictoriaMetrics áááŻáˇ áááŻá¸áážááşá¸á á˝áŹááźáąáŹááşá¸áá˛áááŻááşááźáŽá¸ áááşá áááşáážáşááŻááşááťáŹá¸áĄáŹá¸ááŻáśá¸áááş áááşá¸áááŻáˇááŻááşááąáŹááşáááˇáşáĄáááŻááşá¸ áĄááŻááşááŻááşáááşááźá áşáááşá
áááŻáˇááąáŹáş VictoriaMetrics áážááąá¸ááąáŹ áááşááąáŹááşá¸ááťá áşááşááťáŹá¸áááŻáááşá¸ áááşáĄááŻáśá¸ááźáŻáááŻááşááŤáááşá
ááťá˝ááşáŻááşáááŻáˇáááˇáşáá˝ááşá¸ááŹá¸ááąáŹ áĄááşášááŤáááşááťáŹá¸ááᯠáĄááźááşááŻááşááąáŹááşááŤáááşá
ááźáŹá¸ááŹáááąáŹááşááᯠááťááşáážááşááŹá¸á፠- áááşáááş Grafana áá˝ááş áááˇáşáááşááąáŹááşááźáŹá¸ááŹáááᯠááťáąáŹáşáááŻááşáááşá áĄáááˇáşáá˝ááş ááťá˛áˇ/ááťá˛áˇáááˇáşáĄá፠áá°á¸áááşá¸ááąáŹááááşááťáŹá¸ááᯠáááá°áááŻááŤáá ááááşá¸áážááşááᯠáĄááŻáśá¸ááźáŻáááş áĄááźáśááźáŻáĄááşááŤáááşá $__interval
. áááşá¸áááş áĄáá˝ááşá¸áááŻááşá¸ Grafana ááźáąáŹááşá¸áá˛áážáŻááźá
áşááźáŽá¸ áááşá¸áááş ááąááŹáĄáááŻááşá¸áĄááźáŹá¸ááᯠáááŻááşáááŻááşáá˝áąá¸ááťááşáááşá VictoriaMetrics áááş á¤áĄáá˝áŹáĄááąá¸áááş áĄáááşáĄááŹááźá
áşáááˇáşáááşááᯠááŹá¸áááşáááŻááşáááşá áááşáááąáŹááşá¸áááŻáážáŻááťáŹá¸áĄáŹá¸ááŻáśá¸ááᯠáĄááşááááşááŻááşáááş ááááŻáĄááşááŤá áĄááťáŹá¸ááźáŽá¸áááŻáá˝ááşááŤááááˇáşáááşá
ááŻáááááŻááşááąáŹááşááťááşáážáŹ ááźáŹá¸ááŹá áááşáá˝ážááşá¸ááźááşá¸ ááźá áşáááşá áááˇáşáĄááŻáśá¸áĄáážáŻááşá¸ááťáŹá¸áá˝ááş á¤áĄáá˝áŹáĄááąá¸ááᯠáááşááŻáśá¸áááŻááşáááşá ááąáŤááşá¸ááźááşá¸á áá˝á˛ááźááşá¸á áá˝ážá˛ááźáąáŹááşá¸ááźááşá¸á áááŻá¸ááŹá¸áááŻááşáááşá
ááąáŹááşáá áşááŻáááąáŹáˇ rollup function family ááźá áşááŤáááşá á áŻá ááşá¸áážáŻááŻááşááąáŹááşááťááşáááş áááˇáşáĄááťáááşá áŽá¸ááŽá¸áá áşááŻáĄáŹá¸ ááŽá¸ááźáŹá¸áĄááťáááşá áŽá¸ááŽá¸ááŻáśá¸ááŻáĄááźá áş ááźáąáŹááşá¸áá˛ááąá¸áááşá áááşá¸áááŻáˇáááş áĄáááşá¸ááŻáśá¸á áĄááťáŹá¸ááŻáśá¸áážááˇáş ááťááşá¸ááťážááźá áşáááşá áááŤáááśáá˝ááş áĄá á˝ááşá¸áĄáááşá¸ááťáŹá¸ (áá˝á˛áá˝á˛ááťááşááťáŹá¸) áážááˇáş áážáŹá¸áá˝ááşá¸áážáŻááťáŹá¸ááᯠááźááááŻááşááąáŹááźáąáŹááˇáş áĄáá˝ááşáĄáááşááźáąáááşáᯠááťá˝ááşááąáŹáşáááşááŤáááşá
á áááşáááŻá¸ááźááşá¸ áááŻáˇáááŻááş áĄáááˇáşáááşáážááşááźááşá¸ááŹááŻááşááąááŤá áĄááťáááşá áŽá¸ááŽá¸ááťáŹá¸áááş áááşáááşáá˝ááşááŹá¸áááˇáşáĄáááŻááşá¸ ááźáŻáá°ááźááşá¸ááážááááˇáş áĄááťááŻáˇááąáŹááá ášá áááşááťáŹá¸ááᯠáá˝á˛ááťáąáŹáşáá˝áŹá¸áááŻááşáááşá á¤ááŻááşááąáŹááşááťááşááźááˇáş ááźááşáááşáááŻáááŻáá˝ááşáá°áááşá max áááş avg áĄáá˝ááşáá˝áŹáááşáᯠáááŻááźááŤá ááŻáˇá
ááąáŹááşáá áşááŻáááąáŹáˇ default variable ááŤá ááŻáśááą - á¤áááşáážáŹ ááťá˝ááşáŻááşáááŻáˇáá˝ááş áĄááťáááşá áŽá¸ááŽá¸áá áşááŻááážáááŤá Grafana áá˝ááş ááťá˝ááşáŻááşáááŻáˇáá˝á˛ááááˇáşáááşáááŻá¸ááᯠáááŻáááŻáááşá áááşáĄááťáááşááźá áşááá˛á áááşáááş áĄáážáŹá¸áĄáá˝ááşá¸áĄááťááŻáˇááᯠáááşááá áşááťáŹá¸ ááŻááşááąá¸áááşáᯠáááŻááźááŤá ááŻáˇá áááşá áááşááąáŹáĄááŤáá˝ááş áááˇáşáá˝ááş áĄáážáŹá¸áĄáá˝ááşá¸ááážááááᯠááąáŹááşááŻáśá¸ááŹáᎠáááŻáˇáááŻááş áá áşáááşáááşááťážááş áĄáážáŹá¸áĄáá˝ááşá¸ááážááááˇáş áĄáááŻááşá áŹá¸ application áá áşááŻáážááááşá áááˇáşáá˝ááş áĄáąáŹááşááźááşáážáŻááž áĄáážáŹá¸áááŻáˇ áááşááśááąá¸ááᯠááźááááˇáş áááşáážáşááŻááşááťáŹá¸áážááááşá áááˇáşáá˝ááş error metric ááážáááąáŹááźáąáŹááˇáş áááşá¸áááŻáˇáááş áááˇáşáĄáŹá¸ ááŹááťážááźááááşáááŻááşááŤá áážááˇáş default áá˝ááş áááşáááş áááşáááˇáşáĄááŹáááŻáááᯠáááşáážááşáááŻááşáááşá
Keep_last_Value - ááťáąáŹááşááŻáśá¸ááŤá áááşááá áşá ááąáŹááşááŻáśá¸áááşáááŻá¸ááᯠááááşá¸áááşá¸áááşá Prometheus áááş ááąáŹááşáá áşááźáááşááźá áşááźáŽá¸ááąáŹááş 5 áááá áşáĄáá˝ááşá¸ áážáŹááá˝áąáˇááŤáá áááşá¸áááş áááşá¸áááąáŹááşááŻáśá¸áááşáááŻá¸ááᯠá¤ááąááŹáá˝ááş áážááşáááááşááźá áşááźáŽá¸ áááşááááŹá¸ááťáŹá¸ áááşááśáá˝á˛áááşáááŻááşááŤá
Scrape_interval - Prometheus áááş áááşá áááşááá áşáá˝ááş ááąááŹááᯠáááşááťáž áĄááźáááşáážáŻááşá¸ááźááˇáş á áŻááąáŹááşá¸áááşááᯠááźááááş á áĽáááŹáĄáŹá¸ááźááˇáş á¤ááąááŹáá˝ááş pass áááŻáá˝áąáˇáááŻááşáááşá
áĄáá˝ážááşá¸áĄá
áŹá¸áááŻá¸ááźááşá¸áááş áá°ááźááŻááşááťáŹá¸ááąáŹáĄááşášááŤáááşáá
áşááŻááźá
áşáááşá ááŤááąáááˇáş ááááşá¸ááźááˇáşáĄááźááşá¸áĄááŻáśáá˝áąááᯠáá°áá˛áˇáĄáá˝ááş áááşá¸áááşá¸áážáŻááşáá˝áąá¸áááşáááŻáˇ ááťá˝ááşááąáŹáşáááŻáˇáááşááŤáááşá ááźááşá¸ááŻáśááťááş (á
)ááŻááᯠáážááşááŹá¸ááŻáśááŹáá áááşá¸áááŻáˇá áĄá
áŽáĄá
áĽáşáááŻáááşá¸ áážááşááŹá¸ááŹá¸áááş áááŻáĄááşááŤáááşá
áááŻáˇááźáąáŹááˇáşá áĄáááşááźáąáŹááˇáş áááşá¸áááŻáˇááᯠáááŻáááŻáááŻá¸áážááşá¸áĄáąáŹááş áááŻááşááááşá¸á áááŻáááŻáááşáážáŹá áážááşá¸áááşá¸ááąáŹ syntax ááźááˇáşááąá¸áááşááąáŹááŻááşááąáŹááşááťááşááťáŹá¸áĄááźá
áşáááŻáˇáá˝á˛ááźááşá¸ááŤá
áááŻáááşá¸ á
áááşáááşá
áŹá¸á
ááŹáĄááąáŹááşá¸ááŻáśá¸á PromQL ááᯠáááşáááşá¸áááŻá¸áááşáááŻáˇ ááŹááźáąáŹááˇáşáááşááŹáá˛á áĄáááşááźáąáŹááˇáşáááŻááąáŹáş ááťá˝ááşáŻááşáááŻáˇáááş Common Table Expressions ááᯠááśáˇáááŻá¸ááąáŹááźáąáŹááˇáşááźá
áşáááşá QR ááŻááşááᯠáááŻááşááŹáááŻááşáááş (
ááŹáá˛? áĄáááşá፠ááąáŹááşá¸áááŻááťááşáááş áĄáá˝ááşááąáááşá¸á áŹá¸ááąáŹ ááąáŹááşá¸áááŻááťááşááźá áşáááşá ááŻáášáááŽááťáŹá¸á á˝áŹáážá áááşáááˇáş áááşáážáşááŻááşáá˝ááşáááᯠáá°ááŽááąáŹ filter ááᯠáááşáĄááŻáśá¸ááźáŻáááşáᯠááťá˝ááşááąáŹáşáááşááŤáááşá ááťáŹá¸áááşá áááŻáˇááąáŹáş áááşáááş á á áşááŻááşáážáŻáĄáá áşáĄááťááŻáˇááᯠáááˇáşáááş áááŻáĄááşáááˇáşáĄááŤá áááşáááş áĄáááˇáşáá áşááŻá áŽááᯠáĄááşááááşááŻááşáááş áááŻáĄááşáááşá áááŻáˇáááŻááş áááşáážáşááŻááşááᯠááąáŤááşá¸ááŻááşááŻááşáááşá áááşá¸ááᯠJSON áá˝ááşáá˝ááˇáşááŹá áĄá áŹá¸áááŻá¸áážáŹáá˝áąáááşá áááşá¸áááşáááşá¸ áĄááťáááşááźáŹááźááˇáşáááşá áĄáááşááźáąáŹááˇáş á¤áááşáááŻá¸ááᯠááááşá¸áážááşáá áşááŻáá˝ááş ááááşá¸áááşá¸ááźáŽá¸ áááşá¸ááᯠááźááşáááşáĄááŻáśá¸ááźáŻááááşá¸á ááťá˝ááşááąáŹáˇáşáĄááźááşáĄáááąáŹáˇ ááŤá áááŻáááŻá¸áážááşá¸ááźáŽá¸ áááŻáážááşá¸ááŤáááşá
áĽáááŹáĄáŹá¸ááźááˇáşá ááąáŹááşá¸áááŻááťááşáĄáŹá¸ááŻáśá¸áá˝ááş Grafana áážá filter ááťáŹá¸ááᯠáĄááşááááşááŻááşáááş áááŻáĄááşáááˇáşáĄááŤá áááşáážáşááŻááşáááş ááźáŽá¸ááŹá¸áááŻááşáááş áááŻáˇáááŻááş áááşá¸áááŻáˇáá˛ááž áĄááťáŹá¸áĄááźáŹá¸áááş áážááááŻááşáááşá ááźáŽá¸ááąáŹáˇ Grafana áážáŹ ááŽááźáżááŹááᯠáááşáááŻááźáąáážááşá¸ááťááşáá˛á
á¤ááźáżááŹááᯠááťá˝ááşáŻááşá¤áá˛áˇáááŻáˇááźáąáážááşá¸ááŤáááş- ááťá˝ááşáŻááşáááş commonFilter áá áşááŻááźáŻááŻááşááźáŽá¸ áááşá¸áá˝ááşá¤ filter áááŻáááşáážááşááźáŽá¸ááąáŹááş queries áá˝ááşááźááşáááşáĄááŻáśá¸ááźáŻááŤáááşá áááŻáˇááąáŹáş áááŻáááş áĄááŹá¸áá°ááŻááşááąáŹááşááŤáá Grafana áááş áááˇáşáĄáŹá¸ query variables áĄáá˝ááşá¸áážá variable ááťáŹá¸ááᯠáĄááŻáśá¸ááźáŻáá˝ááˇáşáááźáŻááąáŹááźáąáŹááˇáş áááşá¸áááş áĄááŻááşáááźá áşááŤá ááźáŽá¸ááąáŹáˇ áááşá¸áááşá¸áá°á¸áááşá¸áááşá
ááŤááźáąáŹááˇáş áááşá¸ááᯠááŽáááŻááŻááşáááŻááşáá˛áˇ áá˝áąá¸ááťááşáážáŻáá
áşááŻááᯠááŤááŻááşáá˛áˇáááşá áĄáááşá áááşáááş á¤áá˛áˇáááŻáˇááąáŹáĄááşášááŤáááşááᯠá
áááşáááşá
áŹá¸áááş áááŻáˇáááŻááş áááŻááťááşááŤáá á¤áĄááźáśááᯠáááźááŻááşááŤá ááąáŹááşááśá፠áááŻáˇáááŻááş áááźááŻááşááŤá ááąáŹááşááśááŤá
PromQL áááŻá¸ááťá˛áˇááźááşá¸áĄááźáąáŹááşá¸ ááąáŹááşáááşá á¤ááąááŹáá˝ááş ááťá˝ááşáŻááşáááŻáˇáááş ááááşá¸áážááşáá áşááŻááŹáá ááŻááşááąáŹááşááťááşáá áşááŻááŻáśá¸ááᯠáááŻááşáááŻááşáááşáážááşáááşá áááşá¸ááᯠru (áĄáááşá¸áĄááźá áşáĄááŻáśá¸ááźáŻáážáŻ) ááŻááąáŤáşáááşá áááŻáˇáĄááźááş á¤ááŻááşááąáŹááşááťááşáááş áĄááá˛áˇáĄáááşá¸áĄááźá áşááťáŹá¸á áĄáááşá¸áĄááźá áşáááˇáşáááşááťááşáážááˇáş á á áşááŻááşáážáŻááᯠáááşááśááŤáááşá syntax áááş áááŻá¸áážááşá¸ááŻáśááááşá áááŻáˇáĄááźááş á¤ááŻááşááąáŹááşááťááşááᯠáĄááŻáśá¸ááźáŻá ááťá˝ááşáŻááşáááŻáˇáá˝ááşáážáááąáŹ áĄááá˛áˇ memory ááŹáááŻááşáážáŻááşá¸ááᯠáá˝ááşááťááşáááş áĄáá˝ááşáá˝ááşáá°ááŤáááşá áááŻáááŻáááşáážáŹ ááťá˝ááşáŻááşáááŻáˇáá˝ááş memory áááşááťážáážááááşá áááşáááˇáşáááˇáşáááşááťááşáážááˇáş á á áşááŻááşááááşáááşá¸á áá°ááŽááąáŹ filter ááťáŹá¸áĄáŹá¸ááŻáśá¸ááᯠááźááşáááşáĄááŻáśá¸ááźáŻááźáŽá¸ ááźáŽá¸ááŹá¸ááąáŹ query áá áşááŻáĄááźá áşáááŻáˇ ááźáąáŹááşá¸áá˛áá˝áŹá¸áááˇáşáĄáá˝ááşááźáąáŹááˇáş áááşá¸áĄáŹá¸ááŻáśá¸ááᯠáá°ááŽááąáŹá á áşááŻááşáážáŻááťáŹá¸ááᯠáááşááąá¸ááŹá¸ááťážááş áááŻááąáŹááşá¸ááŤáááşá
á¤áááşáážáŹ á¤ááťážááźáŽá¸ááŹá¸ááąáŹ ááąáŹááşá¸áááŻáážáŻá áĽáááŹáá áşááŻááźá áşáááşá áááşá¸áááş Grafana áĄáá˝ááşáááŹá¸áááş NodeExporter áááşáážáşááŻááşáážááźá áşáááşá ááŤááąáááˇáş ááŽáážáŹááŹáá˝áąááźá áşááąáᲠááŤááááşááŹá¸ááááşáá°á¸á ááąááťáŹááŤáááşá áĄááŽá¸áááşááźááˇáşáááşáááŻáááş ááŹá¸áááşááŤáááşá ááŤááąáááˇáş áá˝ááşá¸á áá˝ááşá¸ááááş áĄááąáĄáá˝ááşá ááŽáážáŹááźá áşááťááşááąááŹááᯠááŹá¸áááşáááŻáˇ á áąáˇááąáŹáşáážáŻááᯠááťááşááťááşá¸ááťážáąáŹáˇááťáááŻááşááŤáááşá áĄáááşááźáąáŹááˇáş áááşá¸ááᯠáááŻá áááŻá¸áážááşá¸áážááşá¸áááşá¸áĄáąáŹááş áááŻááşááááşá¸á
áĽáááŹá á¤áá˛áˇáááŻáˇá ááááşá¸áážááşááťáŹá¸áá˝ááş ááááŹáááşáážáŹá¸ááąáŹáĄááŹááťáŹá¸ áááŻáˇáááŻááş áĄá áááşáĄáááŻááşá¸ááťáŹá¸ááᯠááŽá¸ááąáŹááşá¸áááŻá¸ááźááŤá ááźáŽá¸áááş áĄááźáąááśáááşášááťáŹááŻááşááŤá ááŤá ááááŻááááşáá˛áˇ áááŻáá°ááąááźáŽá ááŤá Grafana áážáŹ áĄááŹáááşáážáŹ ááźááşááťááşáá˛áˇáĄááŹááŤá
ᤠru ááŻááşááąáŹááşááťááşáážááážááˇáşááźáŽá¸ááźá áşá VictoriaMetrics áá˝ááş áááŻááşáááŻááşáááşáážáááąááŤá áááŻáááŻáá˝ááşáá°áĄáąáŹááşááźáŻááŻááşáááŻááşááŻáśá ááŻááááĽáááŹáá áşááŻááźá áşáááşá áááŻáˇááąáŹááş CTE áá˝ááş áááşááźáąááźáŹááŹá¸ááąáŹ áááşáážáşáááşáááŻá¸ááᯠáááşááźááşáááşá¸ááŻáśááŹááźá áşáááşá
áážááşáááşáá˛áˇ ááááŻááááşá¸áááşá¸ááŹááŹá ááŹá¸ááᯠááŻáśá¸áááŻáˇ áááşááąáŹááşáĄááąá¸ááźáŽá¸áááşáááŻáᏠááźáąáŹááŹá¸ááźáŽá¸ááŹá¸ááŤá ááźáŽá¸ááąáŹáˇ ááŻáášáááŽáááŻááşá¸áážáŹáážááá˛áˇ Grafana áážáŹ ááá°ááŽáá˛áˇáĄááŹáá áşáᯠááźá áşááąáŤáşááąáᏠááźá áşáááŻááşááŤáááşá áááŻáˇáĄááźááşá áááşáááş Grafana ááᯠáááşáááąáŹáˇááşáá˛ááąá¸ááŹá¸áá°ááťáŹá¸ááᯠáááşááąáŹááşáá˝ááˇáşááąá¸áá˛ááźá áşááźáŽá¸á ááąáŹáˇááşáá˛ááąá¸ááŹá¸áá°ááťáŹá¸áááş áááşá¸áááŻáˇáááŻááşáááŻááşááŻááşááąáŹááşáááˇáşáĄááŹáá áşááŻááźá áşáááşá ááźáŽá¸ááąáŹáˇ áá°áááŻáˇáĄáŹá¸ááŻáśá¸á ááá°ááŽáá˛áˇáááşá¸áááşá¸áá˛áˇ ááŻááşááźáááşá ááŤááąáááˇáş áá°ááŽáá˛áˇ á áśáážáŻááşá¸áá áşááŻáĄááźá áş ááťážáąáŹáˇááťá áąááťááşáááşá
áááˇáşáá˝ááş á áá áşáĄááşááťááşááŽááŹááťáŹá¸áááşááážáááŤá áááˇáşáá˝ááş ááťá˝ááşá¸ááťááşáá°ááťáŹá¸á devops áááŻáˇáááŻááş SREs ááťáŹá¸áááşáážááááşáááŻááŤá ááŻáˇá á áąáŹááˇáşááźááˇáşááźááşá¸áááŻááŹááŹáá˛á Grafana áááŻááŹááᯠáááá˛áˇ ááťá˝ááşá¸ááťááşáá°áá˝áą áááˇáşáážáŹ áážáááąáŹááşá¸áážááááŻááşááŤáááşá áááŻáááŻáááşáážáŹ áááşá¸áááŻáˇáááş á¤áĄááŹáážááˇáş áážá áşááąáŤááşá¸ááťáŹá¸á á˝áŹ ááŻááşááąáŹááşáá˛áˇááźáŽá¸ áážááşáááşá á˝áŹ ááŻááşááąáŹááşááááşááᯠáĄáááĄááť áááážááááŻááşááŤáááşá áá°áááŻáˇá áĄááźáááş 100 ááąá¸ááźáŽá¸ áá°áááŻááşá¸ááᯠáážááşá¸ááźáá˛áˇááąáááˇáş áĄááźáąáŹááşá¸áá áşááŻááŻááźáąáŹááˇáş áááşáá°ááž ááŹá¸áááąáŹááşáá˛áˇááźááŤáá°á¸á
áĄááźáŹá¸áĄááŻáśá¸ááźáŻáá°ááťáŹá¸áááş ááŻááşááąáŹááşááťááşááťáŹá¸ááᯠááźááşáááşáĄááŻáśá¸ááźáŻáááŻááşá áąáááş á¤áĄáááááŹááᯠGrafana áá˝ááş áááŻááşáááŻááşáááˇáşáá˝ááşá¸áááŻááşááťážááşááąáŹá áĄááá˛áˇáááşáááŻááŽááŹáááŻááşáážáŻááşá¸ááᯠáá˝ááşááťááşáááş áááŻáĄááşááŤáá áááşá¸áááŻáˇáááş ááŻááşááąáŹááşááťááşááᯠáááŻá¸áážááşá¸á á˝áŹ áĄááŻáśá¸ááźáŻáááŻááşáááşááźá áşáááşá ááŤááąáááˇáş áááŻáˇááŻááşááŻááşááŻááşáá°áá˝áąáᏠáá°áááŻáˇáá˛áˇááŻááşááŻááşáá˝áąáá˛áˇáĄáá° ááŻááşááąáŹááşááťááşáĄá áŻáśá áá°áááŻáˇáá˛áˇ áááşááá áşáá˝áąááᯠáááşáááŻááŻááşááąáŹááşáááá˛áááŻáᏠáĄáááĄááťáááá˛áˇáĄáá˝ááşááźáąáŹááˇáş áááŻáˇááŻááşááŻááşááŻááşáá°áá˝áąáᏠáá°áááŻáˇáá˛áˇ ááŻááşááŻááşáá˝áąáá˛áˇáĄáá° ááŻááşááąáŹááşááťááşáĄá áŻáśááᯠááśáˇáááŻá¸ááąá¸áááşáááŻáááşááąáŹá
á¤áĄááŹáááş áĄáážááşááááşááážáááŤá ááŤá ááŤáááŻááşáááŻááşááŻááşáá˛áˇááŹá áááşá¸áááş Grafana áážá á áŹááźááˇáşáááŻááşááśáˇáááŻá¸áážáŻááźá áşáááşá NodeExporter ááŻááşáá˛áˇáá°áá˝áąá ááŤááąáŹáşááźááŹá¸áá˛áˇáĄáááŻááşá¸ ááŻááşáá˛áˇáááşáááŻááźááŤá ááŻáˇá áĄááşášááŤáááşáĄá áŻáśáááŻáááşá¸ ááąá¸ááŹá¸áááşá
áááŻáááŻáááşáážáŹá áááşá¸áááşá¤áá˛áˇáááŻáˇááąáŹááŻáśááááşá áááşáááş á¤á áŹááźááˇáşáááŻááşááᯠGrafana áážááˇáş ááťáááşáááşááźáŽá¸ áááşá¸ááźááşááźááşá¸áááŻáˇ ááąáŹááşáá˝áŹá¸áááşá á¤áá˝ááş JSON áá˝ááş á¤áááşááá áşááźááˇáş ááŻááşááąáŹááşááŻáśáážáŹ áĄáá˝ááşáááŻá¸áážááşá¸ááŤáááşá áááŻáááŻáááşáážáŹá áĄááťááŻáˇááąáŹááŻááşááąáŹááşááťááşááťáŹá¸á áááşá¸áááŻáˇáááąáŹáşááźááťááşááťáŹá¸áážááˇáşáááşá¸áááŻáˇááŤáááşááąáŹáĄááŹááťáŹá¸á
ááŤáˇáĄááźááşáĄáá áĄá˛ááŤá áĄááŻáśá¸áááşáááŻááşáááşá ááŹááźá áşáááŻáˇáá˛áááŻááąáŹáˇ áááşá¸ Grafana áááŻááťááŻá¸áᲠááąá¸ááááˇáşáááşá Grafana á ááŽáááŻááťááŻá¸ á áŹááźááˇáşáááŻááşáá áşááŻáááą ááŽáááŻááŻááşááąáŹááşááťááşáá˝áąáážááááşáááŻáᏠáááşá¸áááŻááźáąáŹáááş - áĄá˛ááŤáááŻááŻáśá¸ááźááˇáşááĄáąáŹááşá áĄáááşá¸áááŻááşáááşáááŻáˇ áááşááŤáááşá
VictoriaMetrics áĄááźáąáŹááşá¸áĄáááşá¸áááşá á áááşáááşá áŹá¸á ááŹáá˝áą áĄááťáŹá¸ááźáŽá¸ááŻááşáááşá ááťáŻáśáˇááźááşá¸áĄááźáąáŹááşá¸á ááťá˝ááşáŻááşáááŻáˇá ááąáŹááşá¸ááŤá¸ááťáŹá¸ááᯠáĄááźáŹá¸áĄááťáááşá áŽá¸ááŽá¸ááąááŹáĄááşááşááťáŹá¸áážááˇáş ááźááŻááşáááŻááşáážáŻáĄááźáąáŹááşá¸á PromQL áážááˇáş áááşáááŻáˇááŻááşááąáŹááşááááşááᯠááťá˝ááşáŻááşáááŻáˇá áážááşá¸áááşá¸ááťááşá á¤áá˝ááş á áááşáá°áĄááťáŹá¸áĄááźáŹá¸áážááááˇáşáĄááźááş ááąáŤááşáááŻááşáĄáááŻááşá¸áĄááŹáážááˇáş Thanos áážááˇáş ááááşáááŻááşáá˝áąáˇáážáŻááťáŹá¸áĄááźáąáŹááşá¸ ááťá˝ááşáŻááşáááŻáˇá áážááşá¸áááşá¸ááťááşáááŻáˇááᯠáááşáážáŻááŤá
ááąá¸áá˝ááşá¸ááťáŹá¸áááŻ:
áááŻá¸áážááşá¸ááąáŹ ááááŹááşááźáąáŹááşá¸ááźááˇáş ááąá¸áá˝ááşá¸ááŻááşááŤáááşá Grafana ááᯠá á ááŻáśá¸ááŻááşá¸á áĄáá˝ááşáá˝á˛ááąáŹááşáážáŻáážááá˛áˇ á áŹááźáąáŹááşá¸ á ááźáąáŹááşá¸ááᯠááąá¸áá˛áˇááŤáááşá ááąáŹááşááŻáśá¸ááááşáááş áĄáá˝ááşááŻáśááźááşá áááşááťáááąáŹ áááŹá¸áá áşááŻááźá áşáááşá á¤ááááşáá áşáááş ááŻááşááŻááşáážáŻáá˝ááş ááŤáááşááŻááŽá¸ááŤá¸ááźá áşáááşá áááŻáˇááąáŹáş áááŻáááŻááŽá¸áááşá á˝áŹ á á áşááąá¸ááźáŽá¸ááąáŹááşá ááááşá¸áááŹááşá¸ááťáŹá¸áááş ááťá˝ááşáŻááşáááŻáˇááťážáąáŹáşáááˇáşááŹá¸áááˇáşáĄáááŻááşá¸áĄááŹáááŻáˇ ááťáááşá¸áá˝áŹá¸ááąáŹáşáááşá¸ ááááşá¸áááŹááşá¸ááťáŹá¸áážááˇáş ááŻáśá¸áááááşáááŻááşáááˇáş áááááĄáááášááŹááşááᯠá¤áááŹá¸áá˝ááşááźáááźáąáŹááşá¸ áá˝ááşááąáŤáşááŹáá˛áˇáááşá ááŤáˇááąá¸áá˝ááşá¸á ááťá˝ááşááąáŹáşáááŻáˇáážáŹ á áŹááźááˇáşáááŻááşáá˝áąáážááááşá ááŻááşááąáŹááşááťááşáá˝áąáážááááşá ááŤááąáááˇáş Grafana áĄáá˝ááş á áŹááąá¸áá˝á˛áá˝áąááᯠáááşáááŻááąá¸áááá˛á ááŻááşáááşá¸ááŻáśá¸ááźááşááťááşáĄááąáŤáş áááşááąáŹááşáážáŻáážáááąáŹ áážáŻááşáá˝áąá¸ááąáŹááąá¸áá˝ááşá¸áá áşááŻááᯠáááşááąá¸ááŹá¸áá˛áˇáááş - ááŹááŹááťáŹá¸á ááááˇáşáá˝ááşááááşááŹááᯠáážáŹáá°áááş áááŻáˇáááŻááş ááážáŹáá°áááşá ááťá˝ááşáŻááşáááŻáˇáááááˇáşáĄáááŻááşá¸á ááááşáá áşááŻáá˝á˛áááˇáş á¤ááŻááşááąáŹááşááťááşáááş áĄáážááşáááŹá¸áážááˇáş áááşáá°áááşá ááťáąá¸áá°á¸áááşááŤáááşá
ááąá¸áá˝ááşá¸áĄáá˝ááşááťáąá¸áá°á¸áááşááŤáááşá ááŽáážáŹ áážá áşáááŻááşá¸áážááááşá áŚá¸á á˝áŹá áĄááŻáśá¸ááźáŻáá°áĄááťáŹá¸á áŻáááş áááşá¸áááŻáˇááááŹá¸ááťáŹá¸áááŻááźááˇáşááąáŹáĄá፠áááşá¸áááŻáˇáááŻááźáááąáááşááᯠááŹá¸ááááşááźáąáŹááşá¸ ááťá˝ááşáŻááşááĄáá˝áąáˇáĄááźáŻáśááąáŤáşáĄááźáąááśá ááááŚá¸á á˝áŹ ááťá˝ááşáŻááşáááş á áááşá á˝á˛áááşá¸áážáŻááᯠááážáááŤáááşá áá áşáááşá¸áá áşááŻáśáĄáŹá¸ááźááˇáşá áááşá¸áááş function áá áşááŻáĄáá˝ááşá¸á bug ááźá áşááąááąáŹáşáááşá¸á áá°ááťáŹá¸áááş áááŹá¸ááťáŹá¸áá˝ááş ááźá áşááťááşááąáááˇáş áá˝á˛áá˝á˛áážáŻááťáŹá¸áĄáá˝ááş áĄááźáąáŹááşá¸ááźááťááşáá áşááŻááááş áĄáá˝ááşááąáŹááşá¸ááŤáááşá ááŻááááĄáááŻááşá¸ - áááŻáááŻáˇááąáŹááŻááşááąáŹááşááťááşááťáŹá¸áááŻáĄááŻáśá¸ááźáŻááźááşá¸áááş áááˇáş developer áááŻááşá¸áááş áááşá¸áááŻáˇááááŻááşáááŻááşá á˝ááşá¸áááşáááŻá áŽá ááşááźáŽá¸ ááźá áşáááŻááşááźáąáĄááťááŻáˇáážáá áĄáážáŹá¸ááťáŹá¸ááŻááşáááˇáşáĄá áŹá¸ áááˇáşááźáżááŹáááŻááźáąáážááşá¸áááş áááŻáááŻáááˇáşááťáąáŹáşáááşáᯠáá°áááŤáááşá
áááşáááŻáˇá á áşááąá¸?
áááşáááŻá á áşááąá¸ááá˛á áááźá áşáááŻááşáá°á¸á
Grafana áá˝ááşá ááşá¸áááşáážáŻáá áşááŻáĄááąááźááˇáşá
Grafana ááąáŹá Grafana áááş á¤ááąáŹááşá¸áááŻááťááşááᯠDataSource áááŻáˇ áááŻááşáááŻááşááŹááŹááźááşáááşá
áááˇáşáááşááťááşááťáŹá¸áááŻáˇáĄáááşá¸áááşáááˇáşááźááşá¸ááźááˇáşá
áááŻááşáá°á¸á Grafana áážáŹ ááŹáážáááşáááˇáşáááŹá¸áá°á¸á áĄáááˇáşáá˛áˇáááŻáˇááąáŹ GET áááˇáşáááşááťááşááťáŹá¸ áážááááŻááşáááşá áááşá¸ááᯠáĄáááĄáááşá¸ ááááşáážááşááŹá¸ááąáŹáşáááşá¸ áááşá¸ááᯠáááş override ááŻááşáááŻááşááźáŽá¸á áááşáááş áááşá¸ááᯠáááşáááąá¸áááŻááşááąáŹáşáááşá¸ áááşá¸ááᯠáĄáááŻáĄááťáąáŹááş ááąáŤááşá¸áááˇáşáááşááźá áşáááşá áááşá¸ ááŽáážáŹ á áŹááąá¸áá˝á˛áá˝áą áááąá¸áá°á¸á á¤ááąááŹá áĄáážááşáááŹá¸ááĄáááşá¸áĄááźá áşáĄááźá áş Grafana áĄáŹá¸áááŻá¸áááˇáşáááşáᯠááťá˝ááşáŻááşááááşááŤá
áĄá áŽáááşááśá áŹáĄáá˝ááş ááťáąá¸áá°á¸áááşááŤáááşá ááťáŻáśáˇááźááşá¸áĄáá˝ááş ááťáąá¸áá°á¸áááşááŤáááşá Grafana áá˝ááş áááşáááş ááááşá¸áážááşáá áşááŻááᯠááááşá¸áážááşáá áşááŻáá˝ááş áĄááŻáśá¸áááźáŻáááŻááşáᯠááááşáá áşááŻáá˝ááş ááááşá¸áážááşáá áşááŻááᯠááŻáśááąáŹáşááźááşá¸áĄááźáąáŹááşá¸ áááşááááááááŤáááşá ááŤáááŻáááŻááŹááᯠáááşá¸ááŹá¸áááşááŹá¸á
ááŻááşááŤáááşá
Grafana áážáŹáááááąá¸ááťááşááŹá áĄá áááŻááşá¸áážáŹááąáŹáˇ ááąáŤááşá¸áááŻááşáááşá ááźáŽá¸ááąáŹáˇ áĄá˛ááŽáˇáážáŹ host áá áşááŻá áŽáĄáá˝ááş ááŽá¸ááźáŹá¸áááááąá¸áááŻáˇáááŻááŤáááşá áááşááŻááşáá˛áˇááąáŹ á¤áĄááŹáááş Grafana áážá áááááąá¸ááťááşááťáŹá¸áĄáá˝ááş áĄááŻááşááźá áşááŤáááŹá¸á
Grafana áááş áĄááźáŹá¸áááşá¸ááźááˇáş ááááşá¸áážááşááťáŹá¸ááᯠááááşááąáŹááşáááŻááşááŤáá áááşá¸áááş áĄááŻááşááźá áşááááˇáşáááşá ááŤááąáááˇáş ááťá˝ááşááąáŹáˇáşáá˛áˇ áĄááźáśááąá¸ááťááşáááąáŹáˇ Grafana áážáŹ áááááąá¸ááťááşáá˝áąááᯠááŻáśá¸ááĄááŻáśá¸áááźáŻáᲠalertmanager áááŻááŻáśá¸áᏠáááŻááąáŹááşá¸ááŤáááşá
ááŻááşáááşá ááŤááŻáśá¸áááşá ááŤááąáááˇáş Grafana áážáŹ á áá˝ááˇáşááᏠáááŻáá˝ááşááááŻáá˛á ááŤááąáááˇáş áĄááźáśááźáŻááťááşáĄáá˝ááş ááťáąá¸áá°á¸áááşááŤáááşá
source: www.habr.com