🥇Мониторинг на Flask микросервизи с Prometheus

Няколко реда код и вашето приложение генерира метрики, уау!

За да разберете как работи prometheus_flask_exporter е достатъчен минимален пример:

from flask import Flask
from prometheus_flask_exporter import PrometheusMetrics

app = Flask(__name__)
metrics = PrometheusMetrics(app)

@app.route('/')
def main():
    return 'OK'

Това е всичко, което е необходимо, за да започнете! Добавяйки импорт и ред за инициализация PrometheusMetrics, ще получите метрики за времето на заявките и броячите на заявките, показвани на крайна точка /metrics на Flask приложението, в което е регистрирано, както и всичките метрики по подразбиране, които получавате от основната клиентска библиотека на Prometheus.

Можете да намерите лесен за използване пример в GitHub репозитория, който стартира инстанция Prometheus и Grafana вместо с демонстрационно приложение за генериране на метрики, които ще изглеждат приблизително така:

Също така ще намерите списък с метрики в README примера, които се показват на контролния панел, заедно с Prometheus заявки, които запълват таблата.

Настройка

В библиотеката има множество опции за конфигурация, разгледайте README проектите им примери с кратко обяснение.

Основната конфигурация е показана вгоре. Просто създайте инстанция PrometheusMetrics, да я наречем metrics, а след това с нейна помощ определете допълнителни метрики, които искате да събирате, декорирайки функции:

@metrics.counter(..)
@metrics.gauge(..)
@metrics.summary(..)
@metrics.histogram(..)

Броячите считат повикванията, а останалите събират метрики в зависимост от продължителността на тези повиквания. Можете да определите етикети за всяка от тях, потенциално използвайки свойства на заявката или отговора. Например:

from flask import Flask, request
from prometheus_flask_exporter import PrometheusMetrics

app = Flask(__name__)

# Групиране по крайна точка, а не по път
metrics = PrometheusMetrics(app, group_by='endpoint')

@app.route('/collection/:collection_id/item/:item_id')
@metrics.counter(
    'cnt_collection', 'Брой повиквания на колекция', labels={
        'collection': lambda: request.view_args['collection_id'],
        'status': lambda resp: resp.status_code
    })
def get_item_from_collection(collection_id, item_id):
    pass

В горния пример натискането на крайна точка /collection/10002/item/76 ще увеличи брояча, например cnt_collection{collection = «10002», status = «200»}, плюс ще получите метрики по подразбиране (за всяка крайна точка в този пример) от библиотеката по подразбиране:

flask_http_request_duration_seconds — Продължителността на HTTP заявката в секунди за всички Flask заявки по метод, път и статус
flask_http_request_total — Общо броя на HTTP заявките по методи и статусти

Има опции да пропуснете проследяването на определени крайни точки, да регистрирате допълнителни метрики по подразбиране или да пропуснете тези, които са посочени по-горе, или да приложите една и съща персонализирана метрика към няколко крайни точки. Запознайте се с README проекта, за да разберете какво е налично.

app = Flask(__name__)
metrics = PrometheusMetrics(app)

@app.route('')
def main():
    pass  # requests tracked by default

@app.route('/skip')
@metrics.do_not_track()
def skip():
    pass  # default metrics are not collected

# custom metric to be applied to multiple endpoints
common_counter = metrics.counter(
    'by_endpoint_counter', 'Request count by endpoints',
    labels={'endpoint': lambda: request.endpoint}
)

@app.route('/common/one')
@common_counter
def endpoint_one():
    pass  # tracked by the custom and the default metrics

@app.route('/common/two')
@common_counter
def endpoint_two():
    pass  # also tracked by the custom and the default metrics

# register additional default metrics
metrics.register_default(
    metrics.counter(
        'by_path_counter', 'Request count by request paths',
        labels={'path': lambda: request.path}
    )
)

Библиотеката разполага с удобни разширения за популярни многопроцесорни библиотеки, като uWSGI и Gunicorn. Можете също да намерите малки примери на целеви случаи на употреба, включително многопроцесорни.

Събиране на метрики

Както беше споменато по-горе, библиотеката по подразбиране предоставя крайна точка /metrics в приложението Flask, която може да служи като цел за събирача Prometheus.

В примера по-горе с таблото, можете да насочите вашия Prometheus към приложението Flask с настройки по подразбиране с тази конфигурация:

scrape_configs:
  - job_name: 'example'

    dns_sd_configs:
      - names: ['app']
        port: 5000
        type: A
        refresh_interval: 5s

Вижте пълен пример в репозитория GitHub. Това предполага, че Prometheus може да намери вашите инстанции на приложението Flask на http://app:5000/metrics, където името на домейна на приложението може потенциално да се разрешава на няколко IP адреса, например, когато работи в Kubernetes или Но означава ли това, че можете да използвате същия docker-compose файл в.

Ако такова разкритие на крайна точка на метрики не ви устроива, вероятно защото не искате да разрешите външен достъп до нея, можете лесно да я деактивирате, предавайки path=None при създаването на инстанцията PrometheusMetrics.

from flask import Flask, request
from prometheus_flask_exporter import PrometheusMetrics

app = Flask(__name__)
metrics = PrometheusMetrics(app, path=None)

...

metrics.start_http_server(5099)

След това можете да използвате start_http_server(port), за да отворите тази крайна точка на друг HTTP порт, 5099 в примера по-горе. Алтернативно, ако сте съгласни, че крайна точка остава в същото приложение Flask, но трябва да промените пътя й от /metrics, можете да предадете друг URI като параметър на пътя, или да използвате register_endpoint(..), за да го зададете по-късно.

Връзки

rycus86/prometheus_flask_exporter — Този експортер е за Prometheus
prometheus-flask-exporter README — Използване, примери и параметри за конфигурация
prometheus-flask-exporter примери — Примери за настройка на мониторинг на приложения Flask по различни начини
prometheus-flask-exporter в PyPI — Този проект е в PyPI
prometheus/client_python — Официалната клиентска библиотека на Prometheus за Python