PHP 스크립트의 실시간 통계 및 모니터링. ClickHouse와 Grafana가 Pinba의 도움을 받았습니다.

이 기사에서는 pinba_engine 및 pinboard 대신 clickhouse 및 grafana와 함께 pinba를 사용하는 방법을 설명합니다.

PHP 프로젝트에서 pinba는 아마도 성능에 어떤 일이 일어나고 있는지 이해할 수 있는 유일하고 신뢰할 수 있는 방법일 것입니다. 사실, pinba는 일반적으로 문제가 이미 관찰되고 "파악할 위치"가 명확하지 않은 경우에만 구현됩니다.

종종 이 스크립트나 저 스크립트가 초당 몇 번이나 호출되는지 아무도 모르고 더 논리적으로 보이는 곳부터 시작하여 "터치하여" 최적화하기 시작합니다.

일부는 nginx 로그를 분석하고 다른 일부는 느린 데이터베이스 쿼리를 분석합니다.

물론 pinba가 불필요한 것은 아니지만 모든 프로젝트에 pinba가 없는 데에는 몇 가지 이유가 있습니다.

그리고 첫 번째 이유는 설치입니다.

Pinba 구현에서 일종의 "소진"을 얻으려면 마지막 몇 분뿐만 아니라 장기간(며칠에서 몇 달까지)에 대한 측정 항목을 확인하는 것이 매우 바람직합니다.

이를 위해서는 다음이 필요합니다.

• PHP용 확장 설치(nginx용 모듈이 필요할 수도 있음)
• mysql용 컴파일 확장
• 핀보드 설치 및 cron 구성

Pinba에 대한 정보의 양이 적기 때문에 많은 사람들은 Pinba가 PHP5에서만 작동하고 오래전부터 있었던 일이라는 인상을 받았습니다. 그러나 나중에 살펴보겠지만 사실은 그렇지 않습니다.

첫 번째 단계는 가장 간단하며, 다음 명령을 실행하기만 하면 됩니다.

apt install php-pinba

이 확장은 PHP 7.3까지의 저장소에서 사용할 수 있으며 아무것도 컴파일할 필요가 없습니다.

설치 명령을 실행한 후 각 스크립트에 대한 메트릭(실행 시간, 메모리 등)을 다음 형식으로 수집하고 보내는 작업 확장을 즉시 받습니다. 프로토 버프 UDP를 통해 127.0.0.1:30002로.

지금까지 아무도 이러한 UDP 패킷을 포착하거나 처리하지 않았지만 이는 어떤 식으로든 PHP 스크립트의 속도나 안정성에 부정적인 영향을 미치지 않습니다.

최근까지 이러한 UDP 패킷을 포착하고 처리할 수 있는 유일한 애플리케이션은 pinba_engine. 설명 "간단하고 간결하다" 설치는 다시 읽고 싶은 욕구를 억제합니다. 킬로미터 길이의 종속성 목록에는 패키지 이름과 프로그램 이름, 설치가 포함된 개별 페이지에 대한 링크가 모두 포함되어 있으며 다른 종속성에 대한 자체 링크도 있습니다. 누구도 이 쓰레기를 다룰 시간이나 욕구가 없습니다.

설치 과정 핀바2 하지 않았다 특히 더 쉬워요.

아마도 언젠가는 하나 또는 두 개의 명령으로 pinba10을 설치하고 설치 방법을 이해하기 위해 많은 자료를 읽을 필요가 없을 수도 있지만 지금은 그렇지 않습니다.

pinba_engine을 설치했다면 이것은 전투의 절반에 불과합니다. 결국, 없이는 핀 보드 지난 몇 분 동안의 데이터로 제한하거나 데이터를 직접 집계, 저장 및 시각화해야 합니다. 핀보드는 사용법이 꽤 간단해서 좋네요 설치.

PHP의 모든 메트릭이 이미 protobuf 형식으로 udp 포트로 전송되었고 필요한 것은 이를 잡아서 일종의 저장소에 저장할 애플리케이션을 작성하는 것뿐이라면 왜 그렇게 고통받는 것 같습니까? 분명히 이 아이디어를 생각해낸 개발자들은 즉시 자리에 앉아 자신의 아이디어를 작성했으며 그 중 일부는 GitHub에 게시되었습니다.

다음은 메트릭을 스토리지에 저장하는 XNUMX개의 오픈 소스 프로젝트에 대한 개요입니다. 예를 들어 grafana를 사용하여 이 데이터를 쉽게 검색하고 시각화할 수 있습니다.

olegfedoseev/pinba-서버 (2017년 XNUMX월)

OpenTSDB에 메트릭을 저장하는 UDP 서버가 진행 중입니다. 아마도 프로젝트에서 이미 OpenTSDB를 사용하고 있다면 이 솔루션이 적합할 것입니다. 그렇지 않으면 그냥 지나치는 것이 좋습니다.

olegfedoseev/pinba-influxdb (2018년 XNUMX월)

같은 곳에서 UDP 서버가 진행 중입니다. 하브라우저, 이번에는 InfluxDB에 메트릭을 저장합니다. 많은 프로젝트에서 이미 InfluxDB를 모니터링에 사용하고 있으므로 이 솔루션이 적합할 수 있습니다.

장점 :

• 인플럭스DB 그것은 수 있습니다 수신된 측정항목을 집계하고 지정된 시간이 지나면 원본을 삭제합니다.

단점 :

• 이 솔루션은 타이머에 대한 정보를 저장하지 않습니다.
• InfluxDB는 사이트 페이지 주소를 태그로 저장하며 고유한 페이지 주소가 많으면 다음과 같은 결과가 발생합니다. 소비 증가 랜덤 액세스 메모리. 어느 순간부터 그는 "미친 듯이 기억을 먹어치울 거야". (출처)

클릭하우스-닌자/프로톤 (2019년 XNUMX월)

ClickHouse에 측정항목을 저장하는 UDP 서버가 작동 중입니다. 이것이 내 친구의 해결책입니다. 핀부와 클릭하우스를 맡아야 할 때라고 판단한 것은 그것에 대해 알게 된 이후였습니다.

장점 :

• Clickhouse는 이러한 작업에 이상적입니다. 데이터를 너무 많이 압축하여 집계 없이도 모든 원시 데이터를 저장할 수 있습니다.
• 필요한 경우 결과 측정항목을 쉽게 집계할 수 있습니다.
• Grafana용 기성 템플릿
• 타이머에 대한 정보를 저장합니다

단점 :

• 치명적 결함
• 데이터베이스와 테이블의 이름, 서버의 주소와 포트를 구성할 수 있는 구성이 없습니다.
• 원시 데이터를 저장할 때 보조 사전 테이블을 사용하여 페이지 및 도메인 주소를 저장하므로 후속 쿼리가 복잡해집니다.
• 첫 번째 빼기 이후에 나오는 다른 작은 것들

핀바 서버/핀바 서버 (2019년 XNUMX월)

ClickHouse에 측정항목을 저장하는 PHP의 UDP 서버입니다. 이것이 pinba, ClickHouse 및 protobuf를 알게 된 결과인 나의 솔루션입니다. 이 모든 것을 정리하는 동안 "개념 증명"을 작성했는데, 뜻밖에도 리소스(RAM 30MB, 프로세서 코어 1개 중 XNUMX% 미만)를 소비하지 않았습니다. 대중과 공유하기로 결정했습니다.

장점은 이전 솔루션과 동일하며 원래 pinba_engine의 일반적인 이름도 사용했습니다. 또한 여러 테이블에 메트릭을 저장하기 위해 여러 pinbase 서버 인스턴스를 한 번에 시작할 수 있는 구성을 추가했습니다. 이는 PHP뿐만 아니라 nginx에서도 데이터를 수집하려는 경우에 유용합니다.
단점 - "치명적인 결함"과 개인적으로 적합하지 않은 작은 것들. 그러나 내 솔루션은 "슬리퍼처럼 간단"하고 약 100줄의 코드로만 구성되므로 PHP 개발자는 마음에 들지 않는 것을 변경할 수 있습니다. 몇 분 안에.

운영 원칙

UDP 포트 30002가 수신됩니다. 들어오는 모든 패킷은 protobuf 체계에 따라 디코딩되고 집계됩니다. XNUMX분에 한 번씩 패킷이 pinba.requests 테이블의 clickhouse에 삽입됩니다. (모든 매개변수는 구성)

클릭하우스에 대해 조금

Clickhouse는 다양한 데이터 저장 엔진을 지원합니다. 가장 일반적으로 사용되는 것은 MergeTree입니다.

특정 시점에 집계된 데이터를 항상 저장하고 마지막 데이터에 대한 원시 데이터만 저장하기로 결정한 경우 그룹화를 사용하여 구체화된 뷰를 생성하고 기본 pinba.requests 테이블을 주기적으로 정리할 수 있습니다. 반면 모든 데이터는 유지됩니다. 구체화된 견해. 또한 pinba.requests 테이블을 생성할 때 "engine = Null"을 지정할 수 있습니다. 그러면 원시 데이터가 디스크에 전혀 저장되지 않고 동시에 구체화된 뷰에 남아 집계된 상태로 저장됩니다. . 나는 nginx 메트릭에 이 체계를 사용합니다. 왜냐하면 nginx에서는 PHP보다 50배 더 ​​많은 요청이 있기 때문입니다.

그래서 당신은 먼 길을 왔고 나는 당신을 중간에두고 싶지 않습니다. 따라서 다음은 내 솔루션의 설치 및 구성과 필요한 모든 것, 그리고 두 대 이상의 선박을 야기한 함정에 대한 자세한 설명입니다. 충돌하다. 전체 설치 프로세스는 Ubuntu 18.04 LTS 및 Centos 7에 대해 설명되어 있으며 다른 배포판 및 버전에서는 프로세스가 약간 다를 수 있습니다.

설치

필요한 모든 명령을 넣었습니다. 도커 파일 지시사항의 재현성을 용이하게 합니다. 아래에서는 함정에 대해서만 설명합니다.

PHP-핀바

설치 후 /etc/php/7.2/fpm/conf.d/20-pinba.ini 파일에서 모든 옵션의 주석 처리를 제거했는지 확인하십시오. 일부 배포판(예: centos)에서는 주석 처리가 되어 있을 수 있습니다.

extension=pinba.so
pinba.enabled=1
pinba.server=127.0.0.1:30002

클릭하우스

설치하는 동안 Clickhouse는 기본 사용자의 비밀번호를 설정하라는 메시지를 표시합니다. 기본적으로 이 사용자는 모든 IP에서 액세스할 수 있으므로 서버에 방화벽이 없는 경우 비밀번호를 설정해야 합니다. 이 작업은 설치 후에 /etc/clickhouse-server/users.xml 파일에서 수행할 수도 있습니다.

clickhouse가 9000을 포함한 여러 포트를 사용한다는 점도 주목할 가치가 있습니다. 이 포트는 일부 배포판(예: centos)에서 php-fpm에도 사용됩니다. 이미 이 포트를 사용하고 있는 경우 /etc/clickhouse-server/config.xml 파일에서 다른 포트로 변경할 수 있습니다.

clickhouse 플러그인이 있는 grafana

Grafana 설치 후 로그인 admin과 비밀번호 admin을 사용하세요. 처음 로그인하면 Grafana에서 새 비밀번호를 설정하라는 메시지를 표시합니다.

다음으로 "+" -> 가져오기 메뉴로 이동하여 가져올 대시보드 번호를 지정합니다. 10011. 다시는 직접 하지 않으시라고 이 대시보드를 준비해서 업로드했습니다.

Grafana는 타사 플러그인을 통해 clickhouse 작업을 지원하지만 Grafana에는 타사 플러그인에 대한 경고가 없습니다(몇 년 동안 이에 대한 티켓이 있었습니다).

핀바 서버

protobuf 및 libevent 설치는 선택 사항이지만 pinba-server 성능이 향상됩니다. /opt가 아닌 다른 폴더에 pinba-server를 설치하는 경우에도 수정해야 합니다. 시스템 스크립트 파일.

nginx용 pinba 모듈

모듈을 컴파일하려면 서버에 이미 설치된 것과 동일한 nginx 버전의 소스 코드와 동일한 컴파일 옵션이 필요합니다. 그렇지 않으면 빌드는 성공하지만 모듈을 연결할 때 다음과 같은 오류가 발생합니다. "모듈이 바이너리와 호환되지 않습니다." nginx -V 명령을 사용하여 컴파일 옵션을 볼 수 있습니다.

생활 꿀팁

내 모든 사이트는 https에서만 작동합니다. 스키마 필드는 의미가 없어져서 웹/콘솔을 구분하는데 사용합니다.

웹에서 액세스할 수 있는 스크립트에서는 다음을 사용합니다.

if (ini_get('pinba.enabled')) {
    pinba_schema_set('web');
}

콘솔 스크립트(예: cron 스크립트)에서는 다음을 수행합니다.

if (ini_get('pinba.enabled')) {
    pinba_schema_set('console');
}

Grafana의 대시보드에는 통계를 별도로 볼 수 있는 웹/콘솔 스위치가 있습니다.

예를 들어, Pinba에 태그를 보낼 수도 있습니다.

pinba_tag_set('country', $countryCode);

그게 다야.

기사 아래 설문조사에 응답해 주세요.

평소와 마찬가지로 Habr 및 소셜 네트워크의 개인 메시지를 통해 조언하거나 도움을 주지 않음을 경고합니다.

Github에서 티켓을 생성하세요.

좋아요로도 응원해주세요 영문판 이 기사 레딧에서.

등록된 사용자만 설문 조사에 참여할 수 있습니다. 로그인제발

서버에서 어떤 OS를 사용하고 있나요?

• Ubuntu

• CentOS에

• 데비안

• 젠투

• 레드햇

• 페도라

• 오픈 수세

• 수세

• 유닉스

• Windows

• 다른

114명의 사용자가 투표했습니다. 11명의 사용자가 기권했습니다.

서버에서 어떤 버전의 PHP를 사용하고 있습니까?

• 7.3

• 7.2

• 7.1

• 7.0

• 5

• 다른

105명의 사용자가 투표했습니다. 17명의 사용자가 기권했습니다.

핀바를 사용해 본 적이 있나요?

• 예

• 아니, 하지만 난 그러고 싶어

• 아니 그리고 난 그러고 싶지 않아

• 아니 그리고 그녀에 대해 들어본 적도 없어

100명의 사용자가 투표했습니다. 14명의 사용자가 기권했습니다.

어떤 버전의 Pinba 서버를 사용하시겠습니까?

• pinba_engine (mysql 엔진)

• pinba2 (mysql 엔진)

• 핀보드(php + mysql)

• olegfedoseev/pinba-서버(go + OpenTSDB)

• olegfedoseev/pinba-influxdb (go + influxdb)

• pinba-서버/pinba-서버 (go + clickhouse)

• pinba-서버/pinba-서버 (php + 클릭하우스)

• 내꺼는 내가 직접 쓸게

• 다른

39명의 사용자가 투표했습니다. 47명의 사용자가 기권했습니다.

출처 : habr.com