Kibana에서 로그 모니터링을 위한 대시보드 생성

안녕하세요, 제 이름은 시티모빌 B2B 팀장 유진입니다. 우리 팀의 업무 중 하나는 파트너로부터 택시를 주문하기 위한 통합을 지원하는 것이며 안정적인 서비스를 보장하기 위해 우리는 마이크로 서비스에서 무슨 일이 일어나고 있는지 항상 이해해야 합니다. 이를 위해서는 로그를 지속적으로 모니터링해야 합니다.

Citymobil에서는 ELK 스택(ElasticSearch, Logstash, Kibana)을 사용하여 로그 작업을 하고 거기에 들어오는 데이터의 양이 엄청납니다. 새 코드를 배포한 후에 나타날 수 있는 이러한 대량의 요청에서 문제를 찾는 것은 매우 어렵습니다. 시각적 식별을 위해 Kibana에는 대시보드 섹션이 있습니다.

Habré에는 데이터를 수신하고 저장하기 위해 ELK 스택을 설정하는 방법에 대한 예제가 포함된 기사가 꽤 있지만 Dashboard 생성에 대한 관련 자료는 없습니다. 따라서 Kibana에서 들어오는 로그를 기반으로 데이터의 시각적 표현을 생성하는 방법을 보여주고 싶습니다.

조정

명확하게 하기 위해 ELK와 Filebeat로 Docker 이미지를 만들었습니다. 그리고 작은 용기에 담아 программу Go에서 테스트 로그를 생성합니다. ELK의 구성에 대해서는 자세히 설명하지 않겠습니다. Habré에 대한 글이 충분히 있습니다.

구성 저장소 복제 docker-compose 및 ELK 설정, 명령으로 실행 docker-compose up. 의도적으로 키를 추가하지 않음 -dELK 스택의 진행 상황을 확인합니다.

git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up

모든 것이 올바르게 구성되면 로그에 항목이 표시됩니다(아마도 즉시는 아닐 수 있으며 전체 스택이 있는 컨테이너를 시작하는 프로세스는 몇 분 정도 걸릴 수 있음).

{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}

주소 : localhost:5061 Kibana가 열릴 것입니다.

우리가 구성해야 할 유일한 것은 표시할 데이터에 대한 정보를 사용하여 Kibana에 대한 인덱스 패턴을 생성하는 것입니다. 이를 위해 curl 요청을 실행하거나 그래픽 인터페이스에서 일련의 작업을 수행합니다.

$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
    -H 'Content-Type: application/json'
    -H 'kbn-xsrf: true'
    -d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'

GUI를 통해 인덱스 패턴 생성
구성하려면 왼쪽 메뉴에서 검색 섹션을 선택하고 인덱스 패턴 생성 페이지로 이동합니다.

"인덱스 패턴 만들기" 버튼을 클릭하면 인덱스 생성 페이지로 이동합니다. "인덱스 패턴 이름" 필드에 "logstash-*"를 입력합니다. 모든 것이 올바르게 구성된 경우 Kibana 아래에 규칙에 해당하는 인덱스가 표시됩니다.

다음 페이지에서 타임스탬프가 있는 키 필드를 선택합니다. 이 경우에는 @timestamp.

이렇게 하면 인덱스 설정 페이지가 표시되지만 지금은 추가 조치가 필요하지 않습니다.

이제 검색 섹션으로 다시 이동하여 로그 항목을 볼 수 있습니다.

대시보드

왼쪽 메뉴에서 대시보드 생성 섹션을 클릭하여 해당 페이지로 이동합니다.

"새 대시보드 만들기"를 클릭하고 대시보드에 개체를 추가하는 페이지로 이동합니다.

"새로 만들기" 버튼을 클릭하면 시스템에서 데이터 표시 유형을 선택하라는 메시지를 표시합니다. Kibana에는 많은 수가 있지만 "수직 막대"와 표 형식의 "데이터 테이블"의 그래픽 표현을 만드는 방법을 살펴보겠습니다. 다른 유형의 프레젠테이션도 비슷한 방식으로 구성됩니다. 

사용 가능한 일부 개체에는 B 및 E라는 레이블이 지정되어 있으며 이는 형식이 실험적이거나 베타 테스트 중임을 의미합니다. 시간이 지남에 따라 형식이 변경되거나 Kibana에서 완전히 사라질 수 있습니다.

수직 바

"수직 막대" 예의 경우 서비스의 성공 및 실패 응답 상태 비율에 대한 히스토그램을 생성해 보겠습니다. 설정이 끝나면 다음 그래프를 얻습니다.

응답 상태가 < 400인 모든 요청은 성공으로, >= 400은 문제 있는 것으로 분류합니다.

"수직 막대" 차트를 만들려면 데이터 소스를 선택해야 합니다. 앞에서 생성한 인덱스 패턴을 선택합니다.

기본적으로 데이터 소스를 선택하면 단일 솔리드 그래프가 나타납니다. 설정해 봅시다.

"버킷" 블록에서 "추가" 버튼을 누르고 "X-asis"를 선택하고 X축을 설정합니다. 로그에 항목을 수신하기 위한 타임스탬프를 따로 설정해 둡니다. "집계" 필드에서 "날짜 히스토그램"을 선택하고 "필드"에서 시간 필드를 나타내는 "@timestamp"를 선택합니다. "자동" 상태에서 "최소 간격"을 그대로 두면 디스플레이에 자동으로 조정됩니다. 

"업데이트" 버튼을 클릭하면 30초마다 요청 수가 그래프로 표시됩니다.

이제 Y축을 따라 열을 설정하겠습니다. 이제 선택한 시간 간격의 총 요청 수를 표시합니다.

"Aggregation" 값을 "Sum Bucket"으로 변경하여 성공한 요청과 실패한 요청에 대한 데이터를 결합할 수 있습니다. 버킷 -> 집계 블록에서 "필터"로 집계를 선택하고 "statusCode >= 400"으로 필터링을 설정합니다. 그리고 "사용자 지정 레이블" 필드에는 차트의 범례와 일반 목록에서 보다 이해하기 쉬운 표시를 위해 표시기 이름을 표시합니다.

설정 블록 아래의 "업데이트" 버튼을 클릭하면 문제 요청이 포함된 그래프가 표시됩니다.

범례 옆의 원을 클릭하면 열 색상을 변경할 수 있는 창이 나타납니다.

이제 성공한 요청에 대한 데이터를 차트에 추가해 보겠습니다. "측정항목" 섹션에서 "추가" 버튼을 클릭하고 "Y축"을 선택합니다.

생성된 메트릭에서 잘못된 요청과 동일한 설정을 지정합니다. 필터에서만 "statusCode < 400"을 지정합니다.

새 열의 색상을 변경하여 문제가 있는 요청과 성공한 요청의 비율을 표시합니다.

화면 상단의 "저장" 버튼을 클릭하고 이름을 지정하면 대시보드에 첫 번째 차트가 표시됩니다.

데이터 표

이제 테이블 형식의 "데이터 테이블" 보기를 고려하십시오. 요청된 모든 URL 목록과 해당 요청 수가 포함된 테이블을 생성해 보겠습니다. 수직 막대 예제와 마찬가지로 먼저 데이터 소스를 선택합니다.

그런 다음 선택한 시간 간격에 대한 총 요청 수를 보여주는 하나의 열이 있는 테이블이 화면에 표시됩니다.

"버킷" 블록만 변경하겠습니다. "추가" 버튼을 클릭하고 "행 분할"을 선택합니다.

"집계" 필드에서 "용어"를 선택합니다. 그리고 나타난 필드 "Field"에서 "url.keyword"를 선택합니다.

"맞춤 라벨" 필드에 "Url" 값을 지정하고 "업데이트"를 클릭하면 선택한 기간 동안 각 URL에 대한 요청 수가 포함된 원하는 표를 얻을 수 있습니다.

화면 상단에서 "저장" 버튼을 다시 클릭하고 테이블 이름(예: Urls)을 지정합니다. 대시보드로 돌아가서 생성된 두 보기를 살펴보겠습니다.

대시보드 작업

대시보드를 만들 때 표시 개체 설정에서 기본 보기 매개 변수만 설정합니다. "날짜 범위", "useragent별 필터링", "요청 국가별 필터링" 등과 같이 개체의 필터에 대한 데이터를 지정하는 것은 의미가 없습니다. 개체 위에 있는 쿼리 패널에서 원하는 기간을 지정하거나 필요한 필터링을 설정하는 것이 훨씬 더 편리합니다.

이 패널에 추가된 필터는 대시보드 전체에 적용되며 모든 표시 개체는 실제 필터링된 데이터에 따라 다시 작성됩니다.

결론

Kibana는 모든 데이터를 편리한 방식으로 시각화할 수 있는 강력한 도구입니다. 두 가지 주요 디스플레이 유형의 설정을 표시하려고했습니다. 그러나 다른 유형도 비슷한 방식으로 구성됩니다. 그리고 내가 "뒤에" 남겨둔 풍부한 설정을 통해 필요에 맞게 차트를 매우 유연하게 사용자 정의할 수 있습니다.

출처 : habr.com