시스템 로그 수집기로 사용되는 Docker의 Splunk Universal Forwarder

Splunk는 가장 잘 알려진 상업용 로그 수집 및 분석 제품 중 하나입니다. 러시아에서 더 이상 판매가 이루어지지 않는 지금도 이 제품에 대한 지침/사용 방법을 작성하지 않을 이유는 없습니다.

태스크: 호스트 시스템 구성을 변경하지 않고 Splunk의 Docker 노드에서 시스템 로그를 수집합니다.

Docker를 사용할 때 약간 이상해 보이는 공식적인 접근 방식부터 시작하고 싶습니다.
Docker 허브 링크
우리는 무엇을 가지고 있습니까?

1. 풀림 이미지

$ docker pull splunk/universalforwarder:latest

2. 필요한 매개변수로 컨테이너를 시작합니다.

$ docker run -d  -p 9997:9997 -e 'SPLUNK_START_ARGS=--accept-license' -e 'SPLUNK_PASSWORD=<password>' splunk/universalforwarder:latest

3. 컨테이너에 들어갑니다

docker exec -it <container-id> /bin/bash

다음으로 문서에 알려진 주소로 이동하라는 요청을 받습니다.

그리고 컨테이너가 시작된 후 컨테이너를 구성합니다.

./splunk add forward-server <host name or ip address>:<listening port>
./splunk add monitor /var/log
./splunk restart

기다리다. 무엇?

그러나 놀라움은 여기서 끝나지 않습니다. 대화형 모드의 공식 이미지에서 컨테이너를 실행하면 다음이 표시됩니다.

약간의 실망

$ docker run -it -p 9997:9997 -e 'SPLUNK_START_ARGS=--accept-license' -e 'SPLUNK_PASSWORD=password' splunk/universalforwarder:latest

PLAY [Run default Splunk provisioning] *******************************************************************************************************************************************************************************************************
Tuesday 09 April 2019  13:40:38 +0000 (0:00:00.096)       0:00:00.096 *********

TASK [Gathering Facts] ***********************************************************************************************************************************************************************************************************************
ok: [localhost]
Tuesday 09 April 2019  13:40:39 +0000 (0:00:01.520)       0:00:01.616 *********

TASK [Get actual hostname] *******************************************************************************************************************************************************************************************************************
changed: [localhost]
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.599)       0:00:02.215 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.054)       0:00:02.270 *********

TASK [set_fact] ******************************************************************************************************************************************************************************************************************************
ok: [localhost]
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.075)       0:00:02.346 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.067)       0:00:02.413 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.060)       0:00:02.473 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.051)       0:00:02.525 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.056)       0:00:02.582 *********
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.216)       0:00:02.798 *********
included: /opt/ansible/roles/splunk_common/tasks/change_splunk_directory_owner.yml for localhost
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.087)       0:00:02.886 *********

TASK [splunk_common : Update Splunk directory owner] *****************************************************************************************************************************************************************************************
ok: [localhost]
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.324)       0:00:03.210 *********
included: /opt/ansible/roles/splunk_common/tasks/get_facts.yml for localhost
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.094)       0:00:03.305 *********

ну и так далее...

엄청난. 이미지에는 아티팩트도 포함되어 있지 않습니다. 즉, 시작할 때마다 바이너리가 포함된 아카이브를 다운로드하고 압축을 풀고 구성하는 데 시간이 걸립니다.
docker-way와 그 모든 것은 어떻습니까?

고맙지 만 사양 할게. 우리는 다른 길을 택할 것입니다. 이 모든 작업을 조립 단계에서 수행한다면 어떨까요? 그럼 가자!

너무 오래 지체하지 않기 위해 최종 이미지를 바로 보여드리겠습니다.

도커 파일

# Тут у кого какие предпочтения
FROM centos:7

# Задаём переменные, чтобы каждый раз при старте не указывать их
ENV SPLUNK_HOME /splunkforwarder
ENV SPLUNK_ROLE splunk_heavy_forwarder
ENV SPLUNK_PASSWORD changeme
ENV SPLUNK_START_ARGS --accept-license

# Ставим пакеты
# wget - чтобы скачать артефакты
# expect - понадобится для первоначального запуска Splunk на этапе сборки
# jq - используется в скриптах, которые собирают статистику докера
RUN yum install -y epel-release 
    && yum install -y wget expect jq

# Качаем, распаковываем, удаляем
RUN wget -O splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 'https://www.splunk.com/bin/splunk/DownloadActivityServlet?architecture=x86_64&platform=linux&version=7.2.4&product=universalforwarder&filename=splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz&wget=true' 
    && wget -O docker-18.09.3.tgz 'https://download.docker.com/linux/static/stable/x86_64/docker-18.09.3.tgz' 
    && tar -xvf splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 
    && tar -xvf docker-18.09.3.tgz  
    && rm -f splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 
    && rm -f docker-18.09.3.tgz

# С shell скриптами всё понятно, а вот inputs.conf, splunkclouduf.spl и first_start.sh нуждаются в пояснении. Об этом расскажу после source тэга.
COPY [ "inputs.conf", "docker-stats/props.conf", "/splunkforwarder/etc/system/local/" ]
COPY [ "docker-stats/docker_events.sh", "docker-stats/docker_inspect.sh", "docker-stats/docker_stats.sh", "docker-stats/docker_top.sh", "/splunkforwarder/bin/scripts/" ]
COPY splunkclouduf.spl /splunkclouduf.spl
COPY first_start.sh /splunkforwarder/bin/

#  Даём права на исполнение, добавляем пользователя и выполняем первоначальную настройку
RUN chmod +x /splunkforwarder/bin/scripts/*.sh 
    && groupadd -r splunk 
    && useradd -r -m -g splunk splunk 
    && echo "%sudo ALL=NOPASSWD:ALL" >> /etc/sudoers 
    && chown -R splunk:splunk $SPLUNK_HOME 
    && /splunkforwarder/bin/first_start.sh 
    && /splunkforwarder/bin/splunk install app /splunkclouduf.spl -auth admin:changeme 
    && /splunkforwarder/bin/splunk restart

# Копируем инит скрипты
COPY [ "init/entrypoint.sh", "init/checkstate.sh", "/sbin/" ]

# По желанию. Кому нужно локально иметь конфиги/логи, кому нет.
VOLUME [ "/splunkforwarder/etc", "/splunkforwarder/var" ]

HEALTHCHECK --interval=30s --timeout=30s --start-period=3m --retries=5 CMD /sbin/checkstate.sh || exit 1

ENTRYPOINT [ "/sbin/entrypoint.sh" ]
CMD [ "start-service" ]

그럼 그 안에 무엇이 들어있는지

첫_시작.sh

#!/usr/bin/expect -f
set timeout -1
spawn /splunkforwarder/bin/splunk start --accept-license
expect "Please enter an administrator username: "
send -- "adminr"
expect "Please enter a new password: "
send -- "changemer"
expect "Please confirm new password: "
send -- "changemer"
expect eof

처음 시작할 때 Splunk는 로그인/비밀번호를 묻는 메시지를 표시하지만 이 데이터는 사용됩니다. 만 특정 설치, 즉 컨테이너 내부에 대한 관리 명령을 실행합니다. 우리의 경우 모든 것이 작동하고 로그가 강처럼 흐르도록 컨테이너를 시작하려고 합니다. 물론 이것은 하드코드이지만 다른 방법을 찾지 못했습니다.

추가로 스크립트에 따라 실행됩니다.

/splunkforwarder/bin/splunk install app /splunkclouduf.spl -auth admin:changeme

splunkclouduf.spl — 이는 웹 인터페이스에서 다운로드할 수 있는 Splunk Universal Forwarder용 자격 증명 파일입니다.

다운로드를 위해 클릭하는 곳(사진 참조)


압축을 풀 수 있는 일반 아카이브입니다. 내부에는 SplunkCloud에 연결하기 위한 인증서와 비밀번호가 있습니다. 출력.conf 입력 인스턴스 목록을 사용합니다. 이 파일은 Splunk 설치를 다시 설치하거나 온프레미스 설치인 경우 입력 노드를 추가할 때까지 관련됩니다. 따라서 컨테이너 내부에 추가해도 아무런 문제가 없습니다.

그리고 마지막은 재시작입니다. 예, 변경 사항을 적용하려면 다시 시작해야 합니다.

우리의 입력.conf Splunk에 보내려는 로그를 추가합니다. 예를 들어, Puppet을 통해 구성을 배포하는 경우에는 이 파일을 이미지에 추가할 필요가 없습니다. 유일한 것은 Forwarder가 데몬이 시작될 때 구성을 확인한다는 것입니다. 그렇지 않으면 구성이 필요합니다. ./splunk 재시작.

어떤 종류의 Docker 통계 스크립트인가요? Github에는 오래된 솔루션이 있습니다. 냉담한 사람, 스크립트는 여기에서 가져와 현재 버전의 Docker(ce-17.*) 및 Splunk(7.*)에서 작동하도록 수정되었습니다.

얻은 데이터를 사용하여 다음을 구축할 수 있습니다.

대시보드: (사진 두 장)


대시의 소스 코드는 기사 끝에 제공된 링크에 있습니다. 2개의 선택 필드가 있습니다. 1 - 인덱스 선택(마스크로 검색), 호스트/컨테이너 선택. 사용하는 이름에 따라 인덱스 마스크를 업데이트해야 할 수도 있습니다.

결론적으로 기능에 주목하고 싶습니다. 스타트() в

진입점.sh

start() {
    trap teardown EXIT
	if [ -z $SPLUNK_INDEX ]; then
	echo "'SPLUNK_INDEX' env variable is empty or not defined. Should be 'dev' or 'prd'." >&2
	exit 1
	else
	sed -e "s/@index@/$SPLUNK_INDEX/" -i ${SPLUNK_HOME}/etc/system/local/inputs.conf
	fi
	sed -e "s/@hostname@/$(cat /etc/hostname)/" -i ${SPLUNK_HOME}/etc/system/local/inputs.conf
    sh -c "echo 'starting' > /tmp/splunk-container.state"
	${SPLUNK_HOME}/bin/splunk start
    watch_for_failure
}

제 경우에는 컨테이너의 애플리케이션이든 호스트 머신이든 각 환경과 개별 엔터티에 대해 별도의 인덱스를 사용합니다. 이렇게 하면 데이터가 많이 축적되어도 검색 속도가 저하되지 않습니다. 인덱스 이름을 지정하는 데는 간단한 규칙이 사용됩니다. _. 따라서 컨테이너가 범용화되도록 데몬 자체를 시작하기 전에 다음을 교체합니다. SED-환경 이름에 대한 와일드카드입니다. 환경 이름 변수는 환경 변수를 통해 전달됩니다. 재미있을 것 같네요.

어떤 이유로 Splunk는 docker 매개변수의 존재 여부에 영향을 받지 않는다는 점도 주목할 가치가 있습니다. 호스트 이름. 그는 여전히 호스트 필드에 있는 자신의 컨테이너 ID를 사용하여 로그를 고집스럽게 보낼 것입니다. 해결책으로 마운트할 수 있습니다. / etc / hostname 호스트 시스템에서 시작 시 인덱스 이름과 유사한 교체를 수행합니다.

예 docker-compose.yml

version: '2'
services:
  splunk-forwarder:
    image: "${IMAGE_REPO}/docker-stats-splunk-forwarder:${IMAGE_VERSION}"
    environment:
      SPLUNK_INDEX: ${ENVIRONMENT}
    volumes:
    - /etc/hostname:/etc/hostname:ro
    - /var/log:/var/log
    - /var/run/docker.sock:/var/run/docker.sock:ro

합계

예, 아마도 해결책은 이상적이지 않고 모든 사람에게 보편적이지 않을 수도 있습니다. "하드코드". 그러나 이를 기반으로 Docker에 Splunk Forwarder가 필요한 경우 모든 사람이 자신의 이미지를 구축하고 개인 아티팩트에 저장할 수 있습니다.

링크 :

기사의 해결책
일부 기능을 재사용하도록 영감을 준 outcoldman의 솔루션
의. Universal Forwarder 설정 설명서

출처 : habr.com