Splunk Universal Forwarder во докер како системски собирач на дневници

Splunk е еден од неколкуте најпрепознатливи комерцијални производи за собирање и анализа на дневници. Дури и сега, кога продажбата повеќе не се врши во Русија, ова не е причина да не пишувате упатства/како да за овој производ.

Задача: собирајте системски дневници од докерските јазли во Splunk без да ја менувате конфигурацијата на машината домаќин

Би сакал да започнам со официјалниот пристап, кој изгледа малку чудно кога се користи Docker.
Врска до Docker hub
Што имаме:

1. Повлечена слика

$ docker pull splunk/universalforwarder:latest

2. Стартувајте го контејнерот со потребните параметри

$ docker run -d  -p 9997:9997 -e 'SPLUNK_START_ARGS=--accept-license' -e 'SPLUNK_PASSWORD=<password>' splunk/universalforwarder:latest

3. Влегуваме во контејнерот

docker exec -it <container-id> /bin/bash

Следно, од нас се бара да одиме на позната адреса во документацијата.

И конфигурирајте го контејнерот откако ќе започне:

./splunk add forward-server <host name or ip address>:<listening port>
./splunk add monitor /var/log
./splunk restart

Чекај. Што?

Но, изненадувањата не завршуваат тука. Ако го вклучите контејнерот од официјалната слика во интерактивен режим, ќе го видите следново:

Малку разочарување

$ docker run -it -p 9997:9997 -e 'SPLUNK_START_ARGS=--accept-license' -e 'SPLUNK_PASSWORD=password' splunk/universalforwarder:latest

PLAY [Run default Splunk provisioning] *******************************************************************************************************************************************************************************************************
Tuesday 09 April 2019  13:40:38 +0000 (0:00:00.096)       0:00:00.096 *********

TASK [Gathering Facts] ***********************************************************************************************************************************************************************************************************************
ok: [localhost]
Tuesday 09 April 2019  13:40:39 +0000 (0:00:01.520)       0:00:01.616 *********

TASK [Get actual hostname] *******************************************************************************************************************************************************************************************************************
changed: [localhost]
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.599)       0:00:02.215 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.054)       0:00:02.270 *********

TASK [set_fact] ******************************************************************************************************************************************************************************************************************************
ok: [localhost]
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.075)       0:00:02.346 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.067)       0:00:02.413 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.060)       0:00:02.473 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.051)       0:00:02.525 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.056)       0:00:02.582 *********
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.216)       0:00:02.798 *********
included: /opt/ansible/roles/splunk_common/tasks/change_splunk_directory_owner.yml for localhost
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.087)       0:00:02.886 *********

TASK [splunk_common : Update Splunk directory owner] *****************************************************************************************************************************************************************************************
ok: [localhost]
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.324)       0:00:03.210 *********
included: /opt/ansible/roles/splunk_common/tasks/get_facts.yml for localhost
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.094)       0:00:03.305 *********

ну и так далее...

Одлично. Сликата не содржи ни артефакт. Односно, секогаш кога ќе започнете, ќе треба време да ја преземете архивата со бинарни датотеки, да ја отпакувате и конфигурирате.
Што е со docker-way и сето тоа?

Не, благодарам. Ќе тргнеме по друг пат. Што ако ги извршиме сите овие операции во фазата на склопување? Тогаш ајде да одиме!

За да не се одложи предолго, веднаш ќе ви ја покажам конечната слика:

dockerfile

# Тут у кого какие предпочтения
FROM centos:7

# Задаём переменные, чтобы каждый раз при старте не указывать их
ENV SPLUNK_HOME /splunkforwarder
ENV SPLUNK_ROLE splunk_heavy_forwarder
ENV SPLUNK_PASSWORD changeme
ENV SPLUNK_START_ARGS --accept-license

# Ставим пакеты
# wget - чтобы скачать артефакты
# expect - понадобится для первоначального запуска Splunk на этапе сборки
# jq - используется в скриптах, которые собирают статистику докера
RUN yum install -y epel-release 
    && yum install -y wget expect jq

# Качаем, распаковываем, удаляем
RUN wget -O splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 'https://www.splunk.com/bin/splunk/DownloadActivityServlet?architecture=x86_64&platform=linux&version=7.2.4&product=universalforwarder&filename=splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz&wget=true' 
    && wget -O docker-18.09.3.tgz 'https://download.docker.com/linux/static/stable/x86_64/docker-18.09.3.tgz' 
    && tar -xvf splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 
    && tar -xvf docker-18.09.3.tgz  
    && rm -f splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 
    && rm -f docker-18.09.3.tgz

# С shell скриптами всё понятно, а вот inputs.conf, splunkclouduf.spl и first_start.sh нуждаются в пояснении. Об этом расскажу после source тэга.
COPY [ "inputs.conf", "docker-stats/props.conf", "/splunkforwarder/etc/system/local/" ]
COPY [ "docker-stats/docker_events.sh", "docker-stats/docker_inspect.sh", "docker-stats/docker_stats.sh", "docker-stats/docker_top.sh", "/splunkforwarder/bin/scripts/" ]
COPY splunkclouduf.spl /splunkclouduf.spl
COPY first_start.sh /splunkforwarder/bin/

#  Даём права на исполнение, добавляем пользователя и выполняем первоначальную настройку
RUN chmod +x /splunkforwarder/bin/scripts/*.sh 
    && groupadd -r splunk 
    && useradd -r -m -g splunk splunk 
    && echo "%sudo ALL=NOPASSWD:ALL" >> /etc/sudoers 
    && chown -R splunk:splunk $SPLUNK_HOME 
    && /splunkforwarder/bin/first_start.sh 
    && /splunkforwarder/bin/splunk install app /splunkclouduf.spl -auth admin:changeme 
    && /splunkforwarder/bin/splunk restart

# Копируем инит скрипты
COPY [ "init/entrypoint.sh", "init/checkstate.sh", "/sbin/" ]

# По желанию. Кому нужно локально иметь конфиги/логи, кому нет.
VOLUME [ "/splunkforwarder/etc", "/splunkforwarder/var" ]

HEALTHCHECK --interval=30s --timeout=30s --start-period=3m --retries=5 CMD /sbin/checkstate.sh || exit 1

ENTRYPOINT [ "/sbin/entrypoint.sh" ]
CMD [ "start-service" ]

Значи она што е содржано во

first_start.ш

#!/usr/bin/expect -f
set timeout -1
spawn /splunkforwarder/bin/splunk start --accept-license
expect "Please enter an administrator username: "
send -- "adminr"
expect "Please enter a new password: "
send -- "changemer"
expect "Please confirm new password: "
send -- "changemer"
expect eof

На првиот почеток, Splunk бара од вас да му дадете најава/лозинка, НО овие податоци се користат само за извршување на административни команди за таа конкретна инсталација, односно внатре во контејнерот. Во нашиот случај, ние само сакаме да го лансираме контејнерот за да функционира сè, а трупците да течат како река. Се разбира, ова е тврд код, но не најдов други начини.

Понатаму според сценариото се извршува

/splunkforwarder/bin/splunk install app /splunkclouduf.spl -auth admin:changeme

splunkclouduf.spl — Ова е датотека со акредитиви за Splunk Universal Forwarder, која може да се преземе од веб-интерфејсот.

Каде да кликнете за да преземете (на слики)


Ова е редовна архива што може да се отпакува. Внатре има сертификати и лозинка за поврзување со нашиот SplunkCloud и излези.conf со листа на нашите влезни примероци. Оваа датотека ќе биде релевантна сè додека не ја инсталирате повторно инсталацијата на Splunk или не додадете влезен јазол ако инсталацијата е во просторија. Затоа, нема ништо лошо да го додадете во контејнерот.

И последното нешто е рестартирање. Да, за да ги примените промените, треба да го рестартирате.

Во нашата влезови.conf ги додаваме дневниците што сакаме да ги испратиме на Splunk. Не е неопходно да се додаде оваа датотека на сликата ако, на пример, дистрибуирате конфигурации преку кукла. Единственото нешто е што Forwarder ги гледа конфигурациите кога ќе започне демонот, инаку ќе му треба ./splunk рестартирање.

Какви скрипти за докер статистика се тие? Има старо решение на Github од outcoldman, скриптите беа земени од таму и модифицирани за да работат со тековните верзии на Docker (ce-17.*) и Splunk (7.*).

Со добиените податоци, можете да го изградите следново

контролни табли: (неколку слики)


Изворниот код за цртички е во врската дадена на крајот од статијата. Имајте предвид дека има 2 избрани полиња: 1 - избор на индекс (пребаруван со маска), избор на домаќин/контејнер. Најверојатно ќе треба да ја ажурирате индексната маска, во зависност од имињата што ги користите.

Како заклучок, би сакал да го свртам вашето внимание на функцијата почеток () в

влезна точка.ш

start() {
    trap teardown EXIT
	if [ -z $SPLUNK_INDEX ]; then
	echo "'SPLUNK_INDEX' env variable is empty or not defined. Should be 'dev' or 'prd'." >&2
	exit 1
	else
	sed -e "s/@index@/$SPLUNK_INDEX/" -i ${SPLUNK_HOME}/etc/system/local/inputs.conf
	fi
	sed -e "s/@hostname@/$(cat /etc/hostname)/" -i ${SPLUNK_HOME}/etc/system/local/inputs.conf
    sh -c "echo 'starting' > /tmp/splunk-container.state"
	${SPLUNK_HOME}/bin/splunk start
    watch_for_failure
}

Во мојот случај, за секоја средина и секој поединечен ентитет, било да е тоа апликација во контејнер или машина домаќин, користиме посебен индекс. На овој начин, брзината на пребарување нема да страда кога има значителна акумулација на податоци. Едноставно правило се користи за именување на индекси: _. Затоа, за да може контејнерот да биде универзален, пред да го лансираме самиот демон, го заменуваме жед-ти џокер на името на околината. Променливата име на околината се пренесува низ променливите на околината. Звучи смешно.

Исто така, вреди да се напомене дека поради некоја причина Splunk не е под влијание на присуството на параметарот docker hostname. Тој сепак тврдоглаво ќе испраќа трупци со идентификација на неговиот контејнер во полето на домаќинот. Како решение, можете да монтирате / etc / hostname од машината домаќин и при стартување направете замени слични на имињата на индексите.

Пример docker-compose.yml

version: '2'
services:
  splunk-forwarder:
    image: "${IMAGE_REPO}/docker-stats-splunk-forwarder:${IMAGE_VERSION}"
    environment:
      SPLUNK_INDEX: ${ENVIRONMENT}
    volumes:
    - /etc/hostname:/etc/hostname:ro
    - /var/log:/var/log
    - /var/run/docker.sock:/var/run/docker.sock:ro

Вкупно

Да, можеби решението не е идеално и секако не е универзално за секого, бидејќи ги има многу "тврд код". Но, врз основа на тоа, секој може да изгради свој имиџ и да го стави во својата приватна артефабрика, ако, како што се случува, ви треба Splunk Forwarder во Docker.

Референци:

Решение од статијата
Решение од Outcoldman кое не инспирираше повторно да користиме дел од функционалноста
На. документација за поставување на Universal Forwarder

Извор: www.habr.com