Splunk Universal Forwarder в Docker като колектор на системни журнали

Splunk е един от няколкото най-разпознаваеми продукти за събиране и анализ на търговски трупи. Дори сега, когато вече не се продават в Русия, това не е причина да не напишете инструкции/инструкции за този продукт.

Задача: събира системни регистрационни файлове от докер възли в Splunk, без да променя конфигурацията на хост машината

Бих искал да започна с официалния подход, който изглежда малко странно, когато използвам Docker.
Връзка към Docker hub
Какво имаме:

1. Pullim изображение

$ docker pull splunk/universalforwarder:latest

2. Стартирайте контейнера с необходимите параметри

$ docker run -d  -p 9997:9997 -e 'SPLUNK_START_ARGS=--accept-license' -e 'SPLUNK_PASSWORD=<password>' splunk/universalforwarder:latest

3. Влизаме в контейнера

docker exec -it <container-id> /bin/bash

След това трябва да отидем на известен адрес в документацията.

И конфигурирайте контейнера, след като стартира:

./splunk add forward-server <host name or ip address>:<listening port>
./splunk add monitor /var/log
./splunk restart

Изчакайте. Какво?

Но изненадите не свършват дотук. Ако стартирате контейнера от официалния образ в интерактивен режим, ще видите следното:

Малко разочарование

$ docker run -it -p 9997:9997 -e 'SPLUNK_START_ARGS=--accept-license' -e 'SPLUNK_PASSWORD=password' splunk/universalforwarder:latest

PLAY [Run default Splunk provisioning] *******************************************************************************************************************************************************************************************************
Tuesday 09 April 2019  13:40:38 +0000 (0:00:00.096)       0:00:00.096 *********

TASK [Gathering Facts] ***********************************************************************************************************************************************************************************************************************
ok: [localhost]
Tuesday 09 April 2019  13:40:39 +0000 (0:00:01.520)       0:00:01.616 *********

TASK [Get actual hostname] *******************************************************************************************************************************************************************************************************************
changed: [localhost]
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.599)       0:00:02.215 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.054)       0:00:02.270 *********

TASK [set_fact] ******************************************************************************************************************************************************************************************************************************
ok: [localhost]
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.075)       0:00:02.346 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.067)       0:00:02.413 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.060)       0:00:02.473 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.051)       0:00:02.525 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.056)       0:00:02.582 *********
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.216)       0:00:02.798 *********
included: /opt/ansible/roles/splunk_common/tasks/change_splunk_directory_owner.yml for localhost
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.087)       0:00:02.886 *********

TASK [splunk_common : Update Splunk directory owner] *****************************************************************************************************************************************************************************************
ok: [localhost]
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.324)       0:00:03.210 *********
included: /opt/ansible/roles/splunk_common/tasks/get_facts.yml for localhost
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.094)       0:00:03.305 *********

ну и так далее...

Страхотен. Изображението дори не съдържа артефакт. Тоест всеки път, когато стартирате, ще отнеме време за изтегляне на архива с бинарни файлове, разопаковане и конфигуриране.
Какво ще кажете за docker-way и всичко това?

Не благодаря. Ще поемем по различен път. Ами ако извършим всички тези операции на етапа на сглобяване? Тогава да вървим!

За да не се бавя много, ще ви покажа окончателното изображение веднага:

Докер файл

# Тут у кого какие предпочтения
FROM centos:7

# Задаём переменные, чтобы каждый раз при старте не указывать их
ENV SPLUNK_HOME /splunkforwarder
ENV SPLUNK_ROLE splunk_heavy_forwarder
ENV SPLUNK_PASSWORD changeme
ENV SPLUNK_START_ARGS --accept-license

# Ставим пакеты
# wget - чтобы скачать артефакты
# expect - понадобится для первоначального запуска Splunk на этапе сборки
# jq - используется в скриптах, которые собирают статистику докера
RUN yum install -y epel-release 
    && yum install -y wget expect jq

# Качаем, распаковываем, удаляем
RUN wget -O splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 'https://www.splunk.com/bin/splunk/DownloadActivityServlet?architecture=x86_64&platform=linux&version=7.2.4&product=universalforwarder&filename=splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz&wget=true' 
    && wget -O docker-18.09.3.tgz 'https://download.docker.com/linux/static/stable/x86_64/docker-18.09.3.tgz' 
    && tar -xvf splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 
    && tar -xvf docker-18.09.3.tgz  
    && rm -f splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 
    && rm -f docker-18.09.3.tgz

# С shell скриптами всё понятно, а вот inputs.conf, splunkclouduf.spl и first_start.sh нуждаются в пояснении. Об этом расскажу после source тэга.
COPY [ "inputs.conf", "docker-stats/props.conf", "/splunkforwarder/etc/system/local/" ]
COPY [ "docker-stats/docker_events.sh", "docker-stats/docker_inspect.sh", "docker-stats/docker_stats.sh", "docker-stats/docker_top.sh", "/splunkforwarder/bin/scripts/" ]
COPY splunkclouduf.spl /splunkclouduf.spl
COPY first_start.sh /splunkforwarder/bin/

#  Даём права на исполнение, добавляем пользователя и выполняем первоначальную настройку
RUN chmod +x /splunkforwarder/bin/scripts/*.sh 
    && groupadd -r splunk 
    && useradd -r -m -g splunk splunk 
    && echo "%sudo ALL=NOPASSWD:ALL" >> /etc/sudoers 
    && chown -R splunk:splunk $SPLUNK_HOME 
    && /splunkforwarder/bin/first_start.sh 
    && /splunkforwarder/bin/splunk install app /splunkclouduf.spl -auth admin:changeme 
    && /splunkforwarder/bin/splunk restart

# Копируем инит скрипты
COPY [ "init/entrypoint.sh", "init/checkstate.sh", "/sbin/" ]

# По желанию. Кому нужно локально иметь конфиги/логи, кому нет.
VOLUME [ "/splunkforwarder/etc", "/splunkforwarder/var" ]

HEALTHCHECK --interval=30s --timeout=30s --start-period=3m --retries=5 CMD /sbin/checkstate.sh || exit 1

ENTRYPOINT [ "/sbin/entrypoint.sh" ]
CMD [ "start-service" ]

И така, какво се съдържа в

first_start.sh

#!/usr/bin/expect -f
set timeout -1
spawn /splunkforwarder/bin/splunk start --accept-license
expect "Please enter an administrator username: "
send -- "adminr"
expect "Please enter a new password: "
send -- "changemer"
expect "Please confirm new password: "
send -- "changemer"
expect eof

При първото стартиране Splunk ви моли да му дадете логин/парола, НО тези данни се използват само за изпълнение на административни команди за тази конкретна инсталация, тоест вътре в контейнера. В нашия случай ние просто искаме да пуснем контейнера, така че всичко да работи и трупите да текат като река. Разбира се, това е твърд код, но не намерих други начини.

По-нататък според скрипта се изпълнява

/splunkforwarder/bin/splunk install app /splunkclouduf.spl -auth admin:changeme

splunkclouduf.spl — Това е файл с идентификационни данни за Splunk Universal Forwarder, който може да бъде изтеглен от уеб интерфейса.

Къде да щракнете, за да изтеглите (в снимки)


Това е обикновен архив, който може да бъде разопакован. Вътре има сертификати и парола за свързване с нашия SplunkCloud и изходи.conf със списък на нашите входни екземпляри. Този файл ще бъде уместен, докато не инсталирате отново инсталацията на Splunk или добавите входен възел, ако инсталацията е локална. Следователно няма нищо лошо да го добавите вътре в контейнера.

И последното нещо е рестартиране. Да, за да приложите промените, трябва да го рестартирате.

В нашата inputs.conf добавяме регистрационните файлове, които искаме да изпратим на Splunk. Не е необходимо да добавяте този файл към изображението, ако например разпространявате конфигурации чрез марионетка. Единственото нещо е, че Forwarder вижда конфигурациите, когато демонът стартира, в противен случай ще има нужда ./splunk рестартиране.

Какъв вид скриптове за докер статистика са те? Има старо решение в Github от outcoldman, скриптовете бяха взети от там и модифицирани, за да работят с текущите версии на Docker (ce-17.*) и Splunk (7.*).

С получените данни можете да изградите следното

табла: (няколко снимки)


Изходният код за тиретата е във връзката, предоставена в края на статията. Моля, обърнете внимание, че има 2 полета за избор: 1 - избор на индекс (търсене по маска), избор на хост/контейнер. Вероятно ще трябва да актуализирате маската на индекса в зависимост от имената, които използвате.

В заключение бих искал да обърна внимание на функцията начало() в

входна точка.sh

start() {
    trap teardown EXIT
	if [ -z $SPLUNK_INDEX ]; then
	echo "'SPLUNK_INDEX' env variable is empty or not defined. Should be 'dev' or 'prd'." >&2
	exit 1
	else
	sed -e "s/@index@/$SPLUNK_INDEX/" -i ${SPLUNK_HOME}/etc/system/local/inputs.conf
	fi
	sed -e "s/@hostname@/$(cat /etc/hostname)/" -i ${SPLUNK_HOME}/etc/system/local/inputs.conf
    sh -c "echo 'starting' > /tmp/splunk-container.state"
	${SPLUNK_HOME}/bin/splunk start
    watch_for_failure
}

В моя случай, за всяка среда и всеки отделен обект, било то приложение в контейнер или хост машина, ние използваме отделен индекс. По този начин скоростта на търсене няма да пострада, когато има значително натрупване на данни. Използва се просто правило за именуване на индекси: _. Следователно, за да бъде контейнерът универсален, преди да стартираме самия демон, ние заменяме жажда-ти заместващ знак към името на средата. Променливата на името на средата се предава през променливите на средата. Звучи смешно.

Също така си струва да се отбележи, че по някаква причина Splunk не се влияе от присъствието на докер параметъра име на хост. Той все още упорито ще изпраща регистрационни файлове с идентификатора на неговия контейнер в полето за хост. Като решение можете да монтирате / И т.н. / хост от хост машината и при стартиране правете замени, подобни на имената на индексите.

Пример docker-compose.yml

version: '2'
services:
  splunk-forwarder:
    image: "${IMAGE_REPO}/docker-stats-splunk-forwarder:${IMAGE_VERSION}"
    environment:
      SPLUNK_INDEX: ${ENVIRONMENT}
    volumes:
    - /etc/hostname:/etc/hostname:ro
    - /var/log:/var/log
    - /var/run/docker.sock:/var/run/docker.sock:ro

Общо

Да, може би решението не е идеално и със сигурност не е универсално за всички, тъй като има много "твърд код". Но въз основа на него всеки може да изгради свой собствен образ и да го постави в личната си артефактия, ако, както се случва, имате нужда от Splunk Forwarder в Docker.

за справка:

Решение от статията
Решение от outcoldman, което ни вдъхнови да използваме повторно част от функционалността
На. документация за настройка на Universal Forwarder

Източник: www.habr.com