Splunk Universal Forwarder នៅក្នុង Docker ជាអ្នកប្រមូលកំណត់ហេតុប្រព័ន្ធ

Splunk គឺជាផលិតផលមួយក្នុងចំណោមផលិតផលវិភាគ និងប្រមូលកំណត់ហេតុពាណិជ្ជកម្មដែលអាចទទួលស្គាល់បានច្រើនបំផុត។ សូម្បីតែឥឡូវនេះ នៅពេលដែលការលក់មិនត្រូវបានធ្វើឡើងនៅក្នុងប្រទេសរុស្ស៊ីទៀតទេ នេះមិនមែនជាហេតុផលដែលមិនត្រូវសរសេរការណែនាំ/របៀបសម្រាប់ផលិតផលនេះទេ។

គោលបំណង៖ ប្រមូលកំណត់ហេតុប្រព័ន្ធពីថ្នាំង docker ក្នុង Splunk ដោយមិនចាំបាច់ផ្លាស់ប្តូរការកំណត់ម៉ាស៊ីនមេ

ខ្ញុំចង់ចាប់ផ្តើមជាមួយនឹងវិធីសាស្រ្តផ្លូវការដែលមើលទៅចម្លែកបន្តិចនៅពេលប្រើ Docker ។
ភ្ជាប់ទៅមជ្ឈមណ្ឌល Docker
តើយើងមានអ្វីខ្លះ៖

1. រូបភាព Pullim

$ docker pull splunk/universalforwarder:latest

2. ចាប់ផ្តើមធុងជាមួយនឹងប៉ារ៉ាម៉ែត្រចាំបាច់

$ docker run -d  -p 9997:9997 -e 'SPLUNK_START_ARGS=--accept-license' -e 'SPLUNK_PASSWORD=<password>' splunk/universalforwarder:latest

3. យើងចូលទៅក្នុងធុង

docker exec -it <container-id> /bin/bash

បន្ទាប់ យើង​ត្រូវ​បាន​ស្នើ​ឱ្យ​ទៅ​កាន់​អាសយដ្ឋាន​ដែល​គេ​ស្គាល់​ក្នុង​ឯកសារ។

ហើយកំណត់រចនាសម្ព័ន្ធធុងបន្ទាប់ពីវាចាប់ផ្តើម៖

./splunk add forward-server <host name or ip address>:<listening port>
./splunk add monitor /var/log
./splunk restart

រង់ចាំ។ អ្វី?

ប៉ុន្តែការភ្ញាក់ផ្អើលមិនបញ្ចប់នៅទីនោះទេ។ ប្រសិនបើអ្នកដំណើរការកុងតឺន័រពីរូបភាពផ្លូវការក្នុងរបៀបអន្តរកម្ម អ្នកនឹងឃើញដូចខាងក្រោម៖

ការខកចិត្តបន្តិច

$ docker run -it -p 9997:9997 -e 'SPLUNK_START_ARGS=--accept-license' -e 'SPLUNK_PASSWORD=password' splunk/universalforwarder:latest

PLAY [Run default Splunk provisioning] *******************************************************************************************************************************************************************************************************
Tuesday 09 April 2019  13:40:38 +0000 (0:00:00.096)       0:00:00.096 *********

TASK [Gathering Facts] ***********************************************************************************************************************************************************************************************************************
ok: [localhost]
Tuesday 09 April 2019  13:40:39 +0000 (0:00:01.520)       0:00:01.616 *********

TASK [Get actual hostname] *******************************************************************************************************************************************************************************************************************
changed: [localhost]
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.599)       0:00:02.215 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.054)       0:00:02.270 *********

TASK [set_fact] ******************************************************************************************************************************************************************************************************************************
ok: [localhost]
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.075)       0:00:02.346 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.067)       0:00:02.413 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.060)       0:00:02.473 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.051)       0:00:02.525 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.056)       0:00:02.582 *********
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.216)       0:00:02.798 *********
included: /opt/ansible/roles/splunk_common/tasks/change_splunk_directory_owner.yml for localhost
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.087)       0:00:02.886 *********

TASK [splunk_common : Update Splunk directory owner] *****************************************************************************************************************************************************************************************
ok: [localhost]
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.324)       0:00:03.210 *********
included: /opt/ansible/roles/splunk_common/tasks/get_facts.yml for localhost
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.094)       0:00:03.305 *********

ну и так далее...

អស្ចារ្យ។ រូបភាពនេះមិនមានសូម្បីតែវត្ថុបុរាណក៏ដោយ។ នោះគឺរាល់ពេលដែលអ្នកចាប់ផ្តើម វានឹងត្រូវការពេលវេលាដើម្បីទាញយកបណ្ណសារដោយប្រើប្រព័ន្ធគោលពីរ ពន្លា និងកំណត់រចនាសម្ព័ន្ធ។
ចុះ docker-way និងអ្វីទាំងអស់នោះ?

អត់អី​ទេ​អរគុណ​ហើយ។ យើងនឹងដើរតាមផ្លូវផ្សេង។ ចុះបើយើងធ្វើប្រតិបត្តិការទាំងអស់នេះនៅដំណាក់កាលជួបប្រជុំគ្នា? អញ្ចឹងតោះទៅ!

ដើម្បីកុំឱ្យពន្យារពេលយូរ ខ្ញុំនឹងបង្ហាញជូនអ្នកនូវរូបភាពចុងក្រោយនេះភ្លាមៗ៖

Dockerfile

# Тут у кого какие предпочтения
FROM centos:7

# Задаём переменные, чтобы каждый раз при старте не указывать их
ENV SPLUNK_HOME /splunkforwarder
ENV SPLUNK_ROLE splunk_heavy_forwarder
ENV SPLUNK_PASSWORD changeme
ENV SPLUNK_START_ARGS --accept-license

# Ставим пакеты
# wget - чтобы скачать артефакты
# expect - понадобится для первоначального запуска Splunk на этапе сборки
# jq - используется в скриптах, которые собирают статистику докера
RUN yum install -y epel-release 
    && yum install -y wget expect jq

# Качаем, распаковываем, удаляем
RUN wget -O splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 'https://www.splunk.com/bin/splunk/DownloadActivityServlet?architecture=x86_64&platform=linux&version=7.2.4&product=universalforwarder&filename=splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz&wget=true' 
    && wget -O docker-18.09.3.tgz 'https://download.docker.com/linux/static/stable/x86_64/docker-18.09.3.tgz' 
    && tar -xvf splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 
    && tar -xvf docker-18.09.3.tgz  
    && rm -f splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 
    && rm -f docker-18.09.3.tgz

# С shell скриптами всё понятно, а вот inputs.conf, splunkclouduf.spl и first_start.sh нуждаются в пояснении. Об этом расскажу после source тэга.
COPY [ "inputs.conf", "docker-stats/props.conf", "/splunkforwarder/etc/system/local/" ]
COPY [ "docker-stats/docker_events.sh", "docker-stats/docker_inspect.sh", "docker-stats/docker_stats.sh", "docker-stats/docker_top.sh", "/splunkforwarder/bin/scripts/" ]
COPY splunkclouduf.spl /splunkclouduf.spl
COPY first_start.sh /splunkforwarder/bin/

#  Даём права на исполнение, добавляем пользователя и выполняем первоначальную настройку
RUN chmod +x /splunkforwarder/bin/scripts/*.sh 
    && groupadd -r splunk 
    && useradd -r -m -g splunk splunk 
    && echo "%sudo ALL=NOPASSWD:ALL" >> /etc/sudoers 
    && chown -R splunk:splunk $SPLUNK_HOME 
    && /splunkforwarder/bin/first_start.sh 
    && /splunkforwarder/bin/splunk install app /splunkclouduf.spl -auth admin:changeme 
    && /splunkforwarder/bin/splunk restart

# Копируем инит скрипты
COPY [ "init/entrypoint.sh", "init/checkstate.sh", "/sbin/" ]

# По желанию. Кому нужно локально иметь конфиги/логи, кому нет.
VOLUME [ "/splunkforwarder/etc", "/splunkforwarder/var" ]

HEALTHCHECK --interval=30s --timeout=30s --start-period=3m --retries=5 CMD /sbin/checkstate.sh || exit 1

ENTRYPOINT [ "/sbin/entrypoint.sh" ]
CMD [ "start-service" ]

ដូច្នេះអ្វីដែលមាននៅក្នុង

first_start.sh

#!/usr/bin/expect -f
set timeout -1
spawn /splunkforwarder/bin/splunk start --accept-license
expect "Please enter an administrator username: "
send -- "adminr"
expect "Please enter a new password: "
send -- "changemer"
expect "Please confirm new password: "
send -- "changemer"
expect eof

នៅពេលចាប់ផ្តើមដំបូង Splunk ស្នើឱ្យអ្នកផ្តល់ឱ្យវានូវការចូល / ពាក្យសម្ងាត់ ប៉ុន្តែទិន្នន័យនេះត្រូវបានប្រើ តែ ដើម្បីប្រតិបត្តិពាក្យបញ្ជារដ្ឋបាលសម្រាប់ការដំឡើងជាក់លាក់នោះ ពោលគឺនៅខាងក្នុងកុងតឺន័រ។ ក្នុងករណីរបស់យើង យើងគ្រាន់តែចង់បើកកុងតឺន័រដើម្បីឱ្យអ្វីៗដំណើរការបាន ហើយកំណត់ហេតុហូរដូចទន្លេ។ ជាការពិតណាស់ នេះគឺជា hardcode ប៉ុន្តែខ្ញុំមិនបានរកឃើញវិធីផ្សេងទៀតទេ។

បន្ថែមទៀតយោងទៅតាមស្គ្រីបត្រូវបានប្រតិបត្តិ

/splunkforwarder/bin/splunk install app /splunkclouduf.spl -auth admin:changeme

splunkclouduf.spl - នេះគឺជាឯកសារបញ្ជាក់អត្តសញ្ញាណសម្រាប់ Splunk Universal Forwarder ដែលអាចទាញយកបានពីចំណុចប្រទាក់គេហទំព័រ។

កន្លែងដែលត្រូវចុចដើម្បីទាញយក (ក្នុងរូបភាព)


នេះជាបណ្ណសារធម្មតាដែលអាចស្រាយកញ្ចប់បាន។ នៅខាងក្នុងមានវិញ្ញាបនបត្រ និងពាក្យសម្ងាត់សម្រាប់ភ្ជាប់ទៅ SplunkCloud របស់យើង និង outputs.conf ជាមួយនឹងបញ្ជីនៃករណីបញ្ចូលរបស់យើង។ ឯកសារនេះនឹងពាក់ព័ន្ធរហូតដល់អ្នកដំឡើងការដំឡើង Splunk របស់អ្នកឡើងវិញ ឬបន្ថែមថ្នាំងបញ្ចូល ប្រសិនបើការដំឡើងគឺនៅនឹងកន្លែង។ ដូច្នេះ វាមិនមានអ្វីខុសទេក្នុងការបន្ថែមវានៅខាងក្នុងធុង។

ហើយរឿងចុងក្រោយគឺចាប់ផ្តើមឡើងវិញ។ បាទ/ចាស ដើម្បីអនុវត្តការផ្លាស់ប្ដូរ អ្នកត្រូវចាប់ផ្ដើមវាឡើងវិញ។

នៅក្នុងរបស់យើង។ inputs.conf យើងបន្ថែមកំណត់ហេតុដែលយើងចង់ផ្ញើទៅ Splunk ។ វាមិនចាំបាច់ក្នុងការបន្ថែមឯកសារនេះទៅក្នុងរូបភាពទេ ប្រសិនបើឧទាហរណ៍ អ្នកចែកចាយការកំណត់តាមរយៈអាយ៉ង។ រឿងតែមួយគត់គឺថា Forwarder មើលឃើញការកំណត់នៅពេលដែលដេមិនចាប់ផ្តើម បើមិនដូច្នេះទេវានឹងត្រូវការ ./splunk ចាប់ផ្តើមឡើងវិញ.

តើស្គ្រីបស្ថិតិ docker ជាប្រភេទអ្វី? មានដំណោះស្រាយចាស់នៅលើ Github ពី outcoldmanស្គ្រីបត្រូវបានយកចេញពីទីនោះ ហើយបានកែប្រែដើម្បីដំណើរការជាមួយកំណែបច្ចុប្បន្នរបស់ Docker (ce-17.*) និង Splunk (7.*)។

ជាមួយនឹងទិន្នន័យដែលទទួលបាន អ្នកអាចបង្កើតដូចខាងក្រោម

ផ្ទាំងគ្រប់គ្រង៖ (រូបភាពពីរបីសន្លឹក)


កូដប្រភពសម្រាប់សញ្ញាដាច់ ៗ គឺនៅក្នុងតំណភ្ជាប់ដែលបានផ្តល់នៅចុងបញ្ចប់នៃអត្ថបទ។ សូមចំណាំថាមាន 2 កន្លែងជ្រើសរើស៖ 1 - ការជ្រើសរើសលិបិក្រម (ស្វែងរកដោយរបាំង) ការជ្រើសរើសម៉ាស៊ីន/កុងតឺន័រ។ អ្នកទំនងជានឹងត្រូវធ្វើបច្ចុប្បន្នភាពរបាំងសន្ទស្សន៍ អាស្រ័យលើឈ្មោះដែលអ្នកប្រើ។

សរុបសេចក្តីមក ខ្ញុំចង់ទាញចំណាប់អារម្មណ៍របស់អ្នកចំពោះមុខងារ ចាប់ផ្តើម() в

entrypoint.sh

start() {
    trap teardown EXIT
	if [ -z $SPLUNK_INDEX ]; then
	echo "'SPLUNK_INDEX' env variable is empty or not defined. Should be 'dev' or 'prd'." >&2
	exit 1
	else
	sed -e "s/@index@/$SPLUNK_INDEX/" -i ${SPLUNK_HOME}/etc/system/local/inputs.conf
	fi
	sed -e "s/@hostname@/$(cat /etc/hostname)/" -i ${SPLUNK_HOME}/etc/system/local/inputs.conf
    sh -c "echo 'starting' > /tmp/splunk-container.state"
	${SPLUNK_HOME}/bin/splunk start
    watch_for_failure
}

ក្នុងករណីរបស់ខ្ញុំ សម្រាប់បរិស្ថាននីមួយៗ និងអង្គភាពនីមួយៗ ថាតើវាជាកម្មវិធីនៅក្នុងកុងតឺន័រ ឬម៉ាស៊ីនម៉ាស៊ីន យើងប្រើសន្ទស្សន៍ដាច់ដោយឡែក។ វិធីនេះ ល្បឿនស្វែងរកនឹងមិនរងទុក្ខទេ នៅពេលដែលមានការប្រមូលផ្តុំទិន្នន័យយ៉ាងច្រើន។ ច្បាប់សាមញ្ញមួយត្រូវបានប្រើដើម្បីដាក់ឈ្មោះលិបិក្រម៖ _. ដូច្នេះដើម្បីឱ្យកុងតឺន័រមានលក្ខណៈជាសកល មុនពេលចាប់ផ្តើមដេមិនដោយខ្លួនឯង យើងជំនួស sed-th ជាអក្សរជំនួសសម្រាប់ឈ្មោះបរិស្ថាន។ អថេរឈ្មោះបរិស្ថានត្រូវបានឆ្លងកាត់អថេរបរិស្ថាន។ ស្តាប់ទៅគួរឱ្យអស់សំណើច។

វាក៏គួរឱ្យកត់សម្គាល់ផងដែរថាសម្រាប់ហេតុផលមួយចំនួន Splunk មិនត្រូវបានប៉ះពាល់ដោយវត្តមាននៃប៉ារ៉ាម៉ែត្រ docker ឈ្មោះម៉ាស៊ីន. គាត់នឹងនៅតែរឹងរូសផ្ញើកំណត់ហេតុដែលមានលេខសម្គាល់កុងតឺន័ររបស់គាត់នៅក្នុងវាលម៉ាស៊ីន។ ជាដំណោះស្រាយអ្នកអាចម៉ោន / etc / hostname ពីម៉ាស៊ីនមេ ហើយនៅពេលចាប់ផ្តើមធ្វើការជំនួសស្រដៀងនឹងឈ្មោះលិបិក្រម។

ឧទាហរណ៍ docker-compose.yml

version: '2'
services:
  splunk-forwarder:
    image: "${IMAGE_REPO}/docker-stats-splunk-forwarder:${IMAGE_VERSION}"
    environment:
      SPLUNK_INDEX: ${ENVIRONMENT}
    volumes:
    - /etc/hostname:/etc/hostname:ro
    - /var/log:/var/log
    - /var/run/docker.sock:/var/run/docker.sock:ro

លទ្ធផល

បាទ/ចាស ប្រហែលជាដំណោះស្រាយមិនសមស្របទេ ហើយប្រាកដណាស់មិនមែនជាសកលសម្រាប់មនុស្សគ្រប់គ្នាទេ ព្រោះមានច្រើន។ "កូដរឹង". ប៉ុន្តែផ្អែកលើវា អ្នកគ្រប់គ្នាអាចបង្កើតរូបភាពផ្ទាល់ខ្លួនរបស់ពួកគេ ហើយដាក់វានៅក្នុងវត្ថុបុរាណឯកជនរបស់ពួកគេ ប្រសិនបើដូចដែលវាកើតឡើង អ្នកត្រូវការ Splunk Forwarder នៅក្នុង Docker ។

ឯកសារយោង:

ដំណោះស្រាយពីអត្ថបទ
ដំណោះស្រាយពី outcoldman ដែលបានបំផុសគំនិតយើងឱ្យប្រើមុខងារមួយចំនួនឡើងវិញ
នៃ។ ឯកសារសម្រាប់ដំឡើង Universal Forwarder

ប្រភព: www.habr.com