સિસ્ટમ લોગ કલેક્ટર તરીકે ડોકરમાં સ્પ્લંક યુનિવર્સલ ફોરવર્ડર

સ્પ્લંક એ સૌથી વધુ ઓળખી શકાય તેવા વ્યાપારી લોગ સંગ્રહ અને વિશ્લેષણ ઉત્પાદનોમાંથી એક છે. અત્યારે પણ, જ્યારે રશિયામાં વેચાણ હવે થતું નથી, ત્યારે આ ઉત્પાદન માટે સૂચનાઓ/કેવી રીતે કરવી તે ન લખવાનું કારણ નથી.

ઉદ્દેશ: હોસ્ટ મશીન રૂપરેખાંકન બદલ્યા વિના સ્પ્લંકમાં ડોકર નોડ્સમાંથી સિસ્ટમ લોગ એકત્રિત કરો

હું સત્તાવાર અભિગમ સાથે પ્રારંભ કરવા માંગુ છું, જે ડોકરનો ઉપયોગ કરતી વખતે થોડી વિચિત્ર લાગે છે.
ડોકર હબ સાથે લિંક
અમારી પાસે શું છે:

1. પુલિમ છબી

$ docker pull splunk/universalforwarder:latest

2. જરૂરી પરિમાણો સાથે કન્ટેનર શરૂ કરો

$ docker run -d  -p 9997:9997 -e 'SPLUNK_START_ARGS=--accept-license' -e 'SPLUNK_PASSWORD=<password>' splunk/universalforwarder:latest

3. અમે કન્ટેનરમાં જઈએ છીએ

docker exec -it <container-id> /bin/bash

આગળ, અમને દસ્તાવેજોમાં જાણીતા સરનામા પર જવાનું કહેવામાં આવે છે.

અને કન્ટેનર શરૂ થાય તે પછી તેને ગોઠવો:

./splunk add forward-server <host name or ip address>:<listening port>
./splunk add monitor /var/log
./splunk restart

રાહ જુઓ. શું?

પરંતુ આશ્ચર્ય ત્યાં સમાપ્ત થતું નથી. જો તમે અધિકૃત ઇમેજમાંથી કન્ટેનરને ઇન્ટરેક્ટિવ મોડમાં ચલાવો છો, તો તમે નીચેના જોશો:

થોડી નિરાશા

$ docker run -it -p 9997:9997 -e 'SPLUNK_START_ARGS=--accept-license' -e 'SPLUNK_PASSWORD=password' splunk/universalforwarder:latest

PLAY [Run default Splunk provisioning] *******************************************************************************************************************************************************************************************************
Tuesday 09 April 2019  13:40:38 +0000 (0:00:00.096)       0:00:00.096 *********

TASK [Gathering Facts] ***********************************************************************************************************************************************************************************************************************
ok: [localhost]
Tuesday 09 April 2019  13:40:39 +0000 (0:00:01.520)       0:00:01.616 *********

TASK [Get actual hostname] *******************************************************************************************************************************************************************************************************************
changed: [localhost]
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.599)       0:00:02.215 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.054)       0:00:02.270 *********

TASK [set_fact] ******************************************************************************************************************************************************************************************************************************
ok: [localhost]
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.075)       0:00:02.346 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.067)       0:00:02.413 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.060)       0:00:02.473 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.051)       0:00:02.525 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.056)       0:00:02.582 *********
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.216)       0:00:02.798 *********
included: /opt/ansible/roles/splunk_common/tasks/change_splunk_directory_owner.yml for localhost
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.087)       0:00:02.886 *********

TASK [splunk_common : Update Splunk directory owner] *****************************************************************************************************************************************************************************************
ok: [localhost]
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.324)       0:00:03.210 *********
included: /opt/ansible/roles/splunk_common/tasks/get_facts.yml for localhost
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.094)       0:00:03.305 *********

ну и так далее...

મહાન. ઈમેજમાં આર્ટિફેક્ટ પણ નથી. એટલે કે, જ્યારે પણ તમે પ્રારંભ કરશો ત્યારે બાઈનરીઓ સાથે આર્કાઈવ ડાઉનલોડ કરવા, અનપૅક કરવા અને ગોઠવવામાં સમય લાગશે.
ડોકર-વે અને તે બધા વિશે શું?

ના આભાર. અમે એક અલગ રસ્તો લઈશું. જો આપણે આ બધી કામગીરી એસેમ્બલી સ્ટેજ પર કરીએ તો? પછી ચાલો!

વધુ સમય વિલંબ ન કરવા માટે, હું તમને તરત જ અંતિમ છબી બતાવીશ:

ડોકરફાઇલ

# Тут у кого какие предпочтения
FROM centos:7

# Задаём переменные, чтобы каждый раз при старте не указывать их
ENV SPLUNK_HOME /splunkforwarder
ENV SPLUNK_ROLE splunk_heavy_forwarder
ENV SPLUNK_PASSWORD changeme
ENV SPLUNK_START_ARGS --accept-license

# Ставим пакеты
# wget - чтобы скачать артефакты
# expect - понадобится для первоначального запуска Splunk на этапе сборки
# jq - используется в скриптах, которые собирают статистику докера
RUN yum install -y epel-release 
    && yum install -y wget expect jq

# Качаем, распаковываем, удаляем
RUN wget -O splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 'https://www.splunk.com/bin/splunk/DownloadActivityServlet?architecture=x86_64&platform=linux&version=7.2.4&product=universalforwarder&filename=splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz&wget=true' 
    && wget -O docker-18.09.3.tgz 'https://download.docker.com/linux/static/stable/x86_64/docker-18.09.3.tgz' 
    && tar -xvf splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 
    && tar -xvf docker-18.09.3.tgz  
    && rm -f splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 
    && rm -f docker-18.09.3.tgz

# С shell скриптами всё понятно, а вот inputs.conf, splunkclouduf.spl и first_start.sh нуждаются в пояснении. Об этом расскажу после source тэга.
COPY [ "inputs.conf", "docker-stats/props.conf", "/splunkforwarder/etc/system/local/" ]
COPY [ "docker-stats/docker_events.sh", "docker-stats/docker_inspect.sh", "docker-stats/docker_stats.sh", "docker-stats/docker_top.sh", "/splunkforwarder/bin/scripts/" ]
COPY splunkclouduf.spl /splunkclouduf.spl
COPY first_start.sh /splunkforwarder/bin/

#  Даём права на исполнение, добавляем пользователя и выполняем первоначальную настройку
RUN chmod +x /splunkforwarder/bin/scripts/*.sh 
    && groupadd -r splunk 
    && useradd -r -m -g splunk splunk 
    && echo "%sudo ALL=NOPASSWD:ALL" >> /etc/sudoers 
    && chown -R splunk:splunk $SPLUNK_HOME 
    && /splunkforwarder/bin/first_start.sh 
    && /splunkforwarder/bin/splunk install app /splunkclouduf.spl -auth admin:changeme 
    && /splunkforwarder/bin/splunk restart

# Копируем инит скрипты
COPY [ "init/entrypoint.sh", "init/checkstate.sh", "/sbin/" ]

# По желанию. Кому нужно локально иметь конфиги/логи, кому нет.
VOLUME [ "/splunkforwarder/etc", "/splunkforwarder/var" ]

HEALTHCHECK --interval=30s --timeout=30s --start-period=3m --retries=5 CMD /sbin/checkstate.sh || exit 1

ENTRYPOINT [ "/sbin/entrypoint.sh" ]
CMD [ "start-service" ]

તો તેમાં શું સમાયેલું છે

first_start.sh

#!/usr/bin/expect -f
set timeout -1
spawn /splunkforwarder/bin/splunk start --accept-license
expect "Please enter an administrator username: "
send -- "adminr"
expect "Please enter a new password: "
send -- "changemer"
expect "Please confirm new password: "
send -- "changemer"
expect eof

પ્રથમ શરૂઆતમાં, સ્પ્લંક તમને લોગિન/પાસવર્ડ આપવા માટે કહે છે, પરંતુ આ ડેટાનો ઉપયોગ થાય છે માત્ર તે ચોક્કસ સ્થાપન માટે વહીવટી આદેશો ચલાવવા માટે, એટલે કે, કન્ટેનરની અંદર. અમારા કિસ્સામાં, અમે ફક્ત કન્ટેનર લોંચ કરવા માંગીએ છીએ જેથી બધું કામ કરે અને લોગ નદીની જેમ વહે. અલબત્ત, આ હાર્ડકોડ છે, પરંતુ મને બીજી કોઈ રીતો મળી નથી.

આગળ સ્ક્રિપ્ટ અનુસાર ચલાવવામાં આવે છે

/splunkforwarder/bin/splunk install app /splunkclouduf.spl -auth admin:changeme

splunkclouduf.spl — આ સ્પ્લંક યુનિવર્સલ ફોરવર્ડર માટેની ઓળખપત્ર ફાઈલ છે, જે વેબ ઈન્ટરફેસ પરથી ડાઉનલોડ કરી શકાય છે.

ડાઉનલોડ કરવા માટે ક્યાં ક્લિક કરવું (તસવીરોમાં)


આ એક નિયમિત આર્કાઇવ છે જે અનપેક કરી શકાય છે. અંદર પ્રમાણપત્રો અને અમારા સ્પ્લન્કક્લાઉડ સાથે જોડાવા માટેનો પાસવર્ડ છે outputs.conf અમારા ઇનપુટ ઉદાહરણોની સૂચિ સાથે. જ્યાં સુધી તમે તમારું સ્પ્લંક ઇન્સ્ટોલેશન પુનઃસ્થાપિત ન કરો અથવા જો ઇન્સ્ટોલેશન ઑન-પ્રિમાઇઝ હોય તો ઇનપુટ નોડ ઉમેરો ત્યાં સુધી આ ફાઇલ સંબંધિત રહેશે. તેથી, તેને કન્ટેનરની અંદર ઉમેરવામાં કંઈ ખોટું નથી.

અને છેલ્લી વસ્તુ પુનઃપ્રારંભ છે. હા, ફેરફારો લાગુ કરવા માટે, તમારે તેને ફરીથી શરૂ કરવાની જરૂર છે.

અમારા માં inputs.conf અમે લોગ ઉમેરીએ છીએ જે અમે સ્પ્લંકને મોકલવા માંગીએ છીએ. જો, ઉદાહરણ તરીકે, તમે કઠપૂતળી દ્વારા રૂપરેખાઓનું વિતરણ કરો છો, તો આ ફાઇલને છબીમાં ઉમેરવાની જરૂર નથી. એકમાત્ર વસ્તુ એ છે કે જ્યારે ડિમન શરૂ થાય ત્યારે ફોરવર્ડર રૂપરેખાઓને જુએ છે, અન્યથા તેની જરૂર પડશે ./splunk પુનઃપ્રારંભ કરો.

તે કયા પ્રકારની ડોકર સ્ટેટ્સ સ્ક્રિપ્ટો છે? થી Github પર એક જૂનો ઉકેલ છે આઉટકોલ્ડમેન, સ્ક્રિપ્ટો ત્યાંથી લેવામાં આવી હતી અને ડોકર (ce-17. *) અને સ્પ્લંક (7*) ના વર્તમાન સંસ્કરણો સાથે કામ કરવા માટે સંશોધિત કરવામાં આવી હતી.

પ્રાપ્ત ડેટા સાથે, તમે નીચેના બનાવી શકો છો

ડેશબોર્ડ્સ: (બે ચિત્રો)


ડેશ માટેનો સ્રોત કોડ લેખના અંતે આપેલી લિંકમાં છે. મહેરબાની કરીને નોંધ કરો કે ત્યાં 2 પસંદગીના ક્ષેત્રો છે: 1 - અનુક્રમણિકા પસંદગી (માસ્ક દ્વારા શોધાયેલ), હોસ્ટ/કન્ટેનર પસંદગી. તમે જે નામોનો ઉપયોગ કરો છો તેના આધારે તમારે ઇન્ડેક્સ માસ્કને અપડેટ કરવાની જરૂર પડશે.

નિષ્કર્ષમાં, હું તમારું ધ્યાન કાર્ય તરફ દોરવા માંગુ છું શરૂઆત() в

entrypoint.sh

start() {
    trap teardown EXIT
	if [ -z $SPLUNK_INDEX ]; then
	echo "'SPLUNK_INDEX' env variable is empty or not defined. Should be 'dev' or 'prd'." >&2
	exit 1
	else
	sed -e "s/@index@/$SPLUNK_INDEX/" -i ${SPLUNK_HOME}/etc/system/local/inputs.conf
	fi
	sed -e "s/@hostname@/$(cat /etc/hostname)/" -i ${SPLUNK_HOME}/etc/system/local/inputs.conf
    sh -c "echo 'starting' > /tmp/splunk-container.state"
	${SPLUNK_HOME}/bin/splunk start
    watch_for_failure
}

મારા કિસ્સામાં, દરેક પર્યાવરણ અને દરેક વ્યક્તિગત એન્ટિટી માટે, તે કન્ટેનરમાં એપ્લિકેશન હોય કે હોસ્ટ મશીન, અમે એક અલગ અનુક્રમણિકાનો ઉપયોગ કરીએ છીએ. આ રીતે, જ્યારે ડેટાનો નોંધપાત્ર સંચય થાય છે ત્યારે શોધની ગતિને અસર થશે નહીં. અનુક્રમણિકાઓને નામ આપવા માટે એક સરળ નિયમનો ઉપયોગ થાય છે: _. તેથી, કન્ટેનર સાર્વત્રિક બનવા માટે, ડિમન પોતે જ લોંચ કરતા પહેલા, અમે તેને બદલીએ છીએ પરંતુ- પર્યાવરણના નામનું વાઇલ્ડકાર્ડ. એન્વાયર્નમેન્ટ નેમ વેરીએબલ એ એન્વાયર્નમેન્ટ વેરિયેબલમાંથી પસાર થાય છે. રમુજી લાગે છે.

તે નોંધવું પણ યોગ્ય છે કે કેટલાક કારણોસર સ્પ્લંક ડોકર પેરામીટરની હાજરીથી પ્રભાવિત નથી યજમાનનામ. તે હજુ પણ હોસ્ટ ફીલ્ડમાં તેના કન્ટેનરના આઈડી સાથે જિદ્દપૂર્વક લોગ મોકલશે. ઉકેલ તરીકે, તમે માઉન્ટ કરી શકો છો / etc / યજમાનનામ યજમાન મશીનમાંથી અને સ્ટાર્ટઅપ વખતે ઇન્ડેક્સ નામો જેવા જ રિપ્લેસમેન્ટ કરો.

ઉદાહરણ docker-compose.yml

version: '2'
services:
  splunk-forwarder:
    image: "${IMAGE_REPO}/docker-stats-splunk-forwarder:${IMAGE_VERSION}"
    environment:
      SPLUNK_INDEX: ${ENVIRONMENT}
    volumes:
    - /etc/hostname:/etc/hostname:ro
    - /var/log:/var/log
    - /var/run/docker.sock:/var/run/docker.sock:ro

પરિણામ

હા, કદાચ ઉકેલ આદર્શ નથી અને ચોક્કસપણે દરેક માટે સાર્વત્રિક નથી, કારણ કે ત્યાં ઘણા છે "હાર્ડકોડ". પરંતુ તેના આધારે, દરેક વ્યક્તિ તેની પોતાની છબી બનાવી શકે છે અને તેને તેમની ખાનગી આર્ટિફેક્ટરીમાં મૂકી શકે છે, જો તે થાય તેમ, તમારે ડોકરમાં સ્પ્લંક ફોરવર્ડરની જરૂર છે.

સંદર્ભો:

લેખમાંથી ઉકેલ
આઉટકોલ્ડમેનનો ઉકેલ કે જેણે અમને કેટલીક કાર્યક્ષમતાનો ફરીથી ઉપયોગ કરવા પ્રેરણા આપી
ના. યુનિવર્સલ ફોરવર્ડર સેટ કરવા માટે દસ્તાવેજીકરણ

સોર્સ: www.habr.com