Splunk Universal Forwarder ב-Docker כאוסף יומני מערכת

Splunk הוא אחד מכמה ממוצרי איסוף וניתוח יומנים מסחריים המוכרים ביותר. גם עכשיו, כשהמכירות כבר לא מתבצעות ברוסיה, זו לא סיבה לא לכתוב הוראות/כיצד לעשות למוצר זה.

משימה: איסוף יומני מערכת מצמתי דוקר ב-Splunk מבלי לשנות את תצורת המחשב המארח

אני רוצה להתחיל עם הגישה הרשמית, שנראית קצת מוזרה בעת שימוש ב-Docker.
קישור לרכזת Docker
מה יש לנו:

1. תמונה פולים

$ docker pull splunk/universalforwarder:latest

2. התחל את המיכל עם הפרמטרים הדרושים

$ docker run -d  -p 9997:9997 -e 'SPLUNK_START_ARGS=--accept-license' -e 'SPLUNK_PASSWORD=<password>' splunk/universalforwarder:latest

3. אנחנו נכנסים למיכל

docker exec -it <container-id> /bin/bash

לאחר מכן, אנו מתבקשים לפנות לכתובת ידועה בתיעוד.

ותגדיר את המכולה לאחר הפעלתו:

./splunk add forward-server <host name or ip address>:<listening port>
./splunk add monitor /var/log
./splunk restart

לַחֲכוֹת. מה?

אבל ההפתעות לא נגמרות שם. אם תפעיל את המיכל מהתמונה הרשמית במצב אינטראקטיבי, תראה את הדברים הבאים:

קצת אכזבה

$ docker run -it -p 9997:9997 -e 'SPLUNK_START_ARGS=--accept-license' -e 'SPLUNK_PASSWORD=password' splunk/universalforwarder:latest

PLAY [Run default Splunk provisioning] *******************************************************************************************************************************************************************************************************
Tuesday 09 April 2019  13:40:38 +0000 (0:00:00.096)       0:00:00.096 *********

TASK [Gathering Facts] ***********************************************************************************************************************************************************************************************************************
ok: [localhost]
Tuesday 09 April 2019  13:40:39 +0000 (0:00:01.520)       0:00:01.616 *********

TASK [Get actual hostname] *******************************************************************************************************************************************************************************************************************
changed: [localhost]
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.599)       0:00:02.215 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.054)       0:00:02.270 *********

TASK [set_fact] ******************************************************************************************************************************************************************************************************************************
ok: [localhost]
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.075)       0:00:02.346 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.067)       0:00:02.413 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.060)       0:00:02.473 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.051)       0:00:02.525 *********
Tuesday 09 April 2019  13:40:40 +0000 (0:00:00.056)       0:00:02.582 *********
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.216)       0:00:02.798 *********
included: /opt/ansible/roles/splunk_common/tasks/change_splunk_directory_owner.yml for localhost
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.087)       0:00:02.886 *********

TASK [splunk_common : Update Splunk directory owner] *****************************************************************************************************************************************************************************************
ok: [localhost]
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.324)       0:00:03.210 *********
included: /opt/ansible/roles/splunk_common/tasks/get_facts.yml for localhost
Tuesday 09 April 2019  13:40:41 +0000 (0:00:00.094)       0:00:03.305 *********

ну и так далее...

גדול. התמונה אפילו לא מכילה חפץ. כלומר, בכל פעם שתתחיל ייקח זמן להוריד את הארכיון עם קבצים בינאריים, לפרוק ולהגדיר.
מה עם docker-way וכל זה?

לא תודה. נלך בדרך אחרת. מה אם נבצע את כל הפעולות הללו בשלב ההרכבה? אז בואו נלך!

כדי לא להתעכב יותר מדי, אני אראה לכם את התמונה הסופית מיד:

דוקרפיל

# Тут у кого какие предпочтения
FROM centos:7

# Задаём переменные, чтобы каждый раз при старте не указывать их
ENV SPLUNK_HOME /splunkforwarder
ENV SPLUNK_ROLE splunk_heavy_forwarder
ENV SPLUNK_PASSWORD changeme
ENV SPLUNK_START_ARGS --accept-license

# Ставим пакеты
# wget - чтобы скачать артефакты
# expect - понадобится для первоначального запуска Splunk на этапе сборки
# jq - используется в скриптах, которые собирают статистику докера
RUN yum install -y epel-release 
    && yum install -y wget expect jq

# Качаем, распаковываем, удаляем
RUN wget -O splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 'https://www.splunk.com/bin/splunk/DownloadActivityServlet?architecture=x86_64&platform=linux&version=7.2.4&product=universalforwarder&filename=splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz&wget=true' 
    && wget -O docker-18.09.3.tgz 'https://download.docker.com/linux/static/stable/x86_64/docker-18.09.3.tgz' 
    && tar -xvf splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 
    && tar -xvf docker-18.09.3.tgz  
    && rm -f splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 
    && rm -f docker-18.09.3.tgz

# С shell скриптами всё понятно, а вот inputs.conf, splunkclouduf.spl и first_start.sh нуждаются в пояснении. Об этом расскажу после source тэга.
COPY [ "inputs.conf", "docker-stats/props.conf", "/splunkforwarder/etc/system/local/" ]
COPY [ "docker-stats/docker_events.sh", "docker-stats/docker_inspect.sh", "docker-stats/docker_stats.sh", "docker-stats/docker_top.sh", "/splunkforwarder/bin/scripts/" ]
COPY splunkclouduf.spl /splunkclouduf.spl
COPY first_start.sh /splunkforwarder/bin/

#  Даём права на исполнение, добавляем пользователя и выполняем первоначальную настройку
RUN chmod +x /splunkforwarder/bin/scripts/*.sh 
    && groupadd -r splunk 
    && useradd -r -m -g splunk splunk 
    && echo "%sudo ALL=NOPASSWD:ALL" >> /etc/sudoers 
    && chown -R splunk:splunk $SPLUNK_HOME 
    && /splunkforwarder/bin/first_start.sh 
    && /splunkforwarder/bin/splunk install app /splunkclouduf.spl -auth admin:changeme 
    && /splunkforwarder/bin/splunk restart

# Копируем инит скрипты
COPY [ "init/entrypoint.sh", "init/checkstate.sh", "/sbin/" ]

# По желанию. Кому нужно локально иметь конфиги/логи, кому нет.
VOLUME [ "/splunkforwarder/etc", "/splunkforwarder/var" ]

HEALTHCHECK --interval=30s --timeout=30s --start-period=3m --retries=5 CMD /sbin/checkstate.sh || exit 1

ENTRYPOINT [ "/sbin/entrypoint.sh" ]
CMD [ "start-service" ]

אז מה כלול ב

first_start.sh

#!/usr/bin/expect -f
set timeout -1
spawn /splunkforwarder/bin/splunk start --accept-license
expect "Please enter an administrator username: "
send -- "adminr"
expect "Please enter a new password: "
send -- "changemer"
expect "Please confirm new password: "
send -- "changemer"
expect eof

בהתחלה הראשונה, Splunk מבקש ממך לתת לו כניסה/סיסמה, אבל נעשה שימוש בנתונים האלה רק כדי לבצע פקודות ניהול עבור אותה התקנה מסוימת, כלומר בתוך הקונטיינר. במקרה שלנו, אנחנו רק רוצים להפעיל את המכולה כדי שהכל יעבוד והבולים יזרום כמו נהר. כמובן, זה קשיח, אבל לא מצאתי דרכים אחרות.

בהמשך לפי התסריט מבוצע

/splunkforwarder/bin/splunk install app /splunkclouduf.spl -auth admin:changeme

splunkclouduf.spl — זהו קובץ אישורים עבור Splunk Universal Forwarder, אותו ניתן להוריד מממשק האינטרנט.

היכן ללחוץ להורדה (בתמונות)


זהו ארכיון רגיל שניתן לפרוק. בפנים יש אישורים וסיסמה לחיבור ל-SplunkCloud שלנו ו outputs.conf עם רשימה של מופעי הקלט שלנו. קובץ זה יהיה רלוונטי עד שתתקין מחדש את התקנת Splunk שלך או תוסיף צומת קלט אם ההתקנה היא מקומית. לכן, אין שום פסול בהוספתו בתוך המיכל.

והדבר האחרון הוא הפעלה מחדש. כן, כדי להחיל את השינויים, עליך להפעיל אותו מחדש.

בשלנו inputs.conf אנו מוסיפים את היומנים שברצוננו לשלוח ל-Splunk. אין צורך להוסיף את הקובץ הזה לתמונה אם, למשל, אתה מפיץ הגדרות באמצעות בובה. הדבר היחיד הוא שה-Forwarder רואה את ההגדרות כאשר הדמון מתחיל, אחרת הוא יצטרך ./splunk הפעלה מחדש.

איזה סוג של סקריפטים סטטיסטיים של docker הם? יש פתרון ישן ב- Github מ נרדף, התסריטים נלקחו משם ושונו כך שיעבדו עם גרסאות עדכניות של Docker (ce-17.*) ו-Splunk (7.*).

עם הנתונים שהתקבלו, אתה יכול לבנות את הדברים הבאים

לוחות מחוונים: (כמה תמונות)


קוד המקור למקפים נמצא בקישור המופיע בסוף המאמר. שים לב שיש 2 שדות נבחרים: 1 - בחירת אינדקס (חיפוש לפי מסיכה), בחירת מארח/מיכל. סביר להניח שתצטרך לעדכן את מסכת האינדקס, בהתאם לשמות שבהם אתה משתמש.

לסיכום, ברצוני להסב את תשומת לבכם לפונקציה הַתחָלָה() в

entrypoint.sh

start() {
    trap teardown EXIT
	if [ -z $SPLUNK_INDEX ]; then
	echo "'SPLUNK_INDEX' env variable is empty or not defined. Should be 'dev' or 'prd'." >&2
	exit 1
	else
	sed -e "s/@index@/$SPLUNK_INDEX/" -i ${SPLUNK_HOME}/etc/system/local/inputs.conf
	fi
	sed -e "s/@hostname@/$(cat /etc/hostname)/" -i ${SPLUNK_HOME}/etc/system/local/inputs.conf
    sh -c "echo 'starting' > /tmp/splunk-container.state"
	${SPLUNK_HOME}/bin/splunk start
    watch_for_failure
}

במקרה שלי, עבור כל סביבה וכל ישות בודדת, בין אם זו אפליקציה בקונטיינר או מכונה מארח, אנו משתמשים באינדקס נפרד. כך, מהירות החיפוש לא תפגע כאשר תהיה הצטברות משמעותית של נתונים. כלל פשוט משמש לשמות אינדקסים: _. לכן, על מנת שהמיכל יהיה אוניברסלי, לפני השקת הדמון עצמו, אנו מחליפים צמאהתו הכללי של שם הסביבה. משתנה שם הסביבה מועבר דרך משתני סביבה. נשמע מצחיק.

ראוי גם לציין שמסיבה כלשהי Splunk אינו מושפע מנוכחות פרמטר ה-docker המארח. הוא עדיין ישלח בעקשנות יומנים עם המזהה של המכולה שלו בשדה המארח. כפתרון, אתה יכול לעלות / etc / hostname מהמחשב המארח ובאתחול לבצע החלפות דומות לשמות האינדקסים.

דוגמה docker-compose.yml

version: '2'
services:
  splunk-forwarder:
    image: "${IMAGE_REPO}/docker-stats-splunk-forwarder:${IMAGE_VERSION}"
    environment:
      SPLUNK_INDEX: ${ENVIRONMENT}
    volumes:
    - /etc/hostname:/etc/hostname:ro
    - /var/log:/var/log
    - /var/run/docker.sock:/var/run/docker.sock:ro

סך הכל

כן, אולי הפתרון אינו אידיאלי ובוודאי לא אוניברסלי עבור כולם, שכן יש הרבה "קוד קשה". אבל בהתבסס על זה, כל אחד יכול לבנות תמונה משלו ולשים אותה בארטיפקטורה הפרטית שלו, אם, כפי שזה קורה, אתה צריך Splunk Forwarder ב-Docker.

קישורים:

פתרון מהמאמר
פתרון של outcoldman שנתן לנו השראה לעשות שימוש חוזר בחלק מהפונקציונליות
שֶׁל. תיעוד להגדרת Universal Forwarder

מקור: www.habr.com