1. מחסנית אלסטית: ניתוח יומני אבטחה. מבוא

בהקשר לסיום המכירות ברוסיה של מערכת הרישום והניתוח Splunk, עלתה השאלה: במה יכול להחליף את הפתרון הזה? לאחר שביליתי זמן בהיכרות עם פתרונות שונים, התפשרתי על פתרון לגבר אמיתי - "מחסנית ELK". למערכת זו לוקח זמן להקים, אך כתוצאה מכך ניתן לקבל מערכת חזקה מאוד לניתוח המצב ומתן מענה מהיר לאירועי אבטחת מידע בארגון. בסדרת מאמרים זו, נבחן את היכולות הבסיסיות (או אולי לא) של מחסנית ה-ELK, נשקול כיצד ניתן לנתח יומנים, כיצד לבנות גרפים ודשבורדים, ואילו פונקציות מעניינות ניתן לעשות באמצעות הדוגמה של יומנים מ- חומת האש של Check Point או סורק האבטחה OpenVas. בתור התחלה, בואו נסתכל במה מדובר - מחסנית ה-ELK, ומאילו רכיבים היא מורכבת.

"מחסנית ELK" הוא ראשי תיבות של שלושה פרויקטים בקוד פתוח: Elasticsearch, לוגסטאש и קיבאנה. פותח על ידי Elastic יחד עם כל הפרויקטים הקשורים. Elasticsearch היא הליבה של המערכת כולה, המשלבת את הפונקציות של מסד נתונים, חיפוש ומערכת אנליטית. Logstash הוא צינור עיבוד נתונים בצד השרת שמקבל נתונים ממספר מקורות בו זמנית, מנתח את היומן ולאחר מכן שולח אותו למסד נתונים של Elasticsearch. Kibana מאפשר למשתמשים לדמיין נתונים באמצעות תרשימים וגרפים ב- Elasticsearch. אתה יכול גם לנהל את מסד הנתונים דרך Kibana. לאחר מכן, נשקול כל מערכת בנפרד ביתר פירוט.

לוגסטאש

Logstash הוא כלי עזר לעיבוד אירועי יומן ממקורות שונים, בעזרתו ניתן לבחור שדות וערכיהם בהודעה, וכן ניתן להגדיר סינון ועריכת נתונים. לאחר כל המניפולציות, Logstash מפנה אירועים למאגר הנתונים הסופי. כלי השירות מוגדר רק באמצעות קובצי תצורה.
תצורת logstash טיפוסית היא קובץ(ים) המורכבים ממספר זרמים נכנסים של מידע (קלט), מספר מסננים למידע זה (מסנן) ומספר זרמים יוצאים (פלט). זה נראה כמו קובץ תצורה אחד או יותר, שבגרסה הפשוטה ביותר (שלא עושה כלום) נראה כך:

input {
}

filter {
}

output {
}

ב-INPUT אנו מגדירים לאיזה יציאה היומנים יישלחו ודרך איזה פרוטוקול, או מאיזו תיקייה לקרוא קבצים חדשים או מתעדכנים כל הזמן. ב-FILTER אנו מגדירים את מנתח הלוג: ניתוח שדות, עריכת ערכים, הוספת פרמטרים חדשים או מחיקתם. FILTER הוא שדה לניהול ההודעה שמגיעה ל-Logstash עם הרבה אפשרויות עריכה. בפלט אנו מגדירים לאן אנו שולחים את היומן שכבר מנותח, במקרה שמדובר ב-lasticsearch נשלחת בקשת JSON בה נשלחים שדות עם ערכים, או כחלק מה-debug ניתן לפלט אותו ל-stdout או לכתוב לקובץ.

חיפוש אלסטי

בתחילה, Elasticsearch הוא פתרון לחיפוש בטקסט מלא, אך עם שירותים נוספים כמו קנה מידה קל, שכפול ודברים נוספים, שהפכו את המוצר לנוח מאוד ולפתרון טוב לפרויקטים בעומס גבוה עם כמויות גדולות של נתונים. Elasticsearch הוא חנות מסמכים ומנוע חיפוש של JSON לא יחסי (NoSQL) המבוסס על חיפוש בטקסט מלא של Lucene. פלטפורמת החומרה היא Java Virtual Machine, כך שהמערכת דורשת כמות גדולה של משאבי מעבד ו-RAM כדי לפעול.
כל הודעה נכנסת, עם Logstash או באמצעות ה-API של השאילתה, מתווספת לאינדקס כ"מסמך" - בדומה לטבלה ב-SQL יחסי. כל המסמכים מאוחסנים באינדקס - אנלוגי של מסד נתונים ב-SQL.

דוגמה למסמך במסד הנתונים:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

כל העבודה עם מסד הנתונים מבוססת על בקשות JSON באמצעות REST API, אשר מייצרות מסמכים לפי אינדקס או סטטיסטיקה כלשהי בפורמט: שאלה - תשובה. על מנת לדמיין את כל התשובות לבקשות, נכתב Kibana, שהוא שירות אינטרנט.

קיבאנה

Kibana מאפשר לך לחפש, לאחזר נתונים ולשאול נתונים סטטיסטיים ממסד הנתונים של elasticsearch, אך הרבה גרפים ודשבורדים יפים נבנים על סמך התשובות. למערכת יש גם פונקציונליות של ניהול מסד נתונים של elasticsearch במאמרים הבאים נסתכל על שירות זה ביתר פירוט. כעת נראה דוגמה של לוחות מחוונים עבור חומת האש של Check Point וסורק הפגיעות של OpenVas שניתן לבנות.

דוגמה ללוח מחוונים עבור צ'ק פוינט, התמונה ניתנת ללחיצה:

דוגמה ללוח מחוונים עבור OpenVas, התמונה ניתנת ללחיצה:

מסקנה

בדקנו ממה זה מורכב מחסנית ELK, הכרנו מעט את המוצרים העיקריים, בהמשך הקורס נשקול בנפרד כתיבת קובץ תצורה של Logstash, הגדרת לוחות מחוונים ב-Kibana, היכרות עם בקשות API, אוטומציה ועוד ועוד!

אז הישארו מעודכניםטלגרם, פייסבוק, VK, בלוג פתרונות TS), יאנדקס זן.

מקור: www.habr.com