2. מחסנית אלסטית: ניתוח יומני אבטחה. Logstash

בעבר статье נפגשנו מחסנית ELK, מאילו מוצרי תוכנה הוא מורכב. והמשימה הראשונה שעומדת בפני מהנדס בעת עבודה עם מחסנית ה-ELK היא שליחת יומנים לאחסון ב-lasticsearch לניתוח אחר כך. עם זאת, זהו רק מס שפתיים, elasticsearch מאחסן יומנים בצורה של מסמכים עם שדות וערכים מסוימים, מה שאומר שהמהנדס חייב להשתמש בכלים שונים כדי לנתח את ההודעה שנשלחת ממערכות הקצה. ניתן לעשות זאת בכמה דרכים - כתבו בעצמכם תוכנה שתוסיף מסמכים למסד הנתונים באמצעות ה-API, או השתמשו בפתרונות מוכנים. בקורס זה נשקול את הפתרון לוגסטאש, שהוא חלק מחסנית ELK. נבדוק כיצד נוכל לשלוח לוגים ממערכות נקודת קצה ל-Logstash, ולאחר מכן נגדיר קובץ תצורה לניתוח והפניה מחדש למסד הנתונים של Elasticsearch. לשם כך, אנו לוקחים יומנים מחומת האש של צ'ק פוינט כמערכת הנכנסת.

הקורס אינו מכסה את ההתקנה של מחסנית ELK, מכיוון שיש מספר עצום של מאמרים בנושא זה; נשקול את רכיב התצורה.

בואו נערוך תוכנית פעולה עבור תצורת Logstash:

1. בדיקה כי elasticsearch יקבל יומנים (בדיקת הפונקציונליות והפתיחות של הפורט).
2. אנו שוקלים כיצד אנו יכולים לשלוח אירועים ל-Logstash, לבחור שיטה וליישם אותה.
3. אנו מגדירים את הקלט בקובץ התצורה של Logstash.
4. אנו מגדירים את הפלט בקובץ התצורה של Logstash במצב ניפוי באגים כדי להבין איך נראית הודעת היומן.
5. הגדרת מסנן.
6. הגדרת הפלט הנכון ב- ElasticSearch.
7. Logstash מופעל.
8. בדיקת היומנים בקיבנה.

בואו נסתכל על כל נקודה ביתר פירוט:

בודקים כי elasticsearch יקבל יומנים

לשם כך, אתה יכול להשתמש בפקודה curl כדי לבדוק גישה אל Elasticsearch מהמערכת שבה פרוס Logstash. אם הגדרת אימות, אנו גם מעבירים את המשתמש/הסיסמה באמצעות curl, תוך ציון יציאה 9200 אם לא שינית אותה. אם תקבלו תגובה דומה לזו שלמטה, אז הכל בסדר.

[elastic@elasticsearch ~]$ curl -u <<user_name>> : <<password>> -sS -XGET "<<ip_address_elasticsearch>>:9200"
{
  "name" : "elastic-1",
  "cluster_name" : "project",
  "cluster_uuid" : "sQzjTTuCR8q4ZO6DrEis0A",
  "version" : {
    "number" : "7.4.1",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "fc0eeb6e2c25915d63d871d344e3d0b45ea0ea1e",
    "build_date" : "2019-10-22T17:16:35.176724Z",
    "build_snapshot" : false,
    "lucene_version" : "8.2.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}
[elastic@elasticsearch ~]$

אם התגובה לא מתקבלת, ייתכנו מספר סוגים של שגיאות: תהליך elasticsearch אינו פועל, היציאה השגויה צוינה, או שהיציאה חסומה על ידי חומת אש בשרת שבו מותקן elasticsearch.

בואו נסתכל כיצד ניתן לשלוח יומנים ל-Logstash מחומת אש של נקודת ביקורת

משרת הניהול של צ'ק פוינט אתה יכול לשלוח לוגים ל-Logstash דרך syslog באמצעות כלי השירות log_exporter, תוכל לקרוא עוד על זה כאן статье, כאן נשאיר רק את הפקודה שיוצרת את הזרם:

cp_log_export הוסף שם check_point_syslog target-server < > יציאת יעד 5555 פרוטוקול tcp פורמט גנרי מצב קריאה חצי מאוחד

< > - כתובת השרת עליו רץ Logstash, target-port 5555 - פורט אליו נשלח לוגים, שליחת לוגים דרך tcp יכולה לטעון את השרת, כך שבמקרים מסוימים יותר נכון להשתמש ב-udp.

הגדרת INPUT בקובץ התצורה של Logstash

כברירת מחדל, קובץ התצורה ממוקם בספרייה /etc/logstash/conf.d/. קובץ התצורה מורכב מ-3 חלקים בעלי משמעות: INPUT, FILTER, OUTPUT. IN קלט אנו מציינים מאיפה המערכת תיקח יומנים, ב סנן ניתוח היומן - הגדר כיצד לחלק את ההודעה לשדות וערכים, ב תפוקה אנו מגדירים את זרם הפלט - לאן יישלחו היומנים המנותחים.

ראשית, בואו נגדיר את INPUT, ניקח בחשבון כמה מהסוגים שיכולים להיות - file, tcp ו-exe.

TCP:

input {
tcp {
    port => 5555
    host => “10.10.1.205”
    type => "checkpoint"
    mode => "server"
}
}

מצב => "שרת"
מציין ש-Logstash מקבל חיבורים.

יציאה => 5555
מארח => "10.10.1.205"
אנו מקבלים חיבורים דרך כתובת IP 10.10.1.205 (Logstash), יציאה 5555 - היציאה חייבת להיות מותרת על פי מדיניות חומת האש.

הקלד => "מחסום"
אנו מסמנים את המסמך, נוח מאוד אם יש לך מספר חיבורים נכנסים. לאחר מכן, עבור כל חיבור אתה יכול לכתוב מסנן משלך באמצעות המבנה הלוגי אם.

קובץ:

input {
  file {
    path => "/var/log/openvas_report/*"
    type => "openvas"
    start_position => "beginning"
    }
}

תיאור ההגדרות:
נתיב => "/var/log/openvas_report/*"
אנו מציינים את הספרייה שבה יש לקרוא את הקבצים.

הקלד => "openvas"
סוג אירוע.

start_position => "התחלה"
בעת שינוי קובץ, הוא קורא את כל הקובץ; אם אתה מגדיר "סוף", המערכת ממתינה לרשומות חדשות שיופיעו בסוף הקובץ.

ביצוע:

input {
  exec {
    command => "ls -alh"
    interval => 30
  }
}

באמצעות קלט זה, מופעלת פקודת מעטפת (בלבד!) והפלט שלה הופך להודעת יומן.

פקודה => "ls -alh"
הפקודה שבפלט שלה אנחנו מעוניינים.

מרווח => 30
מרווח הפעלת פקודה בשניות.

על מנת לקבל יומנים מחומת האש, אנו רושמים מסנן TCP או UDP, תלוי איך היומנים נשלחים ל-Logstash.

אנו מגדירים את הפלט בקובץ התצורה של Logstash במצב ניפוי באגים כדי להבין איך נראית הודעת היומן

לאחר שהגדרנו את INPUT, עלינו להבין כיצד תיראה הודעת היומן ובאילו שיטות יש להשתמש כדי להגדיר את מסנן היומן (מנתח).

לשם כך, נשתמש במסנן שמוציא את התוצאה ל-stdout על מנת לצפות בהודעה המקורית; קובץ התצורה המלא כרגע ייראה כך:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

output 
{
	if [type] == "checkpoint" 
       {
		stdout { codec=> json }
	}
}

הפעל את הפקודה כדי לבדוק:
sudo /usr/share/logstash/bin//logstash -f /etc/logstash/conf.d/checkpoint.conf
אנו רואים את התוצאה, התמונה ניתנת ללחיצה:

אם תעתיק אותו זה ייראה כך:

action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,0x5,0xfe0a0a0a,0xc0000000}" origin="10.10.10.254" originsicname="CN=ts-spb-cpgw-01,O=cp-spb-mgmt-01.tssolution.local.kncafb" sequencenum="8" time="1576766483" version="5" context_num="1" dst="10.10.10.10" dst_machine_name="[email protected]" layer_name="TSS-Standard Security" layer_name="TSS-Standard Application" layer_uuid="dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0" layer_uuid="dbee3718-cf2f-4de0-8681-529cb75be9a6" match_id="8" match_id="33554431" parent_rule="0" parent_rule="0" rule_action="Accept" rule_action="Accept" rule_name="Implicit Cleanup" rule_uid="6dc2396f-9644-4546-8f32-95d98a3344e6" product="VPN-1 & FireWall-1" proto="17" s_port="37317" service="53" service_id="domain-udp" src="10.10.1.180" ","type":"qqqqq","host":"10.10.10.250","@version":"1","port":50620}{"@timestamp":"2019-12-19T14:50:12.153Z","message":"time="1576766483" action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,

בהסתכלות על ההודעות הללו, אנו מבינים שהלוגים נראים כך: שדה = ערך או מפתח = ערך, כלומר מסנן בשם kv מתאים. על מנת לבחור את המסנן המתאים לכל מקרה ספציפי, כדאי יהיה להכיר אותם בתיעוד הטכני, או לשאול חבר.

הגדרת מסנן

בשלב האחרון שבחרנו kv, התצורה של מסנן זה מוצגת להלן:

filter {
if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
}
}

נבחר את הסמל שלפיו נחלק את השדה והערך - "=". אם יש לנו ערכים זהים ביומן, אנחנו שומרים רק מופע אחד במסד הנתונים, אחרת תקבלו מערך של ערכים זהים, כלומר אם יש לנו את ההודעה "foo = some foo=some" נכתוב רק foo = כמה.

הגדרת הפלט הנכון ב- ElasticSearch

לאחר הגדרת המסנן, תוכל להעלות יומנים למסד הנתונים אלסטיקה:

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

אם המסמך חתום עם סוג המחסום, אנו שומרים את האירוע במסד הנתונים של elasticsearch, שמקבל חיבורים בתאריך 10.10.1.200 ביציאה 9200 כברירת מחדל. כל מסמך נשמר באינדקס מסוים, במקרה זה אנו שומרים לאינדקס "מחסום-" + תאריך זמן נוכחי. כל אינדקס יכול לכלול קבוצה מסוימת של שדות, או שנוצר באופן אוטומטי כאשר שדה חדש מופיע בהודעה; ניתן לראות את הגדרות השדות והסוג שלהן במיפויים.

אם הגדרת אימות (נסתכל על זה מאוחר יותר), יש לציין את האישורים לכתיבה לאינדקס ספציפי, בדוגמה זו זה "tssolution" עם הסיסמה "מגניב". ניתן להבדיל בין זכויות משתמש לכתיבת יומנים רק לאינדקס ספציפי ולא יותר.

הפעל את Logstash.

קובץ התצורה של Logstash:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

filter {
        if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
        }
}

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

אנו בודקים את תקינות קובץ התצורה:
/usr/share/logstash/bin//logstash -f checkpoint.conf


התחל את תהליך Logstash:
התחל לוגסטאש

אנו בודקים שהתהליך התחיל:
sudo systemctl status logstash

בוא נבדוק אם השקע פתוח:
netstat -nat |grep 5555

בדיקת היומנים בקיבנה.

אחרי שהכל פועל, עברו ל-Kibana - Discover, וודאו שהכל מוגדר נכון, התמונה ניתנת ללחיצה!

כל היומנים נמצאים במקום ואנחנו יכולים לראות את כל השדות והערכים שלהם!

מסקנה

בדקנו איך לכתוב קובץ תצורה של Logstash, וכתוצאה מכך קיבלנו מנתח של כל השדות והערכים. כעת נוכל לעבוד עם חיפוש ותכנון שדות ספציפיים. בשלב הבא בקורס נסתכל על הדמיה בקיבאנה וניצור לוח מחוונים פשוט. ראוי להזכיר שקובץ התצורה של Logstash צריך להתעדכן כל הזמן במצבים מסוימים, למשל, כאשר אנו רוצים להחליף ערך של שדה ממספר למילה. במאמרים הבאים נעשה זאת ללא הרף.

אז הישארו מעודכניםמברק, פייסבוק, VK, בלוג פתרונות TS), יאנדקס זן.

מקור: www.habr.com