1.Elastic stack: ανάλυση των αρχείων καταγραφής ασφαλείας. Εισαγωγή

Σε σχέση με το τέλος των πωλήσεων στη Ρωσία του συστήματος καταγραφής και ανάλυσης Splunk, προέκυψε το ερώτημα: με τι μπορεί να αντικαταστήσει αυτή τη λύση; Αφού πέρασα χρόνο για να εξοικειωθώ με διάφορες λύσεις, καταλήξα σε μια λύση για έναν πραγματικό άντρα - "Στοίβα ELK". Αυτό το σύστημα απαιτεί χρόνο για να εγκατασταθεί, αλλά ως αποτέλεσμα μπορείτε να αποκτήσετε ένα πολύ ισχυρό σύστημα για την ανάλυση της κατάστασης και την άμεση απόκριση σε συμβάντα ασφάλειας πληροφοριών στον οργανισμό. Σε αυτήν τη σειρά άρθρων, θα εξετάσουμε τις βασικές (ή ίσως όχι) δυνατότητες της στοίβας ELK, θα εξετάσουμε πώς μπορείτε να αναλύσετε αρχεία καταγραφής, πώς να δημιουργήσετε γραφήματα και πίνακες εργαλείων και ποιες ενδιαφέρουσες λειτουργίες μπορούν να γίνουν χρησιμοποιώντας το παράδειγμα αρχείων καταγραφής από το τείχος προστασίας Check Point ή το σαρωτή ασφαλείας OpenVas. Αρχικά, ας δούμε τι είναι - η στοίβα ELK και από ποια στοιχεία αποτελείται.

"Στοίβα ELK" είναι ένα αρκτικόλεξο για τρία έργα ανοιχτού κώδικα: Ελαστική αναζήτηση, Logstash и Kibana. Αναπτύχθηκε από την Elastic μαζί με όλα τα σχετικά έργα. Το Elasticsearch είναι ο πυρήνας ολόκληρου του συστήματος, ο οποίος συνδυάζει τις λειτουργίες μιας βάσης δεδομένων, αναζήτησης και αναλυτικού συστήματος. Το Logstash είναι ένας αγωγός επεξεργασίας δεδομένων από την πλευρά του διακομιστή που λαμβάνει δεδομένα από πολλές πηγές ταυτόχρονα, αναλύει το αρχείο καταγραφής και στη συνέχεια το στέλνει σε μια βάση δεδομένων Elasticsearch. Το Kibana επιτρέπει στους χρήστες να οπτικοποιούν δεδομένα χρησιμοποιώντας γραφήματα και γραφήματα στο Elasticsearch. Μπορείτε επίσης να διαχειριστείτε τη βάση δεδομένων μέσω του Kibana. Στη συνέχεια, θα εξετάσουμε κάθε σύστημα ξεχωριστά με περισσότερες λεπτομέρειες.

Logstash

Το Logstash είναι ένα βοηθητικό πρόγραμμα για την επεξεργασία συμβάντων καταγραφής από διάφορες πηγές, με το οποίο μπορείτε να επιλέξετε πεδία και τις τιμές τους σε ένα μήνυμα και μπορείτε επίσης να διαμορφώσετε το φιλτράρισμα και την επεξεργασία δεδομένων. Μετά από όλους τους χειρισμούς, το Logstash ανακατευθύνει τα συμβάντα στον τελικό χώρο αποθήκευσης δεδομένων. Το βοηθητικό πρόγραμμα ρυθμίζεται μόνο μέσω αρχείων διαμόρφωσης.
Μια τυπική διαμόρφωση logstash είναι ένα αρχείο(α) που αποτελείται από πολλές εισερχόμενες ροές πληροφοριών (εισαγωγή), πολλά φίλτρα για αυτές τις πληροφορίες (φίλτρο) και πολλές εξερχόμενες ροές (έξοδος). Μοιάζει με ένα ή περισσότερα αρχεία διαμόρφωσης, τα οποία στην απλούστερη έκδοση (που δεν κάνει απολύτως τίποτα) μοιάζει με αυτό:

input {
}

filter {
}

output {
}

Στο INPUT διαμορφώνουμε σε ποια θύρα θα αποστέλλονται τα αρχεία καταγραφής και μέσω ποιου πρωτοκόλλου ή από ποιο φάκελο θα διαβάζονται νέα ή συνεχώς ενημερωμένα αρχεία. Στο FILTER διαμορφώνουμε τον αναλυτή καταγραφής: ανάλυση πεδίων, επεξεργασία τιμών, προσθήκη νέων παραμέτρων ή διαγραφή τους. Το FILTER είναι ένα πεδίο για τη διαχείριση του μηνύματος που έρχεται στο Logstash με πολλές επιλογές επεξεργασίας. Στην έξοδο διαμορφώνουμε πού στέλνουμε το ήδη αναλυμένο αρχείο καταγραφής, σε περίπτωση που είναι elasticsearch αποστέλλεται αίτημα JSON στο οποίο αποστέλλονται πεδία με τιμές ή ως μέρος του εντοπισμού σφαλμάτων μπορεί να βγει στο stdout ή να γραφτεί σε ένα αρχείο.

ElasticSearch

Αρχικά, το Elasticsearch είναι μια λύση για αναζήτηση πλήρους κειμένου, αλλά με πρόσθετες ανέσεις, όπως εύκολη κλιμάκωση, αναπαραγωγή και άλλα πράγματα, που έκαναν το προϊόν πολύ βολικό και μια καλή λύση για έργα υψηλού φορτίου με μεγάλο όγκο δεδομένων. Το Elasticsearch είναι μια μη σχεσιακή (NoSQL) αποθήκευση εγγράφων και μηχανή αναζήτησης JSON που βασίζεται στην αναζήτηση πλήρους κειμένου Lucene. Η πλατφόρμα υλικού είναι η Java Virtual Machine, επομένως το σύστημα απαιτεί μεγάλο αριθμό πόρων επεξεργαστή και RAM για να λειτουργήσει.
Κάθε εισερχόμενο μήνυμα, είτε με Logstash είτε με χρήση του ερωτήματος API, ευρετηριάζεται ως "έγγραφο" - ανάλογο με έναν πίνακα σε σχεσιακή SQL. Όλα τα έγγραφα αποθηκεύονται σε ένα ευρετήριο - ένα ανάλογο μιας βάσης δεδομένων σε SQL.

Παράδειγμα εγγράφου στη βάση δεδομένων:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

Όλη η εργασία με τη βάση δεδομένων βασίζεται σε αιτήματα JSON χρησιμοποιώντας το REST API, το οποίο είτε παράγει έγγραφα ανά ευρετήριο είτε ορισμένα στατιστικά στοιχεία στη μορφή: ερώτηση - απάντηση. Προκειμένου να απεικονιστούν όλες οι απαντήσεις στα αιτήματα, γράφτηκε το Kibana, το οποίο είναι μια διαδικτυακή υπηρεσία.

Kibana

Το Kibana σάς επιτρέπει να αναζητάτε, να ανακτάτε δεδομένα και να αναζητάτε στατιστικά στοιχεία από τη βάση δεδομένων elasticsearch, αλλά πολλά όμορφα γραφήματα και πίνακες εργαλείων δημιουργούνται με βάση τις απαντήσεις. Το σύστημα διαθέτει επίσης λειτουργία διαχείρισης βάσης δεδομένων elasticsearch· σε επόμενα άρθρα θα εξετάσουμε αυτή την υπηρεσία με περισσότερες λεπτομέρειες. Ας δείξουμε τώρα ένα παράδειγμα πινάκων εργαλείων για το τείχος προστασίας Check Point και τον σαρωτή ευπάθειας OpenVas που μπορεί να κατασκευαστεί.

Ένα παράδειγμα πίνακα εργαλείων για το Check Point, η εικόνα με δυνατότητα κλικ:

Ένα παράδειγμα πίνακα εργαλείων για το OpenVas, η εικόνα μπορεί να γίνει κλικ:

Συμπέρασμα

Εξετάσαμε από τι αποτελείται ELK στοίβα, εξοικειωθήκαμε λίγο με τα κύρια προϊόντα, αργότερα στην πορεία θα εξετάσουμε ξεχωριστά τη σύνταξη ενός αρχείου διαμόρφωσης Logstash, τη ρύθμιση πινάκων εργαλείων στο Kibana, την εξοικείωση με αιτήματα API, αυτοματισμούς και πολλά άλλα!

Μείνετε συντονισμένοι λοιπόνTelegram, Facebook, VK, Ιστολόγιο TS Solution), Γιάντεξ Ζεν.

Πηγή: www.habr.com