Орос дахь Splunk мод бэлтгэх, аналитик системийн борлуулалт дууссантай холбогдуулан асуулт гарч ирэв: энэ шийдлийг юугаар сольж болох вэ? Янз бүрийн шийдлүүдтэй танилцаж цаг зарцуулсны дараа би жинхэнэ эр хүнд зориулсан шийдлийг шийдсэн - "ELK стек". Энэ системийг бий болгоход цаг хугацаа шаардагддаг ч үүний үр дүнд та байгууллагын төлөв байдалд дүн шинжилгээ хийх, мэдээллийн аюулгүй байдлын зөрчилд шуурхай хариу өгөх маш хүчирхэг системийг олж авах боломжтой. Энэ цуврал нийтлэлд бид ELK стекийн үндсэн (эсвэл үгүй ч байж магадгүй) боломжуудыг авч үзэх, логийг хэрхэн задлан шинжлэх, график, хяналтын самбарыг хэрхэн бүтээх, логуудын жишээн дээр ямар сонирхолтой функцүүдийг хийж болох талаар авч үзэх болно. Check Point галт хана эсвэл OpenVas аюулгүй байдлын сканнер. Эхлэхийн тулд энэ нь юу болох - ELK стек, ямар бүрэлдэхүүн хэсгүүдээс бүрдэхийг харцгаая.
"ELK стек" гурван нээлттэй эхийн төслийн товчлол юм: Elasticsearch, Logstash и Кибана. Холбогдох бүх төслүүдийн хамт Elastic боловсруулсан. Elasticsearch нь мэдээллийн сан, хайлт, аналитик системийн функцуудыг нэгтгэсэн бүхэл системийн цөм юм. Logstash нь олон эх сурвалжаас нэгэн зэрэг өгөгдлийг хүлээн авч, бүртгэлийг задлан шинжилж, Elasticsearch мэдээллийн сан руу илгээдэг сервер талын өгөгдөл боловсруулах хоолой юм. Кибана нь хэрэглэгчдэд Elasticsearch дээр график, график ашиглан өгөгдлийг дүрслэх боломжийг олгодог. Та мөн мэдээллийн санг Кибанагаар дамжуулан удирдах боломжтой. Дараа нь бид систем бүрийг тусад нь илүү нарийвчлан авч үзэх болно.
Logstash
Logstash нь янз бүрийн эх сурвалжаас бүртгэлийн үйл явдлуудыг боловсруулах хэрэгсэл бөгөөд үүний тусламжтайгаар та зурвас дахь талбарууд болон тэдгээрийн утгыг сонгохоос гадна өгөгдлийг шүүх, засварлах тохиргоог хийх боломжтой. Бүх залруулга хийсний дараа Logstash үйл явдлыг эцсийн мэдээллийн сан руу чиглүүлдэг. Хэрэгслийг зөвхөн тохиргооны файлуудаар тохируулдаг.
Ердийн logstash тохиргоо нь хэд хэдэн орж ирж буй мэдээллийн урсгал (оролт), энэ мэдээллийн хэд хэдэн шүүлтүүр (шүүлтүүр) болон хэд хэдэн гадагш урсгал (гаралт) зэргээс бүрдэх файл(ууд) юм. Энэ нь нэг буюу хэд хэдэн тохиргооны файл шиг харагдаж байгаа бөгөөд энэ нь хамгийн энгийн хувилбарт (юу ч байхгүй) дараах байдалтай байна:
input {
}
filter {
}
output {
}
INPUT-д бид бүртгэлийг аль порт руу, ямар протоколоор илгээх, эсвэл шинэ эсвэл байнга шинэчлэгддэг файлуудыг аль фолдероос уншихыг тохируулдаг. FILTER-д бид лог задлагчийг тохируулдаг: талбаруудыг задлан шинжлэх, утгыг засах, шинэ параметр нэмэх эсвэл устгах. FILTER бол Logstash-д ирдэг мессежийг удирдах олон янзын сонголттой талбар юм. Гаралт дээр бид аль хэдийн задлан шинжилсэн бүртгэлийг хаашаа илгээхийг тохируулдаг, хэрэв энэ нь elasticsearch тохиолдолд утгууд бүхий талбарт JSON хүсэлт илгээгдэх эсвэл дибаг хийх хэсэг болгон үүнийг stdout руу гаргах эсвэл файл руу бичих боломжтой.
ElasticSearch
Эхэндээ Elasticsearch нь бүрэн текст хайлт хийх шийдэл боловч хялбархан масштаблах, хуулбарлах болон бусад зүйлс гэх мэт нэмэлт тохь тухтай тул бүтээгдэхүүнийг маш тохиромжтой болгож, их хэмжээний өгөгдөл бүхий өндөр ачаалалтай төслүүдэд сайн шийдэл болсон. Elasticsearch нь Lucene бүрэн текст хайлт дээр суурилсан харилцаа холбоогүй (NoSQL) JSON баримтын дэлгүүр ба хайлтын систем юм. Техник хангамжийн платформ нь Java Virtual Machine тул систем нь ажиллахын тулд их хэмжээний процессор болон RAM нөөц шаарддаг.
Ирж буй мессеж бүрийг Logstash эсвэл API асуулгын аль нэгийг ашиглан "баримт бичиг" болгон индексжүүлдэг бөгөөд энэ нь харилцааны SQL дэх хүснэгттэй адил юм. Бүх баримт бичгүүдийг индекст хадгалдаг - SQL дахь өгөгдлийн сангийн аналог.
Мэдээллийн сан дахь баримт бичгийн жишээ:
{
"_index": "checkpoint-2019.10.10",
"_type": "_doc",
"_id": "yvNZcWwBygXz5W1aycBy",
"_version": 1,
"_score": null,
"_source": {
"layer_uuid": [
"dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
"dbee3718-cf2f-4de0-8681-529cb75be9a6"
],
"outzone": "External",
"layer_name": [
"TSS-Standard Security",
"TSS-Standard Application"
],
"time": "1565269565",
"dst": "103.5.198.210",
"parent_rule": "0",
"host": "10.10.10.250",
"ifname": "eth6",
]
}
Мэдээллийн сантай хийсэн бүх ажил нь REST API ашиглан JSON хүсэлт дээр суурилдаг бөгөөд энэ нь баримт бичгийг индексээр эсвэл зарим статистикийг асуулт - хариулт хэлбэрээр гаргадаг. Хүсэлтийн бүх хариуг дүрслэн харуулахын тулд вэб үйлчилгээ болох Кибана-г бичсэн.
Кибана
Кибана нь elasticsearch мэдээллийн сангаас хайлт хийх, мэдээлэл авах, статистик асуух боломжийг олгодог боловч хариулт дээр үндэслэн олон сайхан график, хяналтын самбаруудыг бүтээдэг. Энэ систем нь мөн elasticsearch мэдээллийн баазыг удирдах функцтэй бөгөөд дараагийн нийтлэлүүдэд бид энэ үйлчилгээг илүү нарийвчлан авч үзэх болно. Одоо Check Point галт хана болон OpenVas эмзэг байдлын сканнерын хяналтын самбаруудын жишээг үзүүлье.
Шалгах цэгийн хяналтын самбарын жишээ бол зураг дээр дарж болно:
OpenVas-ийн хяналтын самбарын жишээ бол зураг дээр дарж болно:
дүгнэлт
Энэ нь юунаас бүрдэхийг бид харлаа ELK стек, бид үндсэн бүтээгдэхүүнүүдтэй бага зэрэг танилцсан, дараа нь бид Logstash тохиргооны файл бичих, Кибана дээр хяналтын самбар тохируулах, API хүсэлт, автоматжуулалт болон бусад олон зүйлийг тусад нь авч үзэх болно!
Тиймээс бидэнтэй хамт байгаарай, , , ), .
Эх сурвалж: www.habr.com