స్ప్లంక్ లాగింగ్ మరియు అనలిటిక్స్ సిస్టమ్ యొక్క రష్యాలో అమ్మకాల ముగింపుకు సంబంధించి, ప్రశ్న తలెత్తింది: ఈ పరిష్కారాన్ని దేనితో భర్తీ చేయవచ్చు? విభిన్న పరిష్కారాలతో నాకు పరిచయం ఉన్న సమయాన్ని గడిపిన తర్వాత, నేను నిజమైన మనిషి కోసం ఒక పరిష్కారంపై స్థిరపడ్డాను - "ELK స్టాక్". ఈ వ్యవస్థను సెటప్ చేయడానికి సమయం పడుతుంది, కానీ ఫలితంగా మీరు స్థితిని విశ్లేషించడానికి మరియు సంస్థలోని సమాచార భద్రతా సంఘటనలకు తక్షణమే ప్రతిస్పందించడానికి చాలా శక్తివంతమైన వ్యవస్థను పొందవచ్చు. ఈ కథనాల శ్రేణిలో, మేము ELK స్టాక్ యొక్క ప్రాథమిక (లేదా కాకపోవచ్చు) సామర్థ్యాలను పరిశీలిస్తాము, మీరు లాగ్‌లను ఎలా అన్వయించవచ్చు, గ్రాఫ్‌లు మరియు డాష్‌బోర్డ్‌లను ఎలా నిర్మించాలి మరియు లాగ్‌ల ఉదాహరణను ఉపయోగించి ఏ ఆసక్తికరమైన ఫంక్షన్‌లు చేయవచ్చు చెక్ పాయింట్ ఫైర్‌వాల్ లేదా OpenVas సెక్యూరిటీ స్కానర్. ప్రారంభించడానికి, అది ఏమిటో చూద్దాం - ELK స్టాక్ మరియు దానిలో ఏ భాగాలు ఉన్నాయి.
"ELK స్టాక్" మూడు ఓపెన్ సోర్స్ ప్రాజెక్ట్‌లకు సంక్షిప్త రూపం: Elasticsearch, Logstash и Kibana. అన్ని సంబంధిత ప్రాజెక్ట్‌లతో పాటు సాగే ద్వారా అభివృద్ధి చేయబడింది. సాగే శోధన అనేది మొత్తం సిస్టమ్ యొక్క ప్రధాన అంశం, ఇది డేటాబేస్, శోధన మరియు విశ్లేషణాత్మక వ్యవస్థ యొక్క విధులను మిళితం చేస్తుంది. లాగ్‌స్టాష్ అనేది సర్వర్-సైడ్ డేటా ప్రాసెసింగ్ పైప్‌లైన్, ఇది ఏకకాలంలో బహుళ మూలాల నుండి డేటాను స్వీకరించి, లాగ్‌ను అన్వయించి, ఆపై దానిని సాగే శోధన డేటాబేస్‌కు పంపుతుంది. Elasticsearchలో చార్ట్‌లు మరియు గ్రాఫ్‌లను ఉపయోగించి డేటాను దృశ్యమానం చేయడానికి Kibana వినియోగదారులను అనుమతిస్తుంది. మీరు కిబానా ద్వారా డేటాబేస్‌ను కూడా నిర్వహించవచ్చు. తరువాత, మేము ప్రతి వ్యవస్థను మరింత వివరంగా విడిగా పరిశీలిస్తాము.
Logstash
లాగ్‌స్టాష్ అనేది వివిధ మూలాల నుండి లాగ్ ఈవెంట్‌లను ప్రాసెస్ చేయడానికి ఒక యుటిలిటీ, దీనితో మీరు సందేశంలో ఫీల్డ్‌లు మరియు వాటి విలువలను ఎంచుకోవచ్చు మరియు మీరు డేటా ఫిల్టరింగ్ మరియు ఎడిటింగ్‌ను కూడా కాన్ఫిగర్ చేయవచ్చు. అన్ని అవకతవకల తర్వాత, లాగ్‌స్టాష్ ఈవెంట్‌లను తుది డేటా స్టోర్‌కు దారి మళ్లిస్తుంది. యుటిలిటీ కాన్ఫిగరేషన్ ఫైల్స్ ద్వారా మాత్రమే కాన్ఫిగర్ చేయబడింది.
ఒక సాధారణ లాగ్‌స్టాష్ కాన్ఫిగరేషన్ అనేది ఇన్‌కమింగ్ స్ట్రీమ్‌లు (ఇన్‌పుట్), ఈ సమాచారం కోసం అనేక ఫిల్టర్‌లు (ఫిల్టర్) మరియు అనేక అవుట్‌గోయింగ్ స్ట్రీమ్‌లు (అవుట్‌పుట్)తో కూడిన ఫైల్(లు). ఇది ఒకటి లేదా అంతకంటే ఎక్కువ కాన్ఫిగరేషన్ ఫైల్‌ల వలె కనిపిస్తుంది, ఇది సరళమైన సంస్కరణలో (ఏమీ చేయదు) ఇలా కనిపిస్తుంది:
input {
}
filter {
}
output {
}
INPUTలో మేము లాగ్‌లు ఏ పోర్ట్‌కి పంపబడతాయో మరియు ఏ ప్రోటోకాల్ ద్వారా లేదా ఏ ఫోల్డర్ నుండి కొత్త లేదా నిరంతరం నవీకరించబడిన ఫైల్‌లను చదవాలో కాన్ఫిగర్ చేస్తాము. FILTERలో మేము లాగ్ పార్సర్‌ను కాన్ఫిగర్ చేస్తాము: ఫీల్డ్‌లను అన్వయించడం, విలువలను సవరించడం, కొత్త పారామితులను జోడించడం లేదా వాటిని తొలగించడం. FILTER అనేది చాలా సవరణ ఎంపికలతో లాగ్‌స్టాష్‌కు వచ్చే సందేశాన్ని నిర్వహించడానికి ఫీల్డ్. అవుట్‌పుట్‌లో మేము ఇప్పటికే అన్వయించబడిన లాగ్‌ను ఎక్కడ పంపాలో కాన్ఫిగర్ చేస్తాము, ఒకవేళ అది సాగే శోధన అయితే JSON అభ్యర్థన పంపబడుతుంది, దీనిలో విలువలతో కూడిన ఫీల్డ్‌లు పంపబడతాయి లేదా డీబగ్‌లో భాగంగా దాన్ని stdoutకి అవుట్‌పుట్ చేయవచ్చు లేదా ఫైల్‌కు వ్రాయవచ్చు.
Elasticsearch
మొదట్లో, సాగే శోధన అనేది పూర్తి-వచన శోధనకు ఒక పరిష్కారం, అయితే సులభమైన స్కేలింగ్, రెప్లికేషన్ మరియు ఇతర విషయాల వంటి అదనపు సౌకర్యాలతో, ఉత్పత్తిని చాలా సౌకర్యవంతంగా మరియు అధిక పరిమాణాల డేటాతో అధిక-లోడ్ ప్రాజెక్ట్‌లకు మంచి పరిష్కారంగా చేసింది. సాగే శోధన అనేది నాన్-రిలేషనల్ (NoSQL) JSON డాక్యుమెంట్ స్టోర్ మరియు లూసీన్ పూర్తి-వచన శోధన ఆధారంగా శోధన ఇంజిన్. హార్డ్‌వేర్ ప్లాట్‌ఫారమ్ జావా వర్చువల్ మెషిన్, కాబట్టి సిస్టమ్ ఆపరేట్ చేయడానికి పెద్ద మొత్తంలో ప్రాసెసర్ మరియు RAM వనరులు అవసరం.
ప్రతి ఇన్‌కమింగ్ సందేశం, లాగ్‌స్టాష్‌తో లేదా క్వెరీ APIని ఉపయోగించి, "పత్రం"గా సూచిక చేయబడుతుంది - రిలేషనల్ SQLలోని పట్టికకు సారూప్యంగా ఉంటుంది. అన్ని పత్రాలు సూచికలో నిల్వ చేయబడతాయి - SQLలో డేటాబేస్ యొక్క అనలాగ్.
డేటాబేస్లో డాక్యుమెంట్ యొక్క ఉదాహరణ:
{
"_index": "checkpoint-2019.10.10",
"_type": "_doc",
"_id": "yvNZcWwBygXz5W1aycBy",
"_version": 1,
"_score": null,
"_source": {
"layer_uuid": [
"dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
"dbee3718-cf2f-4de0-8681-529cb75be9a6"
],
"outzone": "External",
"layer_name": [
"TSS-Standard Security",
"TSS-Standard Application"
],
"time": "1565269565",
"dst": "103.5.198.210",
"parent_rule": "0",
"host": "10.10.10.250",
"ifname": "eth6",
]
}
డేటాబేస్‌తో అన్ని పని REST APIని ఉపయోగించి JSON అభ్యర్థనలపై ఆధారపడి ఉంటుంది, ఇది ఇండెక్స్ ద్వారా పత్రాలను లేదా ఫార్మాట్‌లో కొన్ని గణాంకాలను ఉత్పత్తి చేస్తుంది: ప్రశ్న - సమాధానం. అభ్యర్థనలకు అన్ని ప్రతిస్పందనలను దృశ్యమానం చేయడానికి, కిబానా వ్రాయబడింది, ఇది ఒక వెబ్ సేవ.
Kibana
Kibana మీరు elasticsearch డేటాబేస్ నుండి శోధించడానికి, డేటాను మరియు ప్రశ్న గణాంకాలను తిరిగి పొందడానికి అనుమతిస్తుంది, అయితే సమాధానాల ఆధారంగా అనేక అందమైన గ్రాఫ్‌లు మరియు డ్యాష్‌బోర్డ్‌లు నిర్మించబడ్డాయి. సిస్టమ్ సాగే శోధన డేటాబేస్ అడ్మినిస్ట్రేషన్ కార్యాచరణను కూడా కలిగి ఉంది; తదుపరి కథనాలలో మేము ఈ సేవను మరింత వివరంగా పరిశీలిస్తాము. ఇప్పుడు చెక్ పాయింట్ ఫైర్‌వాల్ మరియు ఓపెన్‌వాస్ వల్నరబిలిటీ స్కానర్ కోసం డాష్‌బోర్డ్‌ల ఉదాహరణను చూపుదాం.
చెక్ పాయింట్ కోసం డ్యాష్‌బోర్డ్ యొక్క ఉదాహరణ, చిత్రం క్లిక్ చేయదగినది:
OpenVas కోసం డాష్‌బోర్డ్ యొక్క ఉదాహరణ, చిత్రం క్లిక్ చేయదగినది:
తీర్మానం
ఇది ఏమి కలిగి ఉందో మేము చూశాము ELK స్టాక్, మేము ప్రధాన ఉత్పత్తులతో కొంచెం పరిచయం కలిగి ఉన్నాము, తరువాత కోర్సులో మేము విడిగా లాగ్‌స్టాష్ కాన్ఫిగరేషన్ ఫైల్‌ను వ్రాయడం, కిబానాలో డాష్‌బోర్డ్‌లను సెటప్ చేయడం, API అభ్యర్థనలు, ఆటోమేషన్ మరియు మరెన్నో గురించి తెలుసుకోవడం గురించి పరిశీలిస్తాము!
కాబట్టి చూస్తూ ఉండండి, , , ), .
మూలం: www.habr.com