ஸ்ப்ளங்க் லாக்கிங் மற்றும் அனலிட்டிக்ஸ் அமைப்பின் ரஷ்யாவில் விற்பனையின் முடிவு தொடர்பாக, கேள்வி எழுந்தது: இந்த தீர்வை எதை மாற்றலாம்? வெவ்வேறு தீர்வுகளுடன் பழகிய பிறகு, நான் ஒரு உண்மையான மனிதனுக்கான தீர்வைத் தீர்த்தேன் - "ELK அடுக்கு". இந்த அமைப்பு அமைக்க நேரம் எடுக்கும், ஆனால் இதன் விளைவாக, நிலையை பகுப்பாய்வு செய்வதற்கும் நிறுவனத்தில் தகவல் பாதுகாப்பு சம்பவங்களுக்கு உடனடியாக பதிலளிப்பதற்கும் நீங்கள் மிகவும் சக்திவாய்ந்த அமைப்பைப் பெறலாம். இந்தக் கட்டுரைத் தொடரில், ELK ஸ்டேக்கின் அடிப்படை (அல்லது இல்லாவிட்டாலும்) திறன்களைப் பார்ப்போம், பதிவுகளை எவ்வாறு அலசுவது, வரைபடங்கள் மற்றும் டாஷ்போர்டுகளை எவ்வாறு உருவாக்குவது மற்றும் பதிவுகளின் உதாரணத்தைப் பயன்படுத்தி என்ன சுவாரஸ்யமான செயல்பாடுகளைச் செய்யலாம் என்பதைக் கருத்தில் கொள்வோம். செக் பாயிண்ட் ஃபயர்வால் அல்லது OpenVas பாதுகாப்பு ஸ்கேனர். தொடங்குவதற்கு, அது என்ன என்பதைப் பார்ப்போம் - ELK ஸ்டேக், அது என்ன கூறுகளைக் கொண்டுள்ளது.
"ELK அடுக்கு" மூன்று திறந்த மூல திட்டங்களின் சுருக்கம்: Elasticsearch, Logstash и Kibana. அனைத்து தொடர்புடைய திட்டங்களுடன் எலாஸ்டிக் மூலம் உருவாக்கப்பட்டது. மீள் தேடல் என்பது முழு அமைப்பின் மையமாகும், இது தரவுத்தளம், தேடல் மற்றும் பகுப்பாய்வு அமைப்பின் செயல்பாடுகளை ஒருங்கிணைக்கிறது. லாக்ஸ்டாஷ் என்பது சர்வர் பக்க தரவு செயலாக்க பைப்லைன் ஆகும், இது ஒரே நேரத்தில் பல ஆதாரங்களில் இருந்து தரவைப் பெற்று, பதிவை அலசுகிறது, பின்னர் அதை ஒரு மீள் தேடல் தரவுத்தளத்திற்கு அனுப்புகிறது. எலாஸ்டிக் தேடலில் வரைபடங்கள் மற்றும் வரைபடங்களைப் பயன்படுத்தி தரவைக் காட்சிப்படுத்த பயனர்களை கிபானா அனுமதிக்கிறது. கிபானா மூலமாகவும் நீங்கள் தரவுத்தளத்தை நிர்வகிக்கலாம். அடுத்து, ஒவ்வொரு அமைப்பையும் தனித்தனியாக இன்னும் விரிவாகக் கருதுவோம்.
Logstash
Logstash என்பது பல்வேறு ஆதாரங்களில் இருந்து பதிவு நிகழ்வுகளை செயலாக்குவதற்கான ஒரு பயன்பாடாகும், இதன் மூலம் நீங்கள் ஒரு செய்தியில் புலங்களையும் அவற்றின் மதிப்புகளையும் தேர்ந்தெடுக்கலாம், மேலும் நீங்கள் தரவு வடிகட்டுதல் மற்றும் திருத்துதல் ஆகியவற்றை உள்ளமைக்கலாம். அனைத்து கையாளுதல்களுக்கும் பிறகு, லாக்ஸ்டாஷ் நிகழ்வுகளை இறுதி தரவு சேமிப்பிற்கு திருப்பி விடுகிறது. பயன்பாடு உள்ளமைவு கோப்புகள் மூலம் மட்டுமே கட்டமைக்கப்படுகிறது.
ஒரு பொதுவான logstash கட்டமைப்பு என்பது பல உள்வரும் தகவல் (உள்ளீடு), இந்தத் தகவலுக்கான பல வடிப்பான்கள் (வடிகட்டி) மற்றும் பல வெளிச்செல்லும் ஸ்ட்ரீம்கள் (வெளியீடு) ஆகியவற்றைக் கொண்ட கோப்பு(கள்) ஆகும். இது ஒன்று அல்லது அதற்கு மேற்பட்ட உள்ளமைவு கோப்புகள் போல் தெரிகிறது, இது எளிமையான பதிப்பில் (எதுவும் செய்யாது) இப்படி இருக்கும்:
input {
}
filter {
}
output {
}
INPUT இல் பதிவுகள் எந்த போர்ட்டிற்கு அனுப்பப்படும் மற்றும் எந்த நெறிமுறை மூலம் அல்லது எந்த கோப்புறையிலிருந்து புதிய அல்லது தொடர்ந்து புதுப்பிக்கப்பட்ட கோப்புகளைப் படிக்க வேண்டும் என்பதை உள்ளமைக்கிறோம். FILTER இல் பதிவுப் பாகுபடுத்தியை உள்ளமைக்கிறோம்: புலங்களைப் பாகுபடுத்துதல், மதிப்புகளைத் திருத்துதல், புதிய அளவுருக்களைச் சேர்த்தல் அல்லது அவற்றை நீக்குதல். FILTER என்பது நிறைய எடிட்டிங் விருப்பங்களுடன் Logstash க்கு வரும் செய்தியை நிர்வகிப்பதற்கான ஒரு புலமாகும். வெளியீட்டில், ஏற்கனவே பாகுபடுத்தப்பட்ட பதிவை எங்கு அனுப்புகிறோம் என்பதை உள்ளமைக்கிறோம், அது மீள் தேடலாக இருந்தால், மதிப்புகள் கொண்ட புலங்கள் அனுப்பப்படும் JSON கோரிக்கை அனுப்பப்படும் அல்லது பிழைத்திருத்தத்தின் ஒரு பகுதியாக அதை stdout க்கு வெளியிடலாம் அல்லது ஒரு கோப்பில் எழுதலாம்.
Elasticsearch
ஆரம்பத்தில், Elasticsearch என்பது முழு-உரை தேடலுக்கான ஒரு தீர்வாகும், ஆனால் எளிதாக அளவிடுதல், நகலெடுத்தல் மற்றும் பிற விஷயங்கள் போன்ற கூடுதல் வசதிகளுடன், இது தயாரிப்பை மிகவும் வசதியானதாகவும், அதிக அளவிலான தரவைக் கொண்ட உயர்-சுமை திட்டங்களுக்கு நல்ல தீர்வாகவும் அமைந்தது. Elasticsearch என்பது லூசீன் முழு உரைத் தேடலை அடிப்படையாகக் கொண்ட ஒரு தொடர்பற்ற (NoSQL) JSON ஆவணக் கடை மற்றும் தேடுபொறியாகும். வன்பொருள் இயங்குதளம் ஜாவா விர்ச்சுவல் மெஷின் ஆகும், எனவே கணினி செயல்பட அதிக அளவு செயலி மற்றும் ரேம் ஆதாரங்கள் தேவை.
ஒவ்வொரு உள்வரும் செய்தியும், Logstash உடன் அல்லது வினவல் API ஐப் பயன்படுத்தி, "ஆவணம்" - தொடர்புடைய SQL இல் உள்ள அட்டவணைக்கு ஒப்பானது. அனைத்து ஆவணங்களும் ஒரு குறியீட்டில் சேமிக்கப்படுகின்றன - SQL இல் உள்ள தரவுத்தளத்தின் அனலாக்.
தரவுத்தளத்தில் உள்ள ஆவணத்தின் எடுத்துக்காட்டு:
{
"_index": "checkpoint-2019.10.10",
"_type": "_doc",
"_id": "yvNZcWwBygXz5W1aycBy",
"_version": 1,
"_score": null,
"_source": {
"layer_uuid": [
"dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
"dbee3718-cf2f-4de0-8681-529cb75be9a6"
],
"outzone": "External",
"layer_name": [
"TSS-Standard Security",
"TSS-Standard Application"
],
"time": "1565269565",
"dst": "103.5.198.210",
"parent_rule": "0",
"host": "10.10.10.250",
"ifname": "eth6",
]
}
தரவுத்தளத்துடனான அனைத்து வேலைகளும் REST API ஐப் பயன்படுத்தி JSON கோரிக்கைகளை அடிப்படையாகக் கொண்டவை, இது குறியீட்டு அல்லது சில புள்ளிவிவரங்களின் வடிவத்தில் ஆவணங்களை உருவாக்குகிறது: கேள்வி - பதில். கோரிக்கைகளுக்கான அனைத்து பதில்களையும் காட்சிப்படுத்துவதற்காக, கிபானா எழுதப்பட்டது, இது ஒரு இணைய சேவையாகும்.
Kibana
எலாஸ்டிக் தேடல் தரவுத்தளத்தில் இருந்து தரவு மற்றும் வினவல் புள்ளிவிவரங்களைத் தேடவும், மீட்டெடுக்கவும் கிபானா உங்களை அனுமதிக்கிறது, ஆனால் பல அழகான வரைபடங்கள் மற்றும் டாஷ்போர்டுகள் பதில்களின் அடிப்படையில் உருவாக்கப்பட்டுள்ளன. கணினி மீள் தேடல் தரவுத்தள நிர்வாக செயல்பாட்டையும் கொண்டுள்ளது; அடுத்தடுத்த கட்டுரைகளில் இந்த சேவையை இன்னும் விரிவாகப் பார்ப்போம். இப்போது செக் பாயிண்ட் ஃபயர்வாலுக்கான டாஷ்போர்டுகள் மற்றும் உருவாக்கக்கூடிய ஓபன்வாஸ் பாதிப்பு ஸ்கேனருக்கான உதாரணத்தைக் காண்போம்.
செக் பாயிண்டிற்கான டாஷ்போர்டின் உதாரணம், படம் கிளிக் செய்யக்கூடியது:
OpenVas க்கான டாஷ்போர்டின் உதாரணம், படம் கிளிக் செய்யக்கூடியது:
முடிவுக்கு
அதில் என்ன இருக்கிறது என்று பார்த்தோம் ELK அடுக்கு, முக்கிய தயாரிப்புகளுடன் நாங்கள் கொஞ்சம் அறிந்தோம், பின்னர் பாடநெறியில் லாக்ஸ்டாஷ் உள்ளமைவு கோப்பை எழுதுவது, கிபானாவில் டாஷ்போர்டுகளை அமைப்பது, ஏபிஐ கோரிக்கைகள், ஆட்டோமேஷன் மற்றும் பலவற்றைப் பற்றி தனித்தனியாக பரிசீலிப்போம்!
எனவே காத்திருங்கள், , , ), .
ஆதாரம்: www.habr.com