1. સ્થિતિસ્થાપક સ્ટેક: સુરક્ષા લોગનું વિશ્લેષણ. પરિચય

સ્પ્લંક લોગીંગ અને એનાલિટિક્સ સિસ્ટમના રશિયામાં વેચાણના અંતના સંબંધમાં, પ્રશ્ન ઊભો થયો: આ ઉકેલને શું બદલી શકે છે? વિવિધ ઉકેલો સાથે મારી જાતને પરિચિત કરવામાં સમય પસાર કર્યા પછી, મેં એક વાસ્તવિક માણસ માટેના ઉકેલ પર સ્થાયી થયા - "ELK સ્ટેક". આ સિસ્ટમને સેટ થવામાં સમય લાગે છે, પરંતુ પરિણામે તમે સ્થિતિનું વિશ્લેષણ કરવા અને સંસ્થામાં માહિતી સુરક્ષાની ઘટનાઓને તાત્કાલિક પ્રતિસાદ આપવા માટે ખૂબ જ શક્તિશાળી સિસ્ટમ મેળવી શકો છો. લેખોની આ શ્રેણીમાં, અમે ELK સ્ટેકની મૂળભૂત (અથવા કદાચ નહીં) ક્ષમતાઓ જોઈશું, તમે લૉગ્સ કેવી રીતે પાર્સ કરી શકો છો, ગ્રાફ અને ડેશબોર્ડ્સ કેવી રીતે બનાવી શકો છો અને લોગના ઉદાહરણનો ઉપયોગ કરીને કયા રસપ્રદ કાર્યો કરી શકાય છે તે ધ્યાનમાં લઈશું. ચેક પોઈન્ટ ફાયરવોલ અથવા ઓપનવાસ સુરક્ષા સ્કેનર. શરૂ કરવા માટે, ચાલો જોઈએ કે તે શું છે - ELK સ્ટેક, અને તે કયા ઘટકો ધરાવે છે.

"ELK સ્ટેક" ત્રણ ઓપન સોર્સ પ્રોજેક્ટ્સ માટે ટૂંકાક્ષર છે: સ્થિતિસ્થાપક શોધ, લોગસ્ટેશ и કિબના. તમામ સંબંધિત પ્રોજેક્ટ્સ સાથે સ્થિતિસ્થાપક દ્વારા વિકસિત. સ્થિતિસ્થાપક શોધ એ સમગ્ર સિસ્ટમનો મુખ્ય ભાગ છે, જે ડેટાબેઝ, શોધ અને વિશ્લેષણાત્મક સિસ્ટમના કાર્યોને જોડે છે. Logstash એ સર્વર-સાઇડ ડેટા પ્રોસેસિંગ પાઇપલાઇન છે જે એકસાથે બહુવિધ સ્રોતોમાંથી ડેટા મેળવે છે, લોગને પાર્સ કરે છે અને પછી તેને ઇલાસ્ટિકસર્ચ ડેટાબેઝમાં મોકલે છે. કિબાના વપરાશકર્તાઓને ઇલાસ્ટિકસર્ચમાં ચાર્ટ અને ગ્રાફનો ઉપયોગ કરીને ડેટાની કલ્પના કરવાની મંજૂરી આપે છે. તમે કિબાના દ્વારા ડેટાબેઝનું સંચાલન પણ કરી શકો છો. આગળ, અમે દરેક સિસ્ટમને વધુ વિગતવાર ધ્યાનમાં લઈશું.

લોગસ્ટેશ

Logstash એ વિવિધ સ્રોતોમાંથી લોગ ઇવેન્ટ્સની પ્રક્રિયા કરવા માટેની એક ઉપયોગિતા છે, જેની મદદથી તમે સંદેશમાં ફીલ્ડ્સ અને તેમના મૂલ્યો પસંદ કરી શકો છો, અને તમે ડેટા ફિલ્ટરિંગ અને એડિટિંગ પણ ગોઠવી શકો છો. તમામ મેનિપ્યુલેશન્સ પછી, Logstash ઇવેન્ટ્સને અંતિમ ડેટા સ્ટોર પર રીડાયરેક્ટ કરે છે. ઉપયોગિતા ફક્ત રૂપરેખાંકન ફાઇલો દ્વારા ગોઠવવામાં આવે છે.
લાક્ષણિક લોગસ્ટેશ રૂપરેખાંકન એ એક ફાઇલ(ઓ) છે જેમાં માહિતીના કેટલાક ઇનકમિંગ સ્ટ્રીમ્સ (ઇનપુટ), આ માહિતી માટે ઘણા ફિલ્ટર્સ (ફિલ્ટર) અને કેટલાક આઉટગોઇંગ સ્ટ્રીમ્સ (આઉટપુટ) નો સમાવેશ થાય છે. તે એક અથવા વધુ રૂપરેખાંકન ફાઇલો જેવું લાગે છે, જે સરળ સંસ્કરણમાં (જે કંઈપણ કરતું નથી) આના જેવું દેખાય છે:

input {
}

filter {
}

output {
}

INPUT માં અમે રૂપરેખાંકિત કરીએ છીએ કે લોગ કયા પોર્ટ પર મોકલવામાં આવશે અને કયા પ્રોટોકોલ દ્વારા અથવા કયા ફોલ્ડરમાંથી નવી અથવા સતત અપડેટ કરેલી ફાઇલો વાંચવી. ફિલ્ટરમાં આપણે લોગ પાર્સરને ગોઠવીએ છીએ: ફીલ્ડ્સનું પદચ્છેદન, મૂલ્યો સંપાદિત કરવા, નવા પરિમાણો ઉમેરવા અથવા તેને કાઢી નાખવા. FILTER એ સંદેશને મેનેજ કરવા માટેનું ક્ષેત્ર છે જે ઘણા બધા સંપાદન વિકલ્પો સાથે Logstash પર આવે છે. આઉટપુટમાં અમે કન્ફિગર કરીએ છીએ કે જ્યાં અમે પહેલાથી જ વિશ્લેષિત લોગ મોકલીએ છીએ, જો તે સ્થિતિસ્થાપક શોધ હોય તો JSON વિનંતી મોકલવામાં આવે છે જેમાં મૂલ્યો સાથેના ફીલ્ડ્સ મોકલવામાં આવે છે, અથવા ડીબગના ભાગ રૂપે તે આઉટપુટને stdout અથવા ફાઇલમાં લખી શકાય છે.

સ્થિતિસ્થાપક શોધ

શરૂઆતમાં, Elasticsearch એ ફુલ-ટેક્સ્ટ સર્ચ માટેનું સોલ્યુશન છે, પરંતુ વધારાની સુવિધાઓ જેમ કે સરળ સ્કેલિંગ, પ્રતિકૃતિ અને અન્ય વસ્તુઓ સાથે, જેણે ઉત્પાદનને ખૂબ જ અનુકૂળ બનાવ્યું છે અને મોટા પ્રમાણમાં ડેટા સાથેના ઉચ્ચ-લોડ પ્રોજેક્ટ્સ માટે સારો ઉકેલ છે. Elasticsearch એ લ્યુસીન ફુલ-ટેક્સ્ટ સર્ચ પર આધારિત બિન-સંબંધિત (NoSQL) JSON દસ્તાવેજ સ્ટોર અને સર્ચ એન્જિન છે. હાર્ડવેર પ્લેટફોર્મ જાવા વર્ચ્યુઅલ મશીન છે, તેથી સિસ્ટમને ચલાવવા માટે મોટી માત્રામાં પ્રોસેસર અને RAM સંસાધનોની જરૂર છે.
દરેક ઇનકમિંગ સંદેશ, ક્યાં તો Logstash સાથે અથવા ક્વેરી API નો ઉપયોગ કરીને, "દસ્તાવેજ" તરીકે અનુક્રમિત કરવામાં આવે છે - રિલેશનલ SQL માં કોષ્ટકની સમાન. બધા દસ્તાવેજો અનુક્રમણિકામાં સંગ્રહિત થાય છે - SQL માં ડેટાબેઝનું એનાલોગ.

ડેટાબેઝમાં દસ્તાવેજનું ઉદાહરણ:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

ડેટાબેઝ સાથેનું તમામ કાર્ય REST API નો ઉપયોગ કરીને JSON વિનંતીઓ પર આધારિત છે, જે કાં તો ઇન્ડેક્સ દ્વારા દસ્તાવેજો બનાવે છે અથવા ફોર્મેટમાં કેટલાક આંકડા: પ્રશ્ન - જવાબ. વિનંતીઓના તમામ પ્રતિસાદોને વિઝ્યુઅલાઈઝ કરવા માટે, કિબાના લખવામાં આવ્યું હતું, જે વેબ સેવા છે.

કિબના

કિબાના તમને સ્થિતિસ્થાપક શોધ ડેટાબેઝમાંથી ડેટા શોધવા, પુનઃપ્રાપ્ત કરવા અને ક્વેરી આંકડાઓની મંજૂરી આપે છે, પરંતુ જવાબોના આધારે ઘણા સુંદર ગ્રાફ અને ડેશબોર્ડ બનાવવામાં આવ્યા છે. સિસ્ટમમાં સ્થિતિસ્થાપક શોધ ડેટાબેઝ વહીવટ કાર્યક્ષમતા પણ છે; પછીના લેખોમાં આપણે આ સેવાને વધુ વિગતવાર જોઈશું. હવે ચાલો ચેક પોઈન્ટ ફાયરવોલ અને OpenVas નબળાઈ સ્કેનર માટે ડેશબોર્ડ્સનું ઉદાહરણ બતાવીએ જે બનાવી શકાય છે.

ચેક પોઇન્ટ માટે ડેશબોર્ડનું ઉદાહરણ, ચિત્ર ક્લિક કરી શકાય તેવું છે:

OpenVas માટે ડેશબોર્ડનું ઉદાહરણ, ચિત્ર ક્લિક કરી શકાય તેવું છે:

નિષ્કર્ષ

અમે તે સમાવે છે તે જોવામાં ELK સ્ટેક, અમે મુખ્ય ઉત્પાદનોથી થોડો પરિચિત થયા, પછી કોર્સમાં અમે અલગથી લોગસ્ટેશ કન્ફિગરેશન ફાઇલ લખવા, કિબાના પર ડેશબોર્ડ સેટ કરવા, API વિનંતીઓ, ઓટોમેશન અને ઘણું બધું વિશે વિચારણા કરીશું!

તેથી ટ્યુન રહોTelegram, ફેસબુક, VK, ટીએસ સોલ્યુશન બ્લોગ), યાન્ડેક્ષ ઝેન.

સોર્સ: www.habr.com