En relació amb la fi de les vendes a Rússia del sistema de registre i anàlisi de Splunk, va sorgir la pregunta: per què pot substituir aquesta solució? Després de passar temps familiaritzant-me amb diferents solucions, em vaig decidir per una solució per a un home real: "pila ELK". Aquest sistema necessita temps per configurar-se, però com a resultat podeu obtenir un sistema molt potent per analitzar l'estat i respondre ràpidament als incidents de seguretat de la informació a l'organització. En aquesta sèrie d'articles, analitzarem les capacitats bàsiques (o potser no) de la pila ELK, considerar com es poden analitzar els registres, com crear gràfics i taulers de control i quines funcions interessants es poden fer utilitzant l'exemple de registres de el tallafoc Check Point o l'escàner de seguretat OpenVas. Per començar, mirem què és: la pila ELK i de quins components consta.
"pila ELK" és l'acrònim de tres projectes de codi obert: Elasticsearch, Logstash и Kibana. Desenvolupat per Elastic juntament amb tots els projectes relacionats. Elasticsearch és el nucli de tot el sistema, que combina les funcions d'una base de dades, cerca i sistema analític. Logstash és una canalització de processament de dades del costat del servidor que rep dades de diverses fonts simultàniament, analitza el registre i després l'envia a una base de dades Elasticsearch. Kibana permet als usuaris visualitzar dades mitjançant gràfics i gràfics a Elasticsearch. També podeu administrar la base de dades mitjançant Kibana. A continuació, considerarem cada sistema per separat amb més detall.
Logstash
Logstash és una utilitat per processar esdeveniments de registre de diverses fonts, amb la qual podeu seleccionar camps i els seus valors en un missatge, i també podeu configurar el filtratge i l'edició de dades. Després de totes les manipulacions, Logstash redirigeix els esdeveniments al magatzem de dades final. La utilitat només es configura mitjançant fitxers de configuració.
Una configuració típica de logstash és un fitxer o fitxers formats per diversos fluxos d'informació entrants (entrada), diversos filtres per a aquesta informació (filtre) i diversos fluxos de sortida (sortida). Sembla un o més fitxers de configuració, que en la versió més senzilla (que no fa res) té aquest aspecte:
input {
}
filter {
}
output {
}
A INPUT configurem a quin port s'enviaran els registres i a través de quin protocol, o des de quina carpeta llegir fitxers nous o actualitzats constantment. A FILTRE configurem l'analitzador de registre: analitza camps, edita valors, afegint nous paràmetres o esborrant-los. FILTRE és un camp per gestionar el missatge que arriba a Logstash amb moltes opcions d'edició. A la sortida configurem on enviem el log ja analitzat, en cas que sigui elasticsearch s'envia una sol·licitud JSON en la qual s'envien camps amb valors, o com a part de la depuració es pot sortir a stdout o escriure en un fitxer.
ElasticSearch
Inicialment, Elasticsearch és una solució per a la cerca de text complet, però amb comoditats addicionals, com ara fàcil escalat, replicació i altres coses, que van fer que el producte fos molt còmode i una bona solució per a projectes de gran càrrega amb grans volums de dades. Elasticsearch és un motor de cerca i magatzem de documents JSON no relacional (NoSQL) basat en la cerca de text complet de Lucene. La plataforma de maquinari és Java Virtual Machine, de manera que el sistema requereix una gran quantitat de recursos de processador i RAM per funcionar.
Cada missatge entrant, ja sigui amb Logstash o amb l'API de consulta, s'indexa com a "document", de manera anàloga a una taula en SQL relacional. Tots els documents s'emmagatzemen en un índex, un anàleg d'una base de dades en SQL.
Exemple de document a la base de dades:
{
"_index": "checkpoint-2019.10.10",
"_type": "_doc",
"_id": "yvNZcWwBygXz5W1aycBy",
"_version": 1,
"_score": null,
"_source": {
"layer_uuid": [
"dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
"dbee3718-cf2f-4de0-8681-529cb75be9a6"
],
"outzone": "External",
"layer_name": [
"TSS-Standard Security",
"TSS-Standard Application"
],
"time": "1565269565",
"dst": "103.5.198.210",
"parent_rule": "0",
"host": "10.10.10.250",
"ifname": "eth6",
]
}
Tot el treball amb la base de dades es basa en sol·licituds JSON utilitzant l'API REST, que o bé produeixen documents per índex o algunes estadístiques en el format: pregunta - resposta. Per tal de visualitzar totes les respostes a les sol·licituds, es va escriure Kibana, que és un servei web.
Kibana
Kibana us permet cercar, recuperar dades i consultar estadístiques de la base de dades elasticsearch, però a partir de les respostes es creen molts gràfics i quadres de comandament bonics. El sistema també té la funcionalitat d'administració de bases de dades elasticsearch; en articles posteriors veurem aquest servei amb més detall. Ara mostrem un exemple de taulers de control per al tallafoc Check Point i l'escàner de vulnerabilitats OpenVas que es poden crear.
Un exemple de tauler de control per a Check Point, es pot fer clic a la imatge:
Un exemple de tauler per a OpenVas, es pot fer clic a la imatge:
Conclusió
Hem mirat en què consisteix pila ELK, ens vam familiaritzar una mica amb els productes principals, més endavant durant el curs considerarem per separat escriure un fitxer de configuració de Logstash, configurar taulers de control a Kibana, familiaritzar-nos amb les sol·licituds d'API, l'automatització i molt més!
Així que estigueu atents (, , , ), .
Font: www.habr.com