En relación co fin das vendas en Rusia do sistema de rexistro e análise de Splunk, xurdiu a pregunta: con que pode substituír esta solución? Despois de pasar un tempo familiarizándome con diferentes solucións, decidín unha solución para un home de verdade: "pila ELK". Este sistema leva tempo en configurarse, pero como resultado podes obter un sistema moi potente para analizar o estado e responder rapidamente aos incidentes de seguridade da información na organización. Nesta serie de artigos, analizaremos as capacidades básicas (ou quizais non) da pila ELK, consideraremos como pode analizar rexistros, como construír gráficos e paneis de control e que funcións interesantes se poden facer usando o exemplo de rexistros de o firewall Check Point ou o escáner de seguranza OpenVas. Para comezar, vexamos o que é: a pila ELK e de que compoñentes consta.
"pila ELK" é un acrónimo de tres proxectos de código aberto: Elasticsearch, logstash и kibana. Desenvolvido por Elastic xunto con todos os proxectos relacionados. Elasticsearch é o núcleo de todo o sistema, que combina as funcións dunha base de datos, busca e sistema analítico. Logstash é unha canalización de procesamento de datos do lado do servidor que recibe datos de varias fontes simultáneamente, analiza o rexistro e despois envíao a unha base de datos Elasticsearch. Kibana permite aos usuarios visualizar datos usando gráficos e gráficos en Elasticsearch. Tamén podes administrar a base de datos a través de Kibana. A continuación, consideraremos cada sistema por separado con máis detalle.
logstash
Logstash é unha utilidade para procesar eventos de rexistro de varias fontes, coa que pode seleccionar campos e os seus valores nunha mensaxe, e tamén pode configurar o filtrado e edición de datos. Despois de todas as manipulacións, Logstash redirixe os eventos ao almacén de datos final. A utilidade só se configura mediante ficheiros de configuración.
Unha configuración típica de logstash é un(s) ficheiro(s) que consta de varios fluxos de información entrantes (entrada), varios filtros para esta información (filtro) e varios fluxos de saída (saída). Parece un ou máis ficheiros de configuración, que na versión máis sinxela (que non fai nada) ten o seguinte aspecto:
input {
}
filter {
}
output {
}
En INPUT configuramos a que porto se enviarán os rexistros e a través de que protocolo, ou desde que cartafol ler ficheiros novos ou actualizados constantemente. En FILTRO configuramos o analizador de rexistros: analizando campos, editando valores, engadindo novos parámetros ou borrando. FILTRO é un campo para xestionar a mensaxe que chega a Logstash con moitas opcións de edición. Na saída configuramos onde enviamos o rexistro xa analizado, no caso de que se trate de elasticsearch envíase unha solicitude JSON na que se envían campos con valores, ou como parte da depuración pódese sair a stdout ou escribir nun ficheiro.
ElasticSearch
Inicialmente, Elasticsearch é unha solución para a busca de texto completo, pero con comodidades adicionais como o fácil escalado, replicación e outras cousas, o que fixo que o produto fose moi cómodo e unha boa solución para proxectos de alta carga con grandes volumes de datos. Elasticsearch é un motor de busca e tenda de documentos JSON non relacional (NoSQL) baseado na busca de texto completo de Lucene. A plataforma de hardware é Java Virtual Machine, polo que o sistema require unha gran cantidade de recursos de procesador e RAM para funcionar.
Cada mensaxe entrante, xa sexa con Logstash ou mediante a API de consulta, está indexada como un "documento", análogo a unha táboa en SQL relacional. Todos os documentos almacénanse nun índice - un análogo dunha base de datos en SQL.
Exemplo de documento na base de datos:
{
"_index": "checkpoint-2019.10.10",
"_type": "_doc",
"_id": "yvNZcWwBygXz5W1aycBy",
"_version": 1,
"_score": null,
"_source": {
"layer_uuid": [
"dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
"dbee3718-cf2f-4de0-8681-529cb75be9a6"
],
"outzone": "External",
"layer_name": [
"TSS-Standard Security",
"TSS-Standard Application"
],
"time": "1565269565",
"dst": "103.5.198.210",
"parent_rule": "0",
"host": "10.10.10.250",
"ifname": "eth6",
]
}
Todo o traballo coa base de datos baséase en solicitudes JSON mediante a API REST, que ou ben producen documentos por índice ou algunhas estatísticas no formato: pregunta - resposta. Para visualizar todas as respostas ás solicitudes escribiuse Kibana, que é un servizo web.
kibana
Kibana permítelle buscar, recuperar datos e consultar estatísticas da base de datos elasticsearch, pero constrúense moitos gráficos e paneis fermosos en función das respostas. O sistema tamén ten funcionalidade de administración de bases de datos elasticsearch; en artigos posteriores veremos este servizo con máis detalle. Agora imos mostrar un exemplo de paneis para o firewall Check Point e o escáner de vulnerabilidades OpenVas que se poden construír.
Un exemplo de panel de control para Check Point, na imaxe pódese facer clic:
Un exemplo de panel de control para OpenVas, na imaxe pódese facer clic:
Conclusión
Miramos en que consiste pila ELK, coñecemos un pouco os produtos principais, máis tarde no curso consideraremos por separado escribir un ficheiro de configuración de Logstash, configurar paneis en Kibana, familiarizarnos coas solicitudes de API, a automatización e moito máis.
Así que estade atentos (, , , ), .
Fonte: www.habr.com