1.탄력적 스택: 보안 로그 분석. 소개

Splunk 로깅 및 분석 시스템의 러시아 판매 종료와 관련하여 이 솔루션을 무엇으로 대체할 수 있는지에 대한 의문이 생겼습니다. 다양한 솔루션에 익숙해진 후, 저는 실제 남성을 위한 솔루션을 결정했습니다. "ELK 스택". 이 시스템은 구축하는데 시간이 걸리지만 결과적으로 조직 내 정보보안 사고에 대한 현황을 분석하고 신속하게 대응할 수 있는 매우 강력한 시스템을 얻을 수 있습니다. 이 기사 시리즈에서는 ELK 스택의 기본(또는 아닐 수도 있음) 기능을 살펴보고, 로그를 구문 분석하는 방법, 그래프 및 대시보드를 작성하는 방법, 로그 예제를 사용하여 수행할 수 있는 흥미로운 기능에 대해 살펴보겠습니다. Check Point 방화벽 또는 OpenVas 보안 스캐너. 먼저 ELK 스택이 무엇인지, 그리고 어떤 구성 요소로 구성되어 있는지 살펴보겠습니다.

"ELK 스택" 세 가지 오픈 소스 프로젝트의 약어입니다. 탄성 검색, 로그 대쉬 и 키바 나. 모든 관련 프로젝트와 함께 Elastic에서 개발했습니다. Elasticsearch는 데이터베이스, 검색, 분석 시스템의 기능을 결합한 전체 시스템의 핵심입니다. Logstash는 여러 소스에서 동시에 데이터를 수신하고 로그를 구문 분석한 다음 이를 Elasticsearch 데이터베이스로 보내는 서버 측 데이터 처리 파이프라인입니다. Kibana를 사용하면 사용자는 Elasticsearch의 차트와 그래프를 사용하여 데이터를 시각화할 수 있습니다. Kibana를 통해 데이터베이스를 관리할 수도 있습니다. 다음으로 각 시스템을 개별적으로 더 자세히 살펴보겠습니다.

로그 대쉬

Logstash는 다양한 소스의 로그 이벤트를 처리하기 위한 유틸리티로, 메시지에서 필드와 해당 값을 선택할 수 있고 데이터 필터링 및 편집도 구성할 수 있습니다. 모든 조작이 끝나면 Logstash는 이벤트를 최종 데이터 저장소로 리디렉션합니다. 유틸리티는 구성 파일을 통해서만 구성됩니다.
일반적인 logstash 구성은 여러 개의 수신 정보 스트림(입력), 이 정보에 대한 여러 필터(필터) 및 여러 개의 나가는 스트림(출력)으로 구성된 파일입니다. 하나 이상의 구성 파일처럼 보이지만 가장 간단한 버전에서는(아무 작업도 수행하지 않음) 다음과 같습니다.

input {
}

filter {
}

output {
}

INPUT에서는 로그가 전송될 포트와 프로토콜을 통해 또는 새 파일이나 지속적으로 업데이트되는 파일을 읽을 폴더를 구성합니다. FILTER에서는 필드 구문 분석, 값 편집, 새 매개변수 추가 또는 삭제 등 로그 파서를 구성합니다. FILTER는 다양한 편집 옵션을 사용하여 Logstash에 전달되는 메시지를 관리하는 필드입니다. 출력에서는 이미 구문 분석된 로그를 보내는 위치를 구성합니다. Elasticsearch인 경우 값이 있는 필드가 전송되는 JSON 요청이 전송되거나 디버그의 일부로 stdout으로 출력되거나 파일에 기록될 수 있습니다.

탄성

처음에 Elasticsearch는 전체 텍스트 검색을 위한 솔루션이지만 손쉬운 확장, 복제 및 기타 기능과 같은 추가 편의 시설을 갖추고 있어 제품이 매우 편리하고 대용량 데이터가 포함된 고부하 프로젝트에 적합한 솔루션이 되었습니다. Elasticsearch는 비관계형(NoSQL) JSON 문서 저장소이자 Lucene 전체 텍스트 검색을 기반으로 하는 검색 엔진입니다. 하드웨어 플랫폼은 Java Virtual Machine이므로 시스템을 작동하려면 많은 양의 프로세서와 RAM 리소스가 필요합니다.
Logstash를 사용하거나 쿼리 API를 사용하여 들어오는 각 메시지는 관계형 SQL의 테이블과 유사한 "문서"로 색인화됩니다. 모든 문서는 SQL의 데이터베이스와 유사한 인덱스에 저장됩니다.

데이터베이스에 있는 문서의 예:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

데이터베이스에 대한 모든 작업은 인덱스별로 문서를 생성하거나 질문-답변 형식의 일부 통계를 생성하는 REST API를 사용하는 JSON 요청을 기반으로 합니다. 요청에 대한 모든 응답을 시각화하기 위해 웹 서비스인 Kibana를 작성했습니다.

키바 나

Kibana를 사용하면 Elasticsearch 데이터베이스에서 데이터를 검색하고 통계를 쿼리할 수 있지만 답변을 기반으로 수많은 아름다운 그래프와 대시보드가 ​​구축됩니다. 이 시스템에는 Elasticsearch 데이터베이스 관리 기능도 있습니다. 다음 기사에서는 이 서비스에 대해 더 자세히 살펴보겠습니다. 이제 구축 가능한 Check Point 방화벽 및 OpenVas 취약점 스캐너용 대시보드의 예를 보여드리겠습니다.

Check Point 대시보드의 예, 그림을 클릭할 수 있습니다.

OpenVas용 대시보드의 예, 그림을 클릭할 수 있습니다.

결론

우리는 그것이 무엇으로 구성되어 있는지 살펴 보았습니다. ELK 스택, 우리는 주요 제품에 대해 조금 알게 되었으며, 나중에는 Logstash 구성 파일 작성, Kibana에 대시보드 설정, API 요청, 자동화 등에 대해 알아보는 과정을 별도로 고려할 것입니다!

그러니 계속 지켜봐 주시기 바랍니다(텔레그램, 페이스북, VK, TS 솔루션 블로그), Yandex.Dzena.

출처 : habr.com