ELK가 보안 엔지니어가 웹사이트 공격과 싸우고 평화롭게 잠들도록 돕는 방법

당사의 사이버 방어 센터는 고객의 웹 인프라 보안을 담당하고 고객 사이트에 대한 공격을 방어합니다. 공격으로부터 보호하기 위해 FortiWeb 웹 애플리케이션 방화벽(WAF)을 사용합니다. 그러나 가장 멋진 WAF조차도 만병통치약이 아니며 표적 공격으로부터 "즉시" 보호하지 못합니다. 

따라서 WAF 외에도 고라니. 모든 이벤트를 한곳에 수집하고, 통계를 축적하고, 시각화하여 적시에 표적 공격을 확인할 수 있도록 도와줍니다.

오늘은 WAF와 함께 어떻게 크리스마스 트리를 건넜는지, 그리고 그 결과는 무엇인지 자세히 말씀드리겠습니다.

한 번의 공격에 대한 이야기: ELK로 전환하기 전에 모든 것이 어떻게 작동했는지

우리 클라우드에서 고객은 WAF 뒤에 애플리케이션을 배포했습니다. 하루에 사이트에 접속하는 사용자가 10명에서 000명까지 늘어 하루 접속 건수는 100만 건에 이르렀습니다. 이 중 000~20명의 사용자가 침입자로 사이트를 해킹하려 했습니다. 

하나의 IP 주소에서 발생하는 일반적인 형태의 무차별 공격은 FortiWeb에 의해 아주 쉽게 차단되었습니다. 분당 사이트 접속 횟수가 합법적인 사용자보다 높았습니다. 우리는 하나의 주소에서 활동 임계값을 설정하고 공격을 격퇴했습니다.

공격자가 천천히 행동하고 자신을 일반 클라이언트로 위장하는 "느린 공격"을 처리하는 것이 훨씬 더 어렵습니다. 그들은 많은 고유한 IP 주소를 사용합니다. 이러한 활동은 WAF에게 대규모 무차별 공격처럼 보이지 않았으며 자동으로 추적하기가 더 어려웠습니다. 그리고 일반 사용자를 차단할 위험도 있었습니다. 우리는 다른 공격 징후를 찾아 이 징후를 기반으로 IP 주소를 자동으로 차단하는 정책을 설정했습니다. 예를 들어, 많은 불법 세션에는 http 요청 헤더에 공통 필드가 있었습니다. FortiWeb 이벤트 로그에서 이러한 필드를 수동으로 찾아야 하는 경우가 많았습니다. 

길어지고 불편해졌습니다. FortiWeb의 표준 기능에서 이벤트는 감지된 공격, 요청에 대한 정보, WAF 작업에 대한 시스템 메시지 등 3가지 로그에 텍스트로 기록됩니다. XNUMX분 안에 수십 또는 수백 건의 공격 이벤트가 발생할 수 있습니다.

그다지 많지는 않지만 여러 로그를 수동으로 올라가서 여러 줄을 반복해야 합니다. 

공격 로그에는 사용자 주소와 활동 성격이 표시됩니다. 
 
단순히 로그 테이블을 스캔하는 것만으로는 충분하지 않습니다. 공격의 성격에 대해 가장 흥미롭고 유용한 정보를 찾으려면 특정 이벤트 내부를 살펴봐야 합니다.

강조 표시된 필드는 "느린 공격"을 감지하는 데 도움이 됩니다. 출처: 스크린샷 포티넷 사이트. 

글쎄요, 가장 큰 문제는 FortiWeb 전문가만이 이를 알아낼 수 있다는 것입니다. 업무 시간 중에 의심스러운 활동을 실시간으로 추적할 수 있다면 야간 사건 조사가 지연될 수 있습니다. 어떤 이유로 FortiWeb 정책이 작동하지 않자 야간 근무 엔지니어는 WAF에 액세스하지 않고는 상황을 평가할 수 없었고 FortiWeb 전문가를 깨웠습니다. 우리는 몇 시간 동안 로그를 살펴보며 공격의 순간을 찾아냈습니다. 

이러한 정보의 양으로 인해 전체 그림을 한눈에 파악하고 적극적으로 행동하기가 어렵습니다. 그런 다음 모든 것을 시각적 형태로 분석하고, 공격의 시작점을 찾고, 공격 방향과 차단 방법을 식별하기 위해 데이터를 한곳에 수집하기로 결정했습니다. 

무엇을 선택하셨나요?

우선, 불필요하게 개체를 늘리지 않기 위해 이미 사용 중인 솔루션을 살펴보았습니다.

첫 번째 옵션 중 하나는 나기 오스우리가 모니터링하는 데 사용하는 엔지니어링 인프라, 네트워크 인프라, 긴급 경보. 경비원들은 의심스러운 트래픽이 있을 경우 이를 경비원에게 알리기 위해 활용하기도 하지만, 흩어져 있는 로그를 수집하는 방법을 모르기 때문에 사라진다. 

모든 것을 집계하는 옵션이 있었습니다. MySQL과 PostgreSQL 또는 다른 관계형 데이터베이스. 하지만 데이터를 추출하려면 애플리케이션을 조각해야 했습니다. 

우리 회사에서는 로그 수집기로도 사용합니다. 포티애널라이저 포티넷에서. 하지만 이 경우에도 그는 적합하지 않았습니다. 첫째, 방화벽과 함께 작업하는 것이 더 날카로워졌습니다. 포티게이트. 둘째, 많은 설정이 누락되었으며 이를 사용하려면 SQL 쿼리에 대한 뛰어난 지식이 필요했습니다. 셋째, 이를 사용하면 고객의 서비스 비용이 증가합니다.   

이것이 우리가 오픈소스에 다가온 방법입니다. 고라니. 

ELK를 선택하는 이유 

ELK는 오픈 소스 프로그램 세트입니다.

• 탄성 검색 - 대량의 텍스트 작업을 위해 방금 생성된 시계열 데이터베이스
• 로그 대쉬 – 로그를 원하는 형식으로 변환할 수 있는 데이터 수집 메커니즘 
• 키바 나 - 훌륭한 시각화 도구이자 Elasticsearch 관리를 위한 상당히 친숙한 인터페이스입니다. 이를 사용하여 야간 근무 엔지니어가 모니터링할 수 있는 일정을 작성할 수 있습니다. 

ELK의 진입 임계값은 낮습니다. 모든 기본 기능은 무료입니다. 행복을 위해 또 무엇이 필요합니까?

어떻게 이 모든 것을 하나의 시스템에 통합했나요?

인덱스를 생성하고 꼭 필요한 정보만 남겼습니다. 세 개의 FortiWEB 로그를 모두 ELK에 로드했으며 출력은 인덱스였습니다. 하루 등 특정 기간 동안 수집된 모든 로그가 담긴 파일입니다. 우리가 이를 즉시 시각화한다면 공격의 역학만 볼 수 있을 것입니다. 자세한 내용을 보려면 각 공격을 "통과"하고 특정 필드를 살펴봐야 합니다.

우리는 먼저 구조화되지 않은 정보의 구문 분석을 설정해야 한다는 것을 깨달았습니다. 우리는 "메시지" 및 "URL"과 같은 긴 필드를 문자열로 가져와 구문 분석하여 의사 결정을 위한 추가 정보를 얻었습니다. 

예를 들어 파싱을 사용하여 사용자의 위치를 ​​별도로 추출했습니다. 이는 러시아 사용자의 사이트에 대한 해외 공격을 즉시 강조하는 데 도움이 되었습니다. 다른 국가로부터의 모든 연결을 차단함으로써 공격 횟수를 2배로 줄였으며 러시아 내부의 공격에 쉽게 대처할 수 있었습니다. 

구문 분석 후 그들은 어떤 정보를 저장하고 시각화할지 찾기 시작했습니다. 모든 것을 로그에 남겨 두는 것은 부적절했습니다. 하나의 인덱스 크기가 7GB로 컸습니다. ELK에서 파일을 처리하는 데 오랜 시간이 걸렸습니다. 그러나 모든 정보가 유용한 것은 아닙니다. 뭔가가 중복되어 추가 공간을 차지했습니다. 최적화가 필요했습니다. 

처음에는 단순히 인덱스를 살펴보고 불필요한 이벤트를 제거했습니다. 이는 FortiWeb 자체에서 로그 작업을 수행하는 것보다 훨씬 더 불편하고 시간이 오래 걸리는 것으로 나타났습니다. 이 단계에서 "크리스마스 트리"의 유일한 장점은 긴 시간을 한 화면에 시각화할 수 있다는 것입니다. 

우리는 절망하지 않고 계속해서 선인장을 먹고 ELK를 연구했으며 필요한 정보를 추출할 수 있을 것이라고 믿었습니다. 인덱스를 정리한 후 우리는 무엇인지 시각화하기 시작했습니다. 그래서 우리는 큰 대시보드에 이르렀습니다. 우리는 위젯을 찔렀습니다 - 시각적으로나 우아하게, 진짜 ЁLKa! 

공격 순간 포착. 이제 차트에서 공격의 시작이 어떻게 보이는지 이해해야 했습니다. 이를 탐지하기 위해 사용자에 대한 서버의 응답(반환 코드)을 살펴보았습니다. 우리는 다음과 같은 코드(rc)를 사용한 서버 응답에 관심이 있었습니다. 

코드(rc)

이름

기술

0

DROP

서버에 대한 요청이 차단되었습니다.

200

Ok

요청이 성공적으로 처리되었습니다.

400

잘못된 요청

잘못된 요청

403

금지 된

승인이 거부되었습니다.

500

내부 서버 오류

서비스를 이용할 수 없습니다

누군가가 사이트를 공격하기 시작하면 코드 비율이 변경됩니다. 

• 코드 400에 더 많은 잘못된 요청이 있고 코드 200에 동일한 수의 일반 요청이 있었다면 누군가 사이트를 해킹하려고 시도한 것입니다. 
• 동시에 코드 0을 사용한 요청도 증가했다면 FortiWeb 정치인도 공격을 "확인"하고 이에 차단을 적용한 것입니다. 
• 코드 500이 포함된 메시지 수가 증가하면 해당 IP 주소에 대해 사이트를 사용할 수 없으며 일종의 차단이기도 합니다. 

세 번째 달에는 이 활동을 추적하기 위한 대시보드를 설정했습니다.

모든 것을 수동으로 모니터링하지 않기 위해 특정 간격으로 ELK를 폴링하는 Nagios와의 통합을 설정했습니다. 코드별로 임계값 달성을 기록하면 의심스러운 활동에 대해 근무 담당자에게 알림을 보냈습니다. 

모니터링 시스템에 차트 4개 결합. 이제 공격이 차단되지 않고 엔지니어의 개입이 필요한 순간을 그래프에서 확인하는 것이 중요했습니다. 4개의 다른 그래프에서 우리의 눈은 흐려졌습니다. 그래서 우리는 차트를 결합하여 모든 것을 한 화면에서 관찰하기 시작했습니다.

모니터링을 하면서 다양한 색상의 그래프가 어떻게 변화하는지 관찰했습니다. 빨간색이 터지면 공격이 시작되었음을 나타내고 주황색과 파란색 그래프는 FortiWeb의 반응을 보여줍니다.

여기서는 모든 것이 괜찮습니다. "빨간색" 활동이 급증했지만 FortiWeb은 이에 대처했고 공격 일정은 무산되었습니다.

우리는 또한 개입이 필요한 그래프의 예를 스스로 그렸습니다.

여기서는 FortiWeb의 활동이 증가했지만 빨간색 공격 그래프는 감소하지 않은 것을 볼 수 있습니다. WAF 설정을 변경해야 합니다.

야간 사건 조사도 쉬워졌다. 그래프는 사이트를 방어해야 할 순간을 즉시 보여줍니다. 

밤에 가끔 그런 일이 일어납니다. 빨간색 그래프 - 공격이 시작되었습니다. 파란색 - FortiWeb 활동. 공격이 완전히 차단되지 않아 우리가 개입해야 했습니다.

우리는 어디로 가는가

현재는 ELK와 함께 일할 직무관리자를 양성하고 있습니다. 참가자는 대시보드에서 상황을 평가하고 결정을 내리는 방법을 배웁니다. 이제 FortiWeb 전문가에게 에스컬레이션해야 할 때입니다. 그렇지 않으면 WAF의 정책이 자동으로 공격을 격퇴하기에 충분합니다. 그래서 야간에는 정보보안 엔지니어의 업무 부담을 줄이고, 시스템 차원에서 지원 역할을 분담합니다. FortiWeb에 대한 액세스는 사이버 방어 센터에서만 유지되며 긴급하게 필요한 경우에만 WAF 설정을 변경합니다.

우리는 또한 고객을 위한 보고 작업도 진행하고 있습니다. 우리는 WAF 작업의 역학에 대한 데이터를 고객의 개인 계정에서 사용할 수 있도록 계획하고 있습니다. ELK는 WAF 자체를 참조하지 않고도 상황을 보다 명확하게 설명할 것입니다.

고객이 자신의 보호를 실시간으로 모니터링하고 싶다면 ELK도 유용할 것입니다. 고객의 작업 개입이 나머지 작업에 영향을 미칠 수 있으므로 WAF에 대한 액세스 권한을 포기할 수 없습니다. 하지만 별도의 ELK를 선택하여 "즐기며" 사용할 수 있습니다. 

최근 쌓아온 크리스마스 트리 활용 시나리오입니다. 이에 대한 생각을 공유하고 잊지 마세요. 모든 것을 올바르게 설정하십시오데이터베이스 유출을 방지하기 위해. 

출처 : habr.com