내 미완성 프로젝트. 200개의 MikroTik 라우터 네트워크

안녕하세요. 이 글은 공원에 Mikrotik 기기가 많은 분들, 각 기기별로 따로 연결하지 않도록 최대한 통일성을 드리고 싶은 분들을 위한 글입니다. 이 기사에서는 안타깝게도 인적 요인으로 인해 전투 조건에 도달하지 못한 프로젝트에 대해 설명합니다. 요컨대 200개 이상의 라우터, 빠른 설정 및 직원 교육, 지역별 통합, 네트워크 및 특정 호스트 필터링, 모든 장치에 쉽게 규칙을 추가하는 기능, 로깅 및 액세스 제어.

아래에서 설명하는 내용은 기성품인 척 하지 않지만 네트워크 계획 및 오류 최소화에 도움이 되었으면 합니다. 아마도 일부 요점과 결정이 귀하에게 정확하지 않은 것 같습니다. 그렇다면 의견을 작성하십시오. 이 경우 비판은 일반적인 돼지 저금통에서의 경험이 될 것입니다. 따라서 독자 여러분, 댓글을 살펴보십시오. 아마도 저자가 심각한 실수를 저질렀을 것입니다. 커뮤니티가 도움이 될 것입니다.

라우터의 수는 200-300이며 인터넷 연결 품질이 다른 여러 도시에 흩어져 있습니다. 모든 것을 아름답게 만들고 모든 것이 어떻게 작동하는지 접근 가능한 방식으로 로컬 관리자에게 설명해야 합니다.

그렇다면 모든 프로젝트는 어디에서 시작됩니까? 물론, TK.

1. 고객 요구 사항, 네트워크 세분화(장치 수에 따라 지점에서 3~20개 네트워크)에 따라 모든 지점에 대한 네트워크 계획 구성.
2. 각 지점에서 장치를 설정합니다. 다양한 작업 조건에서 공급자의 실제 대역폭을 확인합니다.
3. 장치 보호 구성, 화이트리스트 제어, 일정 기간 동안 자동 블랙리스트로 공격 자동 탐지, 제어 액세스 및 서비스 거부를 가로채는 데 사용되는 다양한 기술적 수단의 사용 최소화.
4. 고객 요구 사항에 따라 네트워크 필터링을 사용하여 보안 VPN 연결을 구성합니다. 각 지점에서 센터로 최소 3개의 VPN 연결.
5. 포인트 1, 2를 기반으로 합니다. 내결함성 VPN을 구축하는 가장 좋은 방법을 선택하십시오. 올바른 근거가 있는 동적 라우팅 기술은 계약자가 선택할 수 있습니다.
6. 고객이 사용하는 프로토콜, 포트, 호스트 및 기타 특정 서비스별로 트래픽 우선 순위를 구성합니다. (VOIP, 중요한 서비스를 제공하는 호스트)
7. 기술 지원 직원의 대응을 위해 라우터 이벤트의 모니터링 및 로깅 구성.

우리가 알고 있듯이 어떤 경우에는 TOR가 요구 사항에서 컴파일됩니다. 나는 주요 문제를 듣고 나서 이러한 요구 사항을 스스로 공식화했습니다. 그는 다른 사람이 이러한 사항을 이행할 가능성을 인정했습니다.

이러한 요구 사항을 충족하는 데 사용할 도구는 무엇입니까?

1. ELK 스택(얼마 후, logstash 대신 fluentd가 사용된다는 것이 이해되었습니다).
2. 가능한. 손쉬운 관리 및 액세스 공유를 위해 AWX를 사용합니다.
3. 깃랩. 여기서 설명할 필요가 없습니다. 구성의 버전 제어가 없는 경우.
4. 파워셸. 구성의 초기 생성을 위한 간단한 스크립트가 있습니다.
5. 문서 및 설명서 작성을 위한 Doku wiki. 이 경우 habr.com을 사용합니다.
6. 모니터링은 zabbix를 통해 이루어집니다. 일반적인 이해를 위한 연결 다이어그램도 있습니다.

EFK 설정 지점

첫 번째 항목에서는 지표가 구축될 이데올로기만 설명하겠습니다. 많이있다
mikrotik을 실행하는 장치에서 로그를 설정하고 수신하는 방법에 대한 훌륭한 기사입니다.

몇 가지 사항에 대해 설명하겠습니다.

1. 계획에 따르면 다른 장소와 다른 포트에서 로그를 수신하는 것을 고려할 가치가 있습니다. 이를 위해 로그 집계기를 사용합니다. 우리는 또한 액세스를 공유할 수 있는 기능을 갖춘 모든 라우터용 범용 그래픽을 만들고자 합니다. 그런 다음 다음과 같이 인덱스를 작성합니다.

다음은 fluentd를 사용한 구성입니다. 엘라스틱서치
logstash_format 참
index_name mikrotiklogs.north
logstash_prefix mikrotiklogs.north
flush_interval 10초
호스트 탄성 검색: 9200
포트 9200

따라서 mikrotiklogs.west, mikrotiklogs.south, mikrotiklogs.east 계획에 따라 라우터와 세그먼트를 결합할 수 있습니다. 왜 그렇게 어렵게 만드나요? 우리는 200개 이상의 장치를 갖게 될 것임을 알고 있습니다. 모든 것을 따르지 마십시오. Elasticsearch 버전 6.8부터 라이센스 구매 없이 보안 설정을 사용할 수 있으므로 기술 지원 직원 또는 로컬 시스템 관리자 간에 보기 권한을 배포할 수 있습니다.
테이블, 그래프-여기서 동의하면됩니다-동일한 것을 사용하거나 모든 사람이 편리하게 사용합니다.

2. 로그인하여. 방화벽 규칙에서 로그인을 활성화하면 공백 없이 이름을 만듭니다. fluentd의 간단한 구성을 사용하여 데이터를 필터링하고 편리한 패널을 만들 수 있음을 알 수 있습니다. 아래 사진은 제 홈 라우터입니다.

3. 점유 공간과 통나무에 따라. 평균적으로 시간당 1000개의 메시지가 있는 경우 로그는 하루에 2-3MB를 차지하며 이는 그다지 많지 않습니다. 엘라스틱서치 버전 7.5.

가능.AWX

다행스럽게도 라우터를 위한 기성품 모듈이 있습니다.
AWX에 대해 지적했는데 아래 명령어는 가장 순수한 형태의 ansible에 대한 것일 뿐입니다.

솔직히 말해서 그 전에 ssh를 사용하는 다른 가이드를 살펴보았는데 모두 응답 시간과 다른 많은 문제에 대해 다른 문제가 있었습니다. 반복합니다. 전투에 도달하지 못했습니다 , 이 정보를 라우터 20대를 넘지 않는 실험으로 받아들입니다.

인증서 또는 계정을 사용해야 합니다. 결정하는 것은 당신에게 달려 있습니다. 저는 인증서입니다. 권리에 대한 몇 가지 미묘한 점. 나는 쓰기 권한을 부여합니다. 최소한 "설정 재설정"은 작동하지 않습니다.

인증서 생성, 복사 및 가져오기에 문제가 없어야 합니다.

간단한 명령 목록PC에서
ssh-keygen -t RSA, 질문에 답하고 키를 저장합니다.
mikrotik에 복사:
사용자 ssh-keys import public-key-file=id_mtx.pub user=ansible
먼저 계정을 만들고 권한을 할당해야 합니다.
인증서와의 연결 확인
ssh -p 49475 -i /키/mtx [이메일 보호]

vi /etc/ansible/hosts 쓰기
MT01 ansible_network_os=routeros ansible_ssh_port=49475 ansible_ssh_user= 가능
MT02 ansible_network_os=routeros ansible_ssh_port=49475 ansible_ssh_user= 가능
MT03 ansible_network_os=routeros ansible_ssh_port=49475 ansible_ssh_user= 가능
MT04 ansible_network_os=routeros ansible_ssh_port=49475 ansible_ssh_user= 가능

플레이북의 예: 이름: add_work_sites
호스트:testmt
시리얼: 1
연결:network_cli
원격_사용자: mikrotik.west
수집_사실: 예
작업 :
이름: Work_sites 추가
routeros_명령:
명령 :
- /ip 방화벽 주소 목록 주소 추가=gov.ru list=work_sites comment=Ticket665436_Ochen_nado
- /ip 방화벽 주소 목록 추가 주소=habr.com list=work_sites comment=for_habr

위의 구성에서 볼 수 있듯이 자신의 플레이북을 컴파일하는 것은 간단한 문제입니다. cli mikrotik을 충분히 마스터하는 것으로 충분합니다. 모든 라우터에서 특정 데이터가 포함된 주소 목록을 제거해야 하는 상황을 상상해 보십시오. 그런 다음:

찾기 및 제거/ip 방화벽 주소 목록 제거 [list="gov.ru" 위치 찾기]

일부러 여기에 전체 방화벽 목록을 포함하지 않았습니다. 각 프로젝트마다 개별적입니다. 하지만 한 가지 확실히 말할 수 있는 것은 주소 목록만 사용한다는 것입니다.

GITLAB에 따르면 모든 것이 명확합니다. 나는 이 순간에 연연하지 않을 것이다. 개별 작업, 템플릿, 처리기 측면에서 모든 것이 아름답습니다.

파워 쉘

3개의 파일이 있을 것입니다. 왜 파워쉘인가? 구성 생성 도구는 더 편한 사람이 선택할 수 있습니다. 이 경우 모든 사람이 자신의 PC에 창을 가지고 있으므로 powershell이 ​​더 편리한 이유는 bash에서 수행하는 것입니다. 누가 더 편해요.

스크립트 자체(간단하고 이해하기 쉬움):[cmdletBinding()] 매개변수(
[매개변수(필수=$true)] [문자열]$EXTERNALIPADDRESS,
[매개변수(필수=$true)] [문자열]$EXTERNALIPROUTE,
[Parameter(Mandatory=$true)] [string]$BWorknets,
[Parameter(Mandatory=$true)] [string]$CWorknets,
[Parameter(Mandatory=$true)] [string]$BVoipNets,
[Parameter(Mandatory=$true)] [string]$CVoipNets,
[Parameter(Mandatory=$true)] [string]$CClientss,
[Parameter(Mandatory=$true)] [string]$BVPNWORKs,
[Parameter(Mandatory=$true)] [string]$CVPNWORKs,
[Parameter(Mandatory=$true)] [문자열]$BVPNCLIENTS,
[Parameter(Mandatory=$true)] [string]$cVPNCLIENTS,
[매개변수(필수=$true)] [문자열]$NAMEROUTER,
[Parameter(Mandatory=$true)] [string]$ServerCertificates,
[매개변수(필수=$true)] [문자열]$infile,
[매개변수(필수=$true)] [문자열]$outfile
)

콘텐츠 가져오기 $infile | Foreach-객체 {$_.Replace("EXTERNIP", $EXTERNALIPADDRESS)} |
Foreach-객체 {$_.Replace("EXTROUTE", $EXTERNALIPROUTE)} |
Foreach-객체 {$_.Replace("BWorknet", $BWorknets)} |
Foreach-객체 {$_.Replace("CWorknet", $CWorknets)} |
Foreach-Object {$_.Replace("BVoipNet", $BVoipNets)} |
Foreach-객체 {$_.Replace("CVoipNet", $CVoipNets)} |
Foreach-객체 {$_.Replace("CClients", $CClientss)} |
Foreach-객체 {$_.Replace("BVPNWORK", $BVPNWORKs)} |
Foreach-객체 {$_.Replace("CVPNWORK", $CVPNWORKs)} |
Foreach-객체 {$_.Replace("BVPNCLIENTS", $BVPNCLIENTSs)} |
Foreach-객체 {$_.Replace("CVPNCLIENTS", $cVPNCLIENTSs)} |
Foreach-객체 {$_.Replace("MYNAMERROUTER", $NAMEROUTER)} |
Foreach-Object {$_.Replace("ServerCertificate", $ServerCertificates)} | 설정 내용 $outfile

모든 규칙을 설명할 수는 없습니다. 그것은 예쁘지 않을 것입니다. 모범 사례에 따라 규칙을 직접 구성할 수 있습니다.

예를 들어 다음은 내가 안내한 링크 목록입니다.wiki.mikrotik.com/wiki/Manual:Securing_Your_Router
wiki.mikrotik.com/wiki/Manual:IP/방화벽/필터
wiki.mikrotik.com/wiki/Manual:OSPF-예제
wiki.mikrotik.com/wiki/Drop_port_scanners
wiki.mikrotik.com/wiki/Manual:윈박스
wiki.mikrotik.com/wiki/Manual:업그레이드_RouterOS
wiki.mikrotik.com/wiki/Manual:IP/Fasttrack - 여기에서 fasttrack이 활성화되면 트래픽 우선 순위 지정 및 쉐이핑 규칙이 작동하지 않는다는 것을 알아야 합니다. 약한 장치에 유용합니다.

변수 규칙:다음 네트워크를 예로 들었습니다.
192.168.0.0/24 작업 네트워크
172.22.4.0/24 VoIP 네트워크
LAN 액세스가 없는 클라이언트를 위한 10.0.0.0/24 네트워크
대규모 지사를 위한 192.168.255.0/24 VPN 네트워크
소규모용 172.19.255.0/24 VPN 네트워크

네트워크 주소는 각각 ABCD인 4개의 192.168.0.0진수로 구성되며 교체는 동일한 원칙에 따라 작동합니다. 시작할 때 B를 요청하면 네트워크 24/0에 대해 숫자 0을 입력하고 C = XNUMX에 대해 숫자 XNUMX을 입력해야 합니다. .
$EXTERNALIPADDRESS - 제공자로부터 할당된 주소.
$EXTERNALIPROUTE - 네트워크 0.0.0.0/0에 대한 기본 경로
$BWorknets - 작업 네트워크, 이 예에서는 168개가 있습니다.
$CWorknets - 작업 네트워크, 이 예에서는 0입니다.
$BVoipNets - 여기 예제의 VOIP 네트워크 22
$CVoipNets - 여기 예제의 VOIP 네트워크 4
$CClientss - 클라이언트용 네트워크 - 인터넷에만 액세스(여기서는 0)
$BVPNWORKs - 대규모 브랜치용 VPN 네트워크(예시 20)
$CVPNWORKs - 대규모 브랜치를 위한 VPN 네트워크(이 예에서는 255)
$BVPNCLIENTS - 소규모 지점을 위한 VPN 네트워크, 19를 의미
$CVPNCLIENTS - 소규모 지점용 VPN 네트워크, 255를 의미
$NAMEROUTER - 라우터 이름
$ServerCertificate - 먼저 가져오는 인증서의 이름
$infile - 구성을 읽을 파일의 경로를 지정합니다(예: D:config.txt(따옴표와 공백이 없는 더 나은 영어 경로)).
$outfile - 저장할 경로 지정(예: D:MT-test.txt)

명백한 이유로 예제의 주소를 의도적으로 변경했습니다.

공격 및 비정상적인 동작 감지에 대한 요점을 놓쳤습니다. 이는 별도의 기사가 필요합니다. 그러나이 범주에서는 Zabbix의 모니터링 데이터 값 + elasticsearch의 컬 데이터를 사용할 수 있다는 점을 지적 할 가치가 있습니다.

집중해야 할 점:

1. 네트워크 계획. 읽을 수 있는 형식으로 작성하는 것이 좋습니다. 엑셀이면 충분합니다. 안타깝게도 "새로운 분기가 나타났습니다. 여기 /24가 있습니다."라는 원칙에 따라 네트워크가 컴파일되는 것을 자주 봅니다. 주어진 위치에서 예상되는 장치 수와 추가 성장 여부를 아는 사람은 아무도 없습니다. 예를 들어, 작은 상점이 열렸는데 처음에는 장치가 10을 넘지 않을 것이라는 것이 분명한데 왜 / 24를 할당합니까? 반대로 대규모 지점의 경우 / 24를 할당하고 500 개의 장치가 있습니다. 네트워크를 추가하기 만하면되지만 즉시 모든 것을 생각하고 싶습니다.
2. 필터링 규칙. 프로젝트에서 네트워크 분리 및 최대 분할이 있다고 가정하는 경우. 모범 사례는 시간이 지남에 따라 변경됩니다. 이전에는 PC 네트워크와 프린터 네트워크를 공유했지만 이제는 이러한 네트워크를 공유하지 않는 것이 일반적입니다. 상식을 사용하고 필요하지 않은 많은 서브넷을 생성하지 않고 모든 장치를 하나의 네트워크로 결합하지 않는 것이 좋습니다.
3. 모든 라우터의 "골든" 설정. 저것들. 계획이 있다면. 모든 것을 즉시 예측하고 모든 설정이 동일한지 확인하는 것이 좋습니다. 주소 목록과 IP 주소만 다릅니다. 문제가 발생하면 디버깅 시간이 줄어듭니다.
4. 조직적 측면은 기술적 측면보다 덜 중요하지 않습니다. 종종 게으른 직원은 기성 구성 및 스크립트를 사용하지 않고 이러한 권장 사항을 "수동"으로 따르기 때문에 궁극적으로 처음부터 문제가 발생합니다.

동적 라우팅. 조닝이 있는 OSPF가 사용되었습니다. 그러나 이것은 테스트 벤치입니다. 전투 조건에서 그런 것들을 설정하는 것이 더 흥미 롭습니다.

라우터 구성을 게시하지 않은 것에 대해 아무도 화를 내지 않았기를 바랍니다. 나는 링크가 충분할 것이라고 생각하고 모든 것이 요구 사항에 달려 있습니다. 그리고 물론 테스트, 더 많은 테스트가 필요합니다.

새해에는 모두가 자신의 프로젝트를 실현하기를 바랍니다. 액세스 권한이 부여될 수 있습니다!!!

출처 : habr.com