ჩემი დაუმთავრებელი პროექტი. 200 MikroTik როუტერის ქსელი

Სალამი ყველას. ეს სტატია განკუთვნილია მათთვის, ვისაც აქვს უამრავი Mikrotik მოწყობილობა პარკში და ვისაც სურს მაქსიმალური გაერთიანება ისე, რომ თითოეულ მოწყობილობას ცალკე არ დაუკავშირდეს. ამ სტატიაში აღვწერ პროექტს, რომელმაც, სამწუხაროდ, ადამიანური ფაქტორების გამო საბრძოლო პირობებს ვერ მიაღწია. მოკლედ: 200-ზე მეტი მარშრუტიზატორი, სწრაფი დაყენება და პერსონალის ტრენინგი, გაერთიანება რეგიონების მიხედვით, ქსელების და კონკრეტული ჰოსტების გაფილტვრა, ყველა მოწყობილობაზე წესების მარტივად დამატების შესაძლებლობა, ლოგირება და წვდომის კონტროლი.

ის, რაც ქვემოთ არის აღწერილი, არ წარმოადგენს მზა შემთხვევას, მაგრამ ვიმედოვნებ, რომ გამოგადგებათ თქვენი ქსელების დაგეგმვისას და შეცდომების მინიმიზაციისას. შესაძლოა, ზოგიერთი პუნქტი და გადაწყვეტილება არ მოგეჩვენოთ საკმაოდ სწორი - თუ ასეა, დაწერეთ კომენტარებში. კრიტიკა ამ შემთხვევაში იქნება გამოცდილება საერთო ყულაბაში. ამიტომ, მკითხველო, გადახედე კომენტარებს, ალბათ ავტორმა უხეში შეცდომა დაუშვა - საზოგადოება დაეხმარება.

მარშრუტიზატორების რაოდენობაა 200-300, მიმოფანტული სხვადასხვა ქალაქებში სხვადასხვა ხარისხის ინტერნეტით. აუცილებელია ყველაფერი ლამაზი იყოს და ადგილობრივ ადმინისტრატორებს მიუწვდომლად აუხსნას, თუ როგორ იმუშავებს ყველაფერი.

მაშ, სად იწყება ყველა პროექტი? რა თქმა უნდა, თან ТЗ.

1. ყველა ფილიალისთვის ქსელის გეგმის ორგანიზება მომხმარებლის მოთხოვნების შესაბამისად, ქსელის სეგმენტაცია (3-დან 20 ქსელამდე ფილიალებში, მოწყობილობების რაოდენობის მიხედვით).
2. დააყენეთ მოწყობილობები თითოეულ ფილიალში. პროვაიდერის რეალური გამტარუნარიანობის შემოწმება სხვადასხვა სამუშაო პირობებში.
3. მოწყობილობის დაცვის ორგანიზება, თეთრი სიის კონტროლი, თავდასხმების ავტომატური გამოვლენა ავტომატური შავ სიაში გარკვეული პერიოდის განმავლობაში, სხვადასხვა ტექნიკური საშუალებების გამოყენების მინიმიზაცია, რომლებიც გამოიყენება საკონტროლო წვდომის შესაჩერებლად და სერვისზე უარის თქმის მიზნით.
4. უსაფრთხო vpn კავშირების ორგანიზება ქსელის ფილტრაციით მომხმარებლის მოთხოვნების შესაბამისად. მინიმუმ 3 vpn კავშირი თითოეული ფილიალიდან ცენტრამდე.
5. 1, 2 პუნქტებზე დაყრდნობით. აირჩიეთ შეცდომების ტოლერანტული vpn-ის შექმნის საუკეთესო გზები. დინამიური მარშრუტის ტექნოლოგია, სწორი დასაბუთებით, შეიძლება აირჩიოს კონტრაქტორმა.
6. ტრაფიკის პრიორიტეტების ორგანიზება პროტოკოლებით, პორტებით, ჰოსტებით და სხვა სპეციფიკური სერვისებით, რომლებსაც მომხმარებელი იყენებს. (VOIP, მასპინძლები მნიშვნელოვანი სერვისებით)
7. როუტერის მოვლენების მონიტორინგისა და აღრიცხვის ორგანიზება ტექნიკური დახმარების პერსონალის საპასუხოდ.

როგორც გვესმის, ზოგიერთ შემთხვევაში, TOR შედგენილია მოთხოვნებიდან. ეს მოთხოვნები დამოუკიდებლად ჩამოვაყალიბე, ძირითადი პრობლემების მოსმენის შემდეგ. მან აღიარა შესაძლებლობა, რომ ვინმემ შეძლოს ამ პუნქტების განხორციელება.

რა ინსტრუმენტები იქნება გამოყენებული ამ მოთხოვნების შესასრულებლად:

1. ELK სტეკი (გარკვეული დროის შემდეგ გაიგეს, რომ fluentd გამოიყენებოდა logstash-ის ნაცვლად).
2. ანსიბილი. ადმინისტრირებისა და წვდომის გაზიარებისთვის, ჩვენ გამოვიყენებთ AWX-ს.
3. GITLAB. აქ ახსნა არ არის საჭირო. სადაც ჩვენი კონფიგურაციის ვერსიის კონტროლის გარეშე.
4. PowerShell. იქნება მარტივი სკრიპტი კონფიგურაციის საწყისი თაობისთვის.
5. Doku wiki, დოკუმენტაციისა და სახელმძღვანელოების დასაწერად. ამ შემთხვევაში ჩვენ ვიყენებთ habr.com-ს.
6. მონიტორინგი განხორციელდება zabbix-ის საშუალებით. ასევე იქნება კავშირის დიაგრამა ზოგადი გაგებისთვის.

EFK დაყენების წერტილები

პირველ პუნქტზე აღვწერ მხოლოდ იმ იდეოლოგიას, რომელზედაც აშენდება ინდექსები. Ბევრნი არიან
შესანიშნავი სტატიები მიკროტიკის გაშვებული მოწყობილობებიდან ჟურნალების დაყენებისა და მიღების შესახებ.

რამდენიმე პუნქტზე შევჩერდები:

1. სქემის მიხედვით, ღირს მორების მიღება სხვადასხვა ადგილიდან და სხვადასხვა პორტზე. ამისათვის ჩვენ გამოვიყენებთ ჟურნალის აგრეგატორს. ჩვენ ასევე გვსურს შევქმნათ უნივერსალური გრაფიკა ყველა მარშრუტიზატორისთვის წვდომის გაზიარების შესაძლებლობით. შემდეგ ჩვენ ვაშენებთ ინდექსებს შემდეგნაირად:

აქ არის კონფიგურაციის ნაწილი fluentd-ით ელასტიური ძიება
logstash_format true
index_name mikrotiklogs.north
logstash_prefix mikrotiklogs.north
ჩარეცხვის_ინტერვალი 10 წმ
მასპინძლებს ელასტიური: 9200
პორტი 9200

ამრიგად, შეგვიძლია გავაერთიანოთ მარშრუტიზატორები და სეგმენტები გეგმის მიხედვით - mikrotiklogs.west, mikrotiklogs.south, mikrotiklogs.east. რატომ ართულებს ასე? ჩვენ გვესმის, რომ გვექნება 200 ან მეტი მოწყობილობა. ყველაფერს ნუ აჰყვები. elasticsearch-ის 6.8 ვერსიიდან გამომდინარე, უსაფრთხოების პარამეტრები ჩვენთვის ხელმისაწვდომია (ლიცენზიის ყიდვის გარეშე), ამდენად, ჩვენ შეგვიძლია გავანაწილოთ ნახვის უფლებები ტექნიკური დახმარების თანამშრომლებს ან ადგილობრივი სისტემის ადმინისტრატორებს შორის.
ცხრილები, გრაფიკები - აქ თქვენ უბრალოდ უნდა დაეთანხმოთ - ან გამოიყენეთ იგივე, ან ყველა აკეთებს ამას, როგორც ეს მისთვის მოსახერხებელი იქნება.

2. ჭრით. თუ ჩვენ ჩავრთავთ log in firewall-ის წესებს, მაშინ სახელებს ვაკეთებთ ინტერვალის გარეშე. ჩანს, რომ მარტივი კონფიგურაციის გამოყენებით fluentd-ში შეგვიძლია გავფილტროთ მონაცემები და შევქმნათ მოსახერხებელი პანელები. ქვემოთ მოყვანილი სურათი არის ჩემი სახლის როუტერი.

3. დაკავებული სივრცისა და მორების მიხედვით. საშუალოდ, საათში 1000 მესიჯით, ჟურნალები დღეში 2-3 მბ-ს იკავებს, რაც, ხედავთ, არც ისე ბევრია. elasticsearch ვერსია 7.5.

ANSIBLE.AWX

ჩვენთვის საბედნიეროდ, ჩვენ გვაქვს მზა მოდული მარშრუტიზატორებისთვის
მე აღვნიშნე AWX-ზე, მაგრამ ქვემოთ მოცემული ბრძანებები ეხება მხოლოდ ansible-ს მისი სუფთა სახით - ვფიქრობ, მათთვის, ვინც მუშაობდა ansible-თან, პრობლემები არ შეექმნება awx-ის გამოყენებას Gui-ის საშუალებით.

მართალი გითხრათ, მანამდე გადავხედე სხვა გიდებს, სადაც ისინი იყენებდნენ ssh-ს და ყველას ჰქონდა სხვადასხვა პრობლემები რეაგირების დროზე და სხვა პრობლემები. ვიმეორებ, ბრძოლამდე არ მივიდა , მიიღეთ ეს ინფორმაცია ექსპერიმენტად, რომელიც არ სცდებოდა 20 მარშრუტიზატორს.

ჩვენ უნდა გამოვიყენოთ სერთიფიკატი ან ანგარიში. შენი გადასაწყვეტია, მე სერთიფიკატებზე ვარ. რამდენიმე დახვეწილი წერტილი უფლებებზე. მე ვაძლევ წერის უფლებებს - მინიმუმ "კონფიგურაციის გადატვირთვა" არ იმუშავებს.

არ უნდა იყოს პრობლემები სერთიფიკატის გენერირებასთან, კოპირებასთან და იმპორტთან დაკავშირებით:

ბრძანებების მოკლე ჩამონათვალითქვენს კომპიუტერზე
ssh-keygen -t RSA, უპასუხეთ კითხვებს, შეინახეთ გასაღები.
დააკოპირეთ mikrotik-ზე:
მომხმარებლის ssh-keys იმპორტი public-key-file=id_mtx.pub user=ansible
ჯერ თქვენ უნდა შექმნათ ანგარიში და გამოყოთ მასზე უფლებები.
სერტიფიკატთან კავშირის შემოწმება
ssh -p 49475 -i /keys/mtx [ელ.ფოსტით დაცულია]

ჩაწერეთ vi /etc/ansible/hosts
MT01 ansible_network_os=მარშრუტიზატორები ansible_ssh_port=49475 ansible_ssh_user= ansible
MT02 ansible_network_os=მარშრუტიზატორები ansible_ssh_port=49475 ansible_ssh_user= ansible
MT03 ansible_network_os=მარშრუტიზატორები ansible_ssh_port=49475 ansible_ssh_user= ansible
MT04 ansible_network_os=მარშრუტიზატორები ansible_ssh_port=49475 ansible_ssh_user= ansible

კარგი, სათამაშო წიგნის მაგალითი: სახელი: add_work_sites
მასპინძლები:testmt
სერიალი: 1
კავშირი:network_cli
remote_user: mikrotik.west
შევიკრიბოთ_ფაქტები: დიახ
დავალებები:
სახელი: დაამატეთ Work_sites
routeros_command:
ბრძანებები:
- /ip firewall მისამართების სია დაამატეთ მისამართი=gov.ru list=work_sites comment=Ticket665436_Ochen_nado
- /ip firewall-ის მისამართების სია დაამატეთ მისამართი=habr.com list=work_sites comment=for_habr

როგორც ზემოთ მოყვანილი კონფიგურაციიდან ხედავთ, საკუთარი სათამაშო წიგნების შედგენა მარტივი საკითხია. საკმარისია საკმარისად კარგად დაეუფლოთ cli mikrotik-ს. წარმოიდგინეთ სიტუაცია, როდესაც თქვენ უნდა წაშალოთ მისამართების სია გარკვეული მონაცემებით ყველა მარშრუტიზატორზე, შემდეგ:

იპოვნეთ და ამოიღეთ/ip firewal address-list წაშლა [იპოვე სადაც list="gov.ru"]

მე განზრახ არ ჩავურთე აქ მთელი ფაირვოლ-ის ჩამონათვალი. ეს იქნება ინდივიდუალური თითოეული პროექტისთვის. მაგრამ ერთი რამ დანამდვილებით შემიძლია ვთქვა, გამოიყენეთ მხოლოდ მისამართების სია.

GITLAB-ის მიხედვით, ყველაფერი ნათელია. ამ მომენტზე არ შევჩერდები. ყველაფერი ლამაზია ინდივიდუალური ამოცანების, შაბლონების, დამმუშავებლების თვალსაზრისით.

Powershell

იქნება 3 ფაილი. რატომ powershell? კონფიგურაციის გენერირების ხელსაწყო შეიძლება აირჩიოს ყველას, ვინც უფრო კომფორტულია. ამ შემთხვევაში, ყველას აქვს Windows კომპიუტერზე, რატომ უნდა გააკეთოთ ეს bash-ზე, როცა powershell უფრო მოსახერხებელია. ვინ უფრო კომფორტულია.

თავად სცენარი (მარტივი და გასაგები):[cmdletBinding()] პარამი(
[პარამეტრი(სავალდებულო=$true)] [სტრიქონი]$EXTERNALIPADDRESS,
[პარამეტრი(სავალდებულო=$true)] [სტრიქონი]$EXTERNALIPROUTE,
[პარამეტრი(სავალდებულო=$true)] [სტრიქონი]$BWorknets,
[პარამეტრი(სავალდებულო=$true)] [სტრიქონი]$CWorknets,
[პარამეტრი(სავალდებულო=$true)] [სტრიქონი]$BVoipNets,
[პარამეტრი(სავალდებულო=$true)] [სტრიქონი]$CVoipNets,
[პარამეტრი(სავალდებულო=$true)] [სტრიქონი]$CClientss,
[პარამეტრი(სავალდებულო=$true)] [სტრიქონი]$BVPNWORKs,
[პარამეტრი(სავალდებულო=$true)] [სტრიქონი]$CVPNWORKs,
[პარამეტრი(სავალდებულო=$true)] [სტრიქონი]$BVPNCLIENTS,
[პარამეტრი(სავალდებულო=$true)] [სტრიქონი]$cVPNCLIENTS,
[პარამეტრი(სავალდებულო=$true)] [სტრიქონი]$NAMEROUTER,
[პარამეტრი(სავალდებულო=$true)] [string]$ServerCertificates,
[პარამეტრი(სავალდებულო=$true)] [string]$infile,
[პარამეტრი(სავალდებულო=$true)] [სტრიქონი]$outfile
)

Get-Content $infile | Foreach-Object {$_.Replace("EXTERNIP", $EXTERNALIPADDRESS)} |
Foreach-Object {$_.Replace("EXTROUTE", $EXTERNALIPROUTE)} |
Foreach-Object {$_.Replace("BWorknet", $BWorknets)} |
Foreach-Object {$_.Replace("CWorknet", $CWorknets)} |
Foreach-Object {$_.Replace("BVoipNet", $BVoipNets)} |
Foreach-Object {$_.Replace("CVoipNet", $CVoipNets)} |
Foreach-Object {$_.Replace("CClients", $CClientss)} |
Foreach-Object {$_.Replace("BVPNWORK", $BVPNWORKs)} |
Foreach-Object {$_.Replace("CVPNWORK", $CVPNWORKs)} |
Foreach-Object {$_.Replace("BVPNCLIENTS", $BVPNCLIENTSs)} |
Foreach-Object {$_.Replace("CVPNCLIENTS", $cVPNCLIENTSs)} |
Foreach-Object {$_.Replace("MYNAMERROUTER", $NAMEROUTER)} |
Foreach-Object {$_.Replace("ServerCertificate", $ServerCertificates)} | Set-Content $outfile

ბოდიშს გიხდით, ყველა წესს ვერ ჩამოვწერ. არ იქნება ლამაზი. თქვენ შეგიძლიათ თავად შეადგინოთ წესები საუკეთესო პრაქტიკით ხელმძღვანელობით.

მაგალითად, აქ არის ბმულების სია, რომლითაც მე ვიხელმძღვანელე:wiki.mikrotik.com/wiki/Manual:Securing_Your_Router
wiki.mikrotik.com/wiki/Manual:IP/Firewall/ფილტრი
wiki.mikrotik.com/wiki/Manual:OSPF-მაგალითები
wiki.mikrotik.com/wiki/Drop_port_scanners
wiki.mikrotik.com/wiki/Manual: ვინბოქსი
wiki.mikrotik.com/wiki/Manual:Upgrading_RouterOS
wiki.mikrotik.com/wiki/Manual:IP/Fasttrack - აქ თქვენ უნდა იცოდეთ, რომ როდესაც fasttrack ჩართულია, ტრაფიკის პრიორიტეტებისა და ჩამოყალიბების წესები არ იმუშავებს - სასარგებლოა სუსტი მოწყობილობებისთვის.

ცვლადი კონვენციები:მაგალითად, შემდეგი ქსელებია აღებული:
192.168.0.0/24 სამუშაო ქსელი
172.22.4.0/24 VOIP ქსელი
10.0.0.0/24 ქსელი კლიენტებისთვის LAN წვდომის გარეშე
192.168.255.0/24 VPN ქსელი დიდი ფილიალებისთვის
172.19.255.0/24 VPN ქსელი მცირე

ქსელის მისამართი შედგება 4 ათობითი ნომრისგან, შესაბამისად ABCD, ჩანაცვლება მუშაობს იმავე პრინციპით, თუ ის სთხოვს B-ს გაშვებისას, მაშინ უნდა შეიყვანოთ ნომერი 192.168.0.0 ქსელისთვის 24/0, ხოლო C = 0. .
$EXTERNALIPADDRESS - გამოყოფილი მისამართი პროვაიდერისგან.
$EXTERNALIPROUTE - ნაგულისხმევი მარშრუტი ქსელში 0.0.0.0/0
$BWorknets - სამუშაო ქსელი, ჩვენს მაგალითში იქნება 168
$CWorknets - სამუშაო ქსელი, ჩვენს მაგალითში ეს იქნება 0
$BVoipNets - VOIP ქსელი ჩვენს მაგალითში აქ 22
$CVoipNets - VOIP ქსელი ჩვენს მაგალითში აქ 4
$CClientss - ქსელი კლიენტებისთვის - წვდომა მხოლოდ ინტერნეტზე, ჩვენს შემთხვევაში აქ 0
$BVPNWORKs - VPN ქსელი დიდი ფილიალებისთვის, ჩვენს მაგალითში 20
$CVPNWORKs - VPN ქსელი დიდი ფილიალებისთვის, ჩვენს მაგალითში 255
$BVPNCLIENTS - VPN ქსელი მცირე ფილიალებისთვის, ნიშნავს 19
$CVPNCLIENTS - VPN ქსელი მცირე ფილიალებისთვის, ნიშნავს 255
$NAMEROUTER - როუტერის სახელი
$ServerCertificate - სერთიფიკატის სახელი, რომელსაც პირველ რიგში იმპორტირებთ
$infile - მიუთითეთ ფაილის გზა, საიდანაც ჩვენ წავიკითხავთ კონფიგურაციას, მაგალითად D:config.txt (უკეთესი ინგლისური გზა ბრჭყალებისა და ინტერვალის გარეშე)
$outfile - მიუთითეთ გზა, სადაც შეინახება, მაგალითად D:MT-test.txt

შეგნებულად შევცვალე მისამართები მაგალითებში გასაგები მიზეზების გამო.

მე გამომრჩა თავდასხმების და ანომალიური ქცევის გამოვლენის წერტილი - ეს ცალკე სტატიას იმსახურებს. მაგრამ აღსანიშნავია, რომ ამ კატეგორიაში შეგიძლიათ გამოიყენოთ მონიტორინგის მონაცემთა მნიშვნელობები Zabbix-დან + დამუშავებული curl მონაცემები elasticsearch-დან.

რა პუნქტებზე უნდა გავამახვილო ყურადღება:

1. ქსელის გეგმა. ჯობია წასაკითხად დაწერო. Excel საკმარისია. სამწუხაროდ, ხშირად ვხედავ, რომ ქსელები შედგენილია პრინციპით "გაჩნდა ახალი ფილიალი, აქ არის /24 შენთვის". არავინ იგებს რამდენი მოწყობილობაა მოსალოდნელი მოცემულ ადგილას და იქნება თუ არა შემდგომი ზრდა. მაგალითად, გაიხსნა პატარა მაღაზია, რომელშიც თავდაპირველად ირკვევა, რომ მოწყობილობა იქნება არაუმეტეს 10, რატომ გამოვყოთ / 24? დიდი ფილიალებისთვის, პირიქით, ისინი გამოყოფენ / 24, და არის 500 მოწყობილობა - შეგიძლიათ უბრალოდ დაამატოთ ქსელი, მაგრამ გსურთ დაუყოვნებლივ იფიქროთ ყველაფერი.
2. ფილტრაციის წესები. თუ პროექტი ვარაუდობს, რომ იქნება ქსელების გამიჯვნა და მაქსიმალური სეგმენტაცია. საუკეთესო პრაქტიკა დროთა განმავლობაში იცვლება. ადრე ისინი იზიარებდნენ კომპიუტერის ქსელს და პრინტერების ქსელს, ახლა ნორმალურია ამ ქსელების არ გაზიარება. ღირს საღი აზრის გამოყენება და ბევრი ქვექსელის შექმნა, სადაც ისინი არ არის საჭირო და არ გააერთიანოთ ყველა მოწყობილობა ერთ ქსელში.
3. "ოქროს" პარამეტრები ყველა როუტერზე. იმათ. თუ გაქვთ გეგმა. ღირს ყველაფრის ერთდროულად განჭვრეტა და დარწმუნდეთ, რომ ყველა პარამეტრი იდენტურია - არსებობს მხოლოდ სხვადასხვა მისამართების სია და IP მისამართები. პრობლემების შემთხვევაში, გამართვის დრო ნაკლები იქნება.
4. ორგანიზაციული ასპექტები არანაკლებ მნიშვნელოვანია, ვიდრე ტექნიკური. ხშირად, ზარმაცი თანამშრომლები ამ რეკომენდაციებს „ხელით“ ასრულებენ, მზა კონფიგურაციებისა და სკრიპტების გამოყენების გარეშე, რაც საბოლოოდ იწვევს პრობლემებს ნულიდან.

დინამიური მარშრუტირებით. გამოყენებული იქნა OSPF ზონირებით. მაგრამ ეს არის საცდელი სკამი, საბრძოლო პირობებში ასეთი ნივთების დაყენება უფრო საინტერესოა.

იმედია არავის აწყენდა, რომ როუტერების კონფიგურაცია არ გამოვაქვეყნე. ვფიქრობ, რომ ლინკები საკმარისი იქნება, შემდეგ კი ყველაფერი მოთხოვნებზეა დამოკიდებული. და რა თქმა უნდა ტესტები, მეტი ტესტია საჭირო.

ყველას ვუსურვებ ახალ წელს საკუთარი პროექტების განხორციელებას. შეიძლება წვდომა თქვენთან იყოს!!!

წყარო: www.habr.com