विषय खूपच मारक आहे, मला माहित आहे. उदाहरणार्थ, एक महान आहे लेख, परंतु तेथे फक्त ब्लॉकलिस्टचा IP भाग विचारात घेतला जातो. आम्ही डोमेन देखील जोडू.

न्यायालये आणि आरकेएन सर्व काही उजवीकडे आणि डावीकडे अवरोधित करतात आणि प्रदाते रेव्हिझोरोने जारी केलेल्या दंडाच्या खाली न येण्याचा प्रयत्न करीत आहेत, ब्लॉकिंगपासून संबंधित नुकसान बरेच मोठे आहे. आणि "कायदेशीरपणे" अवरोधित केलेल्या साइट्समध्ये अनेक उपयुक्त आहेत (हॅलो, रुट्रॅकर)

मी RKN च्या अधिकारक्षेत्राबाहेर राहतो, परंतु माझे आईवडील, नातेवाईक आणि मित्र घरीच राहिले. त्यामुळे आयटीपासून दूर असलेल्या लोकांसाठी त्यांच्या सहभागाशिवाय, बायपास ब्लॉकिंगचा एक सोपा मार्ग शोधण्याचा निर्णय घेण्यात आला.

या नोटमध्ये, मी मूलभूत नेटवर्क गोष्टींचे चरणांमध्ये वर्णन करणार नाही, परंतु मी ही योजना कशी लागू केली जाऊ शकते याच्या सामान्य तत्त्वांचे वर्णन करेन. त्यामुळे नेटवर्क सर्वसाधारणपणे आणि विशेषतः लिनक्समध्ये कसे कार्य करते याचे ज्ञान असणे आवश्यक आहे.

कुलूपांचे प्रकार

प्रथम, जे ब्लॉक केले जात आहे त्याबद्दलची स्मृती ताजी करूया.

RKN वरून अनलोड केलेल्या XML मध्ये अनेक प्रकारचे लॉक आहेत:

IP
डोमेन
URL

साधेपणासाठी, आम्ही ते दोन पर्यंत कमी करू: IP आणि डोमेन, आणि आम्ही डोमेनला URL द्वारे अवरोधित करण्यापासून बाहेर काढू (अधिक तंतोतंत, त्यांनी आमच्यासाठी हे आधीच केले आहे).

पासून चांगले लोक Roskomsvoboda एक अद्भुत लक्षात आले API, ज्याद्वारे आम्ही आम्हाला आवश्यक ते मिळवू शकतो:

आयपी: https://api.reserve-rbl.ru/api/v2/ips/json
डोमेन: https://api.reserve-rbl.ru/api/v2/domains/json

अवरोधित साइटवर प्रवेश

हे करण्यासाठी, आम्हाला काही लहान परदेशी VPS आवश्यक आहेत, शक्यतो अमर्यादित रहदारीसह - यापैकी बरेच आहेत 3-5 पैशांसाठी. आपल्याला ते जवळच्या परदेशात घेणे आवश्यक आहे जेणेकरून पिंग फार मोठे नसावे, परंतु पुन्हा हे लक्षात घ्या की इंटरनेट आणि भूगोल नेहमीच जुळत नाहीत. आणि 5 पैशांसाठी कोणताही SLA नसल्यामुळे, दोष सहिष्णुतेसाठी भिन्न प्रदात्यांकडून 2+ तुकडे घेणे चांगले आहे.

पुढे, आम्हाला क्लायंट राउटरपासून VPS पर्यंत एक एनक्रिप्टेड बोगदा सेट करणे आवश्यक आहे. मी Wireguard चा वापर सर्वात जलद आणि सर्वात सोपा सेटअप म्हणून करतो. माझ्याकडे लिनक्सवर आधारित क्लायंट राउटर देखील आहेत (APU2 किंवा OpenWRT मध्ये काहीतरी). काही Mikrotik/Cisco च्या बाबतीत, तुम्ही OpenVPN आणि GRE-over-IPSEC सारखे त्यांच्यावर उपलब्ध प्रोटोकॉल वापरू शकता.

स्वारस्य असलेल्या रहदारीची ओळख आणि पुनर्निर्देशन

आपण, अर्थातच, परदेशी देशांद्वारे सर्व इंटरनेट रहदारी बंद करू शकता. परंतु, बहुधा, स्थानिक सामग्रीसह कार्य करण्याच्या गतीला याचा मोठा फटका बसेल. शिवाय, VPS वर बँडविड्थ आवश्यकता खूप जास्त असेल.

म्हणून, आम्हाला कोणत्याही प्रकारे अवरोधित साइटवर रहदारीचे वाटप करावे लागेल आणि निवडकपणे ते बोगद्याकडे निर्देशित करावे लागेल. जरी काही "अतिरिक्त" रहदारी तेथे पोहोचली, तरीही ते बोगद्यातून सर्वकाही चालविण्यापेक्षा बरेच चांगले आहे.

रहदारी व्यवस्थापित करण्यासाठी, आम्ही BGP प्रोटोकॉल वापरू आणि आमच्या VPS पासून क्लायंटसाठी आवश्यक नेटवर्कसाठी मार्ग घोषित करू. चला BIRD ला सर्वात कार्यक्षम आणि सोयीस्कर बीजीपी डिमन म्हणून घेऊ.

IP

IP द्वारे अवरोधित केल्याने, सर्व काही स्पष्ट आहे: आम्ही फक्त VPS सह सर्व अवरोधित IP घोषित करतो. समस्या अशी आहे की API परत करत असलेल्या सूचीमध्ये सुमारे 600 हजार सबनेट आहेत आणि त्यापैकी बहुसंख्य /32 होस्ट आहेत. मार्गांची ही संख्या कमकुवत क्लायंट राउटरला गोंधळात टाकू शकते.

म्हणून, सूचीवर प्रक्रिया करताना, 24 किंवा अधिक होस्ट असल्यास नेटवर्क / 2 पर्यंत सारांशित करण्याचा निर्णय घेण्यात आला. अशा प्रकारे, मार्गांची संख्या ~ 100 हजारांपर्यंत कमी झाली. त्यासाठी स्क्रिप्ट पुढे येईल.

डोमेन

हे अधिक क्लिष्ट आहे आणि अनेक मार्ग आहेत. उदाहरणार्थ, तुम्ही प्रत्येक क्लायंट राउटरवर एक पारदर्शक स्क्विड स्थापित करू शकता आणि तेथे HTTP इंटरसेप्शन करू शकता आणि पहिल्या प्रकरणात विनंती केलेली URL आणि दुसऱ्या प्रकरणात SNI कडून डोमेन मिळविण्यासाठी TLS हँडशेकमध्ये डोकावू शकता.

परंतु सर्व प्रकारच्या नवीन TLS1.3 + eSNI मुळे, HTTPS विश्लेषण दिवसेंदिवस कमी अधिक वास्तविक होत आहे. होय, आणि क्लायंट बाजूची पायाभूत सुविधा अधिक क्लिष्ट होत आहे - तुम्हाला किमान OpenWRT वापरावे लागेल.

म्हणून, मी DNS प्रश्नांना प्रतिसादात अडथळा आणण्याचा मार्ग स्वीकारण्याचा निर्णय घेतला. येथेही, कोणताही DNS-over-TLS/HTTPS तुमच्या डोक्यावर फिरू लागतो, परंतु आम्ही (सध्या) क्लायंटवर हा भाग नियंत्रित करू शकतो - एकतर तो अक्षम करू शकतो किंवा DoT/DOH साठी तुमचा स्वतःचा सर्व्हर वापरू शकतो.

DNS कसे रोखायचे?

येथे देखील, अनेक दृष्टिकोन असू शकतात.

PCAP किंवा NFLOG द्वारे DNS रहदारीचे व्यत्यय
इंटरसेप्शनच्या या दोन्ही पद्धती युटिलिटीमध्ये लागू केल्या जातात sidmat. परंतु हे बर्याच काळापासून समर्थित नाही आणि कार्यक्षमता खूप प्राचीन आहे, म्हणून आपल्याला अद्याप त्यासाठी हार्नेस लिहिण्याची आवश्यकता आहे.
DNS सर्व्हर लॉगचे विश्लेषण
दुर्दैवाने, मला माहीत असलेले पुनरावर्तक प्रतिसाद लॉग करू शकत नाहीत, परंतु फक्त विनंत्या. तत्वतः, हे तार्किक आहे, कारण, विनंत्यांच्या विपरीत, उत्तरांची रचना जटिल आहे आणि त्यांना मजकूर स्वरूपात लिहिणे कठीण आहे.
DNSTap
सुदैवाने, त्यांच्यापैकी बरेच जण या उद्देशासाठी आधीच DNSTap चे समर्थन करतात.

DNSTap म्हणजे काय?

हा एक क्लायंट-सर्व्हर प्रोटोकॉल आहे जो प्रोटोकॉल बफर्स आणि फ्रेम स्ट्रीमवर आधारित DNS सर्व्हरवरून संरचित DNS क्वेरी आणि प्रतिसादांच्या संग्राहकाकडे हस्तांतरित करण्यासाठी आहे. मूलत:, DNS सर्व्हर क्वेरी आणि प्रतिसाद मेटाडेटा (संदेशाचा प्रकार, क्लायंट/सर्व्हर IP, इ.) तसेच संपूर्ण DNS संदेश (बायनरी) स्वरूपात प्रसारित करतो ज्यामध्ये तो नेटवर्कवर त्यांच्यासोबत कार्य करतो.

हे समजून घेणे महत्त्वाचे आहे की DNSTap पॅराडाइममध्ये, DNS सर्व्हर क्लायंट म्हणून काम करतो आणि कलेक्टर सर्व्हर म्हणून काम करतो. म्हणजेच, DNS सर्व्हर कलेक्टरशी कनेक्ट होतो, उलट नाही.

आज DNSTap सर्व लोकप्रिय DNS सर्व्हरमध्ये समर्थित आहे. परंतु, उदाहरणार्थ, अनेक वितरणांमध्ये (उबंटू एलटीएस सारखे) BIND सहसा काही कारणास्तव त्याच्या समर्थनाशिवाय तयार केले जाते. चला तर मग पुन्हा असेंब्लीचा त्रास करू नका, परंतु एक हलका आणि वेगवान रिकसर घ्या - अनबाउंड.

DNSTap कसे पकडायचे?

आहेत काही प्रमाण DNSTap इव्हेंटच्या प्रवाहासह कार्य करण्यासाठी CLI उपयुक्तता, परंतु ते आमच्या समस्येचे निराकरण करण्यासाठी योग्य नाहीत. म्हणून, मी माझी स्वतःची सायकल शोधण्याचा निर्णय घेतला जो आवश्यक असलेल्या सर्व गोष्टी करेल: dnstap-bgp

कार्य अल्गोरिदम:

लाँच केल्यावर, ते मजकूर फाइलमधून डोमेनची सूची लोड करते, त्यांना उलट करते (habr.com -> com.habr), तुटलेली रेषा, डुप्लिकेट आणि सबडोमेन वगळते (म्हणजे सूचीमध्ये habr.com आणि www.habr.com असल्यास, ते फक्त पहिले लोड केले जाईल) आणि या सूचीद्वारे जलद शोधण्यासाठी एक उपसर्ग वृक्ष तयार करते
DNSTap सर्व्हर म्हणून काम करताना, ते DNS सर्व्हरवरून कनेक्शनची प्रतीक्षा करते. तत्वतः, ते UNIX आणि TCP सॉकेट्स दोन्हीला समर्थन देते, परंतु मला माहित असलेले DNS सर्व्हर फक्त UNIX सॉकेट्स वापरू शकतात
येणारे DNSTap पॅकेट प्रथम प्रोटोबफ स्ट्रक्चरमध्ये डीसीरियल केले जातात आणि नंतर प्रोटोबफ फील्डपैकी एकामध्ये स्थित बायनरी डीएनएस संदेश डीएनएस आरआर रेकॉर्डच्या स्तरावर पार्स केला जातो.
विनंती केलेला होस्ट (किंवा त्याचे मूळ डोमेन) लोड केलेल्या सूचीमध्ये आहे की नाही हे तपासले जाते, नसल्यास, प्रतिसादाकडे दुर्लक्ष केले जाते
प्रतिसादातून फक्त A/AAAA/CNAME RR निवडले जातात आणि त्यांच्याकडून संबंधित IPv4/IPv6 पत्ते काढले जातात.
IP पत्ते कॉन्फिगर करण्यायोग्य TTL सह कॅश केले जातात आणि सर्व कॉन्फिगर केलेल्या BGP समवयस्कांना जाहिरात केली जातात
आधीच कॅशे केलेल्या आयपीकडे निर्देश करणारा प्रतिसाद प्राप्त करताना, त्याचे TTL अद्यतनित केले जाते
TTL कालबाह्य झाल्यानंतर, एंट्री कॅशेमधून आणि BGP घोषणांमधून काढून टाकली जाते

अतिरिक्त कार्यक्षमता:

SIGHUP द्वारे डोमेनची सूची पुन्हा वाचत आहे
कॅशे इतर उदाहरणांसह समक्रमित ठेवणे dnstap-bgp HTTP/JSON द्वारे
रीस्टार्ट केल्यानंतर त्यातील सामग्री पुनर्संचयित करण्यासाठी डिस्कवरील कॅशे (बोल्टडीबी डेटाबेसमध्ये) डुप्लिकेट करा
वेगळ्या नेटवर्क नेमस्पेसवर स्विच करण्यासाठी समर्थन (हे का आवश्यक आहे ते खाली वर्णन केले जाईल)
IPv6 समर्थन

मर्यादा

IDN डोमेन अद्याप समर्थित नाहीत
काही BGP सेटिंग्ज

मी गोळा केला RPM आणि DEB सुलभ स्थापनेसाठी पॅकेजेस. systemd सह सर्व तुलनेने अलीकडील OS वर कार्य केले पाहिजे. त्यांच्याकडे कोणतेही अवलंबित्व नाही.

योजना

तर, सर्व घटक एकत्र एकत्र करणे सुरू करूया. परिणामी, आम्हाला या नेटवर्क टोपोलॉजीसारखे काहीतरी मिळाले पाहिजे:

कामाचे तर्क, मला वाटते, आकृतीवरून स्पष्ट आहे:

क्लायंटने आमचा सर्व्हर DNS म्हणून कॉन्फिगर केलेला आहे आणि DNS क्वेरी देखील VPN वर जाणे आवश्यक आहे. हे आवश्यक आहे जेणेकरून प्रदाता ब्लॉक करण्यासाठी DNS इंटरसेप्शन वापरू शकत नाही.
साइट उघडताना, क्लायंट "xxx.org चे IPs काय आहेत" सारखी DNS क्वेरी पाठवतो.
अनबाउंड xxx.org चे निराकरण करते (किंवा कॅशेमधून घेते) आणि क्लायंटला प्रतिसाद पाठवते “xxx.org कडे असा आणि असा IP आहे”, तो DNSTap द्वारे समांतर डुप्लिकेट करून
dnstap-bgp मध्ये हे पत्ते जाहीर करते बर्ड जर डोमेन ब्लॉक केलेल्या यादीत असेल तर BGP द्वारे
बर्ड सह या IP च्या मार्गाची जाहिरात करते next-hop self क्लायंट राउटर
क्लायंटकडून या आयपीपर्यंतची त्यानंतरची पॅकेट बोगद्यातून जातात

सर्व्हरवर, ब्लॉक केलेल्या साइट्सच्या मार्गांसाठी, मी BIRD मध्ये एक स्वतंत्र टेबल वापरतो आणि ते कोणत्याही प्रकारे OS ला छेदत नाही.

या योजनेत एक कमतरता आहे: क्लायंटकडून प्रथम SYN पॅकेट, बहुधा, घरगुती प्रदात्याद्वारे सोडण्याची वेळ असेल. मार्ग त्वरित जाहीर केला जात नाही. आणि प्रदाता ब्लॉकिंग कसे करतो यावर अवलंबून पर्याय शक्य आहेत. जर त्याने फक्त ट्रॅफिक सोडले तर काही हरकत नाही. आणि जर त्याने ते काही DPI वर पुनर्निर्देशित केले तर (सैद्धांतिकदृष्ट्या) विशेष प्रभाव शक्य आहेत.

हे देखील शक्य आहे की क्लायंट DNS TTL चमत्कारांचा आदर करत नाहीत, ज्यामुळे क्लायंट अनबाउंड विचारण्याऐवजी त्याच्या कुजलेल्या कॅशेमधून काही शिळ्या नोंदी वापरू शकतो.

व्यवहारात, पहिल्या किंवा दुसर्‍याने माझ्यासाठी समस्या निर्माण केल्या नाहीत, परंतु तुमचे मायलेज भिन्न असू शकते.

सर्व्हर ट्यूनिंग

रोलिंगच्या सुलभतेसाठी, मी लिहिले उत्तरदायी साठी भूमिका. हे Linux वर आधारित सर्व्हर आणि क्लायंट दोन्ही कॉन्फिगर करू शकते (डेब-आधारित वितरणासाठी डिझाइन केलेले). सर्व सेटिंग्ज अगदी स्पष्ट आहेत आणि सेट केल्या आहेत inventory.yml. ही भूमिका माझ्या मोठ्या प्लेबुकमधून कापली आहे, त्यामुळे त्यात त्रुटी असू शकतात - विनंती खेचणे स्वागत आहे 🙂

चला मुख्य घटकांकडे जाऊया.

बीजीपी

एकाच होस्टवर दोन BGP डिमन चालवण्यामध्ये एक मूलभूत समस्या आहे: BIRD लोकलहोस्ट (किंवा कोणत्याही स्थानिक इंटरफेस) सह BGP पीअरिंग सेट करू इच्छित नाही. शब्दापासूनच. गुगलिंग आणि मेलिंग-याद्या वाचून फायदा झाला नाही, ते असा दावा करतात की हे डिझाइनद्वारे आहे. कदाचित काही मार्ग असेल, परंतु मला तो सापडला नाही.

तुम्ही दुसरा BGP डिमन वापरून पाहू शकता, परंतु मला BIRD आवडतो आणि तो माझ्याद्वारे सर्वत्र वापरला जातो, मला संस्था तयार करायची नाहीत.

म्हणून, मी नेटवर्क नेमस्पेसमध्ये dnstap-bgp लपवले आहे, जे व्हेथ इंटरफेसद्वारे रूटशी जोडलेले आहे: ते पाईपसारखे आहे, ज्याचे टोक वेगवेगळ्या नेमस्पेसमध्ये चिकटलेले आहेत. या प्रत्येक टोकावर, आम्ही खाजगी p2p IP पत्ते लटकवतो जे होस्टच्या पलीकडे जात नाहीत, त्यामुळे ते काहीही असू शकतात. हीच यंत्रणा आतल्या प्रक्रियेत प्रवेश करण्यासाठी वापरली जाते सर्वांचे प्रिय डॉकर आणि इतर कंटेनर.

यासाठी हे लिहीले होते स्क्रिप्ट आणि केसांद्वारे स्वतःला दुसर्‍या नेमस्पेसमध्ये ड्रॅग करण्यासाठी वर वर्णन केलेली कार्यक्षमता dnstap-bgp मध्ये जोडली गेली आहे. यामुळे, ते रूट म्हणून चालवले जाणे आवश्यक आहे किंवा सेटकॅप कमांडद्वारे CAP_SYS_ADMIN बायनरीला जारी केले जाणे आवश्यक आहे.

नेमस्पेस तयार करण्यासाठी उदाहरण स्क्रिप्ट

#!/bin/bash

NS="dtap"

IP="/sbin/ip"
IPNS="$IP netns exec $NS $IP"

IF_R="veth-$NS-r"
IF_NS="veth-$NS-ns"

IP_R="192.168.149.1"
IP_NS="192.168.149.2"

/bin/systemctl stop dnstap-bgp || true

$IP netns del $NS > /dev/null 2>&1
$IP netns add $NS

$IP link add $IF_R type veth peer name $IF_NS
$IP link set $IF_NS netns $NS

$IP addr add $IP_R remote $IP_NS dev $IF_R
$IP link set $IF_R up

$IPNS addr add $IP_NS remote $IP_R dev $IF_NS
$IPNS link set $IF_NS up

/bin/systemctl start dnstap-bgp

dnstap-bgp.conf

namespace = "dtap"
domains = "/var/cache/rkn_domains.txt"
ttl = "168h"

[dnstap]
listen = "/tmp/dnstap.sock"
perm = "0666"

[bgp]
as = 65000
routerid = "192.168.149.2"

peers = [
    "192.168.149.1",
]

bird.conf

router id 192.168.1.1;

table rkn;

# Clients
protocol bgp bgp_client1 {
    table rkn;
    local as 65000;
    neighbor 192.168.1.2 as 65000;
    direct;
    bfd on;
    next hop self;
    graceful restart;
    graceful restart time 60;
    export all;
    import none;
}

# DNSTap-BGP
protocol bgp bgp_dnstap {
    table rkn;
    local as 65000;
    neighbor 192.168.149.2 as 65000;
    direct;
    passive on;
    rr client;
    import all;
    export none;
}

# Static routes list
protocol static static_rkn {
    table rkn;
    include "rkn_routes.list";
    import all;
    export none;
}

rkn_routes.list

route 3.226.79.85/32 via "ens3";
route 18.236.189.0/24 via "ens3";
route 3.224.21.0/24 via "ens3";
...

DNS

डीफॉल्टनुसार, उबंटूमध्ये, अनबाउंड बायनरीला AppArmor प्रोफाइलद्वारे क्लॅम्प केले जाते, जे त्यास सर्व प्रकारच्या DNSTap सॉकेटशी कनेक्ट होण्यापासून प्रतिबंधित करते. तुम्ही हे प्रोफाइल हटवू शकता किंवा ते अक्षम करू शकता:

# cd /etc/apparmor.d/disable && ln -s ../usr.sbin.unbound .
# apparmor_parser -R /etc/apparmor.d/usr.sbin.unbound

हे बहुधा प्लेबुकमध्ये जोडले जावे. प्रोफाइल दुरुस्त करणे आणि आवश्यक अधिकार जारी करणे हे नक्कीच आदर्श आहे, परंतु मी खूप आळशी होतो.

unbound.conf

server:
    chroot: ""
    port: 53
    interface: 0.0.0.0
    root-hints: "/var/lib/unbound/named.root"
    auto-trust-anchor-file: "/var/lib/unbound/root.key"
    access-control: 192.168.0.0/16 allow

remote-control:
    control-enable: yes
    control-use-cert: no

dnstap:
    dnstap-enable: yes
    dnstap-socket-path: "/tmp/dnstap.sock"
    dnstap-send-identity: no
    dnstap-send-version: no

    dnstap-log-client-response-messages: yes

सूची डाउनलोड आणि प्रक्रिया करत आहे

IP पत्त्यांची सूची डाउनलोड आणि प्रक्रिया करण्यासाठी स्क्रिप्ट
हे सूची डाउनलोड करते, उपसर्गापर्यंत बेरीज करते pfx. द जोडू नका и सारांश_करू नका तुम्ही IPs आणि नेटवर्कना वगळण्यास किंवा सारांश न देण्यास सांगू शकता. मला त्याची गरज होती. माझ्या VPS चे सबनेट ब्लॉकलिस्टमध्ये होते 🙂

मजेदार गोष्ट अशी आहे की RosKomSvoboda API डीफॉल्ट पायथन वापरकर्ता एजंटसह विनंत्या अवरोधित करते. स्क्रिप्ट-किडीला समजल्यासारखे दिसते. म्हणून, आम्ही ते ओग्नेलिसमध्ये बदलतो.

आतापर्यंत, हे फक्त IPv4 सह कार्य करते. IPv6 चा वाटा लहान आहे, परंतु त्याचे निराकरण करणे सोपे होईल. जोपर्यंत तुम्हाला bird6 देखील वापरावे लागत नाही.

rkn.py

#!/usr/bin/python3

import json, urllib.request, ipaddress as ipa

url = 'https://api.reserve-rbl.ru/api/v2/ips/json'
pfx = '24'

dont_summarize = {
    # ipa.IPv4Network('1.1.1.0/24'),
}

dont_add = {
    # ipa.IPv4Address('1.1.1.1'),
}

req = urllib.request.Request(
    url,
    data=None, 
    headers={
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
    }
)

f = urllib.request.urlopen(req)
ips = json.loads(f.read().decode('utf-8'))

prefix32 = ipa.IPv4Address('255.255.255.255')

r = {}
for i in ips:
    ip = ipa.ip_network(i)
    if not isinstance(ip, ipa.IPv4Network):
        continue

    addr = ip.network_address

    if addr in dont_add:
        continue

    m = ip.netmask
    if m != prefix32:
        r[m] = [addr, 1]
        continue

    sn = ipa.IPv4Network(str(addr) + '/' + pfx, strict=False)

    if sn in dont_summarize:
        tgt = addr
    else:
        tgt = sn

    if not sn in r:
        r[tgt] = [addr, 1]
    else:
        r[tgt][1] += 1

o = []
for n, v in r.items():
    if v[1] == 1:
        o.append(str(v[0]) + '/32')
    else:
        o.append(n)

for k in o:
    print(k)

अपडेट करण्यासाठी स्क्रिप्ट
मी ते दिवसातून एकदा मुकुटवर चालवतो, कदाचित दर 4 तासांनी ते खेचणे योग्य आहे. हा, माझ्या मते, RKN ला प्रदात्यांकडून आवश्यक असलेला नूतनीकरण कालावधी आहे. शिवाय, त्यांच्याकडे आणखी काही अति-अर्जंट ब्लॉकिंग आहेत, जे जलद पोहोचू शकतात.

खालील गोष्टी करतात:

प्रथम स्क्रिप्ट चालवते आणि मार्गांची सूची अद्यतनित करते (rkn_routes.list) BIRD साठी
BIRD रीलोड करा
dnstap-bgp साठी डोमेनची सूची अद्यतनित करते आणि साफ करते
dnstap-bgp रीलोड करा

rkn_update.sh

#!/bin/bash

ROUTES="/etc/bird/rkn_routes.list"
DOMAINS="/var/cache/rkn_domains.txt"

# Get & summarize routes
/opt/rkn.py | sed 's/(.*)/route 1 via "ens3";/' > $ROUTES.new

if [ $? -ne 0 ]; then
    rm -f $ROUTES.new
    echo "Unable to download RKN routes"
    exit 1
fi

if [ -e $ROUTES ]; then
    mv $ROUTES $ROUTES.old
fi

mv $ROUTES.new $ROUTES

/bin/systemctl try-reload-or-restart bird

# Get domains
curl -s https://api.reserve-rbl.ru/api/v2/domains/json -o - | jq -r '.[]' | sed 's/^*.//' | sort | uniq > $DOMAINS.new

if [ $? -ne 0 ]; then
    rm -f $DOMAINS.new
    echo "Unable to download RKN domains"
    exit 1
fi

if [ -e $DOMAINS ]; then
    mv $DOMAINS $DOMAINS.old
fi

mv $DOMAINS.new $DOMAINS

/bin/systemctl try-reload-or-restart dnstap-bgp

ते जास्त विचार न करता लिहिले होते, म्हणून जर तुम्हाला काही सुधारता येईल असे दिसले तर - त्यासाठी जा.

क्लायंट सेटअप

येथे मी लिनक्स राउटरसाठी उदाहरणे देईन, परंतु Mikrotik / Cisco च्या बाबतीत ते आणखी सोपे असावे.

प्रथम, आम्ही BIRD सेट केले:

bird.conf

router id 192.168.1.2;
table rkn;

protocol device {
    scan time 10;
};

# Servers
protocol bgp bgp_server1 {
    table rkn;
    local as 65000;
    neighbor 192.168.1.1 as 65000;
    direct;
    bfd on;
    next hop self;
    graceful restart;
    graceful restart time 60;
    rr client;
    export none;
    import all;
}

protocol kernel {
    table rkn;
    kernel table 222;
    scan time 10;
    export all;
    import none;
}

अशा प्रकारे, आम्ही BGP कडून प्राप्त केलेले मार्ग कर्नल राउटिंग टेबल क्रमांक 222 सह समक्रमित करू.

त्यानंतर, डीफॉल्ट एक पाहण्यापूर्वी कर्नलला ही प्लेट पाहण्यास सांगणे पुरेसे आहे:

# ip rule add from all pref 256 lookup 222
# ip rule
0:  from all lookup local
256:    from all lookup 222
32766:  from all lookup main
32767:  from all lookup default

सर्व काही, सर्व्हरचा बोगदा IP पत्ता DNS म्हणून वितरित करण्यासाठी राउटरवर DHCP कॉन्फिगर करणे बाकी आहे आणि योजना तयार आहे.

उणीवा

डोमेनची सूची तयार करण्यासाठी आणि त्यावर प्रक्रिया करण्यासाठी सध्याच्या अल्गोरिदमसह, त्यात इतर गोष्टींसह, youtube.com आणि त्याचे CDN.

आणि यामुळे सर्व व्हिडिओ VPN द्वारे जातील, जे संपूर्ण चॅनेल बंद करू शकतात. कदाचित लोकप्रिय डोमेन-अपवर्जनांची यादी संकलित करणे योग्य आहे जे काही काळासाठी RKN अवरोधित करतात, हिम्मत पातळ आहे. आणि पार्सिंग करताना त्यांना वगळा.

निष्कर्ष

वर्णन केलेली पद्धत आपल्याला प्रदाते सध्या लागू केलेल्या जवळजवळ कोणत्याही ब्लॉकिंगला बायपास करण्याची परवानगी देते.

तत्वतः, dnstap-bgp डोमेन नावावर आधारित ट्रॅफिक नियंत्रणाची काही पातळी आवश्यक असल्यास इतर कोणत्याही उद्देशासाठी वापरली जाऊ शकते. फक्त लक्षात ठेवा की आमच्या काळात, एक हजार साइट समान IP पत्त्यावर (उदाहरणार्थ, काही क्लाउडफ्लेअरच्या मागे) हँग होऊ शकतात, म्हणून या पद्धतीची अचूकता कमी आहे.

परंतु बायपास लॉकच्या गरजांसाठी, हे पुरेसे आहे.

जोडणे, संपादने, पुल विनंत्या - स्वागत आहे!

स्त्रोत: www.habr.com

DNSTap आणि BGP सह ILV ब्लॉकिंग बायपास करा