विषय धेरै पिटिएको छ, मलाई थाहा छ। उदाहरण को लागी, एक महान छ लेख, तर ब्लकलिस्टको IP भाग मात्र त्यहाँ मानिन्छ। हामी डोमेनहरू पनि थप्नेछौं।

अदालत र RKN ले सबै दायाँ र बायाँ अवरुद्ध गर्ने तथ्यको कारण, र प्रदायकहरूले Revizorro द्वारा जारी गरिएको जरिवाना अन्तर्गत नपर्ने कडा प्रयास गरिरहेका छन्, अवरुद्धबाट सम्बन्धित हानिहरू धेरै ठूलो छन्। र "कानूनी रूपमा" अवरुद्ध साइटहरू बीच त्यहाँ धेरै उपयोगी छन् (नमस्ते, rutracker)

म RKN को अधिकार क्षेत्र बाहिर बस्छु, तर मेरा आमाबाबु, आफन्त र साथीहरू घरमै रहनुभयो। त्यसैले यो IT बाट टाढा रहेका मानिसहरूको लागि ब्लकिङलाई बाइपास गर्नको लागि सजिलो तरिकाको साथ आउने निर्णय गरियो, अधिमानतः तिनीहरूको सहभागिता बिना।

यस नोटमा, म आधारभूत नेटवर्क चीजहरू चरणहरूमा वर्णन गर्ने छैन, तर म यो योजना कसरी लागू गर्न सकिन्छ भन्ने सामान्य सिद्धान्तहरू वर्णन गर्नेछु। त्यसोभए नेटवर्कले सामान्य र विशेष रूपमा लिनक्समा कसरी काम गर्दछ भन्ने ज्ञान हुनु आवश्यक छ।

तालाका प्रकारहरू

पहिले, अवरुद्ध भएको कुराको हाम्रो मेमोरीलाई ताजा गरौं।

RKN बाट अनलोड गरिएको XML मा धेरै प्रकारका तालाहरू छन्:

IP
Домен
URL

सरलताको लागि, हामी तिनीहरूलाई दुईमा घटाउनेछौं: आईपी र डोमेन, र हामी केवल डोमेनलाई URL द्वारा अवरुद्ध गर्नबाट बाहिर निकाल्नेछौं (अधिक सटीक रूपमा, तिनीहरूले पहिले नै हाम्रो लागि यो गरिसकेका छन्)।

बाट राम्रो मान्छे Roskomsvoboda अद्भुत महसुस भयो एपीआई, जसको माध्यमबाट हामीले हामीलाई चाहिएको कुरा प्राप्त गर्न सक्छौं:

IP: https://api.reserve-rbl.ru/api/v2/ips/json
डोमेनहरू: https://api.reserve-rbl.ru/api/v2/domains/json

अवरुद्ध साइटहरूमा पहुँच

यो गर्नको लागि, हामीलाई केहि साना विदेशी VPS चाहिन्छ, अधिमानतः असीमित ट्राफिकको साथ - त्यहाँ 3-5 पैसाको लागि धेरै छन्। तपाईंले यसलाई नजिकैको विदेशमा लिन आवश्यक छ ताकि पिंग धेरै ठूलो नहोस्, तर फेरि, ध्यान दिनुहोस् कि इन्टरनेट र भूगोल सधैं मेल खाँदैन। र 5 डलरको लागि कुनै SLA नभएको कारण, गल्ती सहिष्णुताको लागि विभिन्न प्रदायकहरूबाट २+ टुक्राहरू लिनु राम्रो हुन्छ।

अर्को, हामीले क्लाइन्ट राउटरबाट VPS मा एन्क्रिप्टेड टनेल सेट अप गर्न आवश्यक छ। म Wireguard लाई सबैभन्दा छिटो र सेटअप गर्न सजिलोको रूपमा प्रयोग गर्छु। मसँग लिनक्समा आधारित ग्राहक राउटरहरू पनि छन् (APU2 वा OpenWRT मा केहि)। केहि Mikrotik / Cisco को मामला मा, तपाइँ OpenVPN र GRE-over-IPSEC जस्ता तिनीहरूमा उपलब्ध प्रोटोकलहरू प्रयोग गर्न सक्नुहुन्छ।

चासोको ट्राफिकको पहिचान र पुनर्निर्देशन

तपाईं, अवश्य पनि, विदेशी देशहरू मार्फत सबै इन्टरनेट ट्राफिक बन्द गर्न सक्नुहुन्छ। तर, सम्भवतः, स्थानीय सामग्रीसँग काम गर्ने गतिले यसबाट ठूलो असर पार्नेछ। साथै, VPS मा ब्यान्डविथ आवश्यकताहरू धेरै उच्च हुनेछ।

तसर्थ, हामीले कुनै न कुनै रूपमा अवरुद्ध साइटहरूमा ट्राफिक आवंटित गर्न आवश्यक छ र चयनपूर्वक यसलाई सुरुङमा निर्देशित गर्न आवश्यक छ। यदि केहि "अतिरिक्त" ट्राफिक त्यहाँ पुग्छ भने, यो अझै पनि सुरुङ मार्फत सबै ड्राइभ गर्नु भन्दा धेरै राम्रो छ।

ट्राफिक व्यवस्थापन गर्न, हामी BGP प्रोटोकल प्रयोग गर्नेछौं र हाम्रा VPS बाट ग्राहकहरूलाई आवश्यक नेटवर्कहरूमा मार्गहरू घोषणा गर्नेछौं। BIRD लाई सबैभन्दा कार्यात्मक र सुविधाजनक BGP डेमनको रूपमा लिनुहोस्।

IP

IP द्वारा अवरुद्ध संग, सबै कुरा स्पष्ट छ: हामी केवल VPS को साथ सबै अवरुद्ध आईपीहरू घोषणा गर्छौं। समस्या यो हो कि सूचीमा लगभग 600 हजार सबनेटहरू छन् जुन API ले फर्काउँछ, र ती मध्ये ठूलो बहुमत /32 होस्टहरू छन्। मार्गहरूको यो संख्याले कमजोर ग्राहक राउटरहरूलाई भ्रमित गर्न सक्छ।

तसर्थ, सूची प्रशोधन गर्दा, यो नेटवर्क / 24 मा 2 वा बढी होस्ट छ भने संक्षेप गर्न निर्णय गरियो। यसरी, मार्ग संख्या ~ 100 हजार मा घट्यो। यसको लागि स्क्रिप्ट पछ्याउनेछ।

डोमेनहरू

यो अधिक जटिल छ र त्यहाँ धेरै तरिकाहरू छन्। उदाहरणका लागि, तपाईंले प्रत्येक क्लाइन्ट राउटरमा पारदर्शी स्क्विड स्थापना गर्न सक्नुहुन्छ र त्यहाँ HTTP अवरोध गर्न सक्नुहुन्छ र पहिलो केसमा अनुरोध गरिएको URL र दोस्रोमा SNI बाट डोमेन प्राप्त गर्न TLS ह्यान्डसेकमा पिप गर्नुहोस्।

तर सबै प्रकारका नयाँ TLS1.3 + eSNI को कारणले गर्दा, HTTPS विश्लेषण हरेक दिन कम र कम वास्तविक हुँदै गइरहेको छ। हो, र ग्राहक पक्षमा पूर्वाधार थप जटिल हुँदै गइरहेको छ - तपाईंले कम्तिमा OpenWRT प्रयोग गर्नुपर्नेछ।

त्यसकारण, मैले DNS अनुरोधहरूमा प्रतिक्रियाहरू अवरोध गर्ने बाटो लिने निर्णय गरें। यहाँ पनि, कुनै पनि DNS-over-TLS/HTTPS तपाईंको टाउकोमा होभर गर्न थाल्छ, तर हामी (अहिलेको लागि) क्लाइन्टमा यो भाग नियन्त्रण गर्न सक्छौं - कि त यसलाई असक्षम पार्नुहोस् वा DoT / DoH का लागि तपाईंको आफ्नै सर्भर प्रयोग गर्नुहोस्।

DNS कसरी अवरोध गर्ने?

यहाँ पनि, त्यहाँ धेरै दृष्टिकोण हुन सक्छ।

PCAP वा NFLOG मार्फत DNS ट्राफिकको अवरोध
अवरोधका यी दुवै विधिहरू उपयोगितामा लागू हुन्छन् sidmat। तर यो लामो समय को लागी समर्थित छैन र कार्यक्षमता धेरै आदिम छ, त्यसैले तपाइँ अझै पनि यसको लागि एक हार्नेस लेख्न आवश्यक छ।
DNS सर्भर लगहरूको विश्लेषण
दुर्भाग्यवश, मलाई थाहा भएका पुनरावृत्तहरू प्रतिक्रियाहरू लग गर्न सक्षम छैनन्, तर अनुरोधहरू मात्र। सिद्धान्तमा, यो तार्किक छ, किनकि, अनुरोधहरूको विपरीत, जवाफहरूको जटिल संरचना छ र तिनीहरूलाई पाठ फारममा लेख्न गाह्रो छ।
DNSTap
सौभाग्य देखि, तिनीहरू मध्ये धेरै पहिले नै यस उद्देश्यको लागि DNSTap समर्थन गर्दछ।

DNSTap के हो?

यो DNS सर्भरबाट संरचित DNS प्रश्नहरू र प्रतिक्रियाहरूको कलेक्टरमा स्थानान्तरण गर्नको लागि प्रोटोकल बफरहरू र फ्रेम स्ट्रिमहरूमा आधारित ग्राहक-सर्भर प्रोटोकल हो। अनिवार्य रूपमा, DNS सर्भरले क्वेरी र प्रतिक्रिया मेटाडेटा (सन्देशको प्रकार, क्लाइन्ट/सर्भर आईपी, आदि) र पूरा DNS सन्देशहरू (बाइनरी) फारममा प्रसारण गर्दछ जसमा यसले तिनीहरूसँग नेटवर्कमा काम गर्दछ।

यो बुझ्न महत्त्वपूर्ण छ कि DNSTap प्रतिमानमा, DNS सर्भरले ग्राहकको रूपमा कार्य गर्दछ र कलेक्टरले सर्भरको रूपमा कार्य गर्दछ। त्यो हो, DNS सर्भर कलेक्टरमा जडान हुन्छ, र यसको विपरीत होइन।

आज DNSTap सबै लोकप्रिय DNS सर्भरहरूमा समर्थित छ। तर, उदाहरणका लागि, BIND धेरै वितरणहरूमा (जस्तै Ubuntu LTS) प्राय: यसको समर्थन बिना कुनै कारणको लागि बनाइन्छ। त्यसोभए हामी पुन: संयोजनको साथ परेशान नगरौं, तर हल्का र छिटो पुनरावृत्ति लिनुहोस् - अनबाउन्ड।

DNSTap कसरी समात्ने?

छन् केही को राशि DNSTap घटनाहरूको स्ट्रिमसँग काम गर्नको लागि CLI उपयोगिताहरू, तर तिनीहरू हाम्रो समस्या समाधान गर्न उपयुक्त छैनन्। तसर्थ, मैले मेरो आफ्नै साइकल आविष्कार गर्ने निर्णय गरें जुन सबै आवश्यक हुनेछ: dnstap-bgp

कार्य एल्गोरिथ्म:

जब सुरु हुन्छ, यसले पाठ फाइलबाट डोमेनहरूको सूची लोड गर्दछ, तिनीहरूलाई उल्टो गर्दछ (habr.com -> com.habr), टुटेको लाइनहरू, डुप्लिकेटहरू र सबडोमेनहरू समावेश गर्दैन (अर्थात यदि सूचीमा habr.com र www.habr.com समावेश छ भने, यो केवल पहिलो लोड हुनेछ) र यो सूची मार्फत छिटो खोजको लागि उपसर्ग रूख बनाउँछ
DNSTap सर्भरको रूपमा कार्य गर्दै, यसले DNS सर्भरबाट जडानको लागि पर्खन्छ। सिद्धान्तमा, यसले UNIX र TCP सकेट दुवैलाई समर्थन गर्दछ, तर मलाई थाहा छ DNS सर्भरहरूले मात्र UNIX सकेटहरू प्रयोग गर्न सक्छन्।
आगमन DNSTap प्याकेटहरू पहिले प्रोटोबफ संरचनामा डिसेरियलाइज हुन्छन्, र त्यसपछि प्रोटोबफ फिल्डहरू मध्ये एकमा अवस्थित बाइनरी DNS सन्देशलाई DNS RR रेकर्डहरूको स्तरमा पार्स गरिन्छ।
अनुरोध गरिएको होस्ट (वा यसको अभिभावक डोमेन) लोड गरिएको सूचीमा छ कि छैन भनी जाँच गरिन्छ, यदि होइन भने, प्रतिक्रियालाई बेवास्ता गरिन्छ।
प्रतिक्रियाबाट A/AAAA/CNAME RR हरू मात्र चयन गरिएका छन् र तिनीहरूबाट सम्बन्धित IPv4/IPv6 ठेगानाहरू निकालिएका छन्।
IP ठेगानाहरू कन्फिगर योग्य TTL सँग क्यास गरिन्छ र सबै कन्फिगर गरिएका BGP साथीहरूलाई विज्ञापन गरिन्छ।
पहिले नै क्यास गरिएको आईपीलाई संकेत गर्दै प्रतिक्रिया प्राप्त गर्दा, यसको TTL अद्यावधिक हुन्छ
TTL म्याद सकिएपछि, क्यास र BGP घोषणाहरूबाट प्रविष्टि हटाइन्छ

अतिरिक्त कार्यक्षमता:

SIGHUP द्वारा डोमेनहरूको सूची पुन: पढ्दै
अन्य उदाहरणहरूसँग सिङ्कमा क्यास राख्दै dnstap-bgp HTTP/JSON मार्फत
डिस्कमा क्यास नक्कल गर्नुहोस् (बोल्टडीबी डाटाबेसमा) पुन: सुरु गरेपछि यसको सामग्रीहरू पुनर्स्थापना गर्न।
फरक नेटवर्क नेमस्पेसमा स्विच गर्नको लागि समर्थन (यो किन आवश्यक छ तल वर्णन गरिनेछ)
IPv6 समर्थन

सीमाहरू:

IDN डोमेनहरू अझै समर्थित छैनन्
केही BGP सेटिङहरू

जम्मा गरेँ RPM र DEB सजिलो स्थापनाको लागि प्याकेजहरू। systemd सँग सबै अपेक्षाकृत भर्खरका OS मा काम गर्नुपर्छ। तिनीहरूसँग कुनै निर्भरता छैन।

योजना

त्यसोभए, सबै कम्पोनेन्टहरू सँगै जोड्न सुरु गरौं। नतिजाको रूपमा, हामीले यो नेटवर्क टोपोलोजी जस्तै केहि प्राप्त गर्नुपर्छ:

कामको तर्क, मलाई लाग्छ, रेखाचित्रबाट स्पष्ट छ:

क्लाइन्टसँग हाम्रो सर्भर DNS को रूपमा कन्फिगर गरिएको छ, र DNS क्वेरीहरू पनि VPN मा जानुपर्छ। यो आवश्यक छ कि प्रदायकले ब्लक गर्न DNS अवरोध प्रयोग गर्न सक्दैन।
साइट खोल्दा, क्लाइन्टले "xxx.org को IPs के हो" जस्तो DNS क्वेरी पठाउँछ।
नबाँधिएको xxx.org लाई समाधान गर्छ (वा क्यासबाट लिन्छ) र क्लाइन्टलाई जवाफ पठाउँछ "xxx.org मा यस्तो र यस्तो IP छ", DNSTap मार्फत समानान्तर रूपमा नक्कल गर्दै।
dnstap-bgp मा यी ठेगानाहरू घोषणा गर्दछ बर्ड यदि डोमेन अवरुद्ध सूचीमा छ भने BGP मार्फत
बर्ड यी आईपीहरूको लागि मार्गको विज्ञापन गर्दछ next-hop self ग्राहक राउटर
ग्राहकबाट यी आईपीहरूमा पछिल्ला प्याकेटहरू सुरुङ मार्फत जान्छन्

सर्भरमा, अवरुद्ध साइटहरूमा मार्गहरूका लागि, म BIRD भित्र छुट्टै तालिका प्रयोग गर्छु र यसले कुनै पनि हिसाबले OS सँग प्रतिच्छेद गर्दैन।

यो योजनामा एक कमजोरी छ: ग्राहकबाट पहिलो SYN प्याकेट, सम्भवतः, घरेलु प्रदायक मार्फत छोड्ने समय हुनेछ। रुट तत्काल घोषणा गरिएको छैन। र यहाँ विकल्पहरू सम्भव छन् कसरी प्रदायकले अवरुद्ध गर्छ भन्ने आधारमा। यदि उसले ट्राफिक छोड्छ भने, त्यहाँ कुनै समस्या छैन। र यदि उसले यसलाई केहि DPI मा रिडिरेक्ट गर्छ भने, तब (सैद्धान्तिक रूपमा) विशेष प्रभावहरू सम्भव छन्।

यो पनि सम्भव छ कि ग्राहकहरूले DNS TTL चमत्कारहरूलाई सम्मान गर्दैनन्, जसले गर्दा ग्राहकले अनबाउन्ड सोध्नुको सट्टा यसको सडेको क्यासबाट केही बासी प्रविष्टिहरू प्रयोग गर्न सक्छ।

अभ्यासमा, न त पहिलो वा दोस्रोले मेरो लागि समस्या उत्पन्न गर्यो, तर तपाईंको माइलेज फरक हुन सक्छ।

सर्भर ट्युनिङ

रोलिङ को सजिलो को लागी, मैले लेखे उत्तरदायी को लागी भूमिका। यसले लिनक्समा आधारित दुबै सर्भर र क्लाइन्टहरू कन्फिगर गर्न सक्छ (डेब-आधारित वितरणको लागि डिजाइन गरिएको)। सबै सेटिङहरू एकदम स्पष्ट छन् र सेट गरिएको छ inventory.yml। यो भूमिका मेरो ठूलो प्लेबुकबाट काटिएको छ, त्यसैले यसमा त्रुटिहरू हुन सक्छन् - अनुरोधहरू तान्नुहोस् स्वागत छ 🙂

मुख्य घटक मार्फत जाऔं।

BGP

एउटै होस्टमा दुई BGP डेमनहरू चलाउँदा एउटा आधारभूत समस्या छ: BIRD स्थानीयहोस्ट (वा कुनै स्थानीय इन्टरफेस) सँग BGP पियरिङ सेटअप गर्न चाहँदैन। शब्दबाट बिल्कुलै। गुगलिङ र मेलिङ-सूचीहरू पढ्न मद्दत गरेन, तिनीहरू दावी गर्छन् कि यो डिजाइन द्वारा हो। सायद त्यहाँ कुनै तरिका छ, तर मैले यो फेला पारेन।

तपाईं अर्को BGP डेमन प्रयोग गर्न सक्नुहुन्छ, तर मलाई BIRD मन पर्छ र यो म द्वारा जताततै प्रयोग गरिन्छ, म संस्थाहरू उत्पादन गर्न चाहन्न।

त्यसकारण, मैले dnstap-bgp नेटवर्क नेमस्पेस भित्र लुकाएँ, जुन veth इन्टरफेस मार्फत रूटमा जोडिएको छ: यो पाइप जस्तै हो, जसको छेउ फरक नेमस्पेसहरूमा टाँसिएको छ। यी प्रत्येक छेउमा, हामी निजी p2p IP ठेगानाहरू ह्याङ्ग गर्छौं जुन होस्ट भन्दा बाहिर जान सक्दैन, त्यसैले तिनीहरू जे पनि हुन सक्छन्। यो उही संयन्त्र हो जुन भित्र प्रक्रियाहरू पहुँच गर्न प्रयोग गरिन्छ सबैले माया गरेको डकर र अन्य कन्टेनरहरू।

यसका लागि लेखिएको हो लिपि र पहिले नै कपालबाट आफूलाई अर्को नेमस्पेसमा तानेको लागि माथि वर्णन गरिएको कार्यक्षमता dnstap-bgp मा थपियो। यो कारणले गर्दा, यसलाई रूटको रूपमा चलाउनु पर्छ वा सेटक्याप आदेश मार्फत CAP_SYS_ADMIN बाइनरीमा जारी गरिएको हुनुपर्छ।

नाम स्थान सिर्जना गर्नको लागि उदाहरण लिपि

#!/bin/bash

NS="dtap"

IP="/sbin/ip"
IPNS="$IP netns exec $NS $IP"

IF_R="veth-$NS-r"
IF_NS="veth-$NS-ns"

IP_R="192.168.149.1"
IP_NS="192.168.149.2"

/bin/systemctl stop dnstap-bgp || true

$IP netns del $NS > /dev/null 2>&1
$IP netns add $NS

$IP link add $IF_R type veth peer name $IF_NS
$IP link set $IF_NS netns $NS

$IP addr add $IP_R remote $IP_NS dev $IF_R
$IP link set $IF_R up

$IPNS addr add $IP_NS remote $IP_R dev $IF_NS
$IPNS link set $IF_NS up

/bin/systemctl start dnstap-bgp

dnstap-bgp.conf

namespace = "dtap"
domains = "/var/cache/rkn_domains.txt"
ttl = "168h"

[dnstap]
listen = "/tmp/dnstap.sock"
perm = "0666"

[bgp]
as = 65000
routerid = "192.168.149.2"

peers = [
    "192.168.149.1",
]

bird.conf

router id 192.168.1.1;

table rkn;

# Clients
protocol bgp bgp_client1 {
    table rkn;
    local as 65000;
    neighbor 192.168.1.2 as 65000;
    direct;
    bfd on;
    next hop self;
    graceful restart;
    graceful restart time 60;
    export all;
    import none;
}

# DNSTap-BGP
protocol bgp bgp_dnstap {
    table rkn;
    local as 65000;
    neighbor 192.168.149.2 as 65000;
    direct;
    passive on;
    rr client;
    import all;
    export none;
}

# Static routes list
protocol static static_rkn {
    table rkn;
    include "rkn_routes.list";
    import all;
    export none;
}

rkn_routes.list

route 3.226.79.85/32 via "ens3";
route 18.236.189.0/24 via "ens3";
route 3.224.21.0/24 via "ens3";
...

DNS

पूर्वनिर्धारित रूपमा, Ubuntu मा, अनबाउन्ड बाइनरीलाई AppArmor प्रोफाइलद्वारा क्ल्याम्प गरिएको छ, जसले यसलाई सबै प्रकारका DNSTap सकेटहरूमा जडान गर्नबाट रोक्छ। तपाईं या त यो प्रोफाइल मेटाउन सक्नुहुन्छ, वा यसलाई असक्षम गर्न सक्नुहुन्छ:

# cd /etc/apparmor.d/disable && ln -s ../usr.sbin.unbound .
# apparmor_parser -R /etc/apparmor.d/usr.sbin.unbound

यो सम्भवतः प्लेबुकमा थपिएको हुनुपर्छ। यो आदर्श हो, निस्सन्देह, प्रोफाइल सच्याउन र आवश्यक अधिकार जारी गर्न, तर म धेरै अल्छी थिएँ।

unbound.conf

server:
    chroot: ""
    port: 53
    interface: 0.0.0.0
    root-hints: "/var/lib/unbound/named.root"
    auto-trust-anchor-file: "/var/lib/unbound/root.key"
    access-control: 192.168.0.0/16 allow

remote-control:
    control-enable: yes
    control-use-cert: no

dnstap:
    dnstap-enable: yes
    dnstap-socket-path: "/tmp/dnstap.sock"
    dnstap-send-identity: no
    dnstap-send-version: no

    dnstap-log-client-response-messages: yes

डाउनलोड र प्रशोधन सूची

आईपी ठेगानाहरूको सूची डाउनलोड र प्रशोधनका लागि लिपि
यसले सूची डाउनलोड गर्दछ, उपसर्ग सम्मको योगफल pfx। को न_थप्नुहोस् и summarize नगर्नुहोस् तपाईले आईपी र नेटवर्कहरूलाई छाड्न वा संक्षेपमा नगर्न भन्न सक्नुहुन्छ। मलाई यो चाहिएको थियो। मेरो VPS को सबनेट ब्लकलिस्टमा थियो 🙂

हास्यास्पद कुरा यो हो कि RosKomSvoboda API ले पूर्वनिर्धारित पाइथन प्रयोगकर्ता एजेन्टसँग अनुरोधहरूलाई रोक्छ। स्क्रिप्ट-किडीले बुझेको जस्तो देखिन्छ। त्यसकारण, हामी यसलाई ओग्नेलिसमा परिवर्तन गर्छौं।

अहिलेसम्म, यसले IPv4 सँग मात्र काम गर्दछ। IPv6 को शेयर सानो छ, तर यसलाई ठीक गर्न सजिलो हुनेछ। तपाईंले bird6 पनि प्रयोग गर्नुपर्दैन।

rkn.py

#!/usr/bin/python3

import json, urllib.request, ipaddress as ipa

url = 'https://api.reserve-rbl.ru/api/v2/ips/json'
pfx = '24'

dont_summarize = {
    # ipa.IPv4Network('1.1.1.0/24'),
}

dont_add = {
    # ipa.IPv4Address('1.1.1.1'),
}

req = urllib.request.Request(
    url,
    data=None, 
    headers={
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
    }
)

f = urllib.request.urlopen(req)
ips = json.loads(f.read().decode('utf-8'))

prefix32 = ipa.IPv4Address('255.255.255.255')

r = {}
for i in ips:
    ip = ipa.ip_network(i)
    if not isinstance(ip, ipa.IPv4Network):
        continue

    addr = ip.network_address

    if addr in dont_add:
        continue

    m = ip.netmask
    if m != prefix32:
        r[m] = [addr, 1]
        continue

    sn = ipa.IPv4Network(str(addr) + '/' + pfx, strict=False)

    if sn in dont_summarize:
        tgt = addr
    else:
        tgt = sn

    if not sn in r:
        r[tgt] = [addr, 1]
    else:
        r[tgt][1] += 1

o = []
for n, v in r.items():
    if v[1] == 1:
        o.append(str(v[0]) + '/32')
    else:
        o.append(n)

for k in o:
    print(k)

अद्यावधिक गर्न स्क्रिप्ट
म यसलाई दिनको एक पटक मुकुटमा चलाउँछु, हुनसक्छ यो हरेक 4 घण्टामा तान्न लायक छ। यो, मेरो विचारमा, RKN लाई प्रदायकहरूबाट आवश्यक पर्ने नवीकरण अवधि हो। साथै, तिनीहरूसँग केही अन्य अति-अत्यावश्यक अवरोधहरू छन्, जुन छिटो पुग्न सक्छ।

निम्न गर्छ:

पहिलो लिपि चलाउँछ र मार्गहरूको सूची अद्यावधिक गर्दछ (rkn_routes.listBIRD को लागि
BIRD पुन: लोड गर्नुहोस्
dnstap-bgp को लागि डोमेनहरूको सूची अद्यावधिक र सफा गर्दछ
dnstap-bgp पुन: लोड गर्नुहोस्

rkn_update.sh

#!/bin/bash

ROUTES="/etc/bird/rkn_routes.list"
DOMAINS="/var/cache/rkn_domains.txt"

# Get & summarize routes
/opt/rkn.py | sed 's/(.*)/route 1 via "ens3";/' > $ROUTES.new

if [ $? -ne 0 ]; then
    rm -f $ROUTES.new
    echo "Unable to download RKN routes"
    exit 1
fi

if [ -e $ROUTES ]; then
    mv $ROUTES $ROUTES.old
fi

mv $ROUTES.new $ROUTES

/bin/systemctl try-reload-or-restart bird

# Get domains
curl -s https://api.reserve-rbl.ru/api/v2/domains/json -o - | jq -r '.[]' | sed 's/^*.//' | sort | uniq > $DOMAINS.new

if [ $? -ne 0 ]; then
    rm -f $DOMAINS.new
    echo "Unable to download RKN domains"
    exit 1
fi

if [ -e $DOMAINS ]; then
    mv $DOMAINS $DOMAINS.old
fi

mv $DOMAINS.new $DOMAINS

/bin/systemctl try-reload-or-restart dnstap-bgp

तिनीहरू धेरै सोचविना लेखिएका थिए, त्यसैले यदि तपाईंले सुधार गर्न सकिने केही देख्नुभयो भने - यसको लागि जानुहोस्।

ग्राहक सेटअप

यहाँ म लिनक्स राउटरहरूको लागि उदाहरण दिनेछु, तर Mikrotik / Cisco को मामला मा यो अझ सजिलो हुनुपर्छ।

पहिले, हामीले BIRD सेट अप गर्यौं:

bird.conf

router id 192.168.1.2;
table rkn;

protocol device {
    scan time 10;
};

# Servers
protocol bgp bgp_server1 {
    table rkn;
    local as 65000;
    neighbor 192.168.1.1 as 65000;
    direct;
    bfd on;
    next hop self;
    graceful restart;
    graceful restart time 60;
    rr client;
    export none;
    import all;
}

protocol kernel {
    table rkn;
    kernel table 222;
    scan time 10;
    export all;
    import none;
}

यसरी, हामी BGP बाट प्राप्त मार्गहरूलाई कर्नेल राउटिङ तालिका नम्बर 222 सँग सिङ्क्रोनाइज गर्नेछौं।

त्यस पछि, पूर्वनिर्धारित एक हेर्नु अघि कर्नेललाई यो प्लेट हेर्नको लागि सोध्नु पर्याप्त छ:

# ip rule add from all pref 256 lookup 222
# ip rule
0:  from all lookup local
256:    from all lookup 222
32766:  from all lookup main
32767:  from all lookup default

सबै कुरा, यो DNS को रूपमा सर्भरको टनेल IP ठेगाना वितरण गर्न राउटरमा DHCP कन्फिगर गर्न बाँकी छ, र योजना तयार छ।

कमीकमजोरी

डोमेनहरूको सूची उत्पन्न र प्रशोधन गर्नको लागि हालको एल्गोरिथ्मको साथ, यसले अन्य चीजहरू बीचमा समावेश गर्दछ, youtube.com र यसको CDNs।

र यसले यस तथ्यलाई निम्त्याउँछ कि सबै भिडियोहरू VPN मार्फत जानेछन्, जसले सम्पूर्ण च्यानललाई बन्द गर्न सक्छ। हुनसक्छ यो लोकप्रिय डोमेन-बहिष्करणहरूको सूची कम्पाइल गर्न लायक छ जुन समयको लागि RKN ब्लक गर्दछ, हिम्मत पातलो छ। र पार्सिङ गर्दा तिनीहरूलाई छोड्नुहोस्।

निष्कर्षमा

वर्णन गरिएको विधिले तपाईंलाई प्रदायकहरूले हाल लागू गर्ने लगभग कुनै पनि ब्लकिङलाई बाइपास गर्न अनुमति दिन्छ।

सिद्धान्तमा, dnstap-bgp डोमेन नामको आधारमा ट्राफिक नियन्त्रणको केही स्तर आवश्यक पर्ने कुनै पनि अन्य उद्देश्यका लागि प्रयोग गर्न सकिन्छ। केवल ध्यान राख्नुहोस् कि हाम्रो समयमा, एक हजार साइटहरू एउटै आईपी ठेगाना (केही क्लाउडफ्लेयर पछि, उदाहरणका लागि) मा ह्याङ गर्न सक्छन्, त्यसैले यो विधिको सट्टा कम सटीकता छ।

तर लकहरू बाइपास गर्ने आवश्यकताहरूको लागि, यो पर्याप्त छ।

थपहरू, सम्पादनहरू, पुल अनुरोधहरू - स्वागत छ!

स्रोत: www.habr.com

DNSTap र BGP सँग ILV ब्लकिङलाई बाइपास गर्नुहोस्