വിഷയം വളരെ നന്നായിട്ടുണ്ട്, എനിക്കറിയാം. ഉദാഹരണത്തിന്, ഒരു മികച്ച ഉണ്ട് ഒരു ലേഖനം, എന്നാൽ ബ്ലോക്ക് ലിസ്റ്റിന്റെ IP ഭാഗം മാത്രമേ അവിടെ പരിഗണിക്കൂ. ഞങ്ങൾ ഡൊമെയ്‌നുകളും ചേർക്കും.

കോടതികളും RKN ഉം എല്ലാം ഇടത്തോട്ടും വലത്തോട്ടും തടയുന്നതിനാലും റിവിസോറോ നൽകുന്ന പിഴകളിൽ വീഴാതിരിക്കാൻ ദാതാക്കൾ കഠിനമായി ശ്രമിക്കുന്നതിനാലും തടയുന്നതിൽ നിന്നുള്ള നഷ്ടം വളരെ വലുതാണ്. “നിയമപരമായി” തടഞ്ഞ സൈറ്റുകളിൽ ധാരാളം ഉപയോഗപ്രദമായവയുണ്ട് (ഹലോ, റൂട്രാക്കർ)

ഞാൻ RKN-ന്റെ അധികാരപരിധിക്ക് പുറത്താണ് താമസിക്കുന്നത്, പക്ഷേ എന്റെ മാതാപിതാക്കളും ബന്ധുക്കളും സുഹൃത്തുക്കളും എന്റെ നാട്ടിൽ തന്നെ തുടരുന്നു. അതിനാൽ ഐടിയിൽ നിന്ന് അകലെയുള്ള ആളുകൾക്ക് അവരുടെ പങ്കാളിത്തം ഇല്ലാതെ തന്നെ തടയൽ ഒഴിവാക്കാനുള്ള എളുപ്പവഴി കൊണ്ടുവരാൻ തീരുമാനിച്ചു.

ഈ കുറിപ്പിൽ, അടിസ്ഥാന നെറ്റ്‌വർക്ക് കാര്യങ്ങൾ ഞാൻ ഘട്ടം ഘട്ടമായി വിവരിക്കുന്നില്ല, എന്നാൽ ഈ സ്കീം എങ്ങനെ നടപ്പിലാക്കാം എന്നതിന്റെ പൊതു തത്വങ്ങൾ വിവരിക്കും. അതിനാൽ നെറ്റ്‌വർക്ക് പൊതുവെയും ലിനക്സിൽ പ്രത്യേകിച്ചും എങ്ങനെ പ്രവർത്തിക്കുന്നു എന്നതിനെക്കുറിച്ചുള്ള അറിവ് ഉണ്ടായിരിക്കണം.

ലോക്കുകളുടെ തരങ്ങൾ

ആദ്യം, എന്താണ് തടയപ്പെട്ടിരിക്കുന്നത് എന്നതിനെക്കുറിച്ച് നമ്മുടെ ഓർമ്മ പുതുക്കാം.

RKN-ൽ നിന്ന് ഡൗൺലോഡ് ചെയ്ത XML-ൽ നിരവധി തരം ലോക്കുകൾ ഉണ്ട്:

• IP
• ഡൊമെൻ
• യുആർഎൽ

ലാളിത്യത്തിനായി, ഞങ്ങൾ അവയെ രണ്ടായി ചുരുക്കും: IP, ഡൊമെയ്ൻ, കൂടാതെ URL വഴി തടയുന്നതിൽ നിന്ന് ഞങ്ങൾ ഡൊമെയ്ൻ പുറത്തെടുക്കും (അല്ലെങ്കിൽ, ഇത് ഇതിനകം ഞങ്ങൾക്കായി ചെയ്തു).

നല്ല ആളുകളിൽ നിന്ന് റോസ്കോംസ്വോബോഡ ഒരു അത്ഭുതകരമായ നടപ്പിലാക്കി എപിഐ, അതിലൂടെ നമുക്ക് ആവശ്യമുള്ളത് ലഭിക്കും:

• IP: https://api.reserve-rbl.ru/api/v2/ips/json
• ഡൊമെയ്‌നുകൾ: https://api.reserve-rbl.ru/api/v2/domains/json

തടഞ്ഞ സൈറ്റുകളിലേക്കുള്ള ആക്സസ്

ഇത് ചെയ്യുന്നതിന്, ഞങ്ങൾക്ക് ചില ചെറിയ വിദേശ വിപിഎസ് ആവശ്യമാണ്, വെയിലത്ത് പരിധിയില്ലാത്ത ട്രാഫിക് - 3-5 രൂപയ്ക്ക് അവയിൽ ധാരാളം ഉണ്ട്. പിംഗ് വളരെ ഉയർന്നതായിരിക്കാതിരിക്കാൻ നിങ്ങൾ ഇത് വിദേശത്ത് വാങ്ങേണ്ടതുണ്ട്, പക്ഷേ ഇന്റർനെറ്റും ഭൂമിശാസ്ത്രവും എല്ലായ്പ്പോഴും യോജിക്കുന്നില്ലെന്ന് വീണ്ടും ഓർമ്മിക്കുക. 5 രൂപയ്ക്ക് SLA ഇല്ലാത്തതിനാൽ, തെറ്റ് സഹിഷ്ണുതയ്ക്കായി വ്യത്യസ്ത ദാതാക്കളിൽ നിന്ന് 2+ കഷണങ്ങൾ എടുക്കുന്നതാണ് നല്ലത്.

അടുത്തതായി, ഞങ്ങൾ ക്ലയന്റ് റൂട്ടറിൽ നിന്ന് VPS-ലേക്ക് ഒരു എൻക്രിപ്റ്റ് ചെയ്ത ടണൽ സജ്ജീകരിക്കേണ്ടതുണ്ട്. കോൺഫിഗർ ചെയ്യാൻ ഏറ്റവും വേഗതയേറിയതും എളുപ്പമുള്ളതുമായ വയർഗാർഡ് ഞാൻ ഉപയോഗിക്കുന്നു, കാരണം... എന്റെ ക്ലയന്റ് റൂട്ടറുകളും Linux അടിസ്ഥാനമാക്കിയുള്ളതാണ് (APU2 അല്ലെങ്കിൽ OpenWRT-ൽ എന്തെങ്കിലും). ചില Mikrotik/Cisco-യുടെ കാര്യത്തിൽ, നിങ്ങൾക്ക് OpenVPN, GRE-over-IPSEC എന്നിവ പോലെ ലഭ്യമായ പ്രോട്ടോക്കോളുകൾ ഉപയോഗിക്കാം.

താൽപ്പര്യമുള്ള ട്രാഫിക് തിരിച്ചറിയലും വഴിതിരിച്ചുവിടലും

നിങ്ങൾക്ക് തീർച്ചയായും, വിദേശത്തേക്ക് പോകുന്ന എല്ലാ ഇന്റർനെറ്റ് ട്രാഫിക്കും നിർത്താൻ കഴിയും. പക്ഷേ, മിക്കവാറും, പ്രാദേശിക ഉള്ളടക്കവുമായി പ്രവർത്തിക്കുന്നതിന്റെ വേഗത ഇതിൽ നിന്ന് വളരെയധികം ബാധിക്കും. കൂടാതെ, ഒരു VPS-ലെ ബാൻഡ്‌വിഡ്ത്ത് ആവശ്യകതകൾ വളരെ കൂടുതലായിരിക്കും.

അതിനാൽ, ബ്ലോക്ക് ചെയ്‌ത സൈറ്റുകളിലേക്കുള്ള ട്രാഫിക് എങ്ങനെയെങ്കിലും വേർതിരിച്ച് ടണലിലേക്ക് തിരഞ്ഞെടുത്ത് റൂട്ട് ചെയ്യേണ്ടതുണ്ട്. "അധിക" ട്രാഫിക്കിൽ ചിലത് അവിടെ എത്തിയാലും, തുരങ്കത്തിലൂടെ എല്ലാം ഓടിക്കുന്നതിനേക്കാൾ വളരെ മികച്ചതാണ്.

ട്രാഫിക് നിയന്ത്രിക്കുന്നതിന്, ഞങ്ങൾ BGP പ്രോട്ടോക്കോൾ ഉപയോഗിക്കുകയും ഞങ്ങളുടെ VPS-ൽ നിന്ന് ക്ലയന്റുകൾക്ക് ആവശ്യമായ നെറ്റ്‌വർക്കുകളിലേക്ക് റൂട്ടുകൾ പരസ്യപ്പെടുത്തുകയും ചെയ്യും. ഏറ്റവും പ്രവർത്തനക്ഷമവും സൗകര്യപ്രദവുമായ ഒന്നായതിനാൽ നമുക്ക് BIRD-നെ ഒരു BGP ഡെമൺ ആയി എടുക്കാം.

IP

IP തടയൽ ഉപയോഗിച്ച് എല്ലാം വ്യക്തമാണ്: VPS-ൽ നിന്ന് തടഞ്ഞ എല്ലാ IP-കളും ഞങ്ങൾ പ്രഖ്യാപിക്കുന്നു. API നൽകുന്ന ലിസ്റ്റിൽ ഏകദേശം 600 ആയിരം സബ്‌നെറ്റുകൾ ഉണ്ട് എന്നതാണ് പ്രശ്നം, അവയിൽ ഭൂരിഭാഗവും /32 ഹോസ്റ്റുകളാണ്. ഈ റൂട്ടുകളുടെ എണ്ണം ദുർബലമായ ക്ലയന്റ് റൂട്ടറുകളെ ആശയക്കുഴപ്പത്തിലാക്കും.

അതിനാൽ, ലിസ്റ്റ് പ്രോസസ്സ് ചെയ്യുമ്പോൾ, അതിൽ രണ്ടോ അതിലധികമോ ഹോസ്റ്റുകൾ ഉണ്ടെങ്കിൽ /24 നെറ്റ്‌വർക്കിലേക്ക് സംഗ്രഹിക്കാൻ തീരുമാനിച്ചു. അങ്ങനെ, റൂട്ടുകളുടെ എണ്ണം ~ 2 ആയിരം ആയി കുറഞ്ഞു. ഇതിന്റെ തിരക്കഥയും പിന്നാലെ വരും.

ഡൊമെയ്‌നുകൾ

ഇത് കൂടുതൽ സങ്കീർണ്ണവും നിരവധി മാർഗങ്ങളുണ്ട്. ഉദാഹരണത്തിന്, നിങ്ങൾക്ക് ഓരോ ക്ലയന്റ് റൂട്ടറിലും സുതാര്യമായ സ്‌ക്വിഡ് ഇൻസ്റ്റാൾ ചെയ്യാനും അവിടെ HTTP തടസ്സപ്പെടുത്താനും TLS ഹാൻഡ്‌ഷേക്കിൽ ചാരപ്പണി നടത്താനും കഴിയും, ആദ്യ സന്ദർഭത്തിൽ അഭ്യർത്ഥിച്ച URL ഉം രണ്ടാമത്തേതിൽ SNI-ൽ നിന്ന് ഡൊമെയ്‌നും നേടാനാകും.

എന്നാൽ പുതിയ വിചിത്രമായ TLS1.3+eSNI കാരണം, HTTPS വിശകലനം ഓരോ ദിവസവും യാഥാർത്ഥ്യബോധം കുറഞ്ഞുവരികയാണ്. ക്ലയന്റ് വശത്തെ ഇൻഫ്രാസ്ട്രക്ചർ കൂടുതൽ സങ്കീർണ്ണമാകുന്നു - നിങ്ങൾ കുറഞ്ഞത് OpenWRT ഉപയോഗിക്കേണ്ടിവരും.

അതിനാൽ, ഡിഎൻഎസ് ചോദ്യങ്ങളിലേക്കുള്ള പ്രതികരണങ്ങളെ തടസ്സപ്പെടുത്തുന്ന പാത സ്വീകരിക്കാൻ ഞാൻ തീരുമാനിച്ചു. ഇവിടെയും, എല്ലാത്തരം DNS-ഓവർ-TLS/HTTPS-ഉം നമ്മുടെ തലയ്ക്ക് മുകളിലൂടെ സഞ്ചരിക്കാൻ തുടങ്ങുന്നു, എന്നാൽ നമുക്ക് (ഇപ്പോൾ) ഈ ഭാഗം ക്ലയന്റിൽ നിയന്ത്രിക്കാൻ കഴിയും - ഒന്നുകിൽ ഇത് പ്രവർത്തനരഹിതമാക്കുക അല്ലെങ്കിൽ DoT/DoH-നായി ഞങ്ങളുടെ സ്വന്തം സെർവർ ഉപയോഗിക്കുക.

DNS എങ്ങനെ ഹൈജാക്ക് ചെയ്യാം?

ഇവിടെയും നിരവധി സമീപനങ്ങളുണ്ടാകാം.

• PCAP അല്ലെങ്കിൽ NFLOG വഴി DNS ട്രാഫിക് തടസ്സപ്പെടുത്തുന്നു
  ഈ രണ്ട് തടസ്സപ്പെടുത്തൽ രീതികളും യൂട്ടിലിറ്റിയിൽ നടപ്പിലാക്കുന്നു sidmat. എന്നാൽ ഇത് വളരെക്കാലമായി പിന്തുണയ്‌ക്കുന്നില്ല, മാത്രമല്ല പ്രവർത്തനം വളരെ പ്രാകൃതമാണ്, അതിനാൽ നിങ്ങൾ അതിനായി ഒരു ബൈൻഡിംഗ് എഴുതേണ്ടതുണ്ട്.
• DNS സെർവർ ലോഗ് വിശകലനം
  നിർഭാഗ്യവശാൽ, എനിക്കറിയാവുന്ന ആവർത്തനങ്ങൾക്ക് പ്രതികരണങ്ങൾ എങ്ങനെ രേഖപ്പെടുത്തണമെന്ന് അറിയില്ല, അഭ്യർത്ഥനകൾ മാത്രം. തത്വത്തിൽ, ഇത് യുക്തിസഹമാണ്, കാരണം, അഭ്യർത്ഥനകളിൽ നിന്ന് വ്യത്യസ്തമായി, പ്രതികരണങ്ങൾക്ക് സങ്കീർണ്ണമായ ഒരു ഘടനയുണ്ട്, അവ ടെക്സ്റ്റ് രൂപത്തിൽ എഴുതുന്നത് ബുദ്ധിമുട്ടാണ്.
• DNSTap
  ഭാഗ്യവശാൽ, അവരിൽ പലരും ഈ ആവശ്യങ്ങൾക്കായി ഇതിനകം തന്നെ DNSTap-നെ പിന്തുണയ്ക്കുന്നു.

എന്താണ് DNSTap?

ഘടനാപരമായ DNS അന്വേഷണങ്ങളും പ്രതികരണങ്ങളും ഒരു DNS സെർവറിൽ നിന്ന് ഒരു കളക്ടറിലേക്ക് കൈമാറുന്നതിനുള്ള പ്രോട്ടോക്കോൾ ബഫറുകളും ഫ്രെയിം സ്ട്രീമുകളും അടിസ്ഥാനമാക്കിയുള്ള ഒരു ക്ലയന്റ്-സെർവർ പ്രോട്ടോക്കോളാണിത്. അടിസ്ഥാനപരമായി, DNS സെർവർ അഭ്യർത്ഥനയും പ്രതികരണ മെറ്റാഡാറ്റയും (സന്ദേശ തരം, ക്ലയന്റ്/സെർവർ IP, മുതലായവ) കൂടാതെ നെറ്റ്‌വർക്കിൽ അവരുമായി പ്രവർത്തിക്കുന്ന (ബൈനറി) ഫോമിൽ പൂർണ്ണ DNS സന്ദേശങ്ങളും കൈമാറുന്നു.

DNSTap മാതൃകയിൽ, DNS സെർവർ ഒരു ക്ലയന്റ് ആയി പ്രവർത്തിക്കുന്നു, കളക്ടർ ഒരു സെർവറായി പ്രവർത്തിക്കുന്നു എന്ന് മനസ്സിലാക്കേണ്ടത് പ്രധാനമാണ്. അതായത്, DNS സെർവർ കളക്ടറുമായി ബന്ധിപ്പിക്കുന്നു, തിരിച്ചും അല്ല.

ഇന്ന്, എല്ലാ ജനപ്രിയ DNS സെർവറുകളിലും DNSTap പിന്തുണയ്ക്കുന്നു. പക്ഷേ, ഉദാഹരണത്തിന്, BIND പല വിതരണങ്ങളിലും (ഉബുണ്ടു LTS പോലെ) പലപ്പോഴും ചില കാരണങ്ങളാൽ അതിന്റെ പിന്തുണയില്ലാതെ കംപൈൽ ചെയ്യപ്പെടുന്നു. അതിനാൽ നമുക്ക് പുനർനിർമ്മാണത്തിൽ വിഷമിക്കേണ്ടതില്ല, എന്നാൽ ഭാരം കുറഞ്ഞതും വേഗതയേറിയതുമായ ഒരു ആവർത്തനം എടുക്കുക - അൺബൗണ്ട്.

DNSTap എങ്ങനെ പിടിക്കാം?

ഉണ്ട് ചിലത് количество DNSTap ഇവന്റുകളുടെ ഒഴുക്കിനൊപ്പം പ്രവർത്തിക്കാൻ CLI യൂട്ടിലിറ്റികൾ ഉണ്ട്, എന്നാൽ അവ ഞങ്ങളുടെ പ്രശ്നം പരിഹരിക്കുന്നതിന് അനുയോജ്യമല്ല. അതിനാൽ എന്റെ സ്വന്തം സൈക്കിൾ കണ്ടുപിടിക്കാൻ ഞാൻ തീരുമാനിച്ചു, അത് ആവശ്യമായതെല്ലാം ചെയ്യും: dnstap-bgp

വർക്ക് അൽഗോരിതം:

• സമാരംഭിക്കുമ്പോൾ, അത് ഒരു ടെക്സ്റ്റ് ഫയലിൽ നിന്ന് ഡൊമെയ്‌നുകളുടെ ഒരു ലിസ്റ്റ് ലോഡുചെയ്യുന്നു, അവയെ വിപരീതമാക്കുന്നു (habr.com -> com.habr), തകർന്ന ലൈനുകളും ഡ്യൂപ്ലിക്കേറ്റുകളും സബ്‌ഡൊമെയ്‌നുകളും ഒഴിവാക്കുന്നു (അതായത് ലിസ്റ്റിൽ habr.com, www.habr.com എന്നിവ അടങ്ങിയിട്ടുണ്ടെങ്കിൽ, ഇത് ആദ്യത്തേത് മാത്രമേ ലോഡ് ചെയ്യുകയുള്ളൂ) കൂടാതെ ഈ ലിസ്റ്റിലൂടെ ദ്രുത തിരയലിനായി ഒരു പ്രിഫിക്സ് ട്രീ നിർമ്മിക്കുന്നു
• ഒരു DNSTap സെർവറായി പ്രവർത്തിക്കുന്നു, അത് DNS സെർവറിൽ നിന്നുള്ള ഒരു കണക്ഷനായി കാത്തിരിക്കുന്നു. തത്വത്തിൽ, ഇത് UNIX, TCP സോക്കറ്റുകളെ പിന്തുണയ്ക്കുന്നു, എന്നാൽ എനിക്കറിയാവുന്ന DNS സെർവറുകൾ UNIX സോക്കറ്റുകളെ മാത്രമേ പിന്തുണയ്ക്കൂ.
• ഇൻകമിംഗ് DNSTap പാക്കറ്റുകൾ ആദ്യം Protobuf ഘടനയിലേക്ക് ഡീഷ്യലൈസ് ചെയ്യുന്നു, തുടർന്ന് Protobuf ഫീൽഡുകളിലൊന്നിൽ സ്ഥിതി ചെയ്യുന്ന ബൈനറി DNS സന്ദേശം തന്നെ DNS RR റെക്കോർഡുകളുടെ തലത്തിലേക്ക് പാഴ്‌സ് ചെയ്യുന്നു.
• അഭ്യർത്ഥിച്ച ഹോസ്റ്റ് (അല്ലെങ്കിൽ അതിന്റെ പാരന്റ് ഡൊമെയ്ൻ) ലോഡ് ചെയ്ത ലിസ്റ്റിലുണ്ടോ എന്ന് പരിശോധിക്കുന്നു; ഇല്ലെങ്കിൽ, പ്രതികരണം അവഗണിക്കപ്പെടും
• പ്രതികരണത്തിൽ നിന്ന് A/AAAA/CNAME RR-കൾ മാത്രമേ തിരഞ്ഞെടുത്തിട്ടുള്ളൂ, അവയിൽ നിന്ന് അനുബന്ധ IPv4/IPv6 വിലാസങ്ങൾ വേർതിരിച്ചെടുക്കുന്നു
• IP വിലാസങ്ങൾ ഒരു കോൺഫിഗർ ചെയ്യാവുന്ന TTL ഉപയോഗിച്ച് കാഷെ ചെയ്‌ത് കോൺഫിഗർ ചെയ്‌ത എല്ലാ BGP പിയർകൾക്കും പരസ്യം ചെയ്യുന്നു
• ഇതിനകം കാഷെ ചെയ്‌ത ഐപിയിലേക്ക് ചൂണ്ടിക്കാണിക്കുന്ന ഒരു പ്രതികരണം ലഭിക്കുമ്പോൾ, അതിന്റെ TTL അപ്‌ഡേറ്റ് ചെയ്യുന്നു
• TTL കാലഹരണപ്പെട്ടതിന് ശേഷം, കാഷെയിൽ നിന്നും BGP അറിയിപ്പുകളിൽ നിന്നും എൻട്രി നീക്കം ചെയ്യപ്പെടും

അധിക പ്രവർത്തനം:

• SIGHUP വഴി ഡൊമെയ്‌നുകളുടെ ലിസ്റ്റ് വീണ്ടും വായിക്കുന്നു
• മറ്റ് സന്ദർഭങ്ങളുമായി കാഷെ സമന്വയിപ്പിക്കുക dnstap-bgp HTTP/JSON വഴി
• പുനരാരംഭിച്ചതിന് ശേഷം അതിന്റെ ഉള്ളടക്കങ്ങൾ പുനഃസ്ഥാപിക്കുന്നതിനായി ഡിസ്കിലെ കാഷെ (BoltDB ഡാറ്റാബേസിൽ) ഡ്യൂപ്ലിക്കേറ്റ് ചെയ്യുന്നു
• മറ്റൊരു നെറ്റ്‌വർക്ക് നെയിംസ്‌പേസിലേക്ക് മാറുന്നതിനുള്ള പിന്തുണ (എന്തുകൊണ്ടാണ് ഇത് ആവശ്യമായി വരുന്നത് എന്ന് താഴെ വിവരിക്കും)
• IPv6 പിന്തുണ

പരിമിതികൾ:

• IDN ഡൊമെയ്‌നുകൾ ഇതുവരെ പിന്തുണയ്‌ക്കുന്നില്ല
• കുറച്ച് BGP ക്രമീകരണങ്ങൾ

ഞാൻ ശേഖരിച്ചു ആർപിഎമ്മും ഡിഇബിയും എളുപ്പത്തിലുള്ള ഇൻസ്റ്റാളേഷനുള്ള പാക്കേജുകൾ. systemd ഉള്ള താരതമ്യേന അടുത്തിടെയുള്ള എല്ലാ OS-കളിലും പ്രവർത്തിക്കണം, കാരണം... അവർക്ക് ആശ്രിതത്വമില്ല.

പദ്ധതി

അതിനാൽ, എല്ലാ ഘടകങ്ങളും ഒരുമിച്ച് കൂട്ടിച്ചേർക്കാൻ തുടങ്ങാം. തൽഫലമായി, നമുക്ക് ഈ നെറ്റ്‌വർക്ക് ടോപ്പോളജി പോലെയുള്ള ഒന്ന് ലഭിക്കും:

സൃഷ്ടിയുടെ യുക്തി, ഡയഗ്രാമിൽ നിന്ന് വ്യക്തമാണെന്ന് ഞാൻ കരുതുന്നു:

• ക്ലയന്റ് ഞങ്ങളുടെ സെർവർ ഒരു DNS ആയി കോൺഫിഗർ ചെയ്തിട്ടുണ്ട്, കൂടാതെ DNS അഭ്യർത്ഥനകളും VPN-ലൂടെ പോകണം. തടയുന്നതിന് ദാതാവിന് DNS ഇന്റർസെപ്ഷൻ ഉപയോഗിക്കാൻ കഴിയാത്തതിനാൽ ഇത് ആവശ്യമാണ്.
• ഒരു ക്ലയന്റ് ഒരു വെബ്‌സൈറ്റ് തുറക്കുമ്പോൾ, അത് "xxx.org-ന് എന്ത് IP ഉണ്ട്?" എന്നതുപോലുള്ള ഒരു DNS അഭ്യർത്ഥന അയയ്ക്കുന്നു.
• പരിധിയില്ലാത്ത xxx.org പരിഹരിക്കുന്നു (അല്ലെങ്കിൽ അത് കാഷെയിൽ നിന്ന് എടുക്കുന്നു) കൂടാതെ "xxx.org ന് അത്തരത്തിലുള്ള ഒരു ഐപി ഉണ്ട്" എന്ന ക്ലയന്റിലേക്ക് ഒരു പ്രതികരണം അയയ്ക്കുന്നു, അതേ സമയം അത് DNSTap വഴി ഡ്യൂപ്ലിക്കേറ്റ് ചെയ്യുന്നു.
• dnstap-bgp എന്നതിൽ ഈ വിലാസങ്ങൾ പരസ്യപ്പെടുത്തുന്നു പക്ഷി തടയപ്പെട്ട ലിസ്റ്റിൽ ഡൊമെയ്‌ൻ ഉണ്ടെങ്കിൽ BGP വഴി
• പക്ഷി ഉപയോഗിച്ച് ഈ ഐപികളിലേക്കുള്ള ഒരു റൂട്ട് പരസ്യം ചെയ്യുന്നു next-hop self ക്ലയന്റ് റൂട്ടർ
• ക്ലയന്റിൽ നിന്ന് ഈ ഐപികളിലേക്കുള്ള തുടർന്നുള്ള പാക്കറ്റുകൾ ടണലിലൂടെ കടന്നുപോകുന്നു

സെർവറിൽ, ബ്ലോക്ക് ചെയ്‌ത സൈറ്റുകളിലേക്കുള്ള റൂട്ടുകൾക്കായി ഞാൻ BIRD-നുള്ളിൽ ഒരു പ്രത്യേക പട്ടിക ഉപയോഗിക്കുന്നു, അത് ഒരു തരത്തിലും OS-മായി വിഭജിക്കുന്നില്ല.

ഈ സ്കീമിൽ ഒരു പോരായ്മയുണ്ട്: ക്ലയന്റിൽ നിന്നുള്ള ആദ്യത്തെ SYN പാക്കറ്റിന് ആഭ്യന്തര ദാതാവിലൂടെ കടന്നുപോകാൻ സമയമുണ്ടാകും. റൂട്ട് തൽക്ഷണം പ്രഖ്യാപിക്കില്ല. ദാതാവ് എങ്ങനെ തടയുന്നു എന്നതിനെ ആശ്രയിച്ച് ഇവിടെ സാധ്യമായ ഓപ്ഷനുകൾ ഉണ്ട്. അവൻ വെറുതെ ട്രാഫിക് ഡ്രോപ്പ് ചെയ്താൽ കുഴപ്പമില്ല. അത് ചില ഡിപിഐയിലേക്ക് റീഡയറക്‌ടുചെയ്യുകയാണെങ്കിൽ, (സൈദ്ധാന്തികമായി) പ്രത്യേക ഇഫക്റ്റുകൾ സാധ്യമാണ്.

DNS TTL-നെ ബഹുമാനിക്കാത്ത ക്ലയന്റുകളിലും അത്ഭുതങ്ങൾ സാധ്യമാണ്, ഇത് അൺബൗണ്ട് ആവശ്യപ്പെടുന്നതിനുപകരം അതിന്റെ ചീഞ്ഞ കാഷെയിൽ നിന്ന് കാലഹരണപ്പെട്ട ചില റെക്കോർഡുകൾ ഉപയോഗിക്കുന്നതിന് ക്ലയന്റിലേക്ക് നയിച്ചേക്കാം.

പ്രായോഗികമായി, ആദ്യത്തേതോ രണ്ടാമത്തേതോ എനിക്ക് പ്രശ്‌നമുണ്ടാക്കിയില്ല, പക്ഷേ നിങ്ങളുടെ മൈലേജ് വ്യത്യാസപ്പെടാം.

സെർവർ ട്യൂണിംഗ്

റോളിംഗ് എളുപ്പത്തിനായി, ഞാൻ എഴുതി അൻസിബിളിനുള്ള പങ്ക്. ഇതിന് ലിനക്‌സിനെ അടിസ്ഥാനമാക്കി സെർവറുകളും ക്ലയന്റുകളും ക്രമീകരിക്കാൻ കഴിയും (ഡെബ് അധിഷ്‌ഠിത വിതരണങ്ങൾക്കായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു). എല്ലാ ക്രമീകരണങ്ങളും വളരെ വ്യക്തവും സജ്ജീകരിച്ചതുമാണ് inventory.yml. ഈ റോൾ എന്റെ വലിയ പ്ലേബുക്കിൽ നിന്ന് മുറിച്ചതാണ്, അതിനാൽ അതിൽ പിശകുകൾ അടങ്ങിയിരിക്കാം - പുൾ അഭ്യർത്ഥനകൾ സ്വാഗതം :)

നമുക്ക് പ്രധാന ഘടകങ്ങളിലൂടെ പോകാം.

ബി.ജി.പി.

ഒരേ ഹോസ്റ്റിൽ രണ്ട് ബിജിപി ഡെമണുകൾ പ്രവർത്തിപ്പിക്കുമ്പോൾ, ഒരു അടിസ്ഥാന പ്രശ്നം ഉയർന്നുവരുന്നു: ലോക്കൽഹോസ്റ്റുമായി (അല്ലെങ്കിൽ ഏതെങ്കിലും പ്രാദേശിക ഇന്റർഫേസുമായി) ബിജിപി പിയറിംഗ് ഉയർത്താൻ BIRD ആഗ്രഹിക്കുന്നില്ല. വാക്കിൽ നിന്ന് തികച്ചും. ഗൂഗിൾ ചെയ്യുന്നതും മെയിലിംഗ് ലിസ്റ്റുകൾ വായിക്കുന്നതും സഹായിച്ചില്ല, ഇത് ഡിസൈൻ വഴിയാണെന്ന് അവർ അവകാശപ്പെടുന്നു. എന്തെങ്കിലും വഴിയുണ്ടാകാം, പക്ഷേ ഞാൻ അത് കണ്ടെത്തിയില്ല.

നിങ്ങൾക്ക് മറ്റൊരു BGP ഡെമൺ പരീക്ഷിക്കാം, പക്ഷേ എനിക്ക് BIRD ഇഷ്ടമാണ്, ഞാൻ അത് എല്ലായിടത്തും ഉപയോഗിക്കുന്നു, കൂടുതൽ എന്റിറ്റികൾ സൃഷ്ടിക്കാൻ ഞാൻ ആഗ്രഹിക്കുന്നില്ല.

അതിനാൽ, ഞാൻ നെറ്റ്‌വർക്ക് നെയിംസ്‌പെയ്‌സിനുള്ളിൽ dnstap-bgp ഒളിപ്പിച്ചു, അത് വെത്ത് ഇന്റർഫേസിലൂടെ റൂട്ടുമായി ബന്ധിപ്പിച്ചിരിക്കുന്നു: ഇത് ഒരു പൈപ്പ് പോലെയാണ്, അതിന്റെ അറ്റങ്ങൾ വ്യത്യസ്ത നെയിംസ്‌പെയ്‌സുകളിൽ പറ്റിനിൽക്കുന്നു. ഈ ഓരോ അറ്റത്തും ഞങ്ങൾ ഹോസ്റ്റിന് അപ്പുറത്തേക്ക് പോകാത്ത സ്വകാര്യ p2p IP വിലാസങ്ങൾ അറ്റാച്ചുചെയ്യുന്നു, അതിനാൽ അവ എന്തും ആകാം. പ്രക്രിയകൾ ആന്തരികമായി ആക്സസ് ചെയ്യാൻ ഉപയോഗിക്കുന്ന അതേ സംവിധാനമാണിത് എല്ലാവരുടെയും പ്രിയപ്പെട്ടവൻ ഡോക്കറും മറ്റ് കണ്ടെയ്‌നറുകളും.

അതുകൊണ്ടാണ് എഴുതിയത് സ്ക്രിപ്റ്റ് മുകളിൽ വിവരിച്ചിരിക്കുന്ന മറ്റൊരു നെയിംസ്‌പേസിലേക്ക് തലമുടികൊണ്ട് സ്വയം വലിച്ചിടുന്നതിനുള്ള പ്രവർത്തനം dnstap-bgp-ലേക്ക് ചേർത്തു. ഇക്കാരണത്താൽ, ഇത് റൂട്ടായി പ്രവർത്തിപ്പിക്കുകയോ setcap കമാൻഡ് വഴി CAP_SYS_ADMIN ബൈനറിക്ക് നൽകുകയോ വേണം.

നെയിംസ്പേസ് സൃഷ്ടിക്കുന്നതിനുള്ള ഉദാഹരണ സ്ക്രിപ്റ്റ്

#!/bin/bash

NS="dtap"

IP="/sbin/ip"
IPNS="$IP netns exec $NS $IP"

IF_R="veth-$NS-r"
IF_NS="veth-$NS-ns"

IP_R="192.168.149.1"
IP_NS="192.168.149.2"

/bin/systemctl stop dnstap-bgp || true

$IP netns del $NS > /dev/null 2>&1
$IP netns add $NS

$IP link add $IF_R type veth peer name $IF_NS
$IP link set $IF_NS netns $NS

$IP addr add $IP_R remote $IP_NS dev $IF_R
$IP link set $IF_R up

$IPNS addr add $IP_NS remote $IP_R dev $IF_NS
$IPNS link set $IF_NS up

/bin/systemctl start dnstap-bgp

dnstap-bgp.conf

namespace = "dtap"
domains = "/var/cache/rkn_domains.txt"
ttl = "168h"

[dnstap]
listen = "/tmp/dnstap.sock"
perm = "0666"

[bgp]
as = 65000
routerid = "192.168.149.2"

peers = [
    "192.168.149.1",
]

bird.conf

router id 192.168.1.1;

table rkn;

# Clients
protocol bgp bgp_client1 {
    table rkn;
    local as 65000;
    neighbor 192.168.1.2 as 65000;
    direct;
    bfd on;
    next hop self;
    graceful restart;
    graceful restart time 60;
    export all;
    import none;
}

# DNSTap-BGP
protocol bgp bgp_dnstap {
    table rkn;
    local as 65000;
    neighbor 192.168.149.2 as 65000;
    direct;
    passive on;
    rr client;
    import all;
    export none;
}

# Static routes list
protocol static static_rkn {
    table rkn;
    include "rkn_routes.list";
    import all;
    export none;
}

rkn_routes.list

route 3.226.79.85/32 via "ens3";
route 18.236.189.0/24 via "ens3";
route 3.224.21.0/24 via "ens3";
...

ഡിഎൻഎസ്

സ്ഥിരസ്ഥിതിയായി, ഉബുണ്ടുവിൽ, അൺബൗണ്ട് ബൈനറി ഒരു AppArmor പ്രൊഫൈൽ ഉപയോഗിച്ച് ഉറപ്പിച്ചിരിക്കുന്നു, ഇത് ഏതെങ്കിലും DNSTap സോക്കറ്റുകളിലേക്ക് കണക്റ്റുചെയ്യുന്നതിൽ നിന്ന് അതിനെ തടയുന്നു. നിങ്ങൾക്ക് ഈ പ്രൊഫൈൽ ഇല്ലാതാക്കുകയോ അപ്രാപ്തമാക്കുകയോ ചെയ്യാം:

# cd /etc/apparmor.d/disable && ln -s ../usr.sbin.unbound .
# apparmor_parser -R /etc/apparmor.d/usr.sbin.unbound

ഇത് ഒരുപക്ഷേ പ്ലേബുക്കിൽ ചേർത്തിരിക്കണം. തീർച്ചയായും, പ്രൊഫൈൽ ശരിയാക്കാനും ആവശ്യമായ അവകാശങ്ങൾ നൽകാനും ഇത് അനുയോജ്യമാണ്, പക്ഷേ ഞാൻ വളരെ മടിയനായിരുന്നു.

unbound.conf

server:
    chroot: ""
    port: 53
    interface: 0.0.0.0
    root-hints: "/var/lib/unbound/named.root"
    auto-trust-anchor-file: "/var/lib/unbound/root.key"
    access-control: 192.168.0.0/16 allow

remote-control:
    control-enable: yes
    control-use-cert: no

dnstap:
    dnstap-enable: yes
    dnstap-socket-path: "/tmp/dnstap.sock"
    dnstap-send-identity: no
    dnstap-send-version: no

    dnstap-log-client-response-messages: yes

ലിസ്റ്റുകൾ ഡൗൺലോഡ് ചെയ്യുകയും പ്രോസസ്സ് ചെയ്യുകയും ചെയ്യുന്നു

IP വിലാസങ്ങളുടെ ഒരു ലിസ്റ്റ് ഡൗൺലോഡ് ചെയ്യുന്നതിനും പ്രോസസ്സ് ചെയ്യുന്നതിനുമുള്ള സ്ക്രിപ്റ്റ്
ഇത് ലിസ്റ്റ് ഡൗൺലോഡ് ചെയ്യുന്നു, പ്രിഫിക്സിലേക്ക് സംഗ്രഹിക്കുന്നു pfx. ദി ചേർക്കരുത് и സംഗ്രഹിക്കരുത് ഒഴിവാക്കേണ്ടതോ സംഗ്രഹിക്കാത്തതോ ആയ ഐപികളോടും നെറ്റ്‌വർക്കുകളോടും നിങ്ങൾക്ക് പറയാനാകും. എനിക്ക് ഇത് ആവശ്യമായിരുന്നു കാരണം ... എന്റെ VPS സബ്നെറ്റ് ബ്ലോക്ക് ലിസ്റ്റിൽ ഉണ്ടായിരുന്നു :)

രസകരമായ കാര്യം, RosKomSvoboda API സ്ഥിരസ്ഥിതി പൈത്തൺ ഉപയോക്തൃ ഏജന്റുമായുള്ള അഭ്യർത്ഥനകളെ തടയുന്നു എന്നതാണ്. അവർക്ക് തിരക്കഥ കിട്ടിയതായി തോന്നുന്നു. അതിനാൽ, ഞങ്ങൾ അതിനെ ഒഗ്നെലിസിലേക്ക് മാറ്റുന്നു.

ഇപ്പോൾ ഇത് IPv4-ൽ മാത്രമേ പ്രവർത്തിക്കൂ കാരണം... IPv6 ഷെയർ ചെറുതാണ്, പക്ഷേ അത് പരിഹരിക്കാൻ എളുപ്പമായിരിക്കും. നിങ്ങൾ പക്ഷി6 ഉപയോഗിക്കേണ്ടതില്ലെങ്കിൽ.

rkn.py

#!/usr/bin/python3

import json, urllib.request, ipaddress as ipa

url = 'https://api.reserve-rbl.ru/api/v2/ips/json'
pfx = '24'

dont_summarize = {
    # ipa.IPv4Network('1.1.1.0/24'),
}

dont_add = {
    # ipa.IPv4Address('1.1.1.1'),
}

req = urllib.request.Request(
    url,
    data=None, 
    headers={
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
    }
)

f = urllib.request.urlopen(req)
ips = json.loads(f.read().decode('utf-8'))

prefix32 = ipa.IPv4Address('255.255.255.255')

r = {}
for i in ips:
    ip = ipa.ip_network(i)
    if not isinstance(ip, ipa.IPv4Network):
        continue

    addr = ip.network_address

    if addr in dont_add:
        continue

    m = ip.netmask
    if m != prefix32:
        r[m] = [addr, 1]
        continue

    sn = ipa.IPv4Network(str(addr) + '/' + pfx, strict=False)

    if sn in dont_summarize:
        tgt = addr
    else:
        tgt = sn

    if not sn in r:
        r[tgt] = [addr, 1]
    else:
        r[tgt][1] += 1

o = []
for n, v in r.items():
    if v[1] == 1:
        o.append(str(v[0]) + '/32')
    else:
        o.append(n)

for k in o:
    print(k)

അപ്ഡേറ്റിനുള്ള സ്ക്രിപ്റ്റ്
ഞാൻ ഇത് ദിവസത്തിൽ ഒരിക്കൽ കിരീടത്തിലൂടെ ഓടിക്കുന്നു, ഒരുപക്ഷേ ഇത് ഓരോ 4 മണിക്കൂറിലും ഒരിക്കൽ പ്രവർത്തിപ്പിക്കേണ്ടതാണ്, കാരണം... എന്റെ അഭിപ്രായത്തിൽ, ദാതാക്കളിൽ നിന്ന് RKN ആവശ്യപ്പെടുന്ന പുതുക്കൽ കാലയളവാണിത്. കൂടാതെ, അവർക്ക് മറ്റ് ചില സൂപ്പർ-അർജന്റ് ബ്ലോക്കിംഗുകൾ ഉണ്ട്, അത് വേഗത്തിൽ എത്തിയേക്കാം.

ഇനിപ്പറയുന്നവ ചെയ്യുന്നു:

• ആദ്യ സ്ക്രിപ്റ്റ് പ്രവർത്തിപ്പിക്കുകയും റൂട്ടുകളുടെ ലിസ്റ്റ് അപ്ഡേറ്റ് ചെയ്യുകയും ചെയ്യുന്നു (rkn_routes.list) BIRD-ന്
• BIRD വീണ്ടും ലോഡുചെയ്യുക
• dnstap-bgp-നുള്ള ഡൊമെയ്‌നുകളുടെ ലിസ്റ്റ് അപ്‌ഡേറ്റ് ചെയ്യുകയും വൃത്തിയാക്കുകയും ചെയ്യുന്നു
• dnstap-bgp വീണ്ടും ലോഡുചെയ്യുക

rkn_update.sh

#!/bin/bash

ROUTES="/etc/bird/rkn_routes.list"
DOMAINS="/var/cache/rkn_domains.txt"

# Get & summarize routes
/opt/rkn.py | sed 's/(.*)/route 1 via "ens3";/' > $ROUTES.new

if [ $? -ne 0 ]; then
    rm -f $ROUTES.new
    echo "Unable to download RKN routes"
    exit 1
fi

if [ -e $ROUTES ]; then
    mv $ROUTES $ROUTES.old
fi

mv $ROUTES.new $ROUTES

/bin/systemctl try-reload-or-restart bird

# Get domains
curl -s https://api.reserve-rbl.ru/api/v2/domains/json -o - | jq -r '.[]' | sed 's/^*.//' | sort | uniq > $DOMAINS.new

if [ $? -ne 0 ]; then
    rm -f $DOMAINS.new
    echo "Unable to download RKN domains"
    exit 1
fi

if [ -e $DOMAINS ]; then
    mv $DOMAINS $DOMAINS.old
fi

mv $DOMAINS.new $DOMAINS

/bin/systemctl try-reload-or-restart dnstap-bgp

അധികം ആലോചിക്കാതെയാണ് അവ എഴുതിയത്, അതിനാൽ മെച്ചപ്പെടുത്താൻ കഴിയുന്ന എന്തെങ്കിലും നിങ്ങൾ കാണുകയാണെങ്കിൽ, അതിനായി പോകുക.

ക്ലയന്റ് സജ്ജീകരണം

ഇവിടെ ഞാൻ Linux റൂട്ടറുകൾക്കുള്ള ഉദാഹരണങ്ങൾ നൽകും, എന്നാൽ Mikrotik/Cisco-യുടെ കാര്യത്തിൽ ഇത് കൂടുതൽ ലളിതമായിരിക്കണം.

ആദ്യം, BIRD സജ്ജീകരിക്കുക:

bird.conf

router id 192.168.1.2;
table rkn;

protocol device {
    scan time 10;
};

# Servers
protocol bgp bgp_server1 {
    table rkn;
    local as 65000;
    neighbor 192.168.1.1 as 65000;
    direct;
    bfd on;
    next hop self;
    graceful restart;
    graceful restart time 60;
    rr client;
    export none;
    import all;
}

protocol kernel {
    table rkn;
    kernel table 222;
    scan time 10;
    export all;
    import none;
}

ഇതുവഴി ബിജിപിയിൽ നിന്ന് ലഭിക്കുന്ന റൂട്ടുകൾ കേർണൽ റൂട്ടിംഗ് ടേബിൾ നമ്പർ 222-മായി സമന്വയിപ്പിക്കും.

ഇതിനുശേഷം, ഡിഫോൾട്ട് ഒന്ന് നോക്കുന്നതിന് മുമ്പ് ഈ പട്ടികയിലേക്ക് നോക്കാൻ കേർണലിനോട് ആവശ്യപ്പെട്ടാൽ മതി:

# ip rule add from all pref 256 lookup 222
# ip rule
0:  from all lookup local
256:    from all lookup 222
32766:  from all lookup main
32767:  from all lookup default

അത്രയേയുള്ളൂ, സെർവറിന്റെ ടണൽ ഐപി വിലാസം ഡിഎൻഎസായി വിതരണം ചെയ്യുന്നതിന് റൂട്ടറിൽ ഡിഎച്ച്സിപി കോൺഫിഗർ ചെയ്യുക മാത്രമാണ് അവശേഷിക്കുന്നത്, സ്കീം തയ്യാറാണ്.

അസൗകര്യങ്ങൾ

ഡൊമെയ്‌നുകളുടെ ലിസ്‌റ്റ് സൃഷ്‌ടിക്കുന്നതിനും പ്രോസസ്സ് ചെയ്യുന്നതിനുമുള്ള നിലവിലെ അൽഗോരിതം ഉപയോഗിച്ച്, അതിൽ മറ്റ് കാര്യങ്ങൾ ഉൾപ്പെടുന്നു, youtube.com അതിന്റെ CDN-കളും.

എല്ലാ വീഡിയോകളും VPN വഴി അയയ്‌ക്കുമെന്ന വസ്തുതയിലേക്ക് ഇത് നയിക്കുന്നു, ഇത് മുഴുവൻ ചാനലിനെയും തടസ്സപ്പെടുത്തും. RKN ഇപ്പോഴും തടയാൻ കഴിയാത്തത്ര ദുർബലമായ ജനപ്രിയ ഒഴിവാക്കൽ ഡൊമെയ്‌നുകളുടെ ഒരു ലിസ്റ്റ് കംപൈൽ ചെയ്യുന്നത് മൂല്യവത്താണ്. പാഴ്‌സ് ചെയ്യുമ്പോൾ അവ ഒഴിവാക്കുക.

തീരുമാനം

ദാതാക്കൾ നിലവിൽ നടപ്പിലാക്കുന്ന ഏത് തടയലും മറികടക്കാൻ വിവരിച്ച രീതി നിങ്ങളെ അനുവദിക്കുന്നു.

അടിസ്ഥാനപരമായി, dnstap-bgp ഒരു ഡൊമെയ്ൻ നാമത്തെ അടിസ്ഥാനമാക്കിയുള്ള ഒരു നിശ്ചിത തലത്തിലുള്ള ട്രാഫിക് മാനേജ്മെന്റ് ആവശ്യമുള്ള മറ്റേതെങ്കിലും ആവശ്യങ്ങൾക്ക് ഉപയോഗിക്കാൻ കഴിയും. ഇക്കാലത്ത് ആയിരം സൈറ്റുകൾക്ക് ഒരേ ഐപി വിലാസത്തിൽ (ഉദാഹരണത്തിന് ചില ക്ലൗഡ്ഫ്ലെയറിനു പിന്നിൽ) ഹാംഗ് ചെയ്യാൻ കഴിയുമെന്ന് നിങ്ങൾ കണക്കിലെടുക്കേണ്ടതുണ്ട്, അതിനാൽ ഈ രീതിക്ക് കൃത്യത കുറവാണ്.

എന്നാൽ തടയൽ മറികടക്കുന്നതിനുള്ള ആവശ്യങ്ങൾക്ക്, ഇത് മതിയാകും.

കൂട്ടിച്ചേർക്കലുകൾ, എഡിറ്റുകൾ, പിൻവലിക്കൽ അഭ്യർത്ഥനകൾ സ്വാഗതം ചെയ്യുന്നു!

അവലംബം: www.habr.com