הנושא די מוכה, אני יודע. לדוגמה, יש נהדר מאמר, אבל רק חלק ה-IP של רשימת החסימות נחשב שם. נוסיף גם דומיינים.

בשל העובדה שבתי המשפט והרק"ן חוסמים הכל על ימין ועל שמאל, והספקים משתדלים לא ליפול תחת הקנסות שהוציא Revizorro, ההפסדים הנלווים מחסימה הם גדולים למדי. ובין האתרים החסומים "כדין" ישנם רבים שימושיים (שלום, rutracker)

אני גר מחוץ לתחום השיפוט של ה-RKN, אבל הורי, קרובי וחברי נשארו בבית. אז הוחלט למצוא דרך קלה לאנשים רחוקים מ-IT לעקוף חסימה, רצוי בלי השתתפותם בכלל.

בהערה זו, לא אתאר את הדברים הבסיסיים ברשת בשלבים, אבל אתאר את העקרונות הכלליים כיצד ניתן ליישם את התכנית הזו. אז ידע על איך הרשת עובדת בכלל ובלינוקס בפרט הוא חובה.

סוגי מנעולים

ראשית, בואו נרענן את הזיכרון של מה שנחסם.

ישנם מספר סוגים של מנעולים ב-XML שנפרק מה-RKN:

• IP
• Домен
• כתובת האתר

לשם הפשטות, נצמצם אותם לשניים: IP ודומיין, ופשוט נשלוף את הדומיין מחסימה באמצעות URL (ליתר דיוק, הם כבר עשו זאת עבורנו).

אנשים טובים מ Roskomsvoboda הבין נפלא API, שדרכו נוכל להשיג את מה שאנו צריכים:

• ה-IP: https://api.reserve-rbl.ru/api/v2/ips/json
• דומיינים: https://api.reserve-rbl.ru/api/v2/domains/json

גישה לאתרים חסומים

לשם כך, אנו זקוקים לכמה VPS זרים קטנים, רצוי עם תעבורה בלתי מוגבלת - יש הרבה כאלה תמורת 3-5 דולר. אתה צריך לקחת את זה בחו"ל הקרוב כדי שהפינג לא יהיה גדול במיוחד, אבל שוב, קחו בחשבון שהאינטרנט והגיאוגרפיה לא תמיד חופפים. ומכיוון שאין SLA עבור 5 דולר, עדיף לקחת 2+ חתיכות מספקים שונים עבור סובלנות תקלות.

לאחר מכן, עלינו להגדיר מנהרה מוצפנת מנתב הלקוח ל-VPS. אני משתמש ב-Wireguard בתור המהיר והקל ביותר להגדרה. יש לי גם נתבי לקוח המבוססים על לינוקס (APU2 או משהו ב-OpenWRT). במקרה של כמה Mikrotik / Cisco, אתה יכול להשתמש בפרוטוקולים הזמינים בהם כמו OpenVPN ו-GRE-over-IPSEC.

זיהוי והפניה מחדש של תעבורת עניין

אתה יכול, כמובן, לכבות את כל תעבורת האינטרנט דרך מדינות זרות. אבל, סביר להניח, מהירות העבודה עם תוכן מקומי תסבול מכך מאוד. בנוסף, דרישות רוחב הפס ב-VPS יהיו הרבה יותר גבוהות.

לכן, נצטרך איכשהו להקצות תעבורה לאתרים חסומים ולנתב אותה באופן סלקטיבי למנהרה. גם אם חלק מהתנועה ה"נוספת" מגיעה לשם, זה עדיין הרבה יותר טוב מאשר להסיע הכל דרך המנהרה.

כדי לנהל תעבורה, נשתמש בפרוטוקול BGP ונכריז על מסלולים לרשתות הדרושות מה-VPS שלנו ללקוחות. בואו ניקח את BIRD כאחד מדמוני ה-BGP הפונקציונליים והנוחים ביותר.

IP

עם חסימה באמצעות IP, הכל ברור: אנחנו פשוט מכריזים על כל כתובות ה-IP החסומות עם VPS. הבעיה היא שיש כ-600 אלף רשתות משנה ברשימה שה-API מחזיר, ורובן המכריע הם /32 מארחים. מספר מסלולים זה יכול לבלבל נתבי לקוח חלשים.

לכן, בעת עיבוד הרשימה, הוחלט לסכם עד לרשת / 24 אם יש לה 2 מארחים או יותר. לפיכך, מספר המסלולים צומצם ל~100 אלף. התסריט לכך יבוא בהמשך.

דומיינים

זה יותר מסובך ויש כמה דרכים. לדוגמה, ניתן להתקין Squid שקוף על כל נתב לקוח ולעשות שם HTTP יירוט ולהציץ לתוך לחיצת היד של TLS על מנת לקבל את ה-URL המבוקש במקרה הראשון ואת הדומיין מ-SNI במקרה השני.

אבל בגלל כל מיני TLS1.3 + eSNI חדשניים, ניתוח HTTPS הופך פחות ופחות אמיתי בכל יום. כן, והתשתית בצד הלקוח הופכת מסובכת יותר - תצטרכו להשתמש לפחות ב-OpenWRT.

לכן, החלטתי לנקוט בדרך של יירוט תגובות לבקשות DNS. גם כאן, כל DNS-over-TLS / HTTPS מתחיל לרחף מעל הראש שלך, אבל אנחנו יכולים (בינתיים) לשלוט בחלק הזה בלקוח - או להשבית אותו או להשתמש בשרת משלך עבור DoT / DoH.

איך ליירט DNS?

גם כאן עשויות להיות מספר גישות.

• יירוט תעבורת DNS באמצעות PCAP או NFLOG
  שתי שיטות היירוט הללו מיושמות בכלי השירות סידמט. אבל זה לא נתמך במשך זמן רב והפונקציונליות מאוד פרימיטיבית, אז אתה עדיין צריך לכתוב עבורו רתמה.
• ניתוח יומני שרת DNS
  לצערי, הרקורסורים המוכרים לי אינם מסוגלים לרשום תגובות, אלא רק בקשות. באופן עקרוני זה הגיוני, שכן בניגוד לבקשות, לתשובות יש מבנה מורכב וקשה לכתוב אותן בטקסט.
• DNSTap
  למרבה המזל, רבים מהם כבר תומכים ב-DNSTap למטרה זו.

מה זה DNSTap?

זהו פרוטוקול שרת-לקוח המבוסס על מאגרי פרוטוקול ופריימים להעברה משרת DNS לאספן של שאילתות ותגובות DNS מובנות. בעיקרו של דבר, שרת ה-DNS משדר מטא-נתונים של שאילתות ותגובה (סוג הודעה, לקוח/שרת IP וכו') בתוספת הודעות DNS מלאות בצורה (בינארית) שבה הוא עובד איתם דרך הרשת.

חשוב להבין שבפרדיגמת DNSTap, שרת ה-DNS פועל כלקוח והאספן פועל כשרת. כלומר, שרת ה-DNS מתחבר לאספן, ולא להיפך.

כיום DNSTap נתמך בכל שרתי ה-DNS הפופולריים. אבל, למשל, BIND בהפצות רבות (כמו אובונטו LTS) נבנה לעתים קרובות מסיבה כלשהי ללא התמיכה שלה. אז בואו לא נתעסק בהרכבה מחדש, אלא ניקח רקורסור קל ומהיר יותר - Unbound.

איך לתפוס DNSTap?

יש כמה מספר כלי עזר CLI לעבודה עם זרם של אירועי DNSTap, אך הם אינם מתאימים לפתרון הבעיה שלנו. לכן, החלטתי להמציא אופניים משלי שיעשו כל מה שצריך: dnstap-bgp

אלגוריתם עבודה:

• בעת ההשקה, הוא טוען רשימה של דומיינים מקובץ טקסט, הופך אותם (habr.com -> com.habr), לא כולל שורות שבורות, כפילויות ותת-דומיינים (כלומר אם הרשימה מכילה habr.com ו-www.habr.com, הוא ייטען רק הראשון) ובונה עץ קידומת לחיפוש מהיר ברשימה זו
• פועל כשרת DNSTap, הוא ממתין לחיבור משרת DNS. באופן עקרוני, הוא תומך גם בשקעי UNIX וגם בשקעי TCP, אבל שרתי ה-DNS שאני מכיר יכולים להשתמש רק בשקעי UNIX
• מנות DNSTap נכנסות מועברות תחילה לסידריאליזציה למבנה Protobuf, ולאחר מכן הודעת ה-DNS הבינארית עצמה, הממוקמת באחד משדות Protobuf, מועברת לרמה של רשומות DNS RR
• נבדק אם המארח המבוקש (או הדומיין האב שלו) נמצא ברשימה הטעינה, אם לא, התגובה מתעלמת
• רק A/AAAA/CNAME RR נבחרים מהתגובה וכתובות ה-IPv4/IPv6 המתאימות נשלפות מהם
• כתובות IP מאוחסנות במטמון עם TTL שניתן להגדרה ומפורסמות לכל העמיתים המוגדרים ל-BGP
• כאשר מקבלים תגובה שמצביעה על כתובת IP שכבר שמור במטמון, ה-TTL שלו מתעדכן
• לאחר תום ה-TTL, הערך מוסר מהמטמון ומהכרזות BGP

פונקציונליות נוספת:

• קריאה חוזרת של רשימת הדומיינים של SIGHUP
• שמירת המטמון מסונכרן עם מופעים אחרים dnstap-bgp דרך HTTP/JSON
• שכפל את המטמון בדיסק (בבסיס הנתונים של BoltDB) כדי לשחזר את תוכנו לאחר הפעלה מחדש
• תמיכה במעבר למרחב שמות רשת אחר (מדוע זה נחוץ יתואר להלן)
• תמיכה ב-IPv6

מגבלות:

• עדיין אין תמיכה בדומיינים של IDN
• מעט הגדרות BGP

אספתי סל"ד ו-DEB חבילות להתקנה קלה. אמור לעבוד על כל מערכת ההפעלה העדכנית יחסית עם systemd. אין להם שום תלות.

ערכתי

אז בואו נתחיל להרכיב את כל הרכיבים ביחד. כתוצאה מכך, עלינו לקבל משהו כמו טופולוגיית הרשת הזו:

ההיגיון של העבודה, אני חושב, ברור מהתרשים:

• ללקוח השרת שלנו מוגדר כ-DNS, ושאילתות DNS חייבות לעבור גם על ה-VPN. זה הכרחי כדי שהספק לא יוכל להשתמש ביירוט DNS כדי לחסום.
• בעת פתיחת האתר, הלקוח שולח שאילתת DNS כמו "מהן ה-IPs של xxx.org"
• unbound פותר את xxx.org (או לוקח אותו מהמטמון) ושולח תגובה ללקוח "xxx.org יש IP כזה ואחר", משכפל אותו במקביל דרך DNSTap
• dnstap-bgp מכריז על כתובות אלה ב בירד באמצעות BGP אם הדומיין נמצא ברשימת החסומים
• בירד מפרסם מסלול לכתובות IP אלה עם next-hop self נתב לקוח
• מנות עוקבות מהלקוח לכתובות IP אלו עוברות במנהרה

בשרת, למסלולים לאתרים חסומים, אני משתמש בטבלה נפרדת בתוך BIRD והיא לא מצטלבת עם מערכת ההפעלה בשום אופן.

לתכנית זו יש חיסרון: למנות ה-SYN הראשונה מהלקוח, ככל הנראה, יהיה זמן לצאת דרך הספק המקומי. המסלול לא מפורסם מיד. וכאן אפשרויות אפשריות בהתאם לאופן שבו הספק מבצע את החסימה. אם הוא פשוט מפיל את התנועה, אז אין בעיה. ואם הוא מפנה אותו לאיזשהו DPI, אז (תיאורטית) אפקטים מיוחדים אפשריים.

ייתכן גם שלקוחות לא מכבדים את ניסי DNS TTL, מה שיכול לגרום ללקוח להשתמש בכמה ערכים מיושנים מהמטמון הרקוב שלו במקום לבקש Unbound.

בפועל, לא הראשון ולא השני גרמו לי לבעיות, אבל הקילומטראז' שלך עשוי להשתנות.

כוונון שרת

כדי להקל על הגלגול, כתבתי תפקיד עבור Ansible. זה יכול להגדיר גם שרתים וגם לקוחות המבוססים על לינוקס (שנועד להפצות מבוססות deb). כל ההגדרות די ברורות ומוגדרות inventory.yml. תפקיד זה נחתך מספר המשחקים הגדול שלי, כך שהוא עשוי להכיל שגיאות - למשוך בקשות ברוך הבא 🙂

בואו נעבור על המרכיבים העיקריים.

BGP

להרצת שני דמונים BGP על אותו מארח יש בעיה מהותית: BIRD לא רוצה להגדיר BGP peering עם ה-localhost (או כל ממשק מקומי). מהמילה בכלל. חיפוש בגוגל וקריאת רשימות תפוצה לא עזרו, הם טוענים שזה בתכנון. אולי יש דרך כלשהי, אבל לא מצאתי אותה.

אתה יכול לנסות דמון BGP אחר, אבל אני אוהב את BIRD והוא משמש אותי בכל מקום, אני לא רוצה לייצר ישויות.

לכן החבאתי את dnstap-bgp בתוך מרחב השמות של הרשת, שמחובר לשורש דרך ממשק veth: זה כמו צינור, שקצוותיו בולטים במרחבי שמות שונים. בכל אחד מהקצוות הללו, אנו תולים כתובות IP פרטיות של p2p שאינן חורגות מהמארח, כך שהן יכולות להיות כל דבר. זהו אותו מנגנון המשמש לגישה לתהליכים בפנים אהוב על כולם דוקר ומכולות אחרות.

בשביל זה נכתב תַסרִיט והפונקציונליות שכבר תוארה לעיל לגרירת עצמך בשיער למרחב שמות אחר נוספה ל-dnstap-bgp. בשל כך, יש להפעיל אותו כ-root או להנפיק אותו לקובץ הבינארי CAP_SYS_ADMIN באמצעות הפקודה setcap.

דוגמה לסקריפט ליצירת מרחב שמות

#!/bin/bash

NS="dtap"

IP="/sbin/ip"
IPNS="$IP netns exec $NS $IP"

IF_R="veth-$NS-r"
IF_NS="veth-$NS-ns"

IP_R="192.168.149.1"
IP_NS="192.168.149.2"

/bin/systemctl stop dnstap-bgp || true

$IP netns del $NS > /dev/null 2>&1
$IP netns add $NS

$IP link add $IF_R type veth peer name $IF_NS
$IP link set $IF_NS netns $NS

$IP addr add $IP_R remote $IP_NS dev $IF_R
$IP link set $IF_R up

$IPNS addr add $IP_NS remote $IP_R dev $IF_NS
$IPNS link set $IF_NS up

/bin/systemctl start dnstap-bgp

dnstap-bgp.conf

namespace = "dtap"
domains = "/var/cache/rkn_domains.txt"
ttl = "168h"

[dnstap]
listen = "/tmp/dnstap.sock"
perm = "0666"

[bgp]
as = 65000
routerid = "192.168.149.2"

peers = [
    "192.168.149.1",
]

bird.conf

router id 192.168.1.1;

table rkn;

# Clients
protocol bgp bgp_client1 {
    table rkn;
    local as 65000;
    neighbor 192.168.1.2 as 65000;
    direct;
    bfd on;
    next hop self;
    graceful restart;
    graceful restart time 60;
    export all;
    import none;
}

# DNSTap-BGP
protocol bgp bgp_dnstap {
    table rkn;
    local as 65000;
    neighbor 192.168.149.2 as 65000;
    direct;
    passive on;
    rr client;
    import all;
    export none;
}

# Static routes list
protocol static static_rkn {
    table rkn;
    include "rkn_routes.list";
    import all;
    export none;
}

rkn_routes.list

route 3.226.79.85/32 via "ens3";
route 18.236.189.0/24 via "ens3";
route 3.224.21.0/24 via "ens3";
...

DNS

כברירת מחדל, באובונטו, הבינארי Unbound נצמד על ידי פרופיל AppArmor, שאוסר עליו להתחבר לכל מיני שקעי DNSTap. אתה יכול למחוק את הפרופיל הזה, או להשבית אותו:

# cd /etc/apparmor.d/disable && ln -s ../usr.sbin.unbound .
# apparmor_parser -R /etc/apparmor.d/usr.sbin.unbound

זה כנראה צריך להתווסף לספר המשחקים. זה אידיאלי, כמובן, לתקן את הפרופיל ולהנפיק את הזכויות הדרושות, אבל התעצלתי מדי.

unbound.conf

server:
    chroot: ""
    port: 53
    interface: 0.0.0.0
    root-hints: "/var/lib/unbound/named.root"
    auto-trust-anchor-file: "/var/lib/unbound/root.key"
    access-control: 192.168.0.0/16 allow

remote-control:
    control-enable: yes
    control-use-cert: no

dnstap:
    dnstap-enable: yes
    dnstap-socket-path: "/tmp/dnstap.sock"
    dnstap-send-identity: no
    dnstap-send-version: no

    dnstap-log-client-response-messages: yes

הורדה ועיבוד רשימות

סקריפט להורדה ועיבוד של רשימת כתובות IP
זה מוריד את הרשימה, מסכם לקידומת pfx. בתוך dont_add и אל תסכם אתה יכול להגיד לכתובות ה-IP ולרשתות לדלג או לא לסכם. אני צריך את זה. רשת המשנה של ה-VPS שלי הייתה ברשימת החסימה 🙂

הדבר המצחיק הוא שה-API של RosKomSvoboda חוסם בקשות עם סוכן המשתמש המוגדר כברירת מחדל של Python. נראה שהילד-תסריט הבין את זה. לכן, אנו משנים את זה ל- Ognelis.

עד כה, זה עובד רק עם IPv4. החלק של IPv6 קטן, אבל יהיה קל לתקן אותו. אלא אם כן אתה צריך להשתמש גם ב-bird6.

rkn.py

#!/usr/bin/python3

import json, urllib.request, ipaddress as ipa

url = 'https://api.reserve-rbl.ru/api/v2/ips/json'
pfx = '24'

dont_summarize = {
    # ipa.IPv4Network('1.1.1.0/24'),
}

dont_add = {
    # ipa.IPv4Address('1.1.1.1'),
}

req = urllib.request.Request(
    url,
    data=None, 
    headers={
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
    }
)

f = urllib.request.urlopen(req)
ips = json.loads(f.read().decode('utf-8'))

prefix32 = ipa.IPv4Address('255.255.255.255')

r = {}
for i in ips:
    ip = ipa.ip_network(i)
    if not isinstance(ip, ipa.IPv4Network):
        continue

    addr = ip.network_address

    if addr in dont_add:
        continue

    m = ip.netmask
    if m != prefix32:
        r[m] = [addr, 1]
        continue

    sn = ipa.IPv4Network(str(addr) + '/' + pfx, strict=False)

    if sn in dont_summarize:
        tgt = addr
    else:
        tgt = sn

    if not sn in r:
        r[tgt] = [addr, 1]
    else:
        r[tgt][1] += 1

o = []
for n, v in r.items():
    if v[1] == 1:
        o.append(str(v[0]) + '/32')
    else:
        o.append(n)

for k in o:
    print(k)

סקריפט לעדכון
אני מריץ אותו על הכתר פעם ביום, אולי שווה למשוך אותו כל 4 שעות. זו, לדעתי, תקופת החידוש שה-RKN דורש מספקים. בנוסף, יש להם חסימה סופר-דחופה אחרת, שעשויה להגיע מהר יותר.

עושה את הדברים הבאים:

• מפעיל את הסקריפט הראשון ומעדכן את רשימת המסלולים (rkn_routes.list) עבור BIRD
• טען מחדש את BIRD
• מעדכן ומנקה את רשימת הדומיינים עבור dnstap-bgp
• טען מחדש את dnstap-bgp

rkn_update.sh

#!/bin/bash

ROUTES="/etc/bird/rkn_routes.list"
DOMAINS="/var/cache/rkn_domains.txt"

# Get & summarize routes
/opt/rkn.py | sed 's/(.*)/route 1 via "ens3";/' > $ROUTES.new

if [ $? -ne 0 ]; then
    rm -f $ROUTES.new
    echo "Unable to download RKN routes"
    exit 1
fi

if [ -e $ROUTES ]; then
    mv $ROUTES $ROUTES.old
fi

mv $ROUTES.new $ROUTES

/bin/systemctl try-reload-or-restart bird

# Get domains
curl -s https://api.reserve-rbl.ru/api/v2/domains/json -o - | jq -r '.[]' | sed 's/^*.//' | sort | uniq > $DOMAINS.new

if [ $? -ne 0 ]; then
    rm -f $DOMAINS.new
    echo "Unable to download RKN domains"
    exit 1
fi

if [ -e $DOMAINS ]; then
    mv $DOMAINS $DOMAINS.old
fi

mv $DOMAINS.new $DOMAINS

/bin/systemctl try-reload-or-restart dnstap-bgp

הם נכתבו בלי הרבה מחשבה, אז אם אתם רואים משהו שאפשר לשפר - לכו על זה.

הגדרת לקוח

כאן אתן דוגמאות לנתבי לינוקס, אבל במקרה של Mikrotik / Cisco זה אמור להיות אפילו יותר קל.

ראשית, הגדרנו את BIRD:

bird.conf

router id 192.168.1.2;
table rkn;

protocol device {
    scan time 10;
};

# Servers
protocol bgp bgp_server1 {
    table rkn;
    local as 65000;
    neighbor 192.168.1.1 as 65000;
    direct;
    bfd on;
    next hop self;
    graceful restart;
    graceful restart time 60;
    rr client;
    export none;
    import all;
}

protocol kernel {
    table rkn;
    kernel table 222;
    scan time 10;
    export all;
    import none;
}

לפיכך, נסנכרן את המסלולים שהתקבלו מ-BGP עם טבלת הניתוב של הקרנל מספר 222.

לאחר מכן, די לבקש מהקרנל להסתכל על הצלחת הזו לפני שתסתכל על ברירת המחדל:

# ip rule add from all pref 256 lookup 222
# ip rule
0:  from all lookup local
256:    from all lookup 222
32766:  from all lookup main
32767:  from all lookup default

הכל, נשאר להגדיר את DHCP בנתב כדי להפיץ את כתובת ה-IP של המנהרה של השרת כ-DNS, והתוכנית מוכנה.

מגבלות

עם האלגוריתם הנוכחי להפקה ועיבוד של רשימת הדומיינים, הוא כולל, בין היתר, youtube.com וה-CDN שלו.

וזה מוביל לעובדה שכל הסרטונים יעברו דרך ה-VPN, מה שיכול לסתום את כל הערוץ. אולי כדאי להרכיב רשימה של דומיינים-אי הכללות פופולריים שחוסמים את ה-RKN לעת עתה, האומץ דליל. ודלג עליהם בעת הניתוח.

מסקנה

השיטה המתוארת מאפשרת לך לעקוף כמעט כל חסימה שספקים מיישמים כרגע.

באופן עקרוני, dnstap-bgp יכול לשמש לכל מטרה אחרת שבה נדרשת רמה מסוימת של בקרת תנועה בהתבסס על שם הדומיין. רק קחו בחשבון שבתקופתנו, אלף אתרים יכולים להיתלות על אותה כתובת IP (מאחורי איזו Cloudflare, למשל), כך שלשיטה זו יש דיוק נמוך למדי.

אבל לצרכים של עקיפת מנעולים, זה די מספיק.

תוספות, עריכות, בקשות משיכה - ברוכים הבאים!

מקור: www.habr.com