הגדרת BGP כדי לעקוף חסימה, או "איך הפסקתי לפחד והתאהבתי ב-RKN"

ובכן, בסדר, לגבי "אהוב" זו הגזמה. במקום זאת, "היה מסוגל לחיות יחד עם."

כפי שכולכם יודעים, מאז ה-16 באפריל 2018, רוסקומנדזור חוסמת את הגישה למשאבים באינטרנט בתנועות רחבות ביותר, ומוסיפה ל"רישום המאוחד של שמות מתחם, אינדקס דפים של אתרים באינטרנט וכתובות רשת המאפשרות זיהוי אתרים באינטרנט," המכיל מידע שהפצתו אסורה בפדרציה הרוסית" (בטקסט - רק רישום) על ידי /10 לפעמים. כתוצאה מכך, אזרחי הפדרציה הרוסית ועסקים סובלים, לאחר שאיבדו גישה למשאבים החוקיים לחלוטין שהם צריכים.

לאחר שאמרתי בתגובות לאחת הכתבות על Habré שאני מוכן לעזור לקורבנות בהקמת תוכנית עוקפים, הגיעו אליי כמה אנשים וביקשו עזרה כזו. כשהכל עבד להם, אחד מהם המליץ ​​לתאר את הטכניקה במאמר. לאחר מחשבה החלטתי לשבור שתיקה באתר ולנסות פעם אחת לכתוב משהו ביניים בין פרויקט לפוסט בפייסבוק, כלומר. הבראפוסט. התוצאה לפניכם.

כתב ויתור

מכיוון שזה לא מאוד חוקי לפרסם דרכים לעקוף חסימת גישה למידע האסור בשטח הפדרציה הרוסית, מטרת מאמר זה תהיה לדבר על שיטה המאפשרת לך להפוך את השגת גישה למשאבים המותרים ב- השטח של הפדרציה הרוסית, אך עקב פעולותיו של מישהו אינם נגישים ישירות דרך הספק שלך. וגישה למשאבים אחרים המתקבלים כתוצאה מפעולות מהמאמר היא תופעת לוואי מצערת ואיננה בשום אופן מטרת המאמר.

כמו כן, מכיוון שאני בעיקר ארכיטקט רשתות במקצועי, מקצוע ומסלול חיים, תכנות ולינוקס הם לא הצד החזק שלי. לכן, כמובן, ניתן לכתוב סקריפטים בצורה טובה יותר, ניתן לפתור בעיות אבטחה ב-VPS בצורה מעמיקה יותר וכו'. הצעותיכם יתקבלו בהכרת תודה, אם הן מפורטות מספיק – אשמח להוסיף אותן לטקסט המאמר.

TL; DR

אנו הופכים גישה לאוטומטית למשאבים דרך המנהרה הקיימת שלך באמצעות עותק של הרישום ופרוטוקול BGP. המטרה היא להסיר את כל התעבורה המופנית למשאבים חסומים לתוך המנהרה. מינימום הסברים, בעיקר הוראות שלב אחר שלב.

מה אתה צריך בשביל זה?

למרבה הצער, הפוסט הזה לא מתאים לכולם. על מנת להשתמש בטכניקה זו, תצטרך לחבר מספר אלמנטים יחד:

1. חייב להיות לך שרת לינוקס איפשהו מחוץ לשדה החסימה. או לפחות הרצון להחזיק שרת כזה - למרבה המזל זה עולה כעת החל מ-9$ לשנה, ואולי פחות. השיטה מתאימה גם אם יש לך מנהרת VPN נפרדת, אז השרת יכול להיות ממוקם בתוך שדה החסימה.
2. הנתב שלך צריך להיות חכם מספיק כדי להיות מסוגל
   • כל לקוח VPN שאתה אוהב (אני מעדיף את OpenVPN, אבל זה יכול להיות PPTP, L2TP, GRE+IPSec או כל אפשרות אחרת שיוצרת ממשק מנהרה);
   • פרוטוקול BGPv4. מה שאומר שעבור SOHO זה יכול להיות Mikrotik או כל נתב עם OpenWRT/LEDE/קושחה מותאמת אישית דומה המאפשרת לך להתקין Quagga או Bird. גם שימוש בנתב PC אינו אסור. במקרה של ארגון, חפש את תמיכת BGP בתיעוד של נתב הגבול שלך.
3. אתה צריך להיות בעל הבנה של השימוש ב-Linux וטכנולוגיות רשת, כולל פרוטוקול BGP. או לפחות רוצה לקבל רעיון כזה. מכיוון שאני לא מוכן לאמץ את העצומות הפעם, תצטרך ללמוד כמה היבטים שאינם מובנים לך בעצמך. עם זאת, כמובן אענה על שאלות ספציפיות בתגובות וסביר להניח שלא אהיה היחיד שיענה, אז אל תהססו לשאול.

מה משמש בדוגמה

• העתק הפנקס - מ https://github.com/zapret-info/z-i 
• VPS - אובונטו 16.04
• שירות ניתוב - ציפור 1.6.3   
• נתב - Mikrotik hAP ac
• תיקיות עבודה - מכיוון שאנו עובדים כ-root, רוב הכל ימוקם בתיקיית הבית של ה-root. בהתאמה:
  • /root/blacklist - תיקיית עבודה עם סקריפט ההידור
  • /root/zi - עותק של הרישום מ-github
  • /etc/bird - תיקייה רגילה להגדרות שירות ציפורים
• כתובת ה-IP החיצונית של ה-VPS עם שרת הניתוב ונקודת סיום המנהרה היא 194.165.22.146, ASN 64998; כתובת IP חיצונית של הנתב - 81.177.103.94, ASN 64999
• כתובות ה-IP בתוך המנהרה הן 172.30.1.1 ו-172.30.1.2, בהתאמה.

כמובן, אתה יכול להשתמש בכל נתבים אחרים, מערכות הפעלה ומוצרי תוכנה, להתאים את הפתרון להיגיון שלהם.

בקצרה - ההיגיון של הפתרון

1. פעילויות הכנה
   1. קבלת VPS
   2. העלאת מנהרה מהנתב ל-VPS
2. אנו מקבלים ומעדכנים באופן קבוע עותק של הרישום
3. התקנה והגדרה של שירות הניתוב
4. אנו יוצרים רשימה של מסלולים סטטיים עבור שירות הניתוב על סמך הרישום
5. אנו מחברים את הנתב לשירות ומגדירים שליחת כל התעבורה דרך המנהרה.

הפתרון בפועל

פעילויות הכנה

ישנם שירותים רבים באינטרנט המספקים VPS במחירים נוחים במיוחד. עד כה מצאתי ומשתמש באופציה עבור $9 לשנה, אבל גם אם אתה לא טורח יותר מדי, יש הרבה אפשרויות עבור 1E לחודש בכל פינה. שאלת בחירת ה-VPS נמצאת הרבה מעבר לתחום המאמר הזה, אז אם מישהו לא מבין משהו בזה, שאל בתגובות.

אם אתה משתמש ב-VPS לא רק עבור שירות הניתוב, אלא גם כדי לסיים בו מנהרה, עליך להעלות את המנהרה הזו, וכמעט בוודאות, להגדיר עבורה את ה-NAT. ישנן מספר רב של הוראות על פעולות אלו באינטרנט, לא אחזור עליהן כאן. הדרישה העיקרית למנהרה כזו היא שהיא חייבת ליצור ממשק נפרד בנתב שלך שתומך במנהרה לכיוון ה-VPS. רוב טכנולוגיות ה-VPN המשומשות עונות על הדרישה הזו - לדוגמה, OpenVPN במצב tun מושלם.

קבלת עותק של הרישום

כמו שג'ברייל אמר, "מי שמפריע לנו יעזור לנו." מכיוון שהרק"ן יוצר פנקס משאבים אסורים, יהיה זה חטא לא להשתמש במרשם זה כדי לפתור את הבעיה שלנו. נקבל עותק של הרישום מ-github.

אנחנו הולכים לשרת הלינוקס שלך, נכנסים להקשר השורש (סודו סו -) והתקן git אם הוא עדיין לא מותקן.

apt install git

עבור אל ספריית הבית שלך ושלוף עותק של הרישום.

cd ~ && git clone --depth=1 https://github.com/zapret-info/z-i 

הגדרנו עדכון cron (אני עושה את זה פעם ב-20 דקות, אבל אתה יכול לבחור כל מרווח שמעניין אותך). לשם כך אנו משיקים -e crontab והוסיפו לו את השורה הבאה:

*/20 * * * * cd ~/z-i && git pull && git gc

אנו מחברים הוק שייצור קבצים עבור שירות הניתוב לאחר עדכון הרישום. לשם כך, צור קובץ /root/zi/.git/hooks/post-merge עם התוכן הבא:

#!/usr/bin/env bash
changed_files="$(git diff-tree -r --name-only --no-commit-id ORIG_HEAD HEAD)"
check_run() {
    echo "$changed_files" | grep --quiet "$1" && eval "$2"
}
check_run dump.csv "/root/blacklist/makebgp"

ואל תשכח לעשות את זה בר הפעלה

chmod +x /root/z-i/.git/hooks/post-merge

ניצור את הסקריפט makebgp שאליו ה-hook מתייחס קצת מאוחר יותר.

התקנה והגדרה של שירות ניתוב

התקן ציפור. לרוע המזל, הגרסה של bird שפורסמה כעת במאגרי אובונטו דומה בטריותה לצואת Archeopteryx, ולכן עלינו להוסיף תחילה את ה-PPA הרשמי של מפתחי התוכנה למערכת.

add-apt-repository ppa:cz.nic-labs/bird
apt update
apt install bird

לאחר מכן, אנו משביתים מיד את bird עבור IPv6 - לא נזדקק לו בהתקנה זו.

systemctl stop bird6
systemctl disable bird6

להלן קובץ תצורה מינימליסטי של שירות ציפורים (/etc/bird/bird.conf), וזה מספיק לנו (ואני מזכיר לך שוב שאף אחד לא אוסר לפתח ולכוון את הרעיון כך שיתאים לצרכים שלך)

log syslog all;
router id 172.30.1.1;

protocol kernel {
        scan time 60;
        import none;
#       export all;   # Actually insert routes into the kernel routing table
}

protocol device {
        scan time 60;
}

protocol direct {
        interface "venet*", "tun*"; # Restrict network interfaces it works with
}

protocol static static_bgp {
        import all;
        include "pfxlist.txt";
        #include "iplist.txt";
}

protocol bgp OurRouter {
        description "Our Router";
        neighbor 81.177.103.94 as 64999;
        import none;
        export where proto = "static_bgp";
        local as 64998;
        passive off;
        multihop;
}

נתב מזהה - מזהה נתב, שנראה חזותית כמו כתובת IPv4, אך אינו אחד. במקרה שלנו, זה יכול להיות כל מספר של 32 סיביות בפורמט כתובת IPv4, אבל זה צורה טובה לציין בדיוק את כתובת ה-IPv4 של המכשיר שלך (במקרה זה, VPS).

פרוטוקול ישיר מגדיר אילו ממשקים יעבדו עם תהליך הניתוב. הדוגמה נותנת כמה שמות לדוגמה, אתה יכול להוסיף אחרים. אתה יכול פשוט למחוק את השורה; במקרה זה, השרת יקשיב לכל הממשקים הזמינים עם כתובת IPv4.

פרוטוקול סטטי הוא הקסם שלנו שטוען רשימות של קידומות וכתובות IP (שהן למעשה /32 קידומות, כמובן) מקבצים להכרזה לאחר מכן. מהיכן מגיעות הרשימות הללו יידונו להלן. שימו לב שטעינת כתובות IP מוגמרת כברירת מחדל, הסיבה לכך היא נפח ההעלאות הגדול. לשם השוואה, בזמן כתיבת שורות אלו יש 78 שורות ברשימת הקידומות, ו-85898 ברשימת כתובות ה-IP. אני ממליץ בחום להתחיל ולבצע ניפוי באגים רק ברשימת הקידומות, והאם לאפשר טעינת IP ב- העתיד תלוי בך להחליט לאחר ניסוי עם הנתב שלך. לא כל אחד מהם יכול לעכל בקלות 85 אלף ערכים בטבלת הניתוב.

פרוטוקול bgp, למעשה, מגדיר bgp peering עם הנתב שלך. כתובת ה-IP היא הכתובת של הממשק החיצוני של הנתב (או הכתובת של ממשק המנהרה בצד הנתב), 64998 ו-64999 הם המספרים של מערכות אוטונומיות. במקרה זה, ניתן להקצות אותם בצורה של כל מספר של 16 סיביות, אך מומלץ להשתמש במספרי AS מהטווח הפרטי המוגדר על ידי RFC6996 - 64512-65534 כולל (יש פורמט עבור ASNs של 32 סיביות, אבל במקרה שלנו זה בהחלט מוגזם). התצורה המתוארת משתמשת ב-eBGP peering, שבה המספרים של המערכות האוטונומיות של שירות הניתוב והנתב חייבים להיות שונים.

כפי שאתה יכול לראות, השירות צריך לדעת את כתובת ה-IP של הנתב, כך שאם יש לך כתובת פרטית דינמית או בלתי ניתנת לניתוב (RFC1918) או משותפת (RFC6598), אין לך אפשרות להעלות את הצפייה על החיצוני ממשק, אבל השירות עדיין יעבוד בתוך המנהרה.

זה גם די ברור שמשירות אחד אתה יכול לספק מסלולים למספר נתבים שונים - פשוט שכפל את ההגדרות עבורם על ידי העתקת קטע הפרוטוקול bgp ושינוי כתובת ה-IP של השכן. לכן הדוגמה מציגה הגדרות להצצה מחוץ למנהרה, כמו האוניברסליות ביותר. קל להסיר אותם לתוך המנהרה על ידי שינוי כתובות ה-IP בהגדרות בהתאם.

עיבוד הרישום עבור שירות הניתוב

כעת אנו צריכים, למעשה, ליצור רשימות של קידומות וכתובות IP, שהוזכרו בפרוטוקול הסטטי בשלב הקודם. לשם כך, אנו לוקחים את קובץ הרישום ומייצרים ממנו את הקבצים שאנו צריכים באמצעות הסקריפט הבא, שהוכנס אליו /root/blacklist/makebgp

#!/bin/bash
cut -d";" -f1 /root/z-i/dump.csv| tr '|' 'n' |  tr -d ' ' > /root/blacklist/tmpaddr.txt
cat /root/blacklist/tmpaddr.txt | grep / | sed 's_.*_route & reject;_' > /etc/bird/pfxlist.txt
cat /root/blacklist/tmpaddr.txt | sort | uniq | grep -Eo "([0-9]{1,3}[.]){3}[0-9]{1,3}" | sed 's_.*_route &/32 reject;_' > /etc/bird/iplist.txt
/etc/init.d/bird reload
logger 'bgp list compiled'

אל תשכח לעשות את זה בר הפעלה

chmod +x /root/blacklist/makebgp

כעת אתה יכול להפעיל אותו באופן ידני ולצפות במראה של קבצים ב-/etc/bird.

סביר להניח ש-bird לא עובד בשבילך כרגע, כי בשלב הקודם ביקשת ממנו לחפש קבצים שעדיין לא היו קיימים. לכן, אנו משיקים אותו ובודקים שהוא התחיל:

systemctl start bird
birdc show route

הפלט של הפקודה השנייה אמור להראות בערך 80 רשומות (זה נכון לעכשיו, אבל כשתגדיר את זה, הכל יהיה תלוי בקנאות של RKN בחסימת רשתות) משהו כמו זה:

54.160.0.0/12      unreachable [static_bgp 2018-04-19] * (200)

קבוצה

birdc show protocol

יציג את מצב הפרוטוקולים בתוך השירות. עד שתגדיר את הנתב (ראה את הנקודה הבאה), פרוטוקול OurRouter יהיה במצב התחלה (Connect או Active phase), ולאחר חיבור מוצלח הוא יעבור למצב למעלה (Established phase). לדוגמה, במערכת שלי הפלט של פקודה זו נראה כך:

BIRD 1.6.3 ready.
name     proto    table    state  since       info
kernel1  Kernel   master   up     2018-04-19
device1  Device   master   up     2018-04-19
static_bgp Static   master   up     2018-04-19
direct1  Direct   master   up     2018-04-19
RXXXXXx1 BGP      master   up     13:10:22    Established
RXXXXXx2 BGP      master   up     2018-04-24  Established
RXXXXXx3 BGP      master   start  2018-04-22  Connect       Socket: Connection timed out
RXXXXXx4 BGP      master   up     2018-04-24  Established
RXXXXXx5 BGP      master   start  2018-04-24  Passive

חיבור נתב

לכולם כנראה נמאס לקרוא את המטלית הזו, אבל תתכבדו - הסוף קרוב. יתרה מכך, בסעיף זה לא אוכל לתת הוראות שלב אחר שלב - זה יהיה שונה עבור כל יצרן.

עם זאת, אני יכול להראות לך כמה דוגמאות. ההיגיון העיקרי הוא להעלות את ה-BGP peering ולהקצות את nexthop לכל הקידומות שהתקבלו, תוך הצבעה על המנהרה שלנו (אם אנחנו צריכים לשלוח תעבורה דרך ממשק p2p) או כתובת ה-IP של nexthop אם התעבורה תעבור ל-ethernet).

לדוגמה, ב-Mikrotik ב-RouterOS זה נפתר באופן הבא

/routing bgp instance set default as=64999 ignore-as-path-len=yes router-id=172.30.1.2
/routing bgp peer add in-filter=dynamic-in multihop=yes name=VPS remote-address=194.165.22.146 remote-as=64998 ttl=default
/routing filter add action=accept chain=dynamic-in protocol=bgp comment="Set nexthop" set-in-nexthop=172.30.1.1

וב-Cisco IOS - ככה

router bgp 64999
  neighbor 194.165.22.146 remote-as 64998
  neighbor 194.165.22.146 route-map BGP_NEXT_HOP in
  neighbor 194.165.22.146 ebgp-multihop 250
!
route-map BGP_NEXT_HOP permit 10
  set ip next-hop 172.30.1.1

אם אותה מנהרה משמשת הן לצפייה ב-BGP והן להעברת תעבורה שימושית, אין צורך להגדיר את nexthop; היא תוגדר בצורה נכונה באמצעות הפרוטוקול. אבל אם תגדיר את זה ידנית, זה גם לא יחמיר את זה.

בפלטפורמות אחרות תצטרכו להבין את התצורה בעצמכם, אבל אם יש לכם קשיים, כתבו בתגובות, אני אנסה לעזור.

לאחר תחילת הפעלת ה-BGP שלכם, הגיעו מסלולים לרשתות גדולות ומותקנות בטבלה, התעבורה זרמה לכתובות מהם והאושר קרוב, תוכלו לחזור לשירות הציפורים ולנסות לבטל הערות לערך שם שמחבר את רשימת כתובות IP, בצע לאחר מכן

systemctl reload bird

וראה איך הנתב שלך העביר את 85 אלף המסלולים האלה. היו מוכנים לנתק ולחשוב מה לעשות עם זה :)

בסך הכל

באופן תיאורטי בלבד, לאחר השלמת השלבים המתוארים לעיל, כעת יש לך שירות שמפנה אוטומטית תעבורה לכתובות IP שנאסרו בפדרציה הרוסית מעבר למערכת הסינון.

אפשר כמובן לשפר. לדוגמה, די קל לסכם רשימה של כתובות IP באמצעות פתרונות perl או python. סקריפט פשוט של Perl שעושה זאת באמצעות Net::CIDR::Lite הופך 85 אלף קידומות ל-60 (לא אלף), אבל, כמובן, מכסה טווח הרבה יותר גדול של כתובות ממה שנחסם.

מכיוון שהשירות פועל ברמה השלישית של מודל ה-ISO/OSI, הוא לא יחסוך ממך חסימת אתר/דף אם הוא יפתור לכתובת שגויה כפי שנרשמה ברישום. אבל יחד עם הרישום, הקובץ nxdomain.txt מגיע מ-github, שבכמה תנועות של הסקריפט הופך בקלות למקור כתובות עבור, למשל, התוסף SwitchyOmega בכרום.

כמו כן, יש צורך להזכיר שהפתרון דורש חידוד נוסף אם אתה לא רק משתמש אינטרנט, אלא גם מפרסם כמה משאבים בעצמך (לדוגמה, אתר אינטרנט או שרת דואר פועל על חיבור זה). באמצעות אמצעי הנתב, יש צורך לאגד בקפדנות תעבורה יוצאת משירות זה לכתובת הציבורית שלך, אחרת תאבד את הקישוריות עם אותם משאבים המכוסים ברשימת הקידומות שקיבל הנתב.

אם יש לך שאלות, שאל, אני מוכן לענות.

UPD. תודה navion и TerAnYu לפרמטרים עבור git המאפשרים הפחתת נפחי הורדה.

UPD2. עמיתים, נראה שעשיתי טעות בכך שלא הוספתי למאמר הוראות להגדרת מנהרה בין ה-VPS לנתב. הרבה שאלות עולות בעקבות זה.
ליתר בטחון, אציין שוב שלפני התחלת המדריך הזה, כבר הגדרת מנהרת VPN בכיוון שאתה צריך ובדקת את הפונקציונליות שלה (לדוגמה, על ידי הפיכת תנועה לשם כברירת מחדל או סטטית). אם עדיין לא השלמת את השלב הזה, אין זה הגיוני לבצע את השלבים במאמר. אין לי עדיין טקסט משלי על זה, אבל אם תחפש בגוגל "הגדרת שרת OpenVPN" יחד עם שם מערכת ההפעלה המותקנת ב-VPS, ו"הגדרת לקוח OpenVPN" עם שם הנתב שלך , סביר להניח שתמצא מספר מאמרים בנושא זה, כולל על Habré.

UPD3. לא מוקרב כתבתי קוד שהופך את dump.csv לקובץ שנוצר עבור bird עם סיכום אופציונלי של כתובות IP. לכן, ניתן להחליף את הסעיף "עיבוד הרישום לשירות הניתוב" על ידי קריאה לתוכנית שלו. https://habr.com/post/354282/#comment_10782712

UPD4. קצת עבודה על שגיאות (לא הוספתי אותן לטקסט):
1) במקום זאת systemctl טען מחדש ציפור הגיוני להשתמש בפקודה birdc להגדיר.
2) בנתב Mikrotik, במקום לשנות את Nexthop ל-IP של הצד השני של המנהרה /מסנן ניתוב הוסף action=accept chain=dynamic-in protocol=bgp comment=»הגדר nexthop» set-in-nexthop=172.30.1.1 הגיוני לציין את המסלול ישירות לממשק המנהרה, ללא כתובת /מסנן ניתוב add action=accept chain=dynamic-in protocol=bgp comment=»הגדר nexthop» set-in-nexthop-direct=<שם ממשק>

UPD5. שירות חדש הופיע https://antifilter.download, משם אתה יכול לאסוף רשימות מוכנות של כתובות IP. מתעדכן כל חצי שעה. בצד הלקוח, כל מה שנותר הוא למסגר את הרשומות עם "מסלול... דחייה" המקביל.
ובשלב הזה, כנראה, מספיק לסחבת את סבתא ולעדכן את המאמר.

UPD6. גרסה מתוקנת של המאמר למי שלא רוצה להבין את זה, אבל רוצה להתחיל - כאן.

מקור: www.habr.com