נקודת חילופי תנועה: מהמקור ליצירת IX משלך

"הקמנו קשר טלפוני בינינו לבין החבר'ה ב-SRI...", אמר קליינרוק... בראיון:
"הקלדנו את ה-L ושאלנו בטלפון, "אתה רואה את ה-L?"
"כן, אנחנו רואים את ה-L", באה התגובה.
"הקלדנו את ה-O ושאלנו, "האם אתה רואה את ה-O."
"כן, אנחנו רואים את ה-O."
"ואז הקלדנו את ה-G והמערכת קרסה"...

ובכל זאת החלה מהפכה…

תחילתו של האינטרנט.

שלום לכולם!

שמי אלכסנדר, אני מהנדס רשת ב- Linxdatacenter. במאמר של היום נדבר על נקודות חילופי תנועה (Internet Exchange Points, IXP): מה קדם להופעתם, אילו משימות הן פותרות וכיצד הן בנויות. גם במאמר זה אדגים את עקרון הפעולה של IXP באמצעות פלטפורמת EVE-NG ונתב התוכנה BIRD, כדי שתבינו איך זה עובד "מתחת למכסה המנוע".

קצת היסטוריה

אם תסתכל כאן, אז אתה יכול לראות שהגידול המהיר במספר נקודות חילופי התנועה החל ב-1993. זאת בשל העובדה שרוב התעבורה של מפעילי הטלקום שהייתה קיימת באותה תקופה עברה דרך רשת השדרה האמריקאית. כך, למשל, כאשר התעבורה עברה ממפעיל בצרפת למפעיל בגרמניה, היא עברה תחילה מצרפת לארה"ב ורק אחר כך מארה"ב לגרמניה. רשת עמוד השדרה במקרה זה פעלה כמעבר בין צרפת לגרמניה. אפילו תעבורה בתוך מדינה אחת עברה לעתים קרובות לא ישירות, אלא דרך רשתות עמוד השדרה של מפעילים אמריקאים.

מצב עניינים זה השפיע לא רק על עלות אספקת תנועת המעבר, אלא גם על איכות הערוצים והעיכובים. מספר משתמשי האינטרנט גדל, מפעילים חדשים הופיעו, נפח התעבורה גדל והאינטרנט הבשיל. מפעילים ברחבי העולם החלו להבין שיש צורך בגישה רציונלית יותר לארגון אינטראקציה בין מפעילים. "מדוע אני, מפעיל א', צריך לשלם עבור מעבר דרך מדינה אחרת כדי להעביר תנועה למפעיל ב', שנמצא ברחוב הסמוך?" זו בערך השאלה שמפעילי הטלקום שאלו את עצמם באותה תקופה. לפיכך, החלו להופיע נקודות חילופי תנועה בחלקים שונים של העולם בנקודות ריכוז של מפעילים:

• 1994 – LINX בלונדון,
• 1995 – DE-CIX בפרנקפורט,
• 1995 – MSK-IX, במוסקבה וכו'.

האינטרנט והימים שלנו

מבחינה קונספטואלית, הארכיטקטורה של האינטרנט המודרני מורכבת ממערכות אוטונומיות רבות (AS) ומקשרים רבים ביניהן, פיזיים והגיוניים כאחד, הקובעים את נתיב התעבורה מ-AS אחד לאחר.

ASs הם בדרך כלל מפעילי טלקום, ספקי אינטרנט, CDNs, מרכזי נתונים וחברות מגזר ארגוני. ASes מארגנים ביניהם קשרים לוגיים (הצצה), בדרך כלל תוך שימוש בפרוטוקול BGP.

האופן שבו מערכות אוטונומיות מארגנות את הקשרים הללו נקבע על ידי מספר גורמים:

• גיאוגרפי,
• כַּלְכָּלִי,
• פּוֹלִיטִי,
• הסכמים ואינטרסים משותפים בין בעלי AS,
• וכו '

כמובן, לתכנית זו יש מבנה והיררכיה מסוימת. לפיכך, המפעילים מחולקים ל-tier-1, tier-2 ו-tier-3, ואם הלקוחות של ספק אינטרנט מקומי (tier-3) הם, ככלל, משתמשים רגילים, אז, למשל, עבור tier-1 מפעילי רמה הלקוחות הם מפעילים אחרים. מפעילי שכבה 3 אוספים את תעבורת המנויים שלהם, מפעילי טלקום מדור 2, בתורם, מצטברים את התעבורה של מפעילי שכבה 3, ושכבה 1 - כל תעבורת האינטרנט.

באופן סכמטי זה יכול להיות מיוצג כך:

תמונה זו מראה שהתנועה מצטברת מלמטה למעלה, כלומר. ממשתמשי קצה ועד לאופרטורים ברמה 1. יש גם חילופי תעבורה רוחביים בין ASs ששווים בערך זה לזה.

חלק בלתי נפרד ובו בזמן חיסרון של תכנית זו הוא בלבול מסוים של קשרים בין מערכות אוטונומיות הממוקמות קרוב יותר למשתמש הקצה, בתוך אזור גיאוגרפי. שקול את התמונה למטה:

נניח שבעיר גדולה יש 5 מפעילי טלקום, שביניהם, מסיבה זו או אחרת, מאורגנים כפי שמוצג לעיל.

אם המשתמש Petya, המחובר ל-Go ISP, רוצה לגשת לשרת המחובר לספק ה-ASM, אזי התעבורה ביניהם תיאלץ לעבור דרך 5 מערכות אוטונומיות. זה מגביר את העיכוב בגלל מספר התקני הרשת שדרכם תעבור התעבורה גדל, כמו גם נפח תעבורת המעבר במערכות אוטונומיות בין Go ל-ASM.

כיצד לצמצם את מספר ה-ASs המעבר שהתנועה נאלצת לעבור דרכם? נכון - נקודת חילופי תנועה.

כיום, הופעתם של IXPs חדשים מונעת מאותם צרכים כמו בתחילת שנות ה-90-2000, רק בקנה מידה קטן יותר, בתגובה למספר ההולך וגדל של מפעילי טלקום, משתמשים ותעבורה, הכמות הגוברת של תוכן שנוצר על ידי רשתות CDN ומרכזי נתונים.

מהי נקודת החלפה?

נקודת חילופי תנועה היא מקום עם תשתית רשת מיוחדת שבה משתתפים המעוניינים בחילופי תנועה הדדיים מארגנים הצצה הדדית. המשתתפים העיקריים של נקודות חילופי תעבורה: מפעילי טלקום, ספקי אינטרנט, ספקי תוכן ומרכזי נתונים. בנקודות חילופי תנועה, המשתתפים מתחברים ישירות זה עם זה. זה מאפשר לך לפתור את הבעיות הבאות:

• להפחית את השהיה,
• להפחית את כמות תנועת התחבורה הציבורית,
• לייעל את הניתוב בין AS.

בהתחשב בכך ש-IXPs קיימים בערים גדולות רבות ברחבי העולם, לכל זה יש השפעה חיובית על האינטרנט בכללותו.

אם המצב שלעיל עם Petya נפתר באמצעות IXP, זה יתברר משהו כזה:

כיצד פועלת נקודת חילופי תנועה?

ככלל, IXP הוא AS נפרד עם בלוק משלו של כתובות IPv4/IPv6 ציבוריות.

רשת IXP מורכבת לרוב מתחום L2 רציף. לפעמים זה פשוט VLAN שמארח את כל לקוחות IXP. כשמדובר ב-IXP גדולים יותר, מבוזרים גיאוגרפית, ניתן להשתמש בטכנולוגיות כגון MPLS, VXLAN וכו' לארגון תחום L2.

אלמנטים של IXP

• SKS. אין כאן שום דבר יוצא דופן: מתלים, חיבורים צולבים אופטיים, לוחות תיקון.
• מתגים - הבסיס של IXP. יציאת המתג היא נקודת הכניסה לרשת IXP. המתגים גם מבצעים חלק מתפקידי האבטחה - הם מסננים תעבורת זבל שלא אמורה להיות קיימת ברשת IXP. ככלל, מתגים נבחרים על סמך דרישות פונקציונליות - אמינות, מהירויות יציאה נתמכות, תכונות אבטחה, תמיכת sFlow וכו'.
• שרת נתיב (RS) – חלק אינטגרלי והכרחי מכל נקודת חילופי תנועה מודרנית. עקרון הפעולה דומה מאוד לרפלקטור המסלול ב-iBGP או לנתב המיועד ב-OSPF ופותר את אותן בעיות. ככל שמספר המשתתפים בנקודת חילופי תנועה גדל, מספר מפגשי BGP שכל משתתף צריך לתמוך גדל, כלומר. זה מזכיר את הטופולוגיה הקלאסית של רשת מלאה ב-iBGP. RS פותר את הבעיה בדרך הבאה: היא מקימה מפגש BGP עם כל משתתף IXP מתעניין, ומשתתף זה הופך ללקוח RS. בקבלת עדכון BGP מאחד מלקוחותיה, RS שולחת עדכון זה לכל שאר לקוחותיה, כמובן, למעט זה שממנו התקבל עדכון זה. לפיכך, RS מבטלת את הצורך ליצור רשת מלאה בין כל חברי ה-IXP ופותרת באלגנטיות את בעיית המדרגיות. ראוי לציין ששרת המסלולים משדר באופן שקוף מסלולים מ-AS אחד לאחר מבלי לבצע שינויים בתכונות המשודרות על-ידי BGP, למשל, הוא לא מוסיף את המספר ב-AS שלו ל-AS-path. גם ב-RS יש סינון בסיסי של מסלולים: למשל, RS לא מקבלת רשתות מאדים ואת הקידומות של ה-IXP עצמו.

  נתב תוכנת קוד פתוח, BIRD (דימון ניתוב אינטרנט של ציפור), משמש לעתים קרובות כפתרון שרת נתיב. הדבר הטוב בו הוא שהוא חינמי, נפרס במהירות ברוב ההפצות של לינוקס, בעל מנגנון גמיש להגדרת מדיניות ניתוב/סינון, ואינו תובעני במשאבי מחשוב. כמו כן, ניתן לבחור נתב חומרה/וירטואלי מסיסקו, ג'וניפר וכו' כ-RS.

• אבטחה. מכיוון שרשת IXP היא ריכוז של מספר רב של ASes, מדיניות האבטחה שעליה כל המשתתפים לפעול חייבת להיות כתובה היטב. באופן כללי, כל אותם מנגנונים החלים בעת הקמת סמיכות BGP בין שני עמיתים נפרדים ל-BGP מחוץ ל-IXP חלים כאן, בתוספת כמה תכונות אבטחה נוספות.

  לדוגמה, נוהג טוב לאפשר תעבורה רק מכתובת mac ספציפית של משתתף ה-IXP, שעליה יש משא ומתן מראש. מניעת תעבורה עם שדות ethertype שאינם 0x0800(IPv4), 0x08dd(IPv6), 0x0806(ARP); זה נעשה על מנת לסנן תעבורה שאינה שייכת ל-BGP peering. ניתן להשתמש גם במנגנונים כגון GTSM, RPKI וכו'.

אולי האמור לעיל הם המרכיבים העיקריים של כל IXP, ללא קשר לקנה המידה. כמובן, IXPs גדולים יותר עשויים לכלול טכנולוגיות ופתרונות נוספים.
קורה ש-IXP מספקת למשתתפיה שירותים נוספים:

• ממוקם בשרת ה-DNS של IXP TLD,
• להתקין שרתי NTP חומרה, המאפשרים למשתתפים לסנכרן זמן במדויק,
• לספק הגנה מפני התקפות DDoS וכו'.

עיקרון הפעולה

בואו נסתכל על עקרון הפעולה של נקודת חילופי תעבורה באמצעות דוגמה של IXP פשוט, שעוצב באמצעות EVE-NG, ולאחר מכן נשקול את ההגדרה הבסיסית של נתב תוכנת BIRD. כדי לפשט את הדיאגרמה, נשמיט דברים חשובים כמו יתירות וסובלנות תקלות.

טופולוגיית הרשת מוצגת באיור למטה.

נניח שאנו מנהלים נקודת החלפה קטנה ונספק את אפשרויות ההצצה הבאות:

• הצצה ציבורית,
• הצצה פרטית,
• הצצה דרך שרת נתיב.

מספר ה-AS שלנו הוא 555, בבעלותנו בלוק של כתובות IPv4 – 50.50.50.0/24, ממנו אנו מוציאים כתובות IP למי שרוצה להתחבר לרשת שלנו.

50.50.50.254 - כתובת IP מוגדרת בממשק שרת המסלול, עם זה לקוחות IP יקימו הפעלת BGP במקרה של הצצה דרך RS.

כמו כן, להצצה דרך RS, פיתחנו מדיניות ניתוב פשוטה המבוססת על קהילת BGP, המאפשרת למשתתפי IXP לווסת למי ואיזה מסלולים לשלוח:

קהילת BGP
תיאור

LOCAL_AS:PEER_AS
שלח קידומות רק ל-PEER_AS

LOCAL_AS:IXP_AS
העבר קידומות לכל משתתפי IXP

3 לקוחות רוצים להתחבר ל-IXP שלנו ולהחליף תנועה; נניח שאלה ספקי אינטרנט. כולם רוצים לארגן הצצה דרך שרת נתיב. להלן תרשים עם פרמטרים של חיבור לקוח:

לקוח
מספר AS של לקוח
קידומות פרסום של הלקוח
כתובת IP שהונפקה ללקוח כדי להתחבר ל-IXP

ISP מס' 1
AS 100
1.1.0.0/16
50.50.50.10/24

ISP מס' 2
AS 200
2.2.0.0/16
50.50.50.20/24

ISP מס' 3
AS 300
3.3.0.0/16
50.50.50.30/24

הגדרת BGP בסיסית בנתב הלקוח:

router bgp 100
 no bgp enforce-first-as
 bgp log-neighbor-changes
 neighbor 50.50.50.254 remote-as 555
address-family ipv4
  network 1.1.0.0 mask 255.255.0.0
  neighbor 50.50.50.254 activate
  neighbor 50.50.50.254 send-community both
  neighbor 50.50.50.254 soft-reconfiguration inbound
  neighbor 50.50.50.254 route-map ixp-out out
 exit-address-family

ip prefix-list as100-prefixes seq 5 permit 1.1.0.0/16
route-map bgp-out permit 10
 match ip address prefix-list as100-prefixes
 set community 555:555

כדאי לשים לב להגדרה no bgp enforce-first-as כאן. כברירת מחדל, BGP דורש שה- as-path של עדכון BGP שהתקבל יכיל את מספר as bgp של השותף שממנו התקבל העדכון. אך מכיוון ששרת המסלול לא מבצע שינויים ב-as-path, מספרו לא יהיה ב-as-path והעדכון ימחק. הגדרה זו משמשת כדי לגרום לנתב להתעלם מהכלל הזה.

אנו רואים גם שהלקוח הגדיר את bgp community 555:555 לקידומת זו, מה שלפי המדיניות שלנו אומר שהלקוח רוצה לפרסם את הקידומת הזו לכל שאר המשתתפים.

עבור נתבים של לקוחות אחרים, ההגדרות יהיו דומות, למעט הפרמטרים הייחודיים שלהם.

דוגמה לתצורת BIRD:

define ixp_as = 555;
define ixp_prefixes = [ 50.50.50.0/24+ ];

template bgp RS_CLIENT {
  local as ixp_as;
  rs client;
}

להלן מתאר מסנן שאינו מקבל קידומות של מאדים, כמו גם את הקידומות של ה-IXP עצמו:

function catch_martians_and_ixp()
prefix set martians;
prefix set ixp_prefixes;
{
  martians = [ 
  0.0.0.0/8+,
  10.0.0.0/8+,
  100.64.0.0/10+,
  127.0.0.0/8+,
  169.254.0.0/16+,
  172.16.0.0/12+,
  192.0.0.0/24+,
  192.0.2.0/24+,
  192.168.0.0/16+,
  198.18.0.0/15+,
  198.51.100.0/24+,
  203.0.113.0/24+,
  224.0.0.0/4+,
  240.0.0.0/4+ ];

  if net ~ martians || net ~ ixp_prefixes then return false;

  return true;
}

פונקציה זו מיישמת את מדיניות הניתוב שתיארנו קודם לכן.

function bgp_ixp_policy(int peer_as)
{
  if (ixp_as, ixp_as) ~ bgp_community then return true;
  if (ixp_as, peer_as) ~ bgp_community then return true;

  return false;
}

filter reject_martians_and_ixp
{
  if catch_martians_and_ixp() then reject;
  if ( net ~ [0.0.0.0/0{25,32} ] ) then {
    reject;
  }
  accept;


}

אנו מגדירים הצצה, מיישמים מסננים ומדיניות מתאימים.

protocol as_100 from RS_CLIENT {
  neighbor 50.50.50.10 as 100;
  ipv4 {
    export where bgp_ixp_policy(100);
    import filter reject_martians_and_ixp;
  }
}

protocol as_200 from RS_CLIENT {
  neighbor 50.50.50.20 as 200;
  ipv4 {
    export where bgp_ixp_policy(200);
    import filter reject_martians_and_ixp;
  }
}

protocol as_300 from RS_CLIENT {
  neighbor 50.50.50.30 as 300;
  ipv4 {
    export where bgp_ixp_policy(300);
    import filter reject_martians_and_ixp;
  }
}

ראוי לציין שבשרת מסלולים זה נוהג טוב להכניס מסלולים מעמיתים שונים לתוך RIBs שונים. BIRD מאפשר לך לעשות זאת. בדוגמה שלנו, לשם הפשטות, כל העדכונים המתקבלים מכל הלקוחות מתווספים ל-RIB אחד משותף.

אז בואו נבדוק מה יש לנו.

בשרת המסלול אנו רואים שהוקמה הפעלת BGP עם כל שלושת הלקוחות:

אנו רואים שאנו מקבלים קידומות מכל הלקוחות:

בנתב as 100, אנו רואים שאם יש רק הפעלה אחת של BGP עם שרת המסלול, אנו מקבלים קידומות מ-200 וגם כ-300, בעוד שתכונות ה-BGP לא השתנו, כאילו הצצה בין לקוחות בוצעה ישירות:

לפיכך, אנו רואים שהנוכחות של שרת נתיב מפשטת מאוד את ארגון ההצצה ב-IXP.

אני מקווה שההדגמה הזו עזרה לך להבין טוב יותר כיצד פועלים IXPs וכיצד פועל שרת המסלולים ב-IXP.

Linxdatacenter IX

ב-Linxdatacenter, בנינו IXP משלנו המבוסס על תשתית עמידה לתקלות של 2 מתגים ו-2 שרתי נתיב. ה-IXP שלנו פועל כעת במצב בדיקה, ואנו מזמינים את כולם להתחבר ל-Linxdatacenter IX ולקחת חלק בבדיקות. כאשר אתה מחובר, תסופק לך יציאה ברוחב פס של 1 Gbit/s, יכולת להציץ דרך שרתי המסלול שלנו, כמו גם גישה לחשבון האישי שלך בפורטל IX, הזמין בכתובת ix.linxdatacenter.com.

כתוב בתגובות או בהודעות פרטיות כדי לקבל גישה לבדיקות.

פלט

נקודות חילופי תנועה קמו עם שחר האינטרנט ככלי לפתרון סוגיית זרימת התנועה הלא אופטימלית בין מפעילי טלקום. כעת, עם כניסתם של שירותים גלובליים חדשים וגידול בכמות תעבורת CDN, נקודות החלפה ממשיכות לייעל את פעולת הרשת הגלובלית. הגידול במספר ה-IXPs בעולם מיטיב הן עם משתמש הקצה בשירות והן עם מפעילי טלקום, מפעילי תוכן וכו'. עבור משתתפי IXP, התועלת מתבטאת בהפחתת עלויות ארגון ה-peering חיצוני, הפחתת כמות התעבורה שעבורה מפעילים ברמה גבוהה יותר צריכים לשלם, אופטימיזציה של ניתוב ויכולת ממשק ישיר עם מפעילי תוכן.

קישורים שימושיים

• הצג מפה של המיקום של נקודות חילופי תנועה: www.internetexchangemap.com
• צפה בסטטיסטיקה מפורטת על BGP peering, כולל נוכחות ב-IXP: www.peeringdb.com

מקור: www.habr.com