Дадзенае даследаванне тлумачыць, якім чынам адмова адной аўтаномнай сістэмы (AS) уплывае на глабальную складнасць асобнага рэгіёна, асабліва ў тым выпадку, калі гаворка ідзе пра найбуйнага правайдэра інтэрнэту (ISP) дадзенай краіны. Сувязь інтэрнэту на сеткавым узроўні абумоўлена ўзаемадзеяннем паміж аўтаномнымі сістэмамі. Па меры павелічэння колькасці альтэрнатыўных маршрутаў паміж AS узнікае ўстойлівасць да адмоваў і павялічваецца стабільнасць інтэрнэту ў дадзенай краіне. Аднак некаторыя шляхі становяцца важнейшымі, у параўнанні з астатнімі, і наяўнасць як мага большай колькасці альтэрнатыўных маршрутаў у выніку з'яўляецца адзіным спосабам забяспечыць надзейнасць сістэмы (у сэнсе AS).
Глабальная складнасць любой AS, незалежна ад таго, ці ўяўляе яна другараднага пастаўшчыка інтэрнэту або міжнароднага гіганта з мільёнамі спажыўцоў паслуг, залежыць ад колькасці і якасці яго шляхоў да Tier-1 правайдэрам. Як правіла, Tier-1 мае на ўвазе міжнародную кампанію, якая прапануе глабальную паслугу IP-транзіту і падлучэнне да іншых Tier-1 аператарам. Тым не менш, унутры дадзенага элітнага клуба няма абавязацельства падтрымліваць такую сувязь. Толькі рынак можа надаць матывацыю такім кампаніям безумоўна злучацца сябар з сябрам, забяспечваючы высокую якасць абслугоўвання. Ці дастатковы гэта стымул? Мы адкажам на гэтае пытанне ніжэй – у секцыі, прысвечанай складнасці IPv6.
Калі правайдэр інтэрнэту губляе сувязь хоць бы з адным са сваіх Tier-1 злучэнняў, ён, хутчэй за ўсё, апынецца недаступны ў некаторых частках Зямлі.
Вымярэнне надзейнасці інтэрнэту
Уявіце, што AS адчувае значную сеткавую дэградацыю. Мы шукаем адказ на наступнае пытанне: "Які працэнт AS у гэтым рэгіёне можа страціць сувязь з Tier-1 аператарамі, тым самым страціўшы глабальную даступнасць"?
Метадалогія даследаванняНавошта мадэляваць падобную сітуацыю? Строга кажучы, калі BGP і свет міждаменнай маршрутызацыі знаходзіліся на стадыі праектавання, стваральнікі выказалі здагадку, што кожная нетранзітная AS будзе мець па меншай меры двух вышэйстаячых пастаўшчыкоў (апстрым), каб гарантаваць адмоваўстойлівасць у выпадку, калі адзін з іх упадзе. Аднак у рэальнасці ўсё зусім інакш – больш за 45% ISP маюць толькі адно злучэнне з транзітным апстрымам. Набор нетрадыцыйных адносін паміж транзітнымі інтэрнэт-правайдэрамі яшчэ больш змяншае агульную надзейнасць. Такім чынам, ці падаюць транзітныя ISP? Адказ - так, і гэта адбываецца даволі часта. Правільнае пытанне ў дадзеным выпадку: "Калі канкрэтны інтэрнэт-правайдэр выпрабуе дэградацыю складнасці?". Калі камусьці такія праблемы здаюцца падаленымі, варта ўспомніць закон Мэрфі: "Усё, што можа пайсці не так, пойдзе не так".
Каб змадэляваць падобны сцэнар, мы ўжываем адну і тую ж мадэль трэці год запар. У гэтым жа годзе мы не проста паўтарылі папярэднія вылічэнні - мы значна пашырылі вобласць даследавання. Наступныя крокі былі пройдзеныя для адзнакі надзейнасці AS:
- Для кожнай AS у свеце мы атрымліваем усе альтэрнатыўныя шляхі да Tier-1 аператарам з дапамогай мадэлі адносін AS, служэлай ядром прадукта Qrator.Radar;
- Выкарыстоўваючы базу геададзеных IPIP, мы супастаўлялі кожны IP-адрас кожнай AS з адпаведнай яму краінай;
- Для кожнай AS мы падлічылі дзель яе адраснай прасторы, якая адпавядае абранаму рэгіёну. Гэта дапамагло адфільтраваць сітуацыі, калі інтэрнэт-правайдэр можа прысутнічаць на пункце абмену ў пэўнай краіне, але не мае прысутнасці ў рэгіёне ў цэлым. Ілюстратыўным прыкладам з'яўляецца Ганконг, дзе сотні ўдзельнікаў найбуйнейшай азіяцкай інтэрнэт-біржы HKIX абменьваюцца трафікам, маючы нулявую прысутнасць у інтэрнэт-сегменце Ганконга;
- Атрымаўшы выразныя вынікі для AS у рэгіёне, мы ацэньваем уплыў магчымай адмовы дадзенай AS на іншыя AS і краіны, у якіх яны прадстаўлены;
- У рэшце рэшт, для кожнай краіны мы знайшлі пэўную AS, якая закранае найбольшы працэнт іншых AS ў дадзеным рэгіёне. Замежныя AS не разглядаюцца.
Надзейнасць IPv4
Ніжэй вы можаце ўбачыць топ 20 па надзейнасці краін з пункту гледжання адмоваўстойлівасці ў выпадку збою адзінай AS. На практыцы гэта азначае, што ў краіне добрая складнасць інтэрнэту, а адсотак адлюстроўвае дзель AS, якая страціць глабальную складнасць у выпадку адмовы найбуйнай AS.
Кароткія факты:
- ЗША апусціліся на 11 пазіцый з 7 на 18 месца;
- Бангладэш выйшаў з топ 20;
- Украіна паднялася на 8 пазіцый на 4 месца;
- Аўстрыя вылецела з топ-20;
- Дзве краіны вяртаюцца ў топ-20: Італія і Люксембург пасля выхаду ў 2017 і 2018 гадах адпаведна.
Штогод у рэйтынгу ўстойлівасці адбываюцца цікавыя перамяшчэнні. У мінулым годзе мы пісалі, што агульныя паказчыкі 20 вядучых краін не моцна змяніліся з 2017 года. Варта адзначыць, што год за годам мы адзначаем дадатную глабальную тэндэнцыю да падвышэння надзейнасці і агульнай даступнасці. Для ілюстрацыі дадзенай тэзы мы параўнаем сярэднія і медыяныя змены за 4 гады ў агульным рэйтынгу ўстойлівасці IPv4 па ўсіх 233 краінах.
Колькасць краін, якім удалося знізіць залежнасць ад адзінай AS да менш за 10% (што з'яўляецца прыкметай высокай адмоваўстойлівасці) павялічылася на 5 у параўнанні з мінулым годам, і па стане на верасень 2019 года дасягнула 35 нацыянальных сегментаў.
Такім чынам, як найболей значную тэндэнцыю, назіраную за перыяд нашага даследавання, мы ідэнтыфікуем значна падвышэнне ўстойлівасці сетак ва ўсім міры, як у IPv4, так і ў IPv6.
Адмаўстойлівасць IPv6
На працягу некалькіх гадоў мы паўтаралі, што памылковая здагадка аб тым, што IPv6 працуе гэтак жа, як IPv4, з'яўляецца асноўнай структурнай праблемай працэсу распрацоўкі і ўкараненні IPv6.
У мінулым годзе мы пісалі аб пірынгавых войнах, якія захоўваюцца не толькі ў IPv6, але і ў IPv4, дзе Cogent і Hurricane Electric не ўзаемадзейнічаюць адзін з адным. У гэтым годзе мы былі здзіўленыя, выявіўшы, што іншая пара леташніх «супернікаў» – Deutsche Telekom і Verizon US паспяхова ўсталявалі IPv6 пірынг у траўні 2019 года. Вы ці наўрад знойдзеце згадванні пра гэта, аднак дадзены крок велізарны – два буйных Tier-1 правайдэра спынілі сварку і, нарэшце, усталявалі пірынгавае злучэнне з дапамогай пратаколу, якому мы ўсё жадаем значна больш актыўнага развіцця.
Для забеспячэння поўнай складнасці і найвысокай надзейнасці шляху да Tier-1 аператараў павінны прысутнічаць увесь час. Мы таксама падлічылі працэнт AS у краіне, якія маюць толькі частковую складнасць у IPv6 з-за пірынгавых войнаў. Вось вынікі:
Праз год IPv4 застаецца значна больш надзейным у параўнанні з IPv6. Сярэднія паказчыкі надзейнасці і стабільнасці IPv4 у 2019 годзе складаюць 62,924, 54,53%, і 6, 6% для IPvXNUMX. У IPvXNUMX усё яшчэ вялікая доля краін з дрэннай глабальнай даступнасцю – гэта значыць высокім працэнтам частковай складнасці.
У параўнанні з мінулым годам, мы ўбачылі значна паляпшэнне ў трох буйных краінах, асабліва па параметры частковай складнасці. У мінулым годзе ў Венесуэлы было 33%, у Кітая 65% і ў ААЭ 25%. У той час як Венесуэла і Кітай значна палепшылі ўласныя злучэнні, вырашаючы сур'ёзныя праблемы часткова ўзаемазвязаных сетак, ААЭ засталіся без станоўчай дынамікі ў гэтай галіне.
Шырокапалосны доступ і PTR-запісы
Паўтараючы пытанне, якое мы задавалі сабе з мінулага года: "Ці праўда, што вядучы правайдэр у краіне заўсёды ўплывае на рэгіянальную надзейнасць больш, чым усе астатнія ці нейкі іншы?", мы распрацавалі дадатковую метрыку для далейшага вывучэння. Магчыма, найболей значны (па кліенцкай базе) правайдэр інтэрнэту ў дадзенай вобласці не абавязкова будзе з'яўляецца той аўтаномнай сістэмай, якая стане найболей важная ў пытанні забеспячэння глабальнай складнасці.
У мінулым годзе мы вызначылі, што найбольш дакладны паказчык фактычнай значнасці правайдэра можа быць заснаваны на аналізе запісаў PTR. Як правіла, яны выкарыстоўваюцца для зваротнага пошуку DNS: з выкарыстаннем IP-адрасы можна ідэнтыфікаваць злучанае імя хаста або даменнае імя.
Гэта азначае, што PTR можа дазволіць вымярэнне канкрэтнага абсталявання ў адраснай прасторы асобнага аператара. Паколькі мы ўжо ведаем самыя вялікія AS для кожнай краіны ў свеце, мы маглі б палічыць запісы PTR у сетках гэтых пастаўшчыкоў, вызначыўшы іх долю сярод усіх PTR-запісаў рэгіёна. Варта адразу ж зрабіць заяву аб адмове ад адказнасці: мы падлічвалі ТОЛЬКІ запісы PTR і не вылічалі суадносіны IP-адрасоў без PTR-запісаў да IP-адрасоў з запісамі PTR.
Такім чынам, далей мы гаворым выключна пра IP-адрасы з прысутнымі запісамі PTR. Ствараць іх – не агульнае правіла, таму некаторыя правайдэры ўпісваюць PTR, а іншыя не.
Мы паказалі колькі з гэтых IP-адрасоў з паказанымі запісамі PTR адключыцца ў выпадку адключэння ад/разам з найбуйнай (па PTR) аўтаномнай сістэмай у паказанай краіне. Лічба адлюстроўвае працэнт ад усіх IP-адрасоў з падтрымкай PTR у рэгіёне.
Давайце параўнаем 20 самых надзейных краін з рэйтынгу IPv4 у 2019 годзе з рэйтынгам PTR:
Відавочна, што падыход, які разглядае PTR-запісы дае зусім іншыя вынікі. У большасці выпадкаў мяняецца не толькі цэнтральная AS ў рэгіёне, але і цалкам адрозніваецца працэнт няўстойлівасці для названай AS. Ва ўсіх надзейных, з пункту гледжання глабальнай даступнасці, рэгіёнах колькасць IP-адрасоў з падтрымкай PTR якія адключацца з прычыны падзення AS у дзясяткі разоў вышэй.
Гэта можа азначаць, што вядучы нацыянальны інтэрнэт-правайдэр заўсёды валодае канчатковымі карыстальнікамі. Такім чынам, мы павінны выказаць здагадку, што гэты працэнт уяўляе сабой частка карыстацкай і кліенцкай базы ISP, якая будзе адключаная (у выпадку, калі немагчыма пераключэнне на альтэрнатыўнага пастаўшчыка) у выпадку збою. З гэтага пункту гледжання краіны ўжо не здаюцца такімі надзейнымі, як яны выглядаюць з пункту гледжання транзіту. Мы пакідаем за чытачом магчымыя высновы з параўнання топ 20 IPv4 са значэннямі рэйтынгу PTR.
Дэталізацыя змен у асобных краінах
Як і звычайна ў дадзеным раздзеле, мы пачынаем з вельмі асаблівай пазіцыі AS174 – Cogent. У мінулым годзе мы пазначылі яе ўплыў на Еўропу, дзе AS174 вызначаецца ў якасці крытычнай для 5 краін з топ 20 у рэйтынгу ўстойлівасці IPv4. У гэтым годзе Cogent захоўвае прысутнасць у топ 20 па надзейнасці, аднак, з некаторымі зменамі – у прыватнасці, у Бельгіі і ў Іспаніі AS174 была заменена ў якасці найбольш крытычнай AS. У 2019 годзе для Бельгіі ёй стала AS6848 – Telenet, а для Іспаніі – AS12430 – Vodafone.
Цяпер, давайце больш уважліва разгледзім дзве краіны з гістарычнымі добрымі паказчыкамі адмоваўстойлівасці, якія здзейснілі найбольш значныя перамены за мінулы год: Украіну і Злучаныя Штаты Амерыкі.
Па-першае, Украіна рэзка палепшыла ўласныя пазіцыі ў рэйтынгу IPv4. За падрабязнасцямі мы звярнуліся да Макса Тульева, члена праўлення Украінскай Інтэрнэт Асацыяцыі за падрабязнасцямі аб тым, што адбылося ў яго краіне на працягу мінулых 12 месяцаў:
«Самым значным змяненнем, якое мы бачым ва Украіне, з'яўляецца падзенне кошту транзіту дадзеных. Гэта дазваляе большасці прыбытковых інтэрнэт-кампаній набыць некалькі вышэйстаячых злучэнняў за межамі нашых меж. Hurricane Electric асабліва актыўны на рынку, прапаноўваючы "міжнародны транзіт" без прамога кантракту, таму што яны не выдаляюць прэфіксы з біржаў - проста анансуюць кліенцкі конус на мясцовых кропках абмену трафікам».
Асноўная AS для Украіны змянілася з AS1299 Telia на AS3255 UARNET. Г-н Тульеў патлумачыў, што, быўшы былой адукацыйнай сеткай, зараз UARNET стала актыўным транзітам, асабліва ў Заходняй Украіне.
Цяпер перанясёмся на іншую частку Зямлі - у ЗША.
Наша галоўнае пытанне даволі простае - якія дэталі падзення ўстойлівасці ЗША на 11 пазіцый?
У 2018 годзе ЗША занялі 7-е месца рэйтынгу з 4,04% краіны, якія патэнцыйна страчваюць глабальную даступнасць у выпадку збою AS209. Наша справаздача за 2018 дае некаторае ўяўленне аб тым, што змянілася ў Злучаных Штатах год таму:
«Але буйная навіна звязана менавіта з тым, што адбылося ў Злучаных Штатах. На працягу двух гадоў запар – 2016 і 2017 – мы вызначалі AS174, Cogent, як вырашальнага на гэтым рынку. Гэта ўжо не так – у 2018 годзе AS 209 CenturyLink замяніла яго, адправіўшы Злучаныя Штаты ўверх на тры пазіцыі, да 7-га месца ў рэйтынгу IPv4.
Вынікі 2019 года паказваюць, што Злучаныя Штаты займаюць 18-е месца з паказчыкам устойлівасці, які ўпаў да 6,83% - змена больш чым на 2,5%, чаго звычайна дастаткова для выпадзення з топ 20 рэйтынгу ўстойлівасці IPv4.
Мы звязаліся з заснавальнікам Hurricane Electric, Майкам Леберам, каб атрымаць яго каментар наконт дадзенай сітуацыі:
«Гэта натуральная змена, бо глабальны Інтэрнэт працягвае расці. ІТ-інфраструктура ў кожнай краіне расце і мадэрнізуецца для падтрымкі інфармацыйнай эканомікі, якая пастаянна мяняецца і развіваецца. Прадукцыйнасць павышае якасць абслугоўвання кліентаў і даходы. Лакальнасць ІТ-інфраструктуры павышае прадукцыйнасць. Гэта макратэхнаэканамічныя сілы».
Заўсёды цікава аналізаваць тое, што адбываецца ў найбуйнейшай эканоміцы свету, тым больш, калі мы назіраем такое значнае падзенне рэйтынгу надзейнасці. Нагадаем – летась мы адзначылі замену AS174 Cogent на AS209 CenturyLink у Злучаных Штатах. У гэтым годзе CenturyLink саступіў сваю пазіцыю ў якасці крытычнай AS краіны іншай аўтаномнай сістэме – AS3356, якая належыць Level3. Гэта нядзіўна, паколькі дзве кампаніі фактычна прадстаўляюць адну арганізацыю з моманту паглынання 2017 года. З гэтага часу складнасць CenturyLink цалкам залежная ад складнасці Level3. Можна зрабіць выснову, што агульнае зніжэнне надзейнасці звязана з інцыдэнтам, які адбыўся ў сетцы Level3/CenturyLink у канцы 2018 года, калі 4 неідэнтыфікаваныя сеткавыя пакеты перапынілі працу Інтэрнэту на некалькі гадзін, на значнай тэрыторыі ЗША. Дадзеная падзея вызначана паўплывала на здольнасць CenturyLink/Level3 забяспечваць транзіт найбуйным гульцам у краіне, некаторыя з якіх маглі пераключыцца на іншых транзітных правайдэраў ці проста дыверсіфікавалі каналы сувязі і вышэйстаячыя падлучэнні. Тым не менш, нягледзячы на ўсё вышэйсказанае, Level3 застаецца найболей важным пастаўшчыком складнасці для ЗША, адключэнне якога можа прывесці да адсутнасці глабальнай даступнасці для амаль 7% лакальных аўтаномных сістэм, якія належаць на дадзены транзіт.
Італія вярнулася ў топ 20 на 17-м месцы з той жа AS12874 Fastweb, што, верагодна, з'яўляецца вынікам значнага паляпшэння якасці і колькасці шляхоў да гэтага правайдэра. Бо разам з ім у 2017 годзе Італія апусцілася на 21-е месца, пакінуўшы топ-20.
У 2019 годзе Сінгапур, які ўвайшоў у топ 20 рэйтынгу толькі ў мінулым годзе, але адразу ж на 5-е месца, зноў атрымаў новую крытычную ASN. У мінулым годзе мы пастараліся растлумачыць змены ў рэгіёнах Паўднёва-Усходняй Азіі. У гэтым годзе крытычная для Сінгапура AS змянілася з леташняй AS3758 SingNet на AS4657 Starnet. З гэтай зменай рэгіён страціў усяго адну пазіцыю, апусціўшыся на 6-е месца рэйтынгу ў 2019 годзе.
Кітай здзейсніў прыкметны скачок са 113-га месца ў 2018 годзе да 78 у 2019, са змяненнем каля 5% ва ўстойлівасці IPv4 па нашай метадалогіі. У IPv6 частковая падлучанасць Кітая знізілася з 65,93% у мінулым годзе да крыху больш за 20% у гэтым. Асноўная ASN у IPv6 змянілася з AS9808 China Mobile у 2018 годзе на AS4134 у 2019. У IPv4 жа AS4134, якой валодае China Telecom, была крытычнай на працягу многіх гадоў.
У IPv6, пры гэтым, кітайскі сегмент інтэрнэту апусціўся на 20 месцаў у рэйтынгу ўстойлівасці 2019 года - з 10% у мінулым годзе да 23,5% у 2019 г.
Верагодна, усё гэта сведчыць толькі аб адной простай рэчы – China Telecom актыўна ўдасканальвае сваю інфраструктуру, застаючыся асноўнай для Кітая сеткай сувязі са знешнім Інтэрнэтам.
З ростам рызык кібербяспекі і, фактычна, пастаянным патокам навін аб атаках на інтэрнэт-інфраструктуру настаў час усім урадам, прыватным і дзяржаўным кампаніям, але ў першую чаргу - шараговым карыстальнікам уважліва ацаніць уласныя пазіцыі. Рызыкі звязаныя са складнасцю рэгіёнаў неабходна вывучаць старанна і сумленна, аналізуючы сапраўдныя ўзроўні надзейнасці. Нават невысокія значэнні ў рэйтынгу нестабільнасці могуць выклікаць сапраўдныя праблемы з даступнасцю ў выпадку масіраванага нападу на буйнога, агульнанацыянальнага, пастаўшчыка крытычна важнай службы, дапусцім, DNS. Не забывайце таксама, што вонкавы свет адключыцца ад службаў і дадзеных размешчаных усярэдзіне рэгіёна, у выпадку поўнай страты складнасці.
Наша даследаванне ясна паказвае, што рынкі інтэрнэт-правайдэраў і аператараў сувязі, заснаваныя на канкурэнцыі, у канчатковым выніку развіваюцца больш дынамічна, каб стаць нашмат больш стабільнымі і адмоваўстойлівымі ў дачыненні да рызык унутры і нават за межамі канкрэтнага рэгіёну. Без канкурэнтнага рынка адмова адной AS можа і прывядзе да страты сеткавага злучэння ў значнай часткі карыстачоў з краіны ці шырэйшага рэгіёна.
Крыніца: habr.com