Дане дослідження пояснює, як відмова однієї автономної системи (AS) впливає глобальну зв'язність окремого регіону, особливо у разі, коли йдеться про найбільшого провайдера інтернету (ISP) цієї країни. Зв'язок інтернету на мережевому рівні обумовлена взаємодією між автономними системами. У міру збільшення кількості альтернативних маршрутів між AS виникає стійкість до відмов та підвищується стабільність інтернету в цій країні. Проте деякі шляхи стають важливішими, порівняно з іншими, і наявність якомога більшої кількості альтернативних маршрутів у результаті є єдиним способом забезпечити надійність системи (у сенсі AS).
Глобальна зв'язність будь-якого AS, незалежно від того, чи представляє вона другорядного постачальника інтернету або міжнародного гіганта з мільйонами споживачів послуг, залежить від кількості та якості його шляхів до Tier-1 провайдерів. Як правило, Tier-1 має на увазі міжнародну компанію, що пропонує глобальну послугу IP-транзиту та підключення до інших Tier-1 операторів. Проте всередині цього елітного клубу немає зобов'язання підтримувати такий зв'язок. Тільки ринок може надати мотивацію таким компаніям беззастережно поєднуватися один з одним, забезпечуючи високу якість обслуговування. Чи це достатній стимул? Ми відповімо на це запитання нижче — у секції, присвяченій зв'язковості IPv6.
Якщо провайдер інтернету втрачає зв'язок хоча б з одним із власних Tier-1 з'єднань, він, найімовірніше, виявиться недоступним у деяких частинах Землі.
Вимірювання надійності інтернету
Уявіть, що AS відчуває значну мережну деградацію. Ми шукаємо відповідь на таке запитання: «Який відсоток AS у цьому регіоні може втратити зв'язок з Tier-1 операторами, тим самим втративши глобальну доступність»?
Методологія дослідженняНавіщо моделювати таку ситуацію? Строго кажучи, коли BGP і світ міждоменної маршрутизації перебували на стадії проектування, творці припустили, що кожна нетранзитна AS матиме щонайменше двох постачальників (апстрім), щоб гарантувати відмовостійкість у випадку, якщо один з них впаде. Проте насправді все зовсім інакше — понад 45% ISP мають лише одне з'єднання з транзитним апстрімом. Набір нетрадиційних відносин між транзитними інтернет-провайдерами ще більше знижує загальну надійність. Отже, чи падають транзитні ISP? Відповідь так, і це відбувається досить часто. Правильне питання в даному випадку: "Коли конкретний інтернет-провайдер зазнає деградації зв'язності?". Якщо комусь такі проблеми здаються віддаленими, варто згадати закон Мерфі: "Все, що може піти не так, піде не так".
Щоб змоделювати подібний сценарій, ми застосовуємо ту саму модель третій рік поспіль. Цього ж року ми не просто повторили попередні обчислення – ми значно розширили сферу дослідження. Наступні кроки були пройдені для оцінки надійності AS:
- Для кожної AS у світі ми отримуємо всі альтернативні шляхи до Tier-1 операторам за допомогою моделі відносин AS, що є ядром продукту Qrator.Radar;
- Використовуючи базу геоданих IPIP, ми зіставляли кожну IP-адресу кожної AS з країною;
- Для кожної AS ми підрахували частку адресного простору, що відповідає обраному регіону. Це допомогло відфільтрувати ситуації, коли інтернет-провайдер може бути присутнім на точці обміну у певній країні, але не має присутності в регіоні загалом. Ілюстративним прикладом є Гонконг, де сотні учасників найбільшої азіатської інтернет-біржі HKIX обмінюються трафіком, маючи нульову присутність в інтернет-сегменті Гонконгу;
- Отримавши чіткі результати для AS у регіоні, ми оцінюємо вплив можливої відмови даної AS інші AS і країни, де вони представлені;
- Зрештою, для кожної країни ми знайшли конкретну AS, що стосується найбільшого відсотка інших AS в даному регіоні. Іноземні AS не розглядаються.
Надійність IPv4
Нижче ви можете побачити топ 20 за надійністю країн з точки зору відмовостійкості у разі збою єдиної AS. Насправді це означає, що у країні хороша зв'язність інтернету, а відсоток відбиває частку AS, яка втратить глобальну зв'язність у разі відмови найбільшої AS.
Короткі факти:
- США опустилися на 11 позицій із 7 на 18 місце;
- Бангладеш вийшов із топ 20;
- Україна піднялася на 8 позицій на 4 місце;
- Австрія вилетіла з топ-20;
- Дві країни повертаються до топ-20: Італія та Люксембург після виходу у 2017 та 2018 роках відповідно.
Щорічно у рейтингу стійкості відбуваються цікаві пересування. Минулого року ми писали, що загальні показники 20 провідних країн не дуже змінилися з 2017 року. Варто зазначити, що рік у рік ми відзначаємо позитивну глобальну тенденцію до підвищення надійності та загальної доступності. Для ілюстрації цієї тези ми порівняємо середні та медіанні зміни за 4 роки у загальному рейтингу стійкості IPv4 по всіх 233 країнах.
Кількість країн, яким вдалося знизити залежність від єдиної AS до менш ніж 10% (що є ознакою високої стійкості до відмови) збільшилася на 5 порівняно з минулим роком, і станом на вересень 2019 року досягла 35 національних сегментів.
Таким чином, як найбільш значущу тенденцію, що спостерігається за період нашого дослідження, ми ідентифікуємо значно підвищення стійкості мереж у всьому світі, як IPv4, так і IPv6.
Відмовостійкість IPv6
Протягом кількох років ми повторювали, що помилкове припущення про те, що IPv6 працює так само, як і IPv4, є основною структурною проблемою процесу розробки та впровадження IPv6.
Минулого року ми писали про пірингові війни, що зберігаються не тільки в IPv6, але і в IPv4, де Cogent і Hurricane Electric не взаємодіють один з одним. Цього року ми були здивовані, виявивши, що інша пара торішніх суперників — Deutsche Telekom та Verizon US успішно встановили IPv6 піринг у травні 2019 року. Ви навряд чи знайдете згадки про це, проте цей крок величезний - два великі Tier-1 провайдери припинили сварку і, нарешті, встановили пірингове з'єднання за допомогою протоколу, якому ми всі бажаємо набагато активнішого розвитку.
Для забезпечення повної зв'язності та найвищої надійності шляху до Tier-1 операторів повинні бути постійно. Ми також підрахували відсоток AS у країні, які мають лише часткову зв'язність у IPv6 через пірингові війни. Ось результати:
Через рік IPv4 залишається значно надійнішим порівняно з IPv6. Середні показники надійності та стабільності IPv4 у 2019 році становлять 62,924%, та 54,53% для IPv6. У IPv6 все ще велика частка країн з поганою глобальною доступністю, тобто високим відсотком часткової зв'язності.
Порівняно з минулим роком, ми побачили значно покращення у трьох великих країнах, особливо за параметром часткової зв'язності. Минулого року у Венесуели було 33%, у Китаю 65% та в ОАЕ 25%. У той час як Венесуела та Китай значно покращили власні з'єднання, вирішуючи серйозні проблеми частково взаємопов'язаних мереж, ОАЕ залишилися без позитивної динаміки у цій галузі.
Широкосмуговий доступ та PTR-записи
Повторюючи питання, яке ми ставили собі з минулого року: «Чи правда, що провідний провайдер у країні завжди впливає на регіональну надійність більше, ніж решта чи якийсь інший?», ми розробили додаткову метрику для подальшого вивчення. Можливо, найбільш значний (за клієнтською базою) провайдер інтернету в даній галузі не обов'язково буде тією автономною системою, яка стане найважливішою у питанні забезпечення глобальної зв'язності.
Минулого року ми визначили, що найбільш точний показник фактичної значущості провайдера може ґрунтуватися на аналізі записів PTR. Як правило, вони використовуються для зворотного пошуку DNS: за допомогою IP-адреси можна ідентифікувати зв'язане ім'я хоста або доменне ім'я.
Це означає, що PTR може дозволити вимірювання конкретного обладнання адресного простору окремого оператора. Оскільки ми вже знаємо найбільші AS для кожної країни у світі, ми могли б порахувати записи PTR у мережах цих постачальників, визначивши їхню частку серед усіх PTR-записів регіону. Варто відразу зробити заяву про відмову від відповідальності: ми підраховували ТІЛЬКИ записи PTR і не обчислювали співвідношення IP-адрес без PTR-записів до IP-адрес із записами PTR.
Отже, далі ми говоримо виключно про IP-адреси з записами PTR. Створювати їх не загальне правило, тому деякі провайдери вписують PTR, а інші ні.
Ми показали скільки з цих IP-адрес із зазначеними записами PTR відключиться у разі відключення від/разом з найбільшою (по PTR) автономною системою у зазначеній країні. Цифра відображає відсоток усіх IP-адрес з підтримкою PTR в регіоні.
Давайте порівняємо 20 найнадійніших країн з рейтингу IPv4 у 2019 році з рейтингом PTR:
Очевидно, що підхід, що розглядає PTR-записи, дає зовсім інші результати. Найчастіше змінюється як центральна AS у регіоні, а й повністю відрізняється відсоток нестійкості для зазначеної AS. У всіх надійних, з погляду глобальної доступності, регіонах кількість IP-адрес з підтримкою PTR які відключаться внаслідок падіння AS у десятки разів вище.
Це може означати, що провідний національний інтернет-провайдер завжди має кінцевих користувачів. Таким чином, ми повинні припустити, що цей відсоток є частиною користувальницької та клієнтської бази ISP, яка буде відключена (у разі, якщо неможливо переключення на альтернативного постачальника) у разі збою. З цієї точки зору країни вже не здаються такими надійними, як вони виглядають з точки зору транзиту. Ми залишаємо за читачем можливі висновки із порівняння топ 20 IPv4 зі значеннями рейтингу PTR.
Деталізація змін в окремих країнах
Як і зазвичай у цьому розділі, ми починаємо з особливої позиції AS174 — Cogent. Минулого року ми позначили її вплив на Європу, де AS174 визначається як критична для 5 країн з топ 20 у рейтингу стійкості IPv4. Цього року Cogent зберігає присутність у топ 20 за надійністю, проте з деякими змінами — зокрема, в Бельгії та Іспанії AS174 була замінена як найбільш критична AS. У 2019 році для Бельгії їй стала AS6848 – Telenet, а для Іспанії – AS12430 – Vodafone.
Тепер уважніше розглянемо дві країни з історичними добрими показниками відмовостійкості, які здійснили найбільш значні зміни за минулий рік: Україну та Сполучені Штати Америки.
По-перше, Україна різко покращила власні позиції у рейтингу IPv4. За подробицями ми звернулися до Макса Тулєва, члена правління Української Інтернет Асоціації за подробицями про те, що сталося в його країні протягом 12 місяців:
«Найзначнішою зміною, яку ми бачимо в Україні, є зниження вартості транзиту даних. Це дозволяє більшості прибуткових інтернет-компаній придбати кілька вищих з'єднань за межами наших кордонів. Hurricane Electric особливо активний на ринку, пропонуючи міжнародний транзит без прямого контракту, тому що вони не видаляють префікси з бірж — просто анонсують клієнтський конус на місцевих точках обміну трафіком».
Основна AS для України змінилася з AS1299 Telia на AS3255 UARNET. Пан Тулльов пояснив, що будучи освітньою мережею зараз UARNET стала активним транзитом, особливо в Західній Україні.
Тепер перенесемося на іншу частину Землі – до США.
Наше головне питання досить просте — якими є деталі падіння стійкості США на 11 позицій?
У 2018 році США посіли 7-е місце рейтингу з 4,04% країни, які потенційно втрачають глобальну доступність у разі збою AS209. Наш звіт за 2018 рік дає деяке уявлення про те, що змінилося у Сполучених Штатах рік тому:
«Але велика новина пов'язана саме з тим, що сталося у Сполучених Штатах. Протягом двох років поспіль – 2016 та 2017 – ми визначали AS174, Cogent, як вирішального на цьому ринку. Це вже не так - у 2018 році AS 209 CenturyLink замінила його, відправивши Сполучені Штати вгору на три позиції, до 7-го місця в рейтингу IPv4.
Результати 2019 року показують, що Сполучені Штати посідають 18-те місце з показником стійкості, що впав до 6,83% — зміна більш ніж на 2,5%, чого зазвичай вистачає для випадання з топ 20 рейтингу стійкості IPv4.
Ми зв'язалися із засновником Hurricane Electric, Майком Лебером, щоб отримати його коментар щодо цієї ситуації:
«Це природна зміна, оскільки глобальний Інтернет продовжує зростати. ІТ-інфраструктура в кожній країні зростає та модернізується для підтримки інформаційної економіки, яка постійно змінюється та розвивається. Продуктивність підвищує якість обслуговування клієнтів та доходи. Локальність ІТ-інфраструктури підвищує продуктивність. Це макротехноекономічні сили».
Завжди цікаво аналізувати те, що відбувається в найбільшій економіці світу, тим більше коли ми спостерігаємо таке значне падіння рейтингу надійності. Нагадаємо - минулого року ми відзначили заміну AS174 Cogent на AS209 CenturyLink у Сполучених Штатах. Цього року CenturyLink поступився своєю позицією як критична AS країни іншій автономній системі — AS3356, що належить Level3. Це не дивно, оскільки дві компанії фактично репрезентують одну організацію з моменту поглинання 2017 року. Відтепер зв'язність CenturyLink повністю залежить від складності Level3. Можна зробити висновок, що загальне зниження надійності пов'язане з інцидентом, що стався в мережі Level3/CenturyLink наприкінці 2018 року, коли 4 неідентифіковані мережеві пакети перервали роботу Інтернету на кілька годин на значній території США. Ця подія безперечно вплинула на здатність CenturyLink/Level3 забезпечувати транзит найбільшим гравцям у країні, деякі з яких могли переключитися на інших транзитних провайдерів або просто диверсифікували канали зв'язку та вищі підключення. Проте, незважаючи на все сказане вище, Level3 залишається найбільш важливим постачальником зв'язків для США, відключення якого може призвести до відсутності глобальної доступності для майже 7% локальних автономних систем, що покладаються на цей транзит.
Італія повернулася в топ 20 на 17-му місці з тією ж AS12874 Fastweb, що, ймовірно, є результатом значного покращення якості та кількості шляхів до цього провайдера. Адже разом з ним у 2017 році Італія опустилася на 21 місце, залишивши топ 20.
У 2019 році Сінгапур, який увійшов до топ 20 рейтингу лише торік, але одразу ж на 5-те місце, знову отримав нову критичну ASN. Минулого року ми постаралися пояснити зміни у регіонах Південно-Східної Азії. Цього року критична для Сінгапуру AS змінилася з минулорічної AS3758 SingNet на AS4657 Starnet. З цією зміною регіон втратив лише одну позицію, опустившись на 6 місце рейтингу в 2019 році.
Китай здійснив помітний стрибок зі 113-го місця у 2018 році до 78 у 2019, зі зміною близько 5% у стійкості IPv4 за нашою методологією. У IPv6 часткова підключеність Китаю знизилася з 65,93% минулого року до трохи більш ніж 20% цього. Основна ASN у IPv6 змінилася з AS9808 China Mobile у 2018 році на AS4134 у 2019. У IPv4 ж AS4134, якою володіє China Telecom, була критичною протягом багатьох років.
У IPv6, при цьому, китайський сегмент інтернету опустився на 20 місць у рейтингу стійкості 2019 року - з 10% минулого року до 23,5% у 2019 році.
Ймовірно, все це свідчить лише про одну просту річ — China Telecom активно удосконалює свою інфраструктуру, залишаючись основною для Китаю мережею зв'язку із зовнішнім Інтернетом.
Зі зростанням ризиків кібербезпеки і фактично постійним потоком новин про атаки на інтернет-інфраструктуру настав час усім урядам, приватним і державним компаніям, але насамперед рядовим користувачам уважно оцінити власні позиції. Ризики, пов'язані зі зв'язністю регіонів, необхідно вивчати ретельно і чесно, аналізуючи справжні рівні надійності. Навіть невисокі значення в рейтингу нестабільності можуть викликати справжні проблеми з доступністю у разі масованої атаки на великого, загальнонаціонального, постачальника критично важливої служби, наприклад, DNS. Не забувайте також, що зовнішній світ відключиться від служб і даних, розташованих у регіоні, у разі повної втрати зв'язності.
Наше дослідження ясно показує, що ринки інтернет-провайдерів та операторів зв'язку, засновані на конкуренції, в кінцевому підсумку розвиваються динамічніше, щоб стати набагато стабільнішими та відмовостійкими щодо ризиків усередині і навіть за межами конкретного регіону. Без конкурентного ринку відмова однієї AS може призвести до втрати мережного з'єднання у значної частини користувачів з країни або більшого регіону.
Джерело: habr.com