Защо интернет все още е онлайн?

Интернет изглежда здрава, независима и неразрушима структура. На теория мрежата е достатъчно силна, за да оцелее след ядрена експлозия. В действителност интернет може да изпусне един малък рутер. Всичко това, защото интернет е куп противоречия, уязвимости, грешки и видеоклипове за котки. Гръбнакът на Интернет, BGP, е изпълнен с проблеми. Удивително е, че все още диша. В допълнение към грешките в самия интернет, той също се разбива от всички и всякакви: големи интернет доставчици, корпорации, държави и DDoS атаки. Какво да правим с това и как да живеем с него?

Знае отговора Алексей Учакин (Night_Snake) е лидер на екип от мрежови инженери в IQ Option. Основната му задача е достъпността на платформата за потребителите. В стенограмата на доклада на Алексей на Saint HighLoad++ 2019 Нека поговорим за BGP, DDOS атаки, интернет превключватели, грешки на доставчика, децентрализация и случаи, когато малък рутер изпраща интернет да заспи. Накрая - няколко съвета как да преживеем всичко това.

Денят, в който интернет се счупи

Ще цитирам само няколко инцидента, при които връзката с интернет се скъса. Това ще бъде достатъчно за пълната картина.

„Инцидент AS7007“. Първият път, когато интернет се счупи, беше през април 1997 г. Имаше грешка в софтуера на един рутер от автономната система 7007. В един момент рутерът обяви вътрешната си таблица за маршрутизиране на своите съседи и изпрати половината мрежа в черна дупка.

„Пакистан срещу YouTube“. През 2008 г. смели момчета от Пакистан решиха да блокират YouTube. Те го направиха толкова добре, че половината свят остана без котки.

„Улавяне на префикси на VISA, MasterCard и Symantec от Rostelecom“. През 2017 г. Rostelecom погрешно започна да обявява префиксите VISA, MasterCard и Symantec. В резултат на това финансовият трафик беше насочен през канали, контролирани от доставчика. Изтичането не продължи дълго, но беше неприятно за финансовите компании.

Google срещу Япония. През август 2017 г. Google започна да обявява префиксите на основните японски доставчици NTT и KDDI в някои от своите връзки нагоре. Трафикът беше изпратен до Google като транзит, най-вероятно по погрешка. Тъй като Google не е доставчик и не допуска транзитен трафик, значителна част от Япония остана без интернет.

„DV LINK улови префиксите на Google, Apple, Facebook, Microsoft“. Също през 2017 г. руският доставчик DV LINK по някаква причина започна да обявява мрежите на Google, Apple, Facebook, Microsoft и някои други големи играчи.

„eNet от САЩ улови AWS Route53 и MyEtherwallet префикси“. През 2018 г. доставчикът от Охайо или един от неговите клиенти обяви мрежите за крипто портфейли Amazon Route53 и MyEtherwallet. Атаката беше успешна: дори въпреки самоподписания сертификат, предупреждение за което се появи на потребителя при влизане в уебсайта MyEtherwallet, много портфейли бяха отвлечени и част от криптовалутата беше открадната.

Само през 2017 г. имаше над 14 000 подобни инцидента! Мрежата все още е децентрализирана, така че не всичко и не всеки се поврежда. Но има хиляди инциденти, всички свързани с BGP протокола, който захранва интернет.

BGP и неговите проблеми

Протоколът BGP - Border Gateway Protocol, е описан за първи път през 1989 г. от двама инженери от IBM и Cisco Systems върху три „салфетки“ - листа А4. Тези "салфетки" все още стоят в централата на Cisco Systems в Сан Франциско като реликва от света на мрежите.

Протоколът се основава на взаимодействието на автономни системи - Автономни системи или накратко АС. Автономната система е просто идентификатор, към който са присвоени IP мрежи в публичния регистър. Рутер с този идентификатор може да обяви тези мрежи на света. Съответно всеки маршрут в Интернет може да бъде представен като вектор, който се нарича AS път. Векторът се състои от броя на автономните системи, които трябва да бъдат преминати, за да се достигне мрежата на местоназначението.

Например, има мрежа от редица автономни системи. Трябва да преминете от системата AS65001 към системата AS65003. Пътят от една система е представен от AS Path в диаграмата. Състои се от две автономни системи: 65002 и 65003. За всеки целеви адрес има вектор на AS Path, който се състои от номерата на автономните системи, през които трябва да преминем.

И така, какви са проблемите с BGP?

BGP е доверен протокол

BGP протоколът е базиран на доверие. Това означава, че по подразбиране се доверяваме на съседа си. Това е характеристика на много протоколи, разработени в зората на Интернет. Нека разберем какво означава „доверие“.

Няма удостоверяване на съседи. Формално има MD5, но MD5 през 2019 г. е точно това...

Без филтриране. BGP има филтри и те са описани, но не се използват или се използват неправилно. По-късно ще обясня защо.

Много е лесно да създадете квартал. Създаването на съседство в BGP протокола на почти всеки рутер е няколко реда от конфигурацията.

Не се изискват права за управление на BGP. Не е необходимо да полагате изпити, за да докажете своята квалификация. Никой няма да ви отнеме правата за конфигуриране на BGP в пияно състояние.

Два основни проблема

Отвличания на префикси. Отвличането на префикс е рекламиране на мрежа, която не ви принадлежи, какъвто е случаят с MyEtherwallet. Взехме някои префикси, съгласувахме се с доставчика или го хакнахме и чрез него обявяваме тези мрежи.

Изтичане на маршрут. Течовете са малко по-сложни. Течът е промяна в AS Path. В най-добрия случай промяната ще доведе до по-голямо забавяне, защото трябва да пътувате по по-дълъг маршрут или по по-малко обемна връзка. В най-лошия случай ще се повтори случаят с Google и Япония.

Самият Google не е оператор или транзитна автономна система. Но когато той обяви мрежите на японските оператори на своя доставчик, трафикът през Google през AS Path се смяташе за по-висок приоритет. Трафикът отиде там и спадна просто защото настройките за маршрутизиране в Google са по-сложни от обикновените филтри на границата.

Защо филтрите не работят?

Никой не го интересува. Това е основната причина - на никой не му пука. Администраторът на малък доставчик или компания, която се свърза с доставчика чрез BGP, взе MikroTik, конфигурира BGP на него и дори не знае, че там могат да се конфигурират филтри.

Грешки в конфигурацията. Нещо са объркали, сбъркали са маската, сложили са грешна мрежа - и сега пак има грешка.

Няма техническа възможност. Например телекомуникационните доставчици имат много клиенти. Умното нещо е автоматично да се актуализират филтрите на всеки клиент - да се следи дали има нова мрежа, дали е дал мрежата си под наем на някого. Трудно е да следвате това и още по-трудно с ръцете си. Следователно те просто инсталират облекчени филтри или изобщо не инсталират филтри.

изключения. Има изключения за любими и големи клиенти. Особено в случай на междуоператорски интерфейси. Например TransTeleCom и Rostelecom имат куп мрежи и между тях има интерфейс. Ако ставата падне, това няма да е добре за никого, така че филтрите се отпускат или напълно се премахват.

Остаряла или неуместна информация в IRR. Филтрите са изградени въз основа на информация, която е записана в IRR - Регистър за маршрутизиране на интернет. Това са регистри на регионални интернет регистратори. Често регистрите съдържат остаряла или неуместна информация, или и двете.

Кои са тези регистратори?

Всички интернет адреси принадлежат на организацията IANA - Орган за присвоени номера в Интернет. Когато купувате IP мрежа от някого, вие не купувате адреси, а правото да ги използвате. Адресите са нематериален ресурс и по общо съгласие всички те са собственост на IANA.

Системата работи така. IANA делегира управлението на IP адреси и номера на автономни системи на пет регионални регистратора. Издават автономни системи LIR - местни интернет регистратори. След това LIR разпределят IP адреси на крайните потребители.

Недостатъкът на системата е, че всеки от регионалните регистратори поддържа регистрите си по свой начин. Всеки има свое виждане каква информация трябва да съдържа регистрите и кой трябва или не трябва да я проверява. Резултатът е бъркотията, която имаме сега.

Как иначе можете да се преборите с тези проблеми?

IRR - посредствено качество. С IRR е ясно - там всичко е лошо.

BGP-общности. Това е някакъв атрибут, който е описан в протокола. Можем например да прикрепим специална общност към нашето съобщение, така че съсед да не изпраща нашите мрежи на своите съседи. Когато имаме P2P връзка, ние обменяме само нашите мрежи. За да предотвратим случайно преминаване на маршрута към други мрежи, ние добавяме общност.

Общностите не са преходни. Винаги е договор за двама и това им е недостатъкът. Не можем да присвоим общност, с изключение на една, която се приема по подразбиране от всички. Не можем да сме сигурни, че всички ще приемат тази общност и ще я интерпретират правилно. Следователно, в най-добрия случай, ако сте съгласни с вашия uplink, той ще разбере какво искате от него по отношение на общността. Но вашият съсед може да не разбере или операторът просто ще нулира етикета ви и няма да постигнете това, което искате.

RPKI + ROA решава само малка част от проблемите. RPKI е Инфраструктура на публичния ключ на ресурса  — специална рамка за подписване на информация за маршрутизиране. Добра идея е да принудите LIR и техните клиенти да поддържат актуална база данни за адресно пространство. Но има един проблем с него.

RPKI също е йерархична система с публичен ключ. IANA има ключ, от който се генерират RIR ключове и от който се генерират LIR ключове? с които те подписват своето адресно пространство, използвайки ROA - Route Origin Authorizations:

— Уверявам ви, че този префикс ще бъде обявен от името на този автономен регион.

В допълнение към ROA има и други обекти, но повече за тях по-късно. Изглежда добро и полезно нещо. Но това не ни предпазва от течове от думата „изобщо“ и не решава всички проблеми с отвличането на префикс. Следователно играчите не бързат да го прилагат. Въпреки че вече има уверения от големи играчи като AT&T и големи IX компании, че префиксите с невалиден запис на ROA ще бъдат премахнати.

Може би ще направят това, но засега имаме огромен брой префикси, които не са подписани по никакъв начин. От една страна, не е ясно дали те са валидно обявени. От друга страна, не можем да ги изтрием по подразбиране, защото не сме сигурни дали това е правилно или не.

Какво друго има там?

BGPSec. Това е страхотно нещо, което учените измислиха за мрежа от розови понита. Те казаха:

- Имаме RPKI + ROA - механизъм за проверка на подписите на адресното пространство. Нека създадем отделен BGP атрибут и да го наречем BGPSec Path. Всеки рутер ще подписва със собствен подпис съобщенията, които съобщава на своите съседи. По този начин ще получим доверен път от веригата подписани съобщения и ще можем да го проверим.

На теория добре, но на практика има много проблеми. BGPSec нарушава много съществуващи BGP механики за избор на следващи хопове и управление на входящия/изходящия трафик директно на рутера. BGPSec не работи, докато 95% от целия пазар не го внедри, което само по себе си е утопия.

BGPSec има огромни проблеми с производителността. На текущия хардуер скоростта на проверка на съобщения е приблизително 50 префикса в секунда. За сравнение: текущата интернет таблица от 700 000 префикса ще бъде качена за 5 часа, през които ще се промени още 10 пъти.

Отворена политика на BGP (базиран на роли BGP). Свежо предложение по модела Гао-Рексфорд. Това са двама учени, които изследват BGP.

Моделът Gao-Rexford е следният. За опростяване, с BGP има малък брой видове взаимодействия:

• Доставчик Клиент;
• P2P;
• вътрешна комуникация, да речем iBGP.

Въз основа на ролята на рутера вече е възможно да се присвоят определени политики за импортиране/експортиране по подразбиране. Администраторът не трябва да конфигурира списъци с префикси. Въз основа на ролята, за която рутерите се договарят помежду си и която може да бъде зададена, вече получаваме някои филтри по подразбиране. В момента това е чернова, която се обсъжда в IETF. Надявам се, че скоро ще видим това под формата на RFC и внедряване на хардуер.

Големи интернет доставчици

Нека да разгледаме примера на доставчик CenturyLink. Това е третият по големина доставчик в САЩ, обслужващ 37 щата и разполагащ с 15 центъра за данни. 

През декември 2018 г. CenturyLink беше на пазара в САЩ за 50 часа. По време на инцидента имаше проблеми с работата на банкоматите в два щата, а номерът 911 не работеше няколко часа в пет щата. Лотарията в Айдахо беше напълно съсипана. В момента инцидентът се разследва от Комисията по телекомуникациите на САЩ.

Причината за трагедията е една мрежова карта в един център за данни. Картата не функционираше правилно, изпращаше неправилни пакети и всичките 15 центъра за данни на доставчика отказаха.

Идеята не проработи при този доставчик "твърде голям, за да падне". Тази идея изобщо не работи. Можете да вземете всеки голям играч и да поставите някои малки неща отгоре. САЩ все още се справят добре със свързаността. Клиентите на CenturyLink, които имаха резерв, се впуснаха в него на тълпи. Тогава алтернативни оператори се оплакаха от претоварване на връзките им.

Ако условният Казахтелеком падне, цялата страна ще остане без интернет.

Корпорации

Вероятно Google, Amazon, FaceBook и други корпорации поддържат интернет? Не, те също го чупят.

През 2017 г. в Санкт Петербург на конференцията ENOG13 Джеф Хюстън на APNIC подадено доклад „Смъртта на транзита“. Казва, че сме свикнали взаимодействията, паричните потоци и трафика в интернет да са вертикални. Имаме малки доставчици, които плащат за свързаност с по-големи и те вече плащат за свързаност с глобален транзит.

Сега имаме такава вертикално ориентирана структура. Всичко би било наред, но светът се променя - големите играчи изграждат своите трансокеански кабели, за да изградят свои собствени гръбнаци.

Новини за CDN кабел.

През 2018 г. TeleGeography публикува проучване, според което повече от половината трафик в интернет вече не е интернет, а опорните мрежи CDN на големи играчи. Това е трафик, който е свързан с интернет, но това вече не е мрежата, за която говорихме.

Интернет се разпада на голям набор от слабо свързани мрежи.

Microsoft има своя собствена мрежа, Google има своя собствена и те малко се припокриват помежду си. Трафик, който е възникнал някъде в САЩ, преминава през каналите на Microsoft през океана към Европа някъде на CDN, след което чрез CDN или IX се свързва с вашия доставчик и стига до вашия рутер.

Децентрализацията изчезва.

Тази сила на интернет, която ще му помогне да оцелее при ядрена експлозия, се губи. Появяват се места за концентрация на потребители и трафик. Ако условният Google Cloud падне, ще има много жертви наведнъж. Усетихме това отчасти, когато Roskomnadzor блокира AWS. И примерът на CenturyLink показва, че дори малките неща са достатъчни за това.

Преди това не всичко и не всички се счупиха. В бъдеще може да стигнем до извода, че като повлияем на един основен играч, можем да разбием много неща, много места и много хора.

Държави

Държавите са следващите и това обикновено се случва с тях.

Тук нашият Роскомнадзор изобщо не е пионер. Подобна практика на спиране на интернет има в Иран, Индия и Пакистан. В Англия има законопроект за възможността за спиране на интернет.

Всяка голяма държава иска да получи превключвател за изключване на интернет, напълно или частично: Twitter, Telegram, Facebook. Не че не разбират, че никога няма да успеят, но наистина го искат. Превключвателят обикновено се използва за политически цели - за премахване на политически конкуренти или наближават избори или руски хакери отново са разбили нещо.

DDoS атаки

Няма да отнемам хляб от другарите си от Qrator Labs, те го правят много по-добре от мен. Те имат годишен доклад относно стабилността на интернет. И това пишат в доклада за 2018 г.

Средната продължителност на DDoS атаките пада до 2.5 часа. Нападателите също започват да броят пари и ако ресурсът не е незабавно достъпен, те бързо го оставят сам.

Интензивността на атаките нараства. През 2018 г. видяхме 1.7 Tb/s в мрежата на Akamai и това не е ограничението.

Появяват се нови вектори на атака, а старите се засилват. Появяват се нови протоколи, които са податливи на усилване, и се появяват нови атаки срещу съществуващи протоколи, особено TLS и други подобни.

По-голямата част от трафика е от мобилни устройства. В същото време интернет трафикът се пренасочва към мобилни клиенти. И тези, които атакуват, и тези, които се защитават, трябва да могат да работят с това.

Неуязвим - не. Това е основната идея - няма универсална защита, която със сигурност ще защити срещу всеки DDoS.

Системата не може да бъде инсталирана, освен ако не е свързана към интернет.

Надявам се, че съм те изплашил достатъчно. Нека сега да помислим какво да правим по въпроса.

Какво да правя?!

Ако имате свободно време, желание и познания по английски, вземете участие в работни групи: IETF, RIPE WG. Това са отворени пощенски списъци, абонирайте се за пощенски списъци, участвайте в дискусии, идвайте на конференции. Ако имате LIR статус, можете да гласувате например в RIPE за различни инициативи.

За обикновените смъртни това е мониторинг. Да знам какво е счупено.

Мониторинг: какво да проверя?

Нормален пинг, а не само двоична проверка - работи или не. Запишете RTT в историята, за да можете да разгледате аномалиите по-късно.

Traceroute. Това е помощна програма за определяне на маршрути за данни в TCP/IP мрежи. Помага за идентифициране на аномалии и запушвания.

HTTP проверява за персонализирани URL адреси и TLS сертификати ще помогне за откриване на блокиране или DNS спуфинг за атака, което на практика е едно и също нещо. Блокирането често се извършва чрез подправяне на DNS и чрез пренасочване на трафик към страница-мъник.

Ако е възможно, проверете решението на вашите клиенти за вашия произход от различни места, ако имате приложение. Това ще ви помогне да откриете аномалии при отвличане на DNS, нещо, което доставчиците понякога правят.

Мониторинг: къде да проверя?

Няма универсален отговор. Проверете откъде идва потребителят. Ако потребителите са в Русия, проверете от Русия, но не се ограничавайте до нея. Ако вашите потребители живеят в различни региони, проверете от тези региони. Но по-добре от цял ​​свят.

Мониторинг: какво да проверявам?

Измислих три начина. Ако знаете повече, пишете в коментарите.

• RIPE Atlas.
• Търговски мониторинг.
• Ваша собствена мрежа от виртуални машини.

Нека поговорим за всеки от тях.

RIPE Atlas - това е толкова малка кутия. За тези, които познават домашния "Инспектор" - това е същата кутия, но с различен стикер.

RIPE Atlas е безплатна програма. Регистрираш се, получаваш рутер по пощата и го включваш в мрежата. За факта, че някой друг използва вашата проба, получавате някои кредити. С тези заеми можете сами да направите някои изследвания. Можете да тествате по различни начини: ping, traceroute, проверка на сертификати. Покритието е доста голямо, има много възли. Но има нюанси.

Кредитната система не позволява изграждане на производствени решения. Няма да има достатъчно кредити за текущи изследвания или търговски мониторинг. Кредитите са достатъчни за кратко проучване или еднократна проверка. Дневната норма от една проба се изразходва с 1-2 проверки.

Покритието е неравномерно. Тъй като програмата е безплатна и в двете посоки, покритието е добро в Европа, в европейската част на Русия и някои региони. Но ако имате нужда от Индонезия или Нова Зеландия, тогава всичко е много по-лошо - може да нямате 50 проби на държава.

Не можете да проверите http от проба. Това се дължи на технически нюанси. Обещават да го оправят в новата версия, но засега http не може да се провери. Само сертификатът може да бъде проверен. Някакъв вид http проверка може да се направи само на специално устройство RIPE Atlas, наречено Anchor.

Вторият метод е търговски мониторинг. Всичко е наред с него, плащате пари, нали? Те ви обещават няколко десетки или стотици точки за наблюдение по целия свят и рисуват красиви табла за управление от кутията. Но отново има проблеми.

Платено е, на места е много. Мониторингът на Ping, проверките в цял свят и множеството http проверки могат да струват няколко хиляди долара годишно. Ако финансите позволяват и харесвате това решение, продължете.

Покритието може да не е достатъчно в интересуващия ви регион. Със същия пинг се посочва максимум абстрактна част от света - Азия, Европа, Северна Америка. Редки системи за наблюдение могат да се ориентират към конкретна държава или регион.

Слаба поддръжка за персонализирани тестове. Ако имате нужда от нещо персонализирано, а не просто „къдраво“ на URL адреса, тогава има проблеми и с това.

Третият начин е вашето наблюдение. Това е класика: „Нека напишем наши собствени!“

Вашето наблюдение се превръща в разработка на софтуерен продукт, при това разпределен. Търсите доставчик на инфраструктура, вижте как да го внедрите и наблюдавате - мониторингът трябва да се наблюдава, нали? И поддръжката също е необходима. Помислете десет пъти, преди да се заемете с това. Може да е по-лесно да платите на някого да го направи вместо вас.

Мониторинг на BGP аномалии и DDoS атаки

Тук, въз основа на наличните ресурси, всичко е още по-просто. BGP аномалиите се откриват с помощта на специализирани услуги като QRadar, BGPmon. Те приемат таблица с пълен изглед от множество оператори. Въз основа на това, което виждат от различни оператори, те могат да открият аномалии, да търсят усилватели и т.н. Регистрацията обикновено е безплатна - въвеждате телефонния си номер, абонирате се за известия по имейл и услугата ще ви уведоми за проблемите ви.

Наблюдението на DDoS атаките също е лесно. Обикновено това е Базирани на NetFlow и регистрационни файлове. Има специализирани системи като FastNetMon, модули за Splunk. В краен случай има вашия доставчик на DDoS защита. Може също така да изтече NetFlow и въз основа на него ще ви уведомява за атаки във вашата посока.

Данни

Не си правете илюзии - Интернет със сигурност ще се счупи. Не всичко и не всеки ще се счупи, но 14 хиляди инцидента през 2017 г. намекват, че инциденти ще има.

Вашата задача е да забележите проблемите възможно най-рано. Като минимум, не по-късно от вашия потребител. Не само е важно да се отбележи, винаги дръжте „План Б“ в резерв. Планът е стратегия за това какво ще направите, когато всичко се развали.: резервни оператори, DC, CDN. Планът е отделен контролен списък, спрямо който проверявате работата на всичко. Планът трябва да работи без участието на мрежови инженери, защото обикновено има малко от тях и те искат да спят.

Това е всичко. Пожелавам ви висока наличност и екологичен мониторинг.

Следващата седмица в Новосибирск се очаква слънце, високо натоварване и висока концентрация на разработчици HighLoad++ Сибир 2019. В Сибир се прогнозира фронт от доклади за мониторинг, достъпност и тестване, сигурност и управление. Очакват се валежи под формата на драскани бележки, нетуъркинг, снимки и публикации в социалните мрежи. Препоръчваме да отложите всички дейности на 24 и 25 юни и да резервирате билети. Очакваме ви в Сибир!

Източник: www.habr.com