Ме поттикна на овој пост .
Го цитирам овде:
денес во 18:53 часот
Бев задоволен од давателот денес. Заедно со ажурирањето на системот за блокирање на страницата, му беше забрането и неговиот mailer mail.ru, од сабајле се јавувам во техничка поддршка, но тие не можат ништо. Провајдерот е мал, а очигледно повисоко рангираните провајдери го блокираат. Забележав и забавување на отворањето на сите сајтови, можеби инсталирале некој криво DLP? Претходно немаше проблеми со пристапот. Уништувањето на РуНет се случува пред моите очи...
Факт е дека се чини дека ние сме истиот провајдер :)
И навистина, Речиси ја погодив причината за проблемите со mail.ru (иако долго време одбивавме да веруваме во такво нешто).
Она што следува ќе биде поделено на два дела:
- причините за нашите сегашни проблеми со mail.ru и возбудливата потрага да ги најдеме
- постоењето на интернет провајдерот во денешната реалност, стабилноста на суверениот RuNet.
Проблеми со пристапноста со mail.ru
О, тоа е доста долга приказна.
Факт е дека за да ги имплементираме барањата на државата (повеќе детали во вториот дел), купивме, конфигуриравме и инсталиравме опрема - и за филтрирање на забранети ресурси и за имплементација претплатници.
Пред извесно време, конечно го обновивме јадрото на мрежата на таков начин што целиот претплатнички сообраќај поминува низ оваа опрема строго во вистинската насока.
Пред неколку дена вклучивме забрането филтрирање на него (додека го оставивме стариот систем да работи) - се чинеше дека сè оди добро.
Следно, тие постепено почнаа да овозможуваат NAT на оваа опрема за различни делови на претплатници. Според изгледот, се чинеше дека сè оди добро.
Но, денес, откако го овозможивме NAT на опремата за следниот дел од претплатниците, уште од утрото се соочивме со пристоен број поплаки за недостапност или делумна достапност и други ресурси на Mail Ru Group.
Почнаа да проверуваат: нешто некаде понекогаш, повремено испраќа како одговор на барањата исклучиво до мрежите mail.ru. Покрај тоа, тој испраќа погрешно генериран (без ACK), очигледно вештачки TCP RST. Вака изгледаше:
Секако, првите размислувања беа за новата опрема: ужасен DPI, без доверба во него, никогаш не знаете што може да направи - на крајот на краиштата, TCP RST е прилично честа работа меѓу алатките за блокирање.
Претпоставка Ние, исто така, ја поставивме идејата дека некој „супериорен“ филтрира, но веднаш ја отфрливме.
Прво, имаме доволно разумни линкови за да не мора да страдаме вака :)
Второ, поврзани сме со неколку во Москва, а сообраќајот до mail.ru оди преку нив - и тие немаат ниту обврски, ниту друг мотив да го филтрираат сообраќајот.
Следната половина од денот беше потрошена на она што обично се нарекува шаманизам - заедно со продавачот на опрема, за што им благодариме, не се откажаа :)
- филтрирањето беше целосно оневозможено
- NAT беше оневозможен со користење на новата шема
- тест компјутерот беше ставен во посебен изолиран базен
- Променет е IP адресирањето
Во попладневните часови беше доделена виртуелна машина која се поврза на мрежата според шемата на редовен корисник, а претставниците на продавачот добија пристап до неа и до опремата. Шаманизмот продолжи :)
На крајот, претставникот на продавачот самоуверено изјави дека хардверот нема апсолутно никаква врска со тоа: првите доаѓаат од некаде повисоко.
Имајте на умВо овој момент, некој може да каже: но беше многу полесно да се земе депонија не од тест компјутерот, туку од автопатот над DPI?
Не, за жал, земање на dump (па дури и само пресликување) 40+gbps не е воопшто тривијално.
После ова, вечерта, не остана ништо друго освен да се вратиме на претпоставката за чудна филтрација некаде погоре.
Гледав низ кој IX сега минува сообраќајот кон мрежите на MRG и едноставно ги откажав сесиите на bgp до него. И - ете и ете! - веднаш се се врати во нормала 🙁
Од една страна, срамота е што цел ден помина во потрага по проблемот, иако тој беше решен за пет минути.
Од друга страна:
- Во моето сеќавање ова е нешто без преседан. Како што веќе напишав погоре - IX навистина нема смисла да се филтрира транзитниот сообраќај. Тие обично имаат стотици гигабити/терабити во секунда. До неодамна не можев сериозно да замислам вакво нешто.
- неверојатно среќна коинциденција на околностите: нов комплексен хардвер на кој не му се верува особено и од кој не е јасно што може да се очекува - специјално прилагоден за блокирање ресурси, вклучително и TCP RST
НОК на оваа интернет берза моментално бара проблем. Според нив (и верувам) немаат никаков специјално распореден систем за филтрирање. Но, фала боже, понатамошната потрага повеќе не е наш проблем :)
Ова беше мал обид да се оправдам, ве молам разберете и простете :)
П.С: Намерно не го именувам производителот на DPI/NAT или IX (всушност, немам никакви посебни поплаки за нив, главната работа е да се разбере што беше тоа)
Денешната (како и вчерашната и завчерашната) реалност од гледна точка на интернет провајдер
Последните недели ги потрошив значително во обнова на јадрото на мрежата, изведувајќи еден куп манипулации „за профит“, со ризик значително да влијае на сообраќајот на живите корисници. Имајќи ги предвид целите, резултатите и последиците од сето ова, морално сето тоа е доста тешко. Особено - уште еднаш слушајќи убави говори за заштита на стабилноста на Рунетот, суверенитетот итн. и така натаму.
Во овој дел, ќе се обидам да ја опишам „еволуцијата“ на мрежното јадро на типичен интернет провајдер во изминатите десет години.
Пред десет години.
Во тие благословени времиња, јадрото на мрежата на добавувачи може да биде едноставно и доверливо како сообраќаен метеж:
Во оваа многу, многу поедноставена слика, нема трупови, прстени, ip/mpls рутирање.
Неговата суштина е дека сообраќајот на корисниците на крајот дојде до префрлување на ниво на јадрото - од каде што отиде до , од каде што, по правило, се враќаме на префрлување на јадрото, а потоа „надвор“ - преку една или повеќе гранични порти на Интернет.
Ваквата шема е многу, многу лесно да се резервира и на L3 (динамично рутирање) и на L2 (MPLS).
Можете да инсталирате N+1 од било што: пристап до сервери, прекинувачи, граници - и на еден или друг начин да ги резервирате за автоматско откажување.
После неколку години На сите во Русија им стана јасно дека е невозможно повеќе да се живее вака: итно е да се заштитат децата од погубното влијание на Интернет.
Имаше итна потреба да се најдат начини за филтрирање на корисничкиот сообраќај.
Тука има различни пристапи.
Во не многу добар случај, нешто е ставено „во јазот“: помеѓу корисничкиот сообраќај и Интернетот. Сообраќајот што минува низ ова „нешто“ се анализира и, на пример, лажен пакет со пренасочување се испраќа кон претплатникот.
Во малку подобар случај - ако обемот на сообраќај дозволува - можете да направите мал трик со вашите уши: испратете за филтрирање само сообраќај што потекнува од корисници само до оние адреси што треба да се филтрираат (за да го направите ова, можете или да ги земете IP-адресите наведени таму од регистарот, или дополнително решете ги постоечките домени во регистарот).
Едно време, за овие цели, напишав едноставна - иако не се ни осмелувам да го наречам така. Тој е многу едноставен и не многу продуктивен - сепак, ни овозможи нам и на десетици (ако не и стотици) други провајдери веднаш да не плаќаме милиони за индустриските DPI системи, туку даде неколку дополнителни години време.
Патем, за тогашниот и сегашниот DPIПатем, многумина што ги купија DPI системите достапни на пазарот во тоа време веќе ги фрлија. Па, тие не се дизајнирани за ова: стотици илјади адреси, десетици илјади URL-адреси.
И во исто време, домашните производители многу силно се искачија на овој пазар. Не зборувам за хардверската компонента - овде сè е јасно на сите, но софтверот - главната работа што ја има DPI - можеби денес, ако не и најнапредната во светот, тогаш секако а) се развива со скокови и граници, и б) по цена на кутии производ - едноставно неспоредлива со странските конкуренти.
Би сакал да бидам горд, но малку тажен =)
Сега сè изгледаше вака:
За уште неколку години сите веќе имаа ревизори; Имаше се повеќе ресурси во регистарот. За некоја постара опрема (на пример, Cisco 7600), шемата за „странично филтрирање“ едноставно стана неприменлива: бројот на маршрути на 76 платформи е ограничен на нешто околу деветстотини илјади, додека бројот на рути само IPv4 денес се приближува до 800. илјада. А ако е и ipv6... А исто така... колку има? 900000 индивидуални адреси во забраната за РКН? =)
Некој се префрли на шема со пресликување на целиот сообраќај на 'рбетот на сервер за филтрирање, кој треба да го анализира целиот тек и, ако се најде нешто лошо, да испрати RST во двете насоки (испраќач и примач).
Меѓутоа, колку повеќе сообраќај, толку помалку е применлива оваа шема. Ако има најмало доцнење во обработката, рефлектираниот сообраќај едноставно ќе лета незабележано, а давателот ќе добие паричен извештај.
Сè повеќе провајдери се принудени да инсталираат DPI системи со различен степен на доверливост низ автопатиштата.
Пред година или две според гласините, скоро цела ФСБ почна да бара вистинска инсталација на опрема (претходно, повеќето провајдери управуваа со одобрение од властите SORM план - план на оперативни мерки во случај на потреба да се најде нешто некаде)
Покрај парите (не баш претерани, но сепак милиони), СОРМ бараше уште многу манипулации со мрежата.
- SORM треба да ги види „сивите“ кориснички адреси пред nat преводот
- SORM има ограничен број мрежни интерфејси
Затоа, особено, моравме во голема мера да обновиме дел од кернелот - едноставно со цел да го собереме корисничкиот сообраќај до серверите за пристап некаде на едно место. За да се преслика во СОРМ со неколку линкови.
Тоа е, многу поедноставено, беше (лево) наспроти стана (десно):
Сега Повеќето провајдери, исто така, бараат имплементација на SORM-3 - што вклучува, меѓу другото, евиденција на nat емитувања.
За овие цели, моравме да додадеме посебна опрема за NAT на дијаграмот погоре (точно она што е дискутирано во првиот дел). Освен тоа, додајте по одреден редослед: бидејќи SORM мора да го „види“ сообраќајот пред да преведува адреси, сообраќајот мора да оди строго на следниов начин: корисници -> префрлување, кернел -> сервери за пристап -> SORM -> NAT -> префрлување, кернел - > Интернет. За да го направиме ова, моравме буквално да ги „свртиме“ сообраќајните текови во друга насока заради профит, што исто така беше доста тешко.
Накратко: во текот на изминатите десет години, дизајнот на јадрото на просечниот провајдер стана многу пати покомплексен, а дополнителните точки на неуспех (и во форма на опрема и во форма на единечни прекинувачки линии) значително се зголемија. Всушност, самото барање да се „види сè“ подразбира намалување на ова „сè“ на една точка.
Мислам дека ова може да биде прилично транспарентно екстраполирано на тековните иницијативи за суверенизирање на Рунет, заштита, стабилизирање и подобрување :)
А Јароваја е уште напред.
Извор: www.habr.com