Мені осы постқа шақырды .
Мен оны осында келтіремін:
бүгін 18: 53
Мен бүгін провайдерге риза болдым. Сайтты бұғаттау жүйесін жаңартумен бірге оның mail.ru поштасына да тыйым салынды.Мен таңертеңнен бері техникалық қолдау қызметіне хабарластым, бірақ олар ештеңе істей алмайды. Провайдер кішкентай және оны жоғары дәрежелі провайдерлер бұғаттайды. Мен барлық сайттардың ашылуының баяулауын байқадым, мүмкін олар қандай да бір қисық DLP орнатқан шығар? Бұрын қол жеткізуде проблемалар болған жоқ. RuNet-тің жойылуы менің көз алдымда болып жатыр...
Шындығында, біз бірдей провайдерміз :)
Және шынымен де, Мен mail.ru-дағы проблемалардың себебін болжадым (бірақ біз ұзақ уақыт бойы мұндай нәрсеге сенуден бас тарттық).
Келесі екі бөлікке бөлінеді:
- mail.ru-дағы қазіргі проблемаларымыздың себептері және оларды табудың қызықты ізденісі
- бүгінгі күннің шындығында ISP болуы, егеменді RuNet тұрақтылығы.
mail.ru арқылы қол жетімділік мәселелері
О, бұл өте ұзақ әңгіме.
Мемлекет талаптарын орындау үшін (екінші бөлімде толығырақ) біз кейбір жабдықты сатып алдық, конфигурацияладық және орнаттық - тыйым салынған ресурстарды сүзу үшін де, іске асыру үшін де. жазылушылар.
Біраз уақыт бұрын біз барлық абоненттік трафик осы жабдық арқылы қатаң түрде дұрыс бағытта өтетіндей желі өзегін қайта құрдық.
Бірнеше күн бұрын біз оған тыйым салынған сүзуді қостық (ескі жүйе жұмыс істеп тұрғанда) - бәрі жақсы болған сияқты.
Содан кейін олар абоненттердің әртүрлі бөліктері үшін осы жабдықта NAT-ты біртіндеп қоса бастады. Бір қарағанда, бәрі ойдағыдай көрінді.
Бірақ бүгін абоненттердің келесі бөлігі үшін жабдықта NAT-ты қосқаннан кейін, таңертеңнен бастап біз қолжетімсіздік немесе ішінара қолжетімділік туралы лайықты шағымдарға тап болдық. және басқа Mail Ru Group ресурстары.
Олар тексере бастады: бір жерде бірдеңе кейде, мезгіл-мезгіл жібереді тек mail.ru желілеріндегі сұрауларға жауап ретінде. Сонымен қатар, ол қате жасалған (ACK жоқ), анық жасанды TCP RST жібереді. Мынадай көрінді:
Әрине, алғашқы ойлар жаңа жабдық туралы болды: қорқынышты DPI, оған сенім жоқ, сіз оның не істей алатынын ешқашан білмейсіз - ақыр соңында, TCP RST блоктау құралдарының арасында өте кең таралған нәрсе.
Ұсыну Біз сондай-ақ біреу «жоғары» сүзгіден өтіп жатыр деген идеяны алға тарттық, бірақ оны бірден тастадық.
Біріншіден, бізде бұлай зардап шекпеу үшін жеткілікті ақылға қонымды байланыстар бар :)
Екіншіден, біз бірнешеумен байланыстымыз Мәскеуде және mail.ru-ға трафик олар арқылы өтеді - және олардың трафикті сүзу үшін жауапкершілігі де, басқа мотивтері де жоқ.
Күннің келесі жартысы әдетте шаманизм деп аталатын нәрсеге жұмсалды - жабдық сатушымен бірге біз оларға алғыс айтамыз, олар бас тартқан жоқ :)
- сүзу толығымен өшірілді
- NAT жаңа схема арқылы өшірілді
- сынақ ДК бөлек оқшауланған бассейнге орналастырылды
- IP мекенжайы өзгертілді
Түстен кейін желіге тұрақты пайдаланушы схемасы бойынша қосылған виртуалды машина бөлінді, ал сатушы өкілдеріне оған және жабдыққа қол жеткізуге рұқсат берілді. Шамандық жалғаса берді :)
Ақырында, жеткізушінің өкілі аппараттық құралдың бұған мүлдем қатысы жоқ екенін сенімді түрде айтты: біріншісі жоғарырақ жерден келеді.
ескертуОсы кезде біреу айтуы мүмкін: бірақ қоқысты сынақ компьютерінен емес, DPI үстіндегі тас жолдан алу оңайырақ болды ма?
Жоқ, өкінішке орай, 40+Гбит/с қоқыс алу (тіпті жай ғана шағылыстыру) тривиальды емес.
Осыдан кейін, кешке, жоғарыда бір жерде оғаш фильтрация туралы болжамға оралудан басқа ештеңе қалмады.
Мен MRG желілеріне трафик қай IX арқылы өтіп жатқанын қарап шықтым және оған bgp сеанстарынан бас тарттым. Және - міне, міне! - бәрі бірден қалпына келді 🙁
Бір жағынан, бес минутта шешілсе де, күні бойы мәселені іздеуге кеткені өкінішті.
Басқа жақтан:
— Менің есімде бұл бұрын-соңды болмаған оқиға. Жоғарыда жазғанымдай - IX шынында транзиттік трафикті сүзудің мағынасы жоқ. Олар әдетте секундына жүздеген гигабит/терабитке ие. Мен соңғы уақытқа дейін мұндай нәрсені елестете алмадым.
— жағдайлардың керемет кездейсоқ сәйкестігі: аса сенімді емес және одан не күтуге болатыны белгісіз жаңа күрделі жабдық — TCP RST қоса алғанда, ресурстарды бұғаттау үшін арнайы әзірленген.
Осы интернет-биржаның ҰОК қазіргі уақытта проблеманы іздеуде. Олардың айтуынша (және мен оларға сенемін), оларда арнайы орнатылған сүзу жүйесі жоқ. Бірақ, көкке шүкір, одан әрі ізденіс енді біздің мәселе емес :)
Бұл өзімді ақтау үшін жасалған кішкентай әрекет болды, түсініп, кешіріңіз :)
PS: Мен DPI/NAT немесе IX өндірушісін әдейі атамаймын (шын мәнінде, менде олар туралы арнайы шағымдар да жоқ, бастысы оның не екенін түсіну)
Интернет-провайдер тұрғысынан бүгінгі (сонымен қатар кешегі және кешегі күннің) шындығы
Мен соңғы апталарды желінің өзегін айтарлықтай қайта құруға жұмсадым, тірі пайдаланушы трафигіне айтарлықтай әсер ету қаупі бар «пайда үшін» көптеген манипуляцияларды орындадым. Осының барлығының мақсаттарын, нәтижелерін және салдарын ескерсек, моральдық тұрғыдан бәрі өте қиын. Әсіресе - Рунеттің тұрақтылығын, егемендікті қорғау туралы әдемі сөздерді тағы бір рет тыңдау. және т.б.
Бұл бөлімде мен соңғы он жылдағы әдеттегі Интернет провайдерінің желілік ядросының «эволюциясын» сипаттауға тырысамын.
Он жыл бұрын.
Сол бақытты заманда провайдер желісінің өзегі кептеліс сияқты қарапайым және сенімді болуы мүмкін:
Бұл өте жеңілдетілген суретте магистральдар, сақиналар, ip/mpls маршруттары жоқ.
Оның мәні мынада: пайдаланушы трафигі түптеп келгенде ядро деңгейін ауыстыруға келді - ол қайда барады , қай жерден, әдетте, негізгі коммутацияға оралыңыз, содан кейін «шығыс» - Интернетке бір немесе бірнеше шекаралық шлюз арқылы.
Мұндай схеманы L3 (динамикалық маршруттау) және L2 (MPLS) бойынша резервтеу өте оңай.
Кез келген нәрсенің N+1 нұсқасын орнатуға болады: кіру серверлері, қосқыштар, шекаралар - және оларды автоматты түрде ауыстырып қосу үшін қандай да бір жолмен сақтай аласыз.
Бірнеше жылдан соң Ресейде бұдан былай бұлай өмір сүру мүмкін емес екені белгілі болды: балаларды Интернеттің зиянды әсерінен қорғау өте маңызды болды.
Пайдаланушы трафигін сүзгілеу жолдарын табудың шұғыл қажеттілігі туындады.
Мұнда әртүрлі тәсілдер бар.
Өте жақсы емес жағдайда бірдеңе «саңылауға» қойылады: пайдаланушы трафигі мен Интернет арасында. Осы «бірдеңе» арқылы өтетін трафик талданады және, мысалы, абонентке бағыттау бар жалған пакет жіберіледі.
Сәл жақсырақ жағдайда - егер трафик көлемі рұқсат етілсе - сіз құлағыңызбен кішкене трюк жасай аласыз: тек сүзгілеуді қажет ететін мекенжайларға пайдаланушылардан келетін трафикті ғана сүзуге жіберіңіз (ол үшін IP мекенжайларын алуға болады. тізілімнен сол жерде көрсетілген немесе тізілімдегі бар домендерді қосымша шешіңіз).
Бір кездері осы мақсаттар үшін мен қарапайым жаздым - дегенмен мен оны олай атауға батылым бармайды. Бұл өте қарапайым және өте өнімді емес - дегенмен, ол бізге және ондаған (жүздеген болмаса) басқа провайдерлерге өнеркәсіптік DPI жүйелерінде миллиондаған ақшаны дереу жоймауға мүмкіндік берді, бірақ бірнеше қосымша уақыт берді.
Айтпақшы, сол кездегі және қазіргі DPI туралыАйтпақшы, сол кезде нарықта қол жетімді DPI жүйелерін сатып алғандардың көпшілігі оларды тастап кеткен. Олар бұған арналмаған: жүздеген мың мекенжайлар, ондаған мың URL мекенжайлары.
Сонымен қатар, отандық өндірушілер бұл нарыққа өте күшті көтерілді. Мен аппараттық құрамдас бөлік туралы айтып отырған жоқпын - мұнда бәрі бәріне түсінікті, бірақ бағдарламалық жасақтама - DPI-де бар ең бастысы - мүмкін бүгін, әлемдегі ең озық болмаса, онда, әрине, а) қарқынды дамып келеді, және б) қораптағы өнімнің бағасы бойынша - шетелдік бәсекелестермен салыстыруға келмейді.
Мен мақтанғым келеді, бірақ аздап қайғылы =)
Енді бәрі былай көрінді:
Тағы бір-екі жылдан кейін барлығында аудиторлар болды; Реестрдегі ресурстар көбейіп кетті. Кейбір ескі жабдық үшін (мысалы, Cisco 7600) «бүйірлік сүзгілеу» схемасы жай ғана қолданылмайды: 76 платформадағы маршруттардың саны тоғыз жүз мыңға дейін шектелген, ал тек IPv4 бағыттарының саны бүгінде 800-ге жақындайды. мың. Ал егер ол да ipv6 болса... Және де... қанша тұрады? РКН тыйымында 900000 XNUMX жеке мекенжай? =)
Біреу сүзгі серверіне барлық магистральдық трафикті шағылыстыратын схемаға ауысты, ол бүкіл ағынды талдап, егер бірдеңе нашар болса, RST екі бағытта (жіберуші мен алушы) жіберуі керек.
Дегенмен, трафик неғұрлым көп болса, бұл схема соғұрлым аз қолданылады. Өңдеуде шамалы кідіріс болса, шағылыстырылған трафик байқалмай ұшып кетеді, ал провайдер жақсы есеп алады.
Көбірек провайдерлер магистральдарда әртүрлі сенімділік дәрежесіндегі DPI жүйелерін орнатуға мәжбүр.
Бір-екі жыл бұрын қауесеттерге сәйкес, барлық дерлік ФСБ жабдықты нақты орнатуды талап ете бастады (бұрын провайдерлердің көпшілігі билік органдарының рұқсатымен басқарылатын SORM жоспары - бір жерден бірдеңе табу қажет болған жағдайда жедел шаралар жоспары)
Ақшадан басқа (дәл артық емес, бірақ миллиондаған), SORM желімен көптеген манипуляцияларды қажет етті.
- SORM nat аудармасынан бұрын «сұр» пайдаланушы мекенжайларын көруі керек
- SORM желілік интерфейстердің шектеулі санына ие
Сондықтан, атап айтқанда, бір жерде кіру серверлеріне пайдаланушы трафигін жинау үшін ядроның бір бөлігін қайта құруға тура келді. Оны бірнеше сілтемелері бар SORM-де көрсету үшін.
Яғни, өте жеңілдетілген, ол (сол жақта) және (оң жақта) болды:
Қазір Көптеген провайдерлер сонымен қатар SORM-3 енгізуді талап етеді - ол басқа нәрселермен қатар nat хабарларын тіркеуді қамтиды.
Осы мақсаттар үшін жоғарыдағы диаграммаға NAT үшін бөлек жабдықты қосуға тура келді (дәл бірінші бөлімде талқыланған нәрсе). Сонымен қатар, белгілі бір ретпен қосыңыз: SORM мекенжайларды аудармас бұрын трафикті «көруі» керек болғандықтан, трафик келесідей болуы керек: пайдаланушылар -> коммутация, ядро -> кіру серверлері -> SORM -> NAT -> коммутация, ядро - > Интернет. Мұны істеу үшін біз пайда алу үшін көлік ағынын басқа бағытта «бұруға» тура келді, бұл да өте қиын болды.
Қорытындылай келе: соңғы он жылда орташа провайдердің негізгі дизайны бірнеше есе күрделі болды және қосымша ақаулық нүктелері (жабдық түрінде де, бір коммутациялық желі түрінде де) айтарлықтай өсті. Шын мәнінде, «бәрін көру» талабының өзі осы «бәрін» бір нүктеге дейін қысқартуды білдіреді.
Менің ойымша, бұл Рунетті егемендікке алу, оны қорғау, тұрақтандыру және жақсарту жөніндегі ағымдағы бастамаларға өте ашық түрде экстраполяциялануы мүмкін :)
Ал Яровая әлі алда.
Ақпарат көзі: www.habr.com