2019 жылғы жаздың бірінші айының соңы мен екінші айының басы қиын болды және жаһандық IT қызметтерінің бірнеше негізгі құлдырауымен белгіленді. Атақтылардың арасында: CloudFlare инфрақұрылымындағы екі ауыр оқиға (біріншісі - АҚШ-тың кейбір Интернет-провайдерлері тарапынан BGP-ге немқұрайлы қарау және қолдың қисық болуы; екіншісі - CF-ті пайдаланатындардың барлығына әсер еткен CF-нің қисық орналасуы. , және бұл көптеген көрнекті қызметтер) және Facebook CDN инфрақұрылымының тұрақсыз жұмысы (барлық FB өнімдеріне, соның ішінде Instagram және WhatsApp-қа әсер етті). Біздің үзіліс жаһандық фонға қарағанда әлдеқайда аз байқалса да, біз таратуға араласуға тура келді. Біреу қазірдің өзінде қара тікұшақтарды және «егеменді» қастандықтарды сүйре бастады, сондықтан біз оқиғамызды жария етеміз.
03.07.2019, 16: 05
Ішкі желі қосылымының бұзылуына ұқсас ресурстарға қатысты мәселелер жазыла бастады. Барлығын толық тексермей, олар DataLine-ге қатысты сыртқы арнаның өнімділігін кеміте бастады, өйткені мәселе ішкі желінің Интернетке (NAT) қол жеткізуінде, BGP сеансын DataLine-ге қоюға дейін екені белгілі болды.
03.07.2019, 16: 35
Желілік мекенжайды аударуды және сайттың жергілікті желісінен Интернетке (NAT) кіруді қамтамасыз ететін жабдықтың істен шыққаны белгілі болды. Жабдықты қайта жүктеу әрекеттері ештеңеге әкелмеді, қосылымды ұйымдастырудың балама нұсқаларын іздеу техникалық қолдаудан жауап алмас бұрын басталды, өйткені тәжірибеден бұл көмектеспес еді.
Бұл жабдықтың клиент VPN қызметкерлерінің кіріс қосылымдарын да тоқтатқаны, ал қашықтан қалпына келтіру жұмыстарын жүргізу қиындай түскені мәселе біршама қиындады.
03.07.2019, 16: 40
Біз бұрын жақсы жұмыс істеген бұрыннан бар сақтық көшірме NAT схемасын қалпына келтіруге тырыстық. Бірақ бірқатар желіні қайта жаңарту бұл схеманы толығымен дерлік жарамсыз ететіні белгілі болды, өйткені оны қалпына келтіру, ең жақсы жағдайда, жұмыс істемеуі мүмкін немесе, ең нашар жағдайда, жұмыс істеп тұрған нәрсені бұзуы мүмкін.
Біз трафикті магистральдық жүйеге қызмет көрсететін жаңа маршрутизаторлар жинағына ауыстыру бойынша бірнеше идеялармен жұмыс істей бастадық, бірақ олар негізгі желідегі маршруттарды бөлу ерекшеліктеріне байланысты іске аспайтын болып көрінді.
03.07.2019, 17: 05
Сонымен қатар атау серверлеріндегі атауларды шешу механизмінде ақаулық анықталды, бұл қолданбалардағы соңғы нүктелерді шешуде қателерге әкелді және олар маңызды қызметтер жазбаларымен хост файлдарын жылдам толтыра бастады.
03.07.2019, 17: 27
Хабрдың шектеулі функциялары қалпына келтірілді.
03.07.2019, 17: 43
Бірақ соңында шекаралық маршрутизаторлардың бірі арқылы трафикті ұйымдастырудың салыстырмалы түрде қауіпсіз шешімі табылды, ол тез орнатылды. Интернетке қосылу қалпына келтірілді.
Келесі бірнеше минут ішінде мониторинг жүйелерінен бақылау агенттерінің функционалдығын қалпына келтіру туралы көптеген хабарламалар келді, бірақ атау серверлеріндегі (dns) атауларды шешу механизмі бұзылғандықтан, кейбір қызметтер жұмыс істемейтін болып шықты.
03.07.2019, 17: 52
NS қайта іске қосылды және кэш тазартылды. Шешім қалпына келтірілді.
03.07.2019, 17: 55
MK, Freelansim және Toaster-тен басқа барлық қызметтер жұмыс істей бастады.
03.07.2019, 18: 02
МК және Фрилансим жұмыс істей бастады.
03.07.2019, 18: 07
DataLine көмегімен кінәсіз BGP сеансын қайтарыңыз.
03.07.2019, 18: 25
Олар NAT пулының сыртқы мекенжайының өзгеруіне және оның бірқатар қызметтердің акл-да болмауына байланысты ресурстарға қатысты проблемаларды жаза бастады, ол жедел түрде түзетілді. Тостер бірден жұмыс істей бастады.
03.07.2019, 20: 30
Біз Telegram боттарына қатысты қателерді байқадық. Олар дереу түзетілген бірнеше acl (прокси-сервер) сыртқы мекенжайды тіркеуді ұмытып кеткені анықталды.
қорытындылар
- Бұған дейін оның жарамдылығына күмән келтірген техника істен шықты. Оны жұмыстан шығару жоспарлары болды, өйткені ол желінің дамуына кедергі келтірді және үйлесімділік мәселелері болды, бірақ сонымен бірге ол маңызды функцияны орындады, сондықтан кез келген ауыстыру қызметтерді тоқтатпай техникалық қиын болды. Енді сіз ары қарай жүре аласыз.
- DNS мәселесін оларды NAT желісінен тыс жаңа магистральдық желіге жақындату арқылы болдырмауға болады және әлі де аудармасыз сұр желіге толық қосылу мүмкіндігі бар (бұл оқиғаға дейін жоспар болған).
- RDBMS кластерлерін құрастыру кезінде домен атауларын пайдаланбау керек, өйткені IP мекенжайын мөлдір өзгерту ыңғайлылығы аса қажет емес, өйткені мұндай манипуляциялар әлі де кластерді қайта құруды қажет етеді. Бұл шешім тарихи себептермен және, ең алдымен, RDBMS конфигурацияларындағы атау бойынша соңғы нүктелердің айқындығымен байланысты болды. Жалпы, классикалық тұзақ.
- Негізінде, «Рунеттің егемендігімен» салыстыруға болатын жаттығулар жүргізілді, автономды өмір сүру мүмкіндіктерін күшейту туралы ойланатын нәрсе бар;
Ақпарат көзі: www.habr.com