Грешка в конфигурацията на BGP причинява срив на Cloudflare за 27 минути

Компания Cloudflare, осигуряване мрежа за доставка на съдържание за 27 милиона интернет ресурси и обслужваща трафика на 13% от 1000-те най-големи сайта, непокрити подробности за инцидента, в резултат на който работата на много сегменти от мрежата Cloudflare беше прекъсната за 27 минути, включително тези, отговорни за доставянето на трафик до Лондон, Чикаго, Лос Анджелис, Вашингтон, Амстердам, Париж, Москва и Санкт Петербург . Проблемът е причинен от неправилна промяна на конфигурацията на рутера Atlanta. По време на инцидента, който се случи на 17 юли от 21:12 до 21:39 (UTC), общият обем на трафика в мрежата Cloudflare намаля с приблизително 50%.

По време на техническата работа, искайки да премахнат част от трафика от една от опорните мрежи, инженерите изтриха един ред в блока за настройки, който определя списъка с маршрути, приети през опорната мрежа, филтрирани в съответствие с посочения списък с префикси. Би било правилно да деактивирате целия блок, но по погрешка беше изтрит само редът със списъка с префикси.

{главен [редактиране] atl01# показване | сравнявам
[редактиране на политика-опции политика-изявление 6-BBONE-OUT термин 6-SITE-LOCAL от] ! неактивен: префикс-списък 6-SITE-LOCAL { … }

Блокиране на съдържание:

от {
префикс-списък 6-SITE-LOCAL;
}
тогава {
локално предпочитание 200;
общност добави SITE-LOCAL-ROUTE;
добавяне на общността ATL01;
общност добави СЕВЕРНА АМЕРИКА;
приемам;
}

Поради премахването на обвързването към списъка с префикси, останалата част от блока започна да се разпределя към всички префикси и рутерът започна да изпраща всички свои BGP маршрути към рутери на други опорни мрежи. По стечение на обстоятелствата новите маршрути са с по-висок приоритет (local-preference 200) в сравнение с приоритета (100), зададен за други маршрути от системата за автоматично оптимизиране на трафика. В резултат на това, вместо да се премахне маршрутизирането от гръбнака, бяха изтекли BGP маршрути с по-висок приоритет, в резултат на което трафикът, адресиран до други гръбнаци, беше изпратен към Атланта, което доведе до претоварване на рутера и срив на част от мрежата.

За да се предотврати възникването на подобни инциденти в бъдеще, в понеделник се планира да бъдат направени няколко промени в основните настройки на Cloudflare. Ще бъде добавено ограничение за максималния брой префикси (maximum-prefix) за BGP сесии, което ще блокира проблемна опорна мрежа, ако през нея се насочат твърде много префикси. Ако това ограничение беше добавено по-рано, въпросният проблем щеше да доведе до спиране на гръбнака в Атланта, но нямаше да повлияе на работата на цялата мрежа, тъй като мрежата Cloudflare е проектирана да позволява отделни гръбнаци да се провалят. Сред вече приетите промени се отбелязва преразглеждане на приоритетите (локални предпочитания) за локални маршрути, което няма да позволи на един рутер да влияе на трафика в други части на мрежата.

Източник: opennet.ru