Компания Cloudflare, мрежа за доставки на съдържание за 27 милиона уебсайта и обслужваща трафик 13% от 1000-те най-големи сайта, подробности за инцидента, в резултат на който за 27 минути беше нарушена работата на много сегменти от мрежата на Cloudflare, включително тези, отговорни за доставката на трафик до Лондон, Чикаго, Лос Анджелис, Вашингтон, Амстердам, Париж, Москва и Санкт Петербург. Проблемът беше предизвикан от неправилно изменение на конфигурацията на маршрутизатор в Атланта. По време на инцидента, който се състоял на 17 юли от 21:12 до 21:39 (UTC), общият обем на трафика в мрежата на Cloudflare намаля с приблизително 50%.
В процеса на технически работи, с желанието да се облекчи част от трафика от един от бекбоновете, инженерите изтриха един ред в блока с настройки, определящ списъка с маршрути, приемани през бекбона, който се филтрува в съответствие с посочения списък от префикси. Правилното действие би било да се деактивира целият блок, но по погрешка бе изтрит само редът със списъка на префиксите.
{master}[edit]
atl01# show | compare
[edit policy-options policy-statement 6-BBONE-OUT term 6-SITE-LOCAL from]
! inactive: prefix-list 6-SITE-LOCAL { … }
Съдържанието на блока:
from {
prefix-list 6-SITE-LOCAL;
}
then {
local-preference 200;
community add SITE-LOCAL-ROUTE;
community add ATL01;
community add NORTH-AMERICA;
accept;
}
Заради изтриването на привързаността към списъка с префикси, оставащата част от блока започна да се разпространява на всички префикси, а маршрутизаторът започна да разпространява всички свои BGP маршрути към маршрутизаторите на другите бекбонове. Поради обстоятелства, новите маршрути имаха по-висок приоритет (local-preference 200) в сравнение с приоритета (100), зададен на другите маршрути от автоматичната система за оптимизация на трафика. В резултат вместо да се премахне маршрутизацията с бекбона, настъпи изтичане на по приоритетни BGP маршрути, в резултат на което трафикът, насочен към другите бекбонове, беше насочен към Атланта, което доведе до пренаселеност на маршрутизатора и колапс на част от мрежата.
За да предотвратим възникването на подобни инциденти в бъдеще, в понеделник ще бъдат направени няколко промени в настройките на бэкбоновете на Cloudflare. За BGP сесиите ще бъде добавено ограничение за максималния брой префикси (maximum-prefix), което ще блокира проблемния бэкбон в случай на насочване през него на твърде много префикси. Ако това ограничение беше добавено по-рано, разглежданата ситуация щеше да доведе до изключване на бэкбона в Атланта, но нямаше да се отрази на работата на цялата мрежа, тъй като мрежата на Cloudflare е проектирана да понесе повреди на индивидуални бэкбонове. От вече приетите промени се отбелязва преразглеждане на приоритетите (local-preference) за локалните маршрути, което няма да позволи на един маршрутизатор да влияе на трафика в други части на мрежата.
Източник: opennet.ru
