Cloudflare Şirketi, 27 milyon İnternet kaynağı için içerik dağıtım ağı ve en büyük 13 sitenin %1000'ünün trafiğine hizmet veren, Londra, Chicago, Los Angeles, Washington, Amsterdam, Paris, Moskova ve St. Petersburg'a trafik sağlamaktan sorumlu olanlar da dahil olmak üzere Cloudflare ağının birçok bölümünün çalışmasının 27 dakika boyunca kesintiye uğraması sonucu olayın ayrıntıları . Sorun, Atlanta yönlendiricisindeki yanlış yapılandırma değişikliğinden kaynaklandı. 17 Temmuz'da 21:12 - 21:39 (UTC) arasında meydana gelen olay sırasında Cloudflare ağındaki toplam trafik hacmi yaklaşık %50 azaldı.
Teknik çalışma sırasında, trafiğin bir kısmını omurgalardan birinden çıkarmak isteyen mühendisler, ayarlar bloğunda, omurga üzerinden kabul edilen rotaların listesini tanımlayan, belirtilen önek listesine göre filtrelenen bir satırı sildi. Tüm bloğu devre dışı bırakmak doğru olurdu, ancak yanlışlıkla yalnızca önek listesinin bulunduğu satır silindi.
{master}[edit]
atl01# göster | karşılaştır
[edit policy-options policy-statement 6-BBONE-OUT term 6-SITE-LOCAL from]
! etkin değil: önek listesi 6-SITE-LOCAL { … }
İçeriği engelle:
itibaren {
önek listesi 6-SİTE-YEREL;
}
sonra {
yerel tercih 200;
topluluk SİTE-YEREL-ROTA'yı ekleyin;
topluluk ATL01'i ekleyin;
topluluk KUZEY AMERİKA'yı ekleyin;
kabul;
}
Önekler listesine bağlanmanın kaldırılması nedeniyle bloğun kalan kısmı tüm öneklere dağıtılmaya başlandı ve yönlendirici tüm BGP rotalarını diğer omurgaların yönlendiricilerine göndermeye başladı. Tesadüf eseri, yeni rotalar, otomatik trafik optimizasyon sistemi tarafından diğer rotalar için belirlenen önceliğe (200) kıyasla daha yüksek bir önceliğe (yerel tercih 100) sahipti. Sonuç olarak, omurgadan yönlendirmeyi kaldırmak yerine, daha yüksek öncelikli BGP rotaları sızdırıldı ve bunun sonucunda diğer omurgalara gönderilen trafik Atlanta'ya gönderildi, bu da yönlendiricinin aşırı yüklenmesine ve ağın bir kısmının çökmesine neden oldu.
Gelecekte benzer olayların yaşanmaması adına Pazartesi günü Cloudflare'in omurga ayarlarında çeşitli değişikliklerin yapılması planlanıyor. BGP oturumları için maksimum önek sayısına (maksimum önek) bir sınır eklenecektir; bu, üzerinden çok fazla önek yönlendirilirse sorunlu bir omurgayı engelleyecektir. Eğer bu kısıtlama daha önce eklenseydi, söz konusu sorun Atlanta'daki omurganın kapanmasına neden olacaktı ancak Cloudflare ağı bireysel omurgaların arızalanmasına izin verecek şekilde tasarlandığından tüm ağın çalışmasını etkilemeyecekti. Halihazırda kabul edilen değişiklikler arasında, bir yönlendiricinin ağın diğer bölümlerindeki trafiği etkilemesine izin vermeyecek şekilde, yerel rotalar için önceliklerin (yerel tercih) revizyonu belirtilmiştir.
Kaynak: opennet.ru
