Разработчиците на платформата за съвместна разработка SourceHut публикуваха доклад за инцидент, при който работата на услугата бе нарушена в продължение на 7 дни поради продължителна DDoS атака, за която инфраструктурата на проекта не бе подготвена. Основните услуги успяха да бъдат възстановени на третия ден, но някои от службите бяха недостъпни от 10 до 17 януари. В началото на атаката разработчиците не успяха да реагират и да се опитат да противодействат на проблема на сървърите си, тъй като целият трафик към сървърите на SourceHut бе напълно блокиран от страна на по-висшия доставчик.
За осигуряване на работата на SourceHut се използваха сървъри в три дата центрове. В първия беше активната конфигурация, вторият се използваше за резервно копие, а третият за експерименти с миграция на инфраструктурата към по-мащабируема и отказоустойчива реализация на услугата (развиваше се вариант на следващо поколение SourceHut).
За разрешаването на достъпа до сървърите в основния дата център след блокирането бяха необходими около 9 часа, но разработчиците не успяха да направят нищо, тъй като сутрин атаката се усили и обхвана цялата подсистема, след което доставчикът отново пренасочи трафика към null интерфейса. Разработчиците бяха принудени спешно да започнат работа по разгръщането на инфраструктурата на SourceHut в друг дата център от резервни копия (временната подсистема за достъп до основните сървъри бе получена едва след 2 дни).
За защита от DDoS атака, осъществявана на мрежово ниво, бе признато за оптимално разполагането на междинен сървър в мрежата на облачния доставчик OVH, предоставящ защита от DDoS. Всички заявки се насочваха към този сървър, а след това се пренасочваха към работещата инфраструктура. По време на миграцията не бе избегнато допускането на грешки, които отнеха допълнително време; например, възстановяването с помощта на утилитата rsync бе изпълнено неправилно, бяха допуснати грешки в настройките на мрежата и се наложи да се решават проблеми с пренасочването на трафика (преди да сработи DDoS защитата в OVH, към работещите сървъри бе директно предаван и трафик от DDoS атаката, на което системата за DDoS защита реагира и разпознаваща сървъра, приемащ заявките, като източник на атаката).
Разработчиците също се обърнаха към Cloudflare и някои други услуги за защита от DDoS, но предложената цена за защита се оказа непосилна. По-късно служителите на Cloudflare успяха да се договорят с ръководството за предоставяне на защита на проекта SourceHut безплатно като спонсорска помощ, но разработчиците на SourceHut отказаха предложението, тъй като до тогава вече бяха напреднали значително в решаването на проблема сами.
Внедряването на новата инфраструктура на SourceHut и преносът на проекта на сървъри в друг датацентър беше планирано да се извърши постепенно в рамките на минимум една година, но при създалите се обстоятелства миграцията трябваше да бъде извършена спешно за 7 дни. В момента всички услуги на SourceHut са пренесени в друг датацентър и работата на платформата е напълно възстановена.
Платформата SourceHut се отличава с уникален интерфейс, различен от този на GitHub и GitLab, но прост, много бърз и работещ без JavaScript. SourceHut предоставя възможности за работа с публични и частни хранилища Git и Mercurial, гъвкава система за управление на достъпа, wiki, прием на съобщения за грешки, вградена инфраструктура за непрекъсната интеграция, чат, дискусии по електронна поща, дървовиден преглед на архиви от имейл разпратки, рецензиране на промени през Web, добавяне на анотации към кода (прикачени линкове и документация). При включени съответни настройки е позволено участието на потребители в разработката без локални акаунти (аутентификация чрез OAuth или участие по имейл). Кодът е написан на езици Python и Go и се разпространява под лицензия GPLv3.
Източник: opennet.ru
