Разработчиците на платформата за сътрудничество SourceHut публикуваха доклад за инцидента, който наруши работата на услугата в продължение на 7 дни заради продължителна DDoS атака, за която инфраструктурата на проекта не беше подготвена. Основните услуги бяха възстановени на третия ден, но някои услуги останаха недостъпни от 10 до 17 януари. В началото на атаката разработчиците не успяха да реагират и да се опитат да се справят с проблема на своите сървъри, тъй като целият трафик към сървърите на SourceHut беше напълно блокиран от по-висшия доставчик.
За осигуряване на функционирането на SourceHut се използваха сървъри в три дата центра. В първия се изпълняваше работна конфигурация, вторият се използваше за резервни копия, а третият служеше за експерименти с миграцията на инфраструктурата към по-мащабируема и отказоустойчива реализация на услугата (разработваше се вариант на SourceHut от следващо поколение).
За разрешаване на въпроса за предоставяне на достъп до своите сървъри в основния дата център след блокадата бяха необходими около 9 часа, но разработчиците не успяха да направят нищо, тъй като атаката се засили сутринта и започна да обхваща цялата подсет, след което доставчикът отново премаршрутизира трафика към null интерфейс. Разработчиците бяха принудени спешно да започнат работа по разгръщането на инфраструктурата на SourceHut в друг дата център от резервни копия (временна подсет за достъп до основните сървъри успяха да получат едва след 2 дни).
За защита от DDoS атака, осъществявана на мрежово ниво, беше признато за оптимално разполагането на междинен сървър в мрежата на облачния провайдер OVH, който предлага защита от DDoS. Всички искания бяха насочени към този сървър и след това бяха пренасочени в работната инфраструктура. По време на миграцията не успяхме да избегнем грешки, които отнеха допълнително време, например, възстановяването с помощта на утилитата rsync беше извършено неправилно, бяха допуснати грешки в мрежовите настройки и се наложи да се решават проблеми с пренасочването на трафика (преди защитата от DDoS в OVH да сработи, на работните сървъри се пренасочваше и трафик на DDoS-атака, на което системата за защита от DDoS реагира и разпознаваше приемащия заявки сървър като източник на атаката).
Разработчиците също се обърнаха с искане към Cloudflare и някои други услуги за защита от DDoS, но предложената цена за защита се оказа непосилно висока. По-късно служителите на Cloudflare успяха да се договорят с ръководството за предоставяне на защита на проекта SourceHut безплатно в качеството на спонсорска помощ, но разработчиците на SourceHut отказаха предложението, тъй като до този момент вече бяха напреднали значително в решаването на проблема сами.
Планираше се новата инфраструктура на SourceHut да бъде внедрена и проектът да бъде преместен на сървъри в друг дата център постепенно в течение на поне една година, но при съществуващите обстоятелства миграцията трябваше да се извърши спешно в течение на 7 дни. В момента всички услуги на SourceHut са пренесени в друг дата център и работата на платформата е напълно възстановена.
Платформата SourceHut се отличава с уникален интерфейс, който не прилича на GitHub и GitLab, но е прост, много бърз и работещ без JavaScript. SourceHut предоставя възможности като работа с публични и частни хранилища Git и Mercurial, гъвкава система за управление на достъпа, wiki, прием на съобщения за грешки, вградена инфраструктура за непрекъсната интеграция, чат, обсъждания по имейл, дървовиден преглед на архиви на имейл разпространения, рецензиране на промени чрез уеб, добавяне на анотации към кода (прилагане на линкове и документация). При активиране на съответните настройки е допустимо участие в разработката на потребители без локални учетни записи (автентикация чрез OAuth или участие по имейл). Кодът е написан на езици Python и Go и се разпространява под лиценза GPLv3.
Източник: opennet.ru
