Vývojáři platformy pro spolupráci SourceHut zveřejnili zprávu o incidentu, který narušil provoz služby po dobu 7 dnů v důsledku dlouhé DDoS útoku, pro který nebyla infrastruktura projektu připravena. Základní služby se podařilo obnovit třetí den, ale některé služby byly nedostupné od 10. do 17. ledna. V počáteční fázi útoku se vývojáři nestačili reagovat a pokusit se čelit problému na straně svých serverů, protože veškerý provoz na servery SourceHut byl úplně zablokován na straně nadřazeného poskytovatele.
Pro zajištění provozu SourceHut byly použity servery ve třech datových centrech. V prvním byla provozována pracovní konfigurace, druhé bylo používáno pro zálohování a třetí sloužilo k experimentům se migrací infrastruktury na více škálovatelnou a odolnou implementaci služby (vyvinula se varianta SourceHut další generace).
Na vyřešení otázky poskytování přístupu k vlastním serverům v hlavním datovém centru po zablokování potřebovali přibližně 9 hodin, ale vývojáři nestihli nic udělat, protože ráno útok zesílil a začal pokrývat celou podsíť, po čemž poskytovatel opět přesměroval provoz do null rozhraní. Vývojáři byli nuceni urgentně zahájit práci na nasazení infrastruktury SourceHut v jiném datovém centru z záloh (dočasnou podsíť pro přístup k hlavním serverům se podařilo získat až po 2 dnech).
Pro ochranu před DDoS útokem prováděným na síťové úrovni bylo uznáno jako optimální umístění mezivrstvy serveru v síti cloudového poskytovatele OVH, který poskytuje ochranu proti DDoS. Veškeré požadavky byly směrovány na tento server a poté byly předávány do pracovní infrastruktury. Během migrace se nedalo vyhnout chybám, které vzaly čas navíc, například nevhodně bylo provedeno obnovení pomocí utilitě rsync, došlo k chybám v nastavení sítě a bylo nutné řešit problémy s přesměrováním provozu (než se ochrana DDoS v OVH projevila, na pracovní servery byl směrován i provoz DDoS útoku, na což ochranný systém DDoS reagoval a identifikoval server přijímající požadavky jako zdroj útoku).
Vývojáři se také obrátili na Cloudflare a několik dalších služeb pro ochranu proti DDoS, ale navrhovaná cena ochrany byla nepřiměřeně vysoká. Později se zaměstnancům Cloudflare podařilo domluvit se s vedením, aby ochránili projekt SourceHut zdarma jako sponzorskou pomoc, ale vývojáři SourceHut nabídku odmítli, protože do té doby už podstatně pokročili v řešení problému vlastními silami.
Zavedení nové infrastruktury SourceHut a přesun projektu na servery v jiném datacentru se plánovalo postupně během minimálně jednoho roku, ale v současných okolnostech bylo nutné migraci provést urgentně během 7 dní. V současnosti byly všechny služby SourceHut přesunuty do jiného datacentra a provoz platformy byl plně obnoven.
Platforma SourceHut se vyznačuje originálním rozhraním, které není podobné GitHubu a GitLabu, ale je jednoduché, velmi rychlé a funguje bez JavaScriptu. SourceHut nabízí možnosti práce s veřejnými a soukromými repozitáři Git a Mercurial, flexibilní systém správy přístupu, wiki, příjem zpráv o chybách, integrovanou infrastrukturu pro kontinuální integraci, chat, diskuse na základě emailů, stromový přehled archivů emailových zpráv, revizi změn přes web, přidávání anotací kódu (připojování odkazů a dokumentace). Při aktivaci příslušných nastavení je povolena účast na vývoji uživatelů bez místních účtů (autentizace přes OAuth nebo účast přes email). Kód je napsán v jazycích Python a Go a je distribuován pod licencí GPLv3.
Zdroj: opennet.ru
