Razvijalci sodelovalne razvojne platforme SourceHut so objavili poročilo o incidentu, zaradi katerega je bila storitev za 7 dni motena zaradi dolgotrajnega DDoS napada, na katerega infrastruktura projekta ni bila pripravljena. Osnovne storitve so bile vzpostavljene tretji dan, nekatere storitve pa niso bile na voljo od 10. do 17. januarja. Na začetni stopnji napada razvijalci niso imeli časa, da bi se odzvali in poskušali odpraviti težavo na strani svojih strežnikov, zato je bil ves promet do strežnikov SourceHut popolnoma blokiran na strani zgornjega ponudnika.
SourceHut je poganjal: strežniki v treh podatkovnih centrih. Prvi je bil uporabljen za konfiguracijo produkcije, drugi za varnostne kopije in tretji za poskuse migracije infrastrukture v bolj skalabilno in na napake odporno izvedbo storitve (razvoj različice SourceHut naslednje generacije).
Rešitev težave z zagotavljanjem dostopa do njihovih strežnikov v glavnem podatkovnem centru po blokadi je trajala približno 9 ur, vendar razvijalci niso imeli časa storiti ničesar, saj se je zjutraj napad okrepil in začel pokrivati celotno podomrežje, nakar je ponudnik ponovno preusmeril promet na ničelni vmesnik. Razvijalci so bili prisiljeni nujno začeti z delom na uvedbi infrastrukture SourceHut v drugem podatkovnem centru iz varnostnih kopij (začasno podomrežje za dostop do glavnih strežnikov je bilo pridobljeno šele po 2 dneh).
Za zaščito pred napadi DDoS, izvedenimi na omrežni ravni, je bila postavitev vmesne plasti ocenjena kot optimalna. strežnika V omrežju ponudnika storitev v oblaku OVH, ki zagotavlja zaščito pred DDoS. Vse zahteve so bile usmerjene na ta strežnik in nato posredovane produkcijski infrastrukturi. Med migracijo so bile napake neizogibne, kar je vzelo dodaten čas. Na primer, izvedena je bila napačna obnovitev rsync, nastale so napake v konfiguraciji omrežja in reševanje težav s preusmeritvijo prometa (preden je bila aktivirana zaščita pred DDoS OVH, je bil promet napadov DDoS posredovan tudi produkcijskim strežnikom, na kar se je odzval sistem zaščite pred DDoS in strežnik, ki je prejemal zahteve, prepoznal kot vir napada).
Razvijalci so se obrnili tudi na Cloudflare in nekatere druge storitve za zaščito pred napadi DDoS, vendar so bili stroški zaščite previsoki. Kasneje so se zaposleni v Cloudflare lahko pogajali z vodstvom, da brezplačno zagotovijo zaščito projekta SourceHut kot sponzorstvo, vendar so razvijalci SourceHut ponudbo zavrnili, saj so do takrat že dosegli velik napredek pri reševanju problema sami.
Načrtovana je bila postopna implementacija nove infrastrukture SourceHut in prenos projekta na strežnike v drugem podatkovnem centru v vsaj enem letu, vendar je bilo treba v trenutnih okoliščinah migracijo izvesti nujno v 7 dneh. Trenutno so vse storitve SourceHut prenesene v drug podatkovni center in platforma je v celoti obnovljena.
Platforma SourceHut ima značilen vmesnik, ki ni podoben GitHubu in GitLabu, ampak preprost, zelo hiter in deluje brez JavaScripta. SourceHut ponuja funkcije, kot so delo z javnimi in zasebnimi repozitoriji Git in Mercurial, prilagodljiv sistem za nadzor dostopa, wiki, prejemanje sporočil o napakah, vgrajena infrastruktura za neprekinjeno integracijo, klepet, razprave po e-pošti, drevesni pogled poštnih arhivov, pregled sprememb prek spletu, dodajanje opomb kodi (pripenjanje povezav in dokumentacije). Ko so omogočene ustrezne nastavitve, lahko uporabniki brez lokalnih računov sodelujejo pri razvoju (preverjanje pristnosti prek OAuth ali sodelovanje prek e-pošte). Koda je napisana v Python in Go ter se distribuira pod licenco GPLv3.
Vir: opennet.ru
