De ontwikkelaars van het samenwerkingsplatform SourceHut hebben een rapport gepubliceerd over een incident waarbij de werking van de service zeven dagen verstoord was door een langdurige DDoS-aanval, waarvoor de infrastructuur van het project niet voorbereid was. De basisdiensten konden op de derde dag worden hersteld, maar sommige services waren van 10 tot 17 januari niet toegankelijk. In de beginfase van de aanval konden de ontwikkelaars niet snel genoeg reageren en de problemen aan de servers van hun kant tegenwerken, aangezien al het verkeer naar de servers van SourceHut volledig werd geblokkeerd door de bovenliggende provider.
Voor de werking van SourceHut werden gebruikt servers in drie datacenters. In het eerste datacenter draait de operationele configuratie, het tweede werd gebruikt voor back-ups, en het derde was bestemd voor experimenten met de migratie van de infrastructuur naar een meer schaalbare en fouttolerante implementatie van de service (de ontwikkeling van de volgende generatie SourceHut).
Het oplossen van de kwestie van de toegang tot hun servers in het belangrijkste datacenter na de blokkade duurde ongeveer 9 uur, maar de ontwikkelaars hadden niet genoeg tijd om iets te doen, aangezien de aanval 's ochtends verergerde en heel het subnet bereikte, waarna de provider het verkeer opnieuw naar een null-interface omleidde. De ontwikkelaars waren gedwongen om urgent te werken aan het uitrollen van de SourceHut-infrastructuur in een ander datacenter vanuit back-ups (het was pas na 2 dagen mogelijk om toegang te krijgen tot een tijdelijke subnet voor de hoofdservers).
Om zich te beschermen tegen DDoS-aanvallen op netwerkniveau, werd het optimaal geacht om een tussenstation de server in het netwerk van de cloudprovider OVH te plaatsen, die bescherming tegen DDoS biedt. Alle verzoeken werden naar deze server gestuurd en vervolgens doorgegeven aan de operationele infrastructuur. Tijdens de migratie konden fouten niet worden vermeden, wat extra tijd kostte, bijvoorbeeld, het herstel met de tool rsync werd verkeerd uitgevoerd, er waren fouten in de netwerkconfiguratie en er moesten problemen met de traffic route worden opgelost (voordat de DDoS-bescherming van OVH actief werd, werd ook het DDoS-aanvalverkeer naar de operationele servers getransporteerd, waarop het DDoS-beschermingssysteem reageerde en de server die verzoeken ontving als de bron van de aanval herkende).
De ontwikkelaars hebben ook contact gezocht met Cloudflare en enkele andere DDoS-beschermingsservices, maar de kosten voor de bescherming bleken exorbitant hoog. Later konden medewerkers van Cloudflare een overeenkomst bereiken met het management om het project SourceHut gratis te beschermen als sponsorhulp, maar de ontwikkelaars van SourceHut hebben het aanbod afgewezen, omdat ze tegen die tijd al aanzienlijke vooruitgang hadden geboekt met het probleem met eigen middelen op te lossen.
De implementatie van de nieuwe SourceHut-infrastructuur en de migratie van het project naar servers in een ander datacenter was gepland om geleidelijk in een periode van minstens een jaar te verlopen, maar onder de gegeven omstandigheden moest de migratie in een tijdsbestek van 7 dagen urgent worden uitgevoerd. Momenteel zijn alle SourceHut-services naar een ander datacenter verplaatst en is de werking van het platform volledig hersteld.
Het SourceHut-platform heeft een unieke interface die niet lijkt op GitHub of GitLab, maar eenvoudig, zeer snel en functioneert zonder JavaScript. SourceHut biedt mogelijkheden zoals werken met openbare en privƩ Git- en Mercurial-repositories, een flexibel toegang Beheer systeem, wiki, foutmeldingen, ingebouwde infrastructuur voor continue integratie, chat, discussies via email, hiƫrarchisch archief bekijken van mailinglijsten, en wijzigingsreview via het web, inclusief het toevoegen van annotaties aan de code (zoals links en documentatie). Bij het inschakelen van de juiste instellingen is deelname aan de ontwikkeling door gebruikers zonder lokale accounts (authenticatie via OAuth of deelname via email) mogelijk. De code is geschreven in Python en Go en wordt verspreid onder de GPLv3-licentie.
Bron: opennet.ru
