Gli sviluppatori della piattaforma di sviluppo collaborativo SourceHut hanno pubblicato un rapporto sull'incidente che ha interrotto il funzionamento del servizio per 7 giorni a seguito di un prolungato attacco DDoS, per il quale l'infrastruttura del progetto non era pronta. I servizi di base sono stati ripristinati al terzo giorno, ma alcuni servizi sono stati inaccessibili dal 10 al 17 gennaio. Nella fase iniziale dell'attacco, gli sviluppatori non sono riusciti a reagire e a tentare di affrontare il problema sui propri server, poiché tutto il traffico verso i server di SourceHut è stato completamente bloccato dal provider superiore.
Per garantire il funzionamento di SourceHut sono stati utilizzati servers in tre data center. Nel primo veniva eseguita la configurazione di lavoro, il secondo veniva utilizzato per il backup e il terzo era destinato a esperimenti di migrazione dell'infrastruttura su una realizzazione del servizio più scalabile e resiliente (si stava sviluppando una versione di SourceHut di nuova generazione).
Per risolvere la questione dell'accesso ai propri server nel data center principale dopo il blocco, sono state necessarie circa 9 ore, ma gli sviluppatori non sono riusciti a fare nulla poiché al mattino l'attacco si è intensificato e ha iniziato a coprire l'intera sottorete, dopodiché il provider ha nuovamente rimarshrutato il traffico verso un'interfaccia null. Gli sviluppatori sono stati costretti a intraprendere urgentemente il lavoro di implementazione dell'infrastruttura di SourceHut in un altro data center dai backup (una sottorete temporanea per accedere ai server principali è stata ottenuta solo dopo 2 giorni).
Per proteggere contro l'attacco DDoS a livello di rete, è stata ritenuta ottimale la collocazione di un server nella rete del fornitore di cloud OVH, che fornisce protezione contro il DDoS. Tutte le chiamate venivano indirizzate a questo server e poi instradate verso l'infrastruttura operativa. Durante la migrazione non si è riusciti ad evitare errori che hanno richiesto ulteriore tempo, ad esempio, il ripristino tramite l'utilizzo di rsync è stato eseguito in modo errato, ci sono stati errori nella configurazione di rete e sono stati risolti problemi di reindirizzamento del traffico (fino a quando la protezione DDoS di OVH non è entrata in funzione, il traffico dell'attacco DDoS è stato trasmesso ai server operativi, a cui il sistema di protezione DDoS ha reagito identificando il server che riceve le richieste come origine dell'attacco).
Gli sviluppatori hanno anche contattato Cloudflare e alcuni altri servizi di protezione DDoS, ma il costo della protezione si è rivelato insostenibile. In seguito, i dipendenti di Cloudflare sono riusciti a raggiungere un accordo con la direzione per fornire protezione al progetto SourceHut gratuitamente come aiuto sponsorizzato, ma gli sviluppatori di SourceHut hanno rifiutato l'offerta, poiché nel frattempo avevano già fatto progressi significativi nella risoluzione del problema con le proprie forze.
L'implementazione della nuova infrastruttura di SourceHut e il trasferimento del progetto su server in un altro data center erano previsti gradualmente nel corso di almeno un anno, ma a causa delle circostanze attuali la migrazione è stata effettuata in modo urgente in 7 giorni. Attualmente, tutti i servizi di SourceHut sono stati trasferiti in un altro data center e il funzionamento della piattaforma è stato completamente ripristinato.
La piattaforma SourceHut si distingue per un'interfaccia originale, che non assomiglia a GitHub e GitLab, ma è semplice, molto veloce e funziona senza JavaScript. SourceHut offre funzionalità come la gestione di repository Git e Mercurial pubblici e privati, un sistema flessibile di gestione degli accessi, wiki, gestione dei report di errore, infrastruttura di integrazione continua integrata, chat, discussioni basate su email, visualizzazione ad albero degli archivi delle mailing list, revisione delle modifiche attraverso il Web, e aggiunta di annotazioni al codice (collegamenti e documentazione). Attivando le impostazioni appropriate, è consentito il coinvolgimento nello sviluppo di utenti senza account locali (autenticazione tramite OAuth o partecipazione via email). Il codice è scritto in Python e Go ed è distribuito con licenza GPLv3.
Fonte: opennet.ru
