Internet sembra essere una struttura forte, indipendente e indistruttibile. In teoria, la rete è abbastanza forte da sopravvivere a un’esplosione nucleare. In realtà, Internet può eliminare un piccolo router. Tutto perché Internet è un mucchio di contraddizioni, vulnerabilità, errori e video sui gatti. La spina dorsale di Internet, BGP, è piena di problemi. È incredibile che respiri ancora. Oltre agli errori, Internet stessa viene danneggiata anche da tutti: grandi provider Internet, aziende, Stati e attacchi DDoS. Cosa fare e come conviverci?
Conosce la risposta Alexey Uchakin () è il leader di un team di ingegneri di rete presso IQ Option. Il suo compito principale è l'accessibilità della piattaforma per gli utenti. Nella trascrizione del rapporto di Alexey su Parliamo di BGP, attacchi DDOS, switch Internet, errori del provider, decentralizzazione e casi in cui un piccolo router ha mandato Internet in modalità di sospensione. Alla fine, un paio di consigli su come sopravvivere a tutto questo.
Il giorno in cui Internet si spezzò
Citerò solo alcuni incidenti in cui la connettività di Internet si è interrotta. Questo basterà per il quadro completo.
"Incidente AS7007". La prima volta che Internet si è rotto è stato nell'aprile del 1997. C'era un bug nel software di un router del sistema autonomo 7007. Ad un certo punto, il router ha annunciato la sua tabella di routing interna ai vicini e ha mandato metà della rete in un buco nero.
"Il Pakistan contro YouTube". Nel 2008, ragazzi coraggiosi del Pakistan hanno deciso di bloccare YouTube. Lo hanno fatto così bene che metà del mondo è rimasta senza gatti.
“Cattura dei prefissi VISA, MasterCard e Symantec da parte di Rostelecom”. Nel 2017 Rostelecom ha erroneamente iniziato ad annunciare i prefissi VISA, MasterCard e Symantec. Di conseguenza, il traffico finanziario veniva instradato attraverso canali controllati dal fornitore. La fuga di notizie non è durata a lungo, ma è stata spiacevole per le società finanziarie.
Google contro il Giappone. Nell’agosto 2017 Google ha iniziato ad annunciare in alcuni dei suoi uplink i prefissi dei principali provider giapponesi NTT e KDDI. Il traffico è stato inviato a Google come transito, molto probabilmente per errore. Poiché Google non è un fornitore e non consente il traffico in transito, una parte significativa del Giappone è rimasta senza Internet.
“DV LINK ha catturato i prefissi di Google, Apple, Facebook, Microsoft”. Sempre nel 2017, per qualche motivo, il provider russo DV LINK ha iniziato ad annunciare le reti di Google, Apple, Facebook, Microsoft e alcuni altri importanti attori.
"eNet dagli USA ha catturato i prefissi AWS Route53 e MyEtherwallet". Nel 2018, il provider dell’Ohio o uno dei suoi clienti ha annunciato le reti di portafogli crittografici Amazon Route53 e MyEtherwallet. L'attacco ha avuto successo: nonostante il certificato autofirmato, il cui avviso è apparso all'utente quando è entrato nel sito MyEtherwallet, molti portafogli sono stati dirottati e parte della criptovaluta è stata rubata.
Solo nel 2017 si sono verificati più di 14 incidenti di questo tipo! La rete è ancora decentralizzata, quindi non tutto e non tutti si guastano. Ma ci sono migliaia di incidenti, tutti legati al protocollo BGP che alimenta Internet.
BGP e i suoi problemi
protocollo BGP - Protocollo Gateway di frontiera, è stato descritto per la prima volta nel 1989 da due ingegneri di IBM e Cisco Systems su tre "tovaglioli" - fogli A4. Questi si trovano ancora nella sede centrale della Cisco Systems a San Francisco come una reliquia del mondo delle reti.
Il protocollo si basa sull'interazione di sistemi autonomi - Sistemi autonomi o AS in breve. Un sistema autonomo è semplicemente un ID a cui vengono assegnate le reti IP nel registro pubblico. Un router con questo ID può annunciare queste reti al mondo. Di conseguenza, qualsiasi percorso su Internet può essere rappresentato come un vettore, chiamato AS percorso. Il vettore è costituito dal numero di sistemi autonomi che devono essere attraversati per raggiungere la rete di destinazione.
Ad esempio, esiste una rete di numerosi sistemi autonomi. È necessario passare dal sistema AS65001 al sistema AS65003. Il percorso da un sistema è rappresentato da AS Path nel diagramma. È composto da due sistemi autonomi: 65002 e 65003. Per ogni indirizzo di destinazione esiste un vettore AS Path, che consiste nel numero di sistemi autonomi che dobbiamo attraversare.
Allora quali sono i problemi con BGP?
BGP è un protocollo di fiducia
Il protocollo BGP è basato sulla fiducia. Ciò significa che ci fidiamo del nostro vicino per impostazione predefinita. Questa è una caratteristica di molti protocolli sviluppati agli albori di Internet. Scopriamo cosa significa "fiducia".
Nessuna autenticazione del vicino. Formalmente esiste l'MD5, ma l'MD5 nel 2019 è proprio questo...
Nessun filtraggio. BGP dispone di filtri e vengono descritti, ma non vengono utilizzati o vengono utilizzati in modo errato. Spiegherò perché più tardi.
È molto semplice creare un quartiere. La configurazione di un quartiere nel protocollo BGP su quasi tutti i router richiede un paio di righe del file config.
Non sono richiesti diritti di gestione BGP. Non è necessario sostenere esami per dimostrare le proprie qualifiche. Nessuno ti toglierà i diritti per configurare BGP mentre sei ubriaco.
Due problemi principali
Dirottamenti del prefisso. Il dirottamento del prefisso pubblicizza una rete che non ti appartiene, come nel caso di MyEtherwallet. Abbiamo preso alcuni prefissi, concordato con il provider o hackerato e attraverso di esso annunciamo queste reti.
Perdite di percorso. Le perdite sono un po’ più complicate. La perdita è un cambiamento nel percorso AS. Nella migliore delle ipotesi, il cambiamento comporterà un ritardo maggiore perché è necessario percorrere un percorso più lungo o su un collegamento meno capiente. Nel peggiore dei casi, il caso di Google e del Giappone si ripeterà.
Google stessa non è un operatore o un sistema autonomo di transito. Ma quando ha annunciato al suo provider le reti degli operatori giapponesi, il traffico attraverso Google tramite AS Path è stato considerato una priorità più alta. Il traffico è andato lì e poi è diminuito semplicemente perché le impostazioni di routing all'interno di Google sono più complesse dei semplici filtri al confine.
Perché i filtri non funzionano?
A nessuno importa. Questo è il motivo principale: a nessuno importa. L'amministratore di un piccolo provider o azienda che si è connesso al provider tramite BGP ha preso MikroTik, vi ha configurato BGP e non sa nemmeno che lì si possono configurare i filtri.
Errori di configurazione. Hanno incasinato qualcosa, hanno commesso un errore nella maschera, hanno indossato la rete sbagliata - e ora c'è di nuovo un errore.
Nessuna possibilità tecnica. Ad esempio, i fornitori di telecomunicazioni hanno molti clienti. La cosa intelligente da fare è aggiornare automaticamente i filtri per ogni cliente - per monitorare che abbia una nuova rete, che abbia affittato la sua rete a qualcuno. È difficile seguirlo, e ancora più difficile con le mani. Pertanto, installano semplicemente filtri rilassati o non installano affatto filtri.
eccezioni. Ci sono eccezioni per i clienti amati e grandi. Soprattutto nel caso delle interfacce interoperatore. Ad esempio, TransTeleCom e Rostelecom hanno molte reti e c'è un'interfaccia tra loro. Se la canna cade, non farà bene a nessuno, quindi i filtri vengono allentati o rimossi completamente.
Informazioni obsolete o irrilevanti nell'IRR. I filtri vengono creati in base alle informazioni registrate in IRR - Registro dei percorsi Internet. Questi sono i registri dei registrar Internet regionali. Spesso i registri contengono informazioni obsolete o irrilevanti, o entrambe.
Chi sono questi registrar?
Tutti gli indirizzi Internet appartengono all'organizzazione IANA - Autorità per i numeri assegnati su Internet. Quando acquisti una rete IP da qualcuno, non acquisti indirizzi, ma il diritto di usarli. Gli indirizzi sono una risorsa immateriale e di comune accordo sono tutti di proprietà della IANA.
Il sistema funziona così. La IANA delega la gestione degli indirizzi IP e dei numeri di sistema autonomi a cinque registrar regionali. Emettono sistemi autonomi LIR: registrar Internet locali. I LIR assegnano quindi gli indirizzi IP agli utenti finali.
Lo svantaggio del sistema è che ciascuno dei registri regionali mantiene i propri registri a modo suo. Ognuno ha le proprie opinioni su quali informazioni dovrebbero essere contenute nei registri e chi dovrebbe o non dovrebbe controllarle. Il risultato è il caos che abbiamo adesso.
In quale altro modo puoi combattere questi problemi?
IRR: qualità mediocre. È chiaro con IRR: lì va tutto male.
Comunità BGP. Questo è un attributo descritto nel protocollo. Possiamo allegare, ad esempio, una comunità speciale al nostro annuncio in modo che un vicino non invii le nostre reti ai suoi vicini. Quando abbiamo un collegamento P2P, scambiamo solo le nostre reti. Per evitare che il percorso passi accidentalmente ad altre reti, aggiungiamo community.
Le comunità non sono transitive. È sempre un contratto per due, e questo è il loro svantaggio. Non possiamo assegnare alcuna comunità, ad eccezione di una, che è accettata per impostazione predefinita da tutti. Non possiamo essere sicuri che tutti accetteranno questa comunità e la interpreteranno correttamente. Pertanto, nel migliore dei casi, se sei d'accordo con il tuo uplink, capirà cosa vuoi da lui in termini di comunità. Ma il tuo vicino potrebbe non capire, oppure l'operatore semplicemente ripristinerà il tuo tag e non otterrai ciò che volevi.
RPKI + ROA risolve solo una piccola parte dei problemi. L'RPKI lo è Infrastruttura a chiave pubblica delle risorse — un quadro speciale per la firma delle informazioni di instradamento. È una buona idea forzare i LIR e i loro clienti a mantenere un database dello spazio degli indirizzi aggiornato. Ma c'è un problema.
RPKI è anche un sistema a chiave pubblica gerarchico. IANA ha una chiave da cui vengono generate le chiavi RIR e da quale vengono generate le chiavi LIR? con cui firmano il proprio spazio di indirizzi utilizzando le ROA - Route Origin Authorizations:
— Le assicuro che questo prefisso sarà annunciato a nome di questa regione autonoma.
Oltre al ROA, ci sono altri oggetti, ma ne parleremo più avanti. Sembra una cosa buona e utile. Ma questo non ci protegge dalle fughe di notizie della parola “affatto” e non risolve tutti i problemi con il dirottamento dei prefissi. Pertanto, i giocatori non hanno fretta di implementarlo. Sebbene ci siano già assicurazioni da parte di grandi attori come AT&T e grandi società IX che i prefissi con un record ROA non valido verranno eliminati.
Forse lo faranno, ma per ora abbiamo un numero enorme di prefissi che non sono firmati in alcun modo. Da un lato non è chiaro se siano annunciati validamente. D'altra parte, non possiamo eliminarli per impostazione predefinita, perché non siamo sicuri che sia corretto o meno.
Cosa altro c'è?
BGPSec. Questa è una cosa interessante che gli accademici hanno inventato per una rete di pony rosa. Loro hanno detto:
- Abbiamo RPKI + ROA, un meccanismo per verificare le firme dello spazio degli indirizzi. Creiamo un attributo BGP separato e chiamiamolo percorso BGPSec. Ogni router firmerà con la propria firma gli annunci che annuncia ai suoi vicini. In questo modo otterremo un percorso attendibile dalla catena di annunci firmati e potremo verificarlo.
Buono in teoria, ma in pratica ci sono molti problemi. BGPSec interrompe molti meccanismi BGP esistenti per la selezione dell'hop successivo e la gestione del traffico in entrata/uscita direttamente sul router. BGPSec non funzionerà finché il 95% dell'intero mercato non lo avrà implementato, il che di per sé è un'utopia.
BGPSec presenta enormi problemi di prestazioni. Sull'hardware attuale, la velocità di controllo degli annunci è di circa 50 prefissi al secondo. Per fare un confronto: l'attuale tabella Internet di 700 prefissi verrà caricata in 000 ore, durante le quali cambierà altre 5 volte.
Politica aperta BGP (BGP basato su ruoli). Nuova proposta basata sul modello Gao-Rexford. Questi sono due scienziati che stanno ricercando BGP.
Il modello Gao-Rexford è il seguente. Per semplificare, con BGP esistono un numero limitato di tipi di interazioni:
- Cliente fornitore;
- P2P;
- comunicazione interna, ad esempio iBGP.
In base al ruolo del router è già possibile assegnare di default alcune policy di import/export. L'amministratore non ha bisogno di configurare elenchi di prefissi. In base al ruolo che i router concordano tra loro e che può essere impostato, riceviamo già dei filtri predefiniti. Questa è attualmente una bozza in discussione presso l'IETF. Spero che presto lo vedremo sotto forma di RFC e implementazione sull'hardware.
Grandi provider Internet
Consideriamo l'esempio di un fornitore CenturyLink. È il terzo fornitore statunitense più grande, serve 37 stati e dispone di 15 data center.
Nel dicembre 2018 CenturyLink è rimasta sul mercato statunitense per 50 ore. Durante l'incidente si sono verificati problemi con il funzionamento degli sportelli bancomat in due stati e il numero 911 non ha funzionato per diverse ore in cinque stati. La lotteria in Idaho era completamente rovinata. L'incidente è attualmente oggetto di indagine da parte della Commissione delle Telecomunicazioni degli Stati Uniti.
La causa della tragedia è stata una scheda di rete in un data center. La carta ha funzionato male, ha inviato pacchetti errati e tutti e 15 i data center del provider sono andati in tilt.
L'idea non ha funzionato per questo provider "troppo grande per cadere". Questa idea non funziona affatto. Puoi prendere qualsiasi giocatore importante e metterci sopra alcune piccole cose. Gli Stati Uniti stanno ancora andando bene con la connettività. I clienti CenturyLink che avevano una riserva vi parteciparono in massa. Poi gli operatori alternativi si sono lamentati del sovraccarico dei loro collegamenti.
Se cade il condizionale Kazakhtelecom, l'intero paese rimarrà senza Internet.
Corporazioni
Probabilmente Google, Amazon, FaceBook e altre aziende supportano Internet? No, lo rompono anche loro.
Nel 2017 a San Pietroburgo alla conferenza ENOG13 Jeff Houston di APNIC presentata . Dice che siamo abituati a interazioni, flussi di denaro e traffico su Internet verticali. Abbiamo piccoli fornitori che pagano per la connettività a quelli più grandi e già pagano per la connettività al transito globale.
Ora abbiamo una struttura così orientata verticalmente. Andrebbe tutto bene, ma il mondo sta cambiando: i principali attori stanno costruendo i loro cavi transoceanici per costruire le proprie dorsali.
Novità sul cavo CDN.
Nel 2018, TeleGeography ha pubblicato uno studio secondo cui più della metà del traffico su Internet non è più Internet, ma le dorsali CDN dei grandi player. Questo è il traffico relativo a Internet, ma questa non è più la rete di cui stavamo parlando.
Internet si sta frammentando in un ampio insieme di reti scarsamente connesse.
Microsoft ha la propria rete, Google ha la propria e si sovrappongono poco tra loro. Il traffico che ha avuto origine da qualche parte negli Stati Uniti passa attraverso i canali Microsoft attraverso l'oceano verso l'Europa da qualche parte su una CDN, quindi tramite CDN o IX si connette al tuo provider e arriva al tuo router.
Il decentramento sta scomparendo.
Questa forza di Internet, che l’aiuterebbe a sopravvivere a un’esplosione nucleare, si sta perdendo. Appaiono luoghi di concentrazione degli utenti e del traffico. Se il condizionale Google Cloud dovesse cadere, ci sarebbero molte vittime contemporaneamente. Lo abbiamo avvertito in parte quando Roskomnadzor ha bloccato AWS. E l'esempio di CenturyLink dimostra che bastano anche le piccole cose.
In precedenza, non tutto e non tutti si rompevano. In futuro, potremmo giungere alla conclusione che, influenzando un attore importante, possiamo distruggere molte cose, in molti luoghi e in molte persone.
stato
Gli Stati sono i prossimi in linea, e questo è ciò che di solito accade loro.
Qui il nostro Roskomnadzor non è nemmeno un pioniere. Una pratica simile di chiusura di Internet esiste in Iran, India e Pakistan. In Inghilterra esiste un disegno di legge sulla possibilità di chiudere Internet.
Qualsiasi grande stato vuole ottenere un passaggio per disattivare Internet, completamente o in parte: Twitter, Telegram, Facebook. Non è che non capiscano che non ci riusciranno mai, ma lo vogliono davvero. L'interruttore viene solitamente utilizzato per scopi politici: per eliminare i concorrenti politici, o le elezioni si stanno avvicinando o gli hacker russi hanno rotto di nuovo qualcosa.
Attacchi DDoS
Non toglierò il pane ai miei compagni di Qrator Labs, lo fanno molto meglio di me. Loro hanno sulla stabilità di Internet. Ed è quello che scrivevano nel rapporto del 2018.
La durata media degli attacchi DDoS scende a 2.5 ore. Gli aggressori iniziano anche a contare i soldi e, se la risorsa non è immediatamente disponibile, la lasciano subito stare.
L’intensità degli attacchi è in crescita. Nel 2018 abbiamo registrato 1.7 Tb/s sulla rete Akamai e questo non è il limite.
Nuovi vettori di attacco stanno emergendo e quelli vecchi si stanno intensificando. Stanno emergendo nuovi protocolli suscettibili di amplificazione e stanno emergendo nuovi attacchi ai protocolli esistenti, in particolare TLS e simili.
La maggior parte del traffico proviene da dispositivi mobili. Allo stesso tempo, il traffico Internet si sposta verso i client mobili. Sia chi attacca che chi difende deve essere in grado di lavorare con questo.
Invulnerabile - no. Questa è l'idea principale: non esiste una protezione universale che protegga definitivamente da qualsiasi DDoS.
Il sistema non può essere installato se non è connesso a Internet.
Spero di averti spaventato abbastanza. Pensiamo ora a cosa fare al riguardo.
Cosa fare ?!
Se hai tempo libero, voglia e conoscenza dell'inglese, partecipa ai gruppi di lavoro: IETF, RIPE WG. Queste sono liste di posta aperte, iscriversi a liste di posta, partecipare a discussioni, venire a conferenze. Se hai lo status LIR puoi votare, ad esempio, nel RIPE per diverse iniziative.
Per i comuni mortali lo è monitoraggio. Per sapere cosa è rotto.
Monitoraggio: cosa controllare?
Ping regolaree non solo un controllo binario: funziona o no. Registra RTT nella cronologia in modo da poter esaminare le anomalie in un secondo momento.
traceroute. Questo è un programma di utilità per determinare i percorsi dei dati sulle reti TCP/IP. Aiuta a identificare anomalie e blocchi.
HTTP verifica la presenza di URL personalizzati e certificati TLS aiuterà a rilevare il blocco o lo spoofing DNS per un attacco, che è praticamente la stessa cosa. Il blocco viene spesso effettuato mediante spoofing DNS e indirizzando il traffico verso una pagina stub.
Se possibile, controlla la risoluzione dei tuoi clienti riguardo alla tua origine da luoghi diversi se hai un'applicazione. Ciò ti aiuterà a rilevare anomalie di dirottamento DNS, qualcosa che a volte fanno i provider.
Monitoraggio: dove controllare?
Non esiste una risposta universale. Controlla da dove proviene l'utente. Se gli utenti sono in Russia, controlla dalla Russia, ma non limitarti a questo. Se i tuoi utenti vivono in regioni diverse, controlla da queste regioni. Ma meglio da tutto il mondo.
Monitoraggio: cosa controllare?
Ho pensato a tre modi. Se ne sai di più, scrivi nei commenti.
- Atlante MATURO.
- Monitoraggio commerciale.
- La tua rete di macchine virtuali.
Parliamo di ciascuno di essi.
Atlante maturo - è una scatola così piccola. Per coloro che conoscono l '"ispettore" domestico, questa è la stessa scatola, ma con un adesivo diverso.
RIPE Atlas è un programma gratuito. Ti registri, ricevi un router per posta e lo colleghi alla rete. Per il fatto che qualcun altro utilizza il tuo campione, ottieni dei crediti. Con questi prestiti puoi fare qualche ricerca tu stesso. Puoi testare in diversi modi: ping, traceroute, verifica certificati. La copertura è abbastanza ampia, ci sono molti nodi. Ma ci sono delle sfumature.
Il sistema creditizio non consente di realizzare soluzioni produttive. Non ci saranno crediti sufficienti per la ricerca continua o il monitoraggio commerciale. I crediti sono sufficienti per un breve studio o un controllo una tantum. La norma giornaliera di un campione viene consumata da 1-2 controlli.
La copertura non è uniforme. Poiché il programma è gratuito in entrambe le direzioni, la copertura è buona in Europa, nella parte europea della Russia e in alcune regioni. Ma se hai bisogno dell'Indonesia o della Nuova Zelanda, allora tutto è molto peggio: potresti non avere 50 campioni per paese.
Non è possibile controllare http da un campione. Ciò è dovuto a sfumature tecniche. Promettono di risolverlo nella nuova versione, ma per ora non è possibile controllare http. È possibile verificare solo il certificato. Una sorta di controllo http può essere eseguito solo su uno speciale dispositivo RIPE Atlas chiamato Anchor.
Il secondo metodo è il monitoraggio commerciale. Va tutto bene con lui, stai pagando soldi, giusto? Ti promettono diverse dozzine o centinaia di punti di monitoraggio in tutto il mondo e disegnano bellissimi dashboard fuori dagli schemi. Ma, ancora una volta, ci sono problemi.
È pagato, in alcuni posti è molto. Il monitoraggio del ping, i controlli a livello mondiale e numerosi controlli http possono costare diverse migliaia di dollari all'anno. Se le finanze lo consentono e ti piace questa soluzione, vai avanti.
La copertura potrebbe non essere sufficiente nella regione di interesse. Con lo stesso ping viene specificata al massimo una parte astratta del mondo: Asia, Europa, Nord America. I sistemi di monitoraggio rari possono approfondire un paese o una regione specifica.
Supporto debole per i test personalizzati. Se hai bisogno di qualcosa di personalizzato e non solo di un "riccio" sull'URL, allora ci sono problemi anche con quello.
Il terzo modo è il monitoraggio. Questo è un classico: “Scriviamo il nostro!”
Il tuo monitoraggio si trasforma nello sviluppo di un prodotto software e distribuito. Stai cercando un fornitore di infrastrutture, guarda come implementarlo e monitorarlo: il monitoraggio deve essere monitorato, giusto? Richiede anche supporto. Pensaci dieci volte prima di affrontare questa cosa. Potrebbe essere più semplice pagare qualcuno che lo faccia per te.
Monitoraggio delle anomalie BGP e degli attacchi DDoS
Qui, in base alle risorse disponibili, tutto è ancora più semplice. Le anomalie BGP vengono rilevate utilizzando servizi specializzati come QRadar, BGPmon. Accettano una tabella con visualizzazione completa da più operatori. In base a ciò che vedono dai diversi operatori, possono rilevare anomalie, cercare amplificatori e così via. La registrazione è generalmente gratuita: inserisci il tuo numero di telefono, ti iscrivi alle notifiche e-mail e il servizio ti avviserà dei tuoi problemi.
Anche monitorare gli attacchi DDoS è semplice. In genere questo è Basato su NetFlow e log. Esistono sistemi specializzati come FastNetMon, moduli per Splunk. Come ultima risorsa, c’è il tuo fornitore di protezione DDoS. Può anche far trapelare NetFlow e, in base a ciò, ti avviserà degli attacchi nella tua direzione.
risultati
Non farti illusioni: Internet si romperà sicuramente. Non tutto e non tutti si romperanno, ma 14mila incidenti nel 2017 lasciano intendere che di incidenti ce ne saranno.
Il tuo compito è notare i problemi il prima possibile. Come minimo, entro e non oltre il tuo utente. Non solo è importante notare, tenere sempre un “Piano B” in riserva. Un piano è una strategia per ciò che farai quando tutto fallirà.: operatori di riserva, DC, CDN. Un piano è una lista di controllo separata rispetto alla quale controlli il lavoro di tutto. Il piano dovrebbe funzionare senza il coinvolgimento degli ingegneri di rete, perché di solito sono pochi e vogliono dormire.
È tutto. Ti auguro alta disponibilità e monitoraggio ecologico.
La prossima settimana, sotto il sole di Novosibirsk, si prevede un carico elevato e un'alta concentrazione di sviluppatori . In Siberia è previsto un fronte di relazioni su monitoraggio, accessibilità e test, sicurezza e gestione. Si prevedono precipitazioni sotto forma di appunti scarabocchiati, networking, fotografie e post sui social network. Consigliamo di posticipare tutte le attività del 24 e 25 giugno e . Ti aspettiamo in Siberia!
Fonte: habr.com