Internet sembra una struttura forte, indipendente e inalterabile. In teoria, la robustezza della rete sarebbe sufficiente per sopravvivere a un'esplosione nucleare. Nella realtà, l'internet può crollare a causa di un piccolo router. Tutto ciò è dovuto al fatto che l'internet è un insieme di contraddizioni, vulnerabilità, errori e video di gattini. Alla base di internet c'è il protocollo BGP, che presenta numerosi problemi. È sorprendente che sia ancora attivo. Oltre agli errori all'interno di internet, è vulnerabile anche a chiunque possa approfittarne: grandi fornitori di servizi internet, corporazioni, stati e attacchi DDoS. Cosa fare con tutto ciò e come viverci?
La risposta la conosce Aleksey Uchakin () è il leader del team di ingegneri di rete presso IQ Option. Il suo compito principale è garantire l'accessibilità della piattaforma per gli utenti. Nella sua relazione al parleremo di BGP, attacchi DDoS, interruttori per l'internet, errori dei fornitori, decentralizzazione e situazioni in cui un piccolo router ha messo internet a dormire. Alla fine, alcune raccomandazioni su come affrontare tutto questo.
Il giorno in cui internet è crollato
Riporterò solo alcuni incidenti in cui la connettività di Internet è andata in tilt. Sarà sufficiente per avere un quadro completo.
«L'incidente di AS7007». La prima volta che Internet si è interrotto è stata nell'aprile del 1997. Nel software di un router del sistema autonomo 7007 c'era un errore. A un certo punto, il router ha annunciato ai suoi vicini la propria tabella di routing interna e ha inviato metà della rete in un black hole.
«Il Pakistan contro YouTube». Nel 2008, i ragazzi coraggiosi del Pakistan hanno deciso di bloccare YouTube nel loro paese. Lo hanno fatto così bene che il mondo è rimasto senza gattini.
«L'acquisizione dei prefissi VISA, MasterCard e Symantec da parte di Rostelecom». Nel 2017, Rostelecom ha erroneamente iniziato ad annunciare i prefissi VISA, MasterCard e Symantec. Di conseguenza, il traffico finanziario è stato indirizzato attraverso i canali controllati dal provider. La fuga è durata poco, ma è stata sgradevole per le società finanziarie.
«Google contro il Giappone». Nell'agosto 2017, Google ha iniziato ad annunciare alcuni prefissi di grandi provider giapponesi come NTT e KDDI. Il traffico è stato inviato a Google come transitorio, probabilmente per errore. Poiché Google non è un provider e non gestisce traffico transitorio, gran parte del Giappone è rimasta senza Internet.
«DV LINK ha acquisito i prefissi di Google, Apple, Facebook, Microsoft». Nello stesso anno, il provider russo DV LINK ha iniziato a annunciare per qualche motivo le reti di Google, Apple, Facebook, Microsoft e di altri grandi attori.
«eNet dagli Stati Uniti ha acquisito i prefissi di AWS Route53 e MyEtherwallet». Nel 2018, un provider dell'Ohio o qualcuno dei suoi clienti ha annunciato le reti di Amazon Route53 e del portafoglio criptato MyEtherwallet. L'attacco è stato un successo: nonostante il certificato autofirmato, avviso del quale appariva agli utenti tentando di accedere al sito MyEtherwallet, molti portafogli sono stati compromessi e parte delle criptovalute sottratte.
Solo nel 2017 ci sono stati più di 14.000 di questi incidenti! La rete è ancora decentralizzata, quindi non tutto si rompe e non a tutti. Ma gli incidenti avvengono in migliaia, e tutti sono legati al protocollo BGP, su cui si basa Internet.
BGP e i suoi problemi
Protocollo BGP - Border Gateway Protocol, descritto per la prima volta nel 1989 da due ingegneri di IBM e Cisco Systems su tre "tovaglioli" - fogli di formato A4. Questi ripostati nel quartier generale di Cisco Systems a San Francisco come reliquia del mondo delle reti.
Alla base del protocollo c'è l'interazione delle autonomie sistemiche — Autonomous Systems o, in breve, AS. Un sistema autonomo è semplicemente un ID, sotto il quale nelle registrazioni pubbliche sono associate reti IP. Un router con tale ID può annunciare al mondo queste reti. Di conseguenza, qualsiasi percorso su Internet può essere rappresentato come un vettore, noto come AS Path. Il vettore è composto da numeri di sistemi autonomi che devono essere attraversati per raggiungere la rete di destinazione.
Ad esempio, esiste una rete formata da un certo numero di sistemi autonomi. Si deve passare dal sistema AS65001 al sistema AS65003. Il percorso da un sistema è rappresentato dall'AS Path nello schema. Esso è composto da due autonome: 65002 e 65003. Per ogni indirizzo di destinazione esiste un vettore AS Path composto dai numeri dei sistemi autonomi che dobbiamo attraversare.
Quali sono quindi i problemi del BGP?
BGP è un protocollo di fiducia
Il protocollo BGP è basato sulla fiducia. Ciò significa che di default ci fidiamo del nostro vicino. È una caratteristica di molti protocolli sviluppati all'alba di Internet. Vediamo cosa significa "fidarsi".
Nessuna autenticazione del vicino. Formalmente esiste MD5, ma MD5 nel 2019 è... beh, così così...
Nessun filtraggio. BGP ha dei filtri, e sono descritti, ma non vengono utilizzati, o vengono utilizzati in modo errato. Spiegherò più tardi perché.
È molto semplice stabilire una vicinanza. Configurare la vicinanza nel protocollo BGP è quasi questione di poche righe di configurazione su qualsiasi router.
Non sono necessari diritti per gestire BGP. Non è necessario superare esami che attestino la tua qualificazione. Nessuno ti toglierà i diritti per configurare BGP in stato di ebbrezza.
Due principali problemi
Furti di prefissi - prefix hijacks. Il furto di un prefisso è l'annuncio di una rete che non ti appartiene, come nel caso di MyEtherwallet. Abbiamo preso alcuni prefissi, ci siamo accordati con il fornitore o lo abbiamo violato, e attraverso di lui annunciamo queste reti.
Fughe di rotte - route leaks. Le fughe di rotte sono un po' più complicate. Una fuga è una modifica dell'AS Path. Nel migliore dei casi, la modifica comporterà un ritardo maggiore, poiché sarà necessario percorrere un percorso più lungo o una connessione meno performante. Nel peggiore dei casi, si ripeterà quanto accaduto con Google e il Giappone.
Lo stesso Google non è un operatore e non è un sistema autonomo di transito. Ma quando ha annunciato al suo provider di rete degli operatori giapponesi, il traffico attraverso Google sembrava più prioritario lungo il percorso AS. Il traffico è stato dirottato lì ed è dropato semplicemente perché le impostazioni di routing interne di Google sono più complesse dei semplici filtri al confine.
Perché i filtri non funzionano?
Nessuno se ne importa. Questa è la ragione principale: a nessuno interessa. L'amministratore di un piccolo provider o di un'azienda che si è connessa a un provider tramite BGP ha preso un MikroTik, l'ha configurato per BGP e non sa nemmeno che si possono impostare filtri.
Errori di configurazione. Qualcosa è stato debuggato, si è sbagliato nella maschera, è stata impostata la rete sbagliata - ecco, un altro errore.
Mancanza di capacità tecnica. Ad esempio, i fornitori di telecomunicazioni hanno molti clienti. È intelligente aggiornare automaticamente i filtri per ciascun cliente – monitorare se quale nuova rete appare, se ha affittato la sua rete a qualcun altro. Fare questo manualmente è difficile, a mano – ancora di più. Pertanto, si usano semplicemente filtri più permissivi oppure non si utilizzano affatto filtri.
Eccezioni. Ci sono eccezioni per clienti molto importanti e fedeli. Specialmente nel caso di interconnessioni tra operatori. Ad esempio, TransTeleCom e Rostelecom hanno molte reti e c'è un'interconnessione tra di loro. Se l'interconnessione si interrompe – nessuno starà bene, quindi i filtri vengono allentati o addirittura rimossi completamente.
Informazioni obsolete o non aggiornate in IRR. I filtri vengono costruiti sulla base delle informazioni registrate in IRR – Internet Routing Registry. Questi sono registri degli registratori internet regionali. Spesso nei registri ci sono informazioni obsolete o non aggiornate, oppure entrambi.
Chi sono questi registratori?
Tutti gli indirizzi su internet appartengono all'organizzazione IANA – Internet Assigned Numbers Authority. Quando acquisti una rete IP da qualcuno, non stai comprando indirizzi, ma il diritto al loro utilizzo. Gli indirizzi sono una risorsa immateriale e, per accordo generale, appartengono tutti all'agenzia IANA.
Il sistema funziona così. IANA delega la gestione degli indirizzi IP e dei numeri di sistemi autonomi a cinque registri regionali. Questi emettono sistemi autonomi LIR - registri internet locali. Successivamente, i LIR assegnano indirizzi IP agli utenti finali.
Il difetto del sistema è che ciascun registro regionale tiene i suoi registri in modo diverso. Ognuno ha le proprie opinioni su quali informazioni dovrebbero essere contenute nei registri, chi dovrebbe o non dovrebbe verificarle. Il risultato è il caos che esiste attualmente.
In che altro modo si possono affrontare questi problemi?
IRR - qualità mediocre. Con IRR è chiaro - lì le cose non vanno bene.
BGP-communities. Questo è un attributo descritto nel protocollo. Possiamo, ad esempio, applicare una community speciale al nostro annuncio, per evitare che i vicini inviino le nostre reti ai loro conoscenti. Con un link P2P, condividiamo solo le nostre reti. Per prevenire che accidentalmente il percorso vada verso reti diverse, applichiamo la community.
Le community non sono transitive. È sempre un accordo tra due parti, e questo è il loro svantaggio. Non possiamo applicare alcuna community, tranne una, che viene accettata per impostazione predefinita da tutti. Non possiamo essere certi che questa community verrà accettata e interpretata correttamente. Pertanto, nel miglior caso, se ti accordi con il tuo uplink, lui comprenderà cosa desideri da lui tramite la community. Ma il suo vicino potrebbe non capirlo, oppure l'operatore potrebbe semplicemente scartare il tuo tag, e non otterrai ciò che desideravi.
RPKI + ROA risolve solo una piccola parte dei problemi. RPKI è Resource Public Key Infrastructure — un framework speciale per firmare le informazioni sui percorsi. È una buona idea spingere gli LIR e i loro clienti a mantenere un registro aggiornato dello spazio indirizzi. Ma presenta un problema.
RPKI è anche un sistema gerarchico di chiavi pubbliche. IANA ha una chiave da cui vengono generate le chiavi RIR, e da esse le chiavi LIR, che firmano il loro spazio di indirizzamento tramite ROA - Route Origin Authorisations:
— Garantisco che questo prefisso sarà annunciato a nome di questa autonoma.
Oltre alle ROA, ci sono altri oggetti, ma di questo parleremo in seguito. Sembra che sia una cosa buona e utile. Tuttavia, non ci protegge affatto dalle perdite e non risolve tutti i problemi di furto dei prefissi. Pertanto, gli operatori non hanno fretta di implementarlo. Anche se già da grandi attori come AT&T e grandi IX c'è la garanzia che i prefissi con registrazione ROA invalid sono destinati a essere eliminati.
Forse lo faranno, ma al momento abbiamo un enorme numero di prefissi che non sono stati firmati in alcun modo. Da un lato, non è chiaro se sono validi per l'annuncio. Dall'altro, non possiamo eliminarli per default, perché non siamo sicuri che sia corretto o meno.
Cosa c'è di nuovo?
BGPSec. È una cosa interessante, che è stata ideata da accademici per una rete di pony rosa. Hanno detto:
— Abbiamo RPKI + ROA — un meccanismo di attestazione della firma dello spazio indirizzi. Creiamo un attributo BGP separato e chiamiamolo BGPSec Path. Ogni router firmerà con la propria firma gli annunci che divulga ai vicini. In questo modo otterremo un percorso fidato da una catena di annunci firmati e potremo verificarlo.
In teoria va bene, ma nella pratica ci sono molti problemi. BGPSec rompe molte meccaniche esistenti di BGP per la scelta del next-hop e per la gestione del traffico in entrata/uscita direttamente sul router. BGPSec non funziona fino a quando non è adottato dal 95% dei partecipanti del mercato, il che è di per sé un'utopia.
BGPSec ha enormi problemi di prestazioni. Sull'hardware attuale, la velocità di verifica degli annunci è di circa 50 prefissi al secondo. A titolo di confronto: l'attuale tabella di internet con 700.000 prefissi ci vorrà 5 ore a essere caricata, durante le quali 10 volte cambierà.
BGP Open Policy (BGP basato sui ruoli). Una proposta fresca basata sul modello Gao-Rexford. Sono due studiosi che si occupano della ricerca su BGP.
Il modello di Gao-Rexford consiste nel seguente. Per semplificare, nel caso di BGP ci sono pochi tipi di interazioni:
- Provider Customer;
- P2P;
- interazione interna, per esempio, iBGP.
Sulla base del ruolo del router è già possibile applicare di default alcune politiche di import/export. L'amministratore non deve configurare le liste di prefissi. In base al ruolo concordato tra i router e che può essere stabilito, otteniamo già alcuni filtri predefiniti. Attualmente è una bozza in discussione all'IETF. Spero che presto vedremo tutto questo sotto forma di RFC e implementazione sull'hardware.
Grandi fornitori di servizi Internet
Prendiamo come esempio il fornitore CenturyLink. È il terzo fornitore più grande negli Stati Uniti, che serve 37 stati e ha 15 data center.
A dicembre 2018, CenturyLink ha avuto un'interruzione sul mercato statunitense di 50 ore. Durante l'incidente ci sono stati problemi con il funzionamento dei bancomat in due stati e il numero 911 non ha funzionato per diverse ore in cinque stati. Inoltre, è stata annullata una lotteria in Idaho. L'agenzia delle telecomunicazioni degli Stati Uniti sta attualmente indagando su questo incidente.
La causa della tragedia è stata una scheda di rete in un data center. La scheda è andata in avaria, inviando pacchetti errati, causando il arresto contemporaneo di tutti i 15 data center del fornitore.
L'idea non ha funzionato per questo provider «troppo grande per cadere». Questa idea non funziona affatto. Puoi prendere qualsiasi grande attore e metterlo in difficoltà con qualche piccola cosa. Negli Stati Uniti la connettività è ancora buona. I clienti di CenturyLink, che avevano un backup, sono migrati in massa. Poi gli operatori alternativi si sono lamentati del sovraccarico delle loro linee.
Se dovesse crollare un presunto «Kazakhtelecom» — l'intero paese rimarrebbe senza internet.
Corporazioni
Forse su Google, Amazon, Facebook e altre corporation si basa internet? No, anche loro lo rompono.
Nel 2017 a San Pietroburgo, alla conferenza ENOG13 Jeff Houston di APNIC ha presentato . In essa si parla del fatto che ci siamo abituati all'interazione, ai flussi di denaro e di traffico su internet in modo verticale. Abbiamo piccoli provider che pagano per la connettività a quelli più grandi, e questi ultimi pagano per la connettività al transito globale.
Attualmente abbiamo una struttura orientata verticalmente. Tutto sarebbe a posto, ma il mondo sta cambiando — i grandi attori stanno costruendo i propri cavi sottomarini per sviluppare le proprie dorsali.
Notizia sul cavo CDN.
Nel 2018, TeleGeography ha pubblicato uno studio che evidenziava come oltre la metà del traffico su internet non sia più internet, ma le backbone CDN dei principali attori del settore. Questo traffico è legato a internet, ma non è la rete di cui parlavamo.
Internet si sta frammentando in un vasto insieme di reti poco collegate tra loro.
Microsoft ha la sua rete, Google ha la sua, e tra di loro si intersecano poco. Il traffico che origina negli Stati Uniti percorre i canali Microsoft attraverso l'oceano verso l'Europa, dove si trova un CDN, e poi attraverso il CDN o l'IX si connette con il tuo fornitore e arriva al tuo router.
La decentralizzazione sta svanendo.
Questa forza dell'internet, che potrebbe aiutare a sopravvivere a un'esplosione nucleare, si sta perdendo. Stanno emergendo luoghi di concentrazione di utenti e traffico. Se un grande giocatore come Google Cloud crolla, ci saranno molti danni simultaneamente. Questo l'abbiamo già avvertito quando il Roskomnadzor ha bloccato AWS. E dall'esempio di CenturyLink si vede che basta poco per scatenare questo effetto.
In passato non tutto si rompeva per tutti. In futuro potremmo arrivare al punto in cui influenzando un grande attore, si possono danneggiare molte cose, in molti posti e per molte persone.
Stati
I seguenti stati sono in attesa, e di solito accade così.
Qui, il nostro Roskomnadzor non è affatto un pioniere. Pratiche simili di shutdown di Internet esistono in Iran, India, Pakistan. In Inghilterra c'è una proposta di legge per la possibilità di disattivare Internet.
Qualsiasi grande stato desidera avere un interruttore per spegnere Internet, sia completamente che parzialmente: Twitter, Telegram, Facebook. Non è che non capiscano che non sarà mai possibile, ma lo desiderano molto. L'interruttore viene generalmente usato per scopi politici, per eliminare concorrenti politici, o quando le elezioni sono all'orizzonte, o i hacker russi hanno di nuovo rotto qualcosa.
Attacchi DDoS
Non voglio togliere il lavoro ai colleghi di Qrator Labs, loro lo fanno molto meglio di me. Hanno sulla stabilità di Internet. Ecco cosa hanno scritto nel rapporto del 2018.
La durata media degli attacchi DDoS scende a 2.5 ore. Anche gli aggressori iniziano a contare i soldi, e se la risorsa non cade subito, la lasciano rapidamente in pace.
Aumenta l'intensità degli attacchi. Nel 2018 abbiamo visto 1.7 Tb/s sulla rete Akamai, e questo non è un limite.
Emergono nuovi vettori di attacco e si rafforzano quelli esistenti. Emergon nuovi protocolli vulnerabili all'amplificazione, con nuove attacchi sui protocolli esistenti, soprattutto su TLS e simili.
La maggior parte del traffico proviene da dispositivi mobili. Allo stesso tempo, il traffico internet si sposta verso i clienti mobili. Questo richiede competenze sia da parte di chi attacca che di chi difende.
Non ci sono sistemi invulnerabili. Questo è il concetto principale: non esiste e non apparirà una protezione universale in grado di difendere da qualsiasi DDoS.
Un sistema non può essere compromesso solo se non è connesso a internet.
Spero di avervi sufficientemente spaventato. Ora pensiamo a cosa fare.
Cosa fare?!
Se avete tempo libero, voglia e conoscenza dell'inglese, partecipate ai gruppi di lavoro: IETF, RIPE WG. Questi sono mailing list aperti, iscrivetevi alle newsletter, partecipate alle discussioni, venite alle conferenze. Se avete lo status di LIR, potete votare, ad esempio, in RIPE per varie iniziative.
Per le persone comuni, questo monitoraggio. Per sapere cosa è andato storto.
Monitoraggio: cosa controllare?
Ping normale, e non solo un controllo binario - funziona o non funziona. Registra il RTT nella cronologia per monitorare eventuali anomalie.
Traceroute. È un programma di utilità per determinare i percorsi dei dati nelle reti TCP/IP. Aiuta a individuare anomalie e blocchi.
Le verifiche HTTP per URL personalizzati e certificati TLS aiuteranno a rilevare blocchi o sostituzioni DNS per attacchi, che sono praticamente la stessa cosa. I blocchi vengono spesso eseguiti tramite sostituzione DNS e con l'incapsulamento del traffico su una pagina di errore.
Se possibile, controlla la risoluzione del tuo origine dai tuoi clienti in diverse località, se hai un'applicazione. In questo modo puoi scoprire anomalie di intercettazione DNS, di cui a volte si rendono colpevoli i provider.
Monitoraggio: da dove controllare?
Non c'è una risposta universale. Controlla da dove proviene l'utente. Se gli utenti si trovano in Russia, controlla dalla Russia, ma non limitarti a essa. Se i tuoi utenti vivono in diverse regioni, controlla da queste regioni. Ma è meglio farlo da tutto il mondo.
Monitoraggio: con cosa controllare?
Ho pensato a tre modalità. Se ne conosci di più, scrivi nei commenti.
- RIPE Atlas.
- Monitoraggio commerciale.
- La tua rete di macchine virtuali.
Parliamo di ognuno di loro.
RIPE Atlas — è una piccola scatola. Per chi conosce il "Revisor" russo, è una scatola simile ma con un'etichetta diversa.
RIPE Atlas è un programma gratuito. Ti registri, ricevi un router via posta e lo colleghi alla rete. Per ogni volta che qualcun altro utilizza il tuo campione, guadagni dei crediti. Con questi crediti puoi condurre le tue ricerche. Puoi testare in vari modi: ping, traceroute, verificare i certificati. La copertura è abbastanza ampia, ci sono molte nodi. Ma ci sono delle sfide.
Il sistema di crediti non permette di costruire soluzioni di produzione. I crediti non sono sufficienti per ricerche costanti o monitoraggio commerciale. I crediti sono sufficienti per una ricerca breve o un controllo una tantum. La norma giornaliera per un campione viene consumata in 1-2 controlli.
La copertura non è uniforme. Poiché il programma è gratuito in entrambe le direzioni, la copertura è buona in Europa, nella parte europea della Russia e in alcune regioni. Ma se hai bisogno dell'Indonesia o della Nuova Zelanda, la situazione è molto peggiore: potrebbe non esserci un numero sufficiente di campioni per paese.
Non puoi controllare http con il campione. Questo è dovuto a sfide tecniche. Promettono di risolvere nella nuova versione, ma per ora non è possibile controllare http. È possibile solo verificare il certificato. Alcuni controlli http possono essere effettuati solo attraverso un dispositivo speciale RIPE Atlas chiamato Anchor.
Il secondo metodo è il monitoraggio commerciale. Con questo tutto funziona bene, giusto? Si pagano dei soldi? Ti promettono decine o centinaia di punti di monitoraggio in tutto il mondo, disegnano bellissime dashboard 'pronte all'uso'. Ma, ancora una volta, ci sono problemi.
È a pagamento, a volte molto. Il monitoraggio dei ping, i controlli da tutto il mondo e diversi controlli http possono costare diverse migliaia di dollari all'anno. Se le finanze lo permettono e ti piace questa soluzione, prego.
La copertura potrebbe non essere sufficiente nella regione di interesse. Con i ping si determina al massimo una parte astratta del mondo: Asia, Europa, Nord America. Rari sistemi di monitoraggio possono dettagliare il campione fino a un paese o regione specifici.
Supporto debole per i test personalizzati. Se hai bisogno di qualcosa di personalizzato, e non semplicemente 'ping' su un url, allora ci sono problemi anche con questo.
Il terzo metodo è il monitoraggio proprio. È un classico: 'Scriviamo il nostro!'
La tua soluzione di monitoraggio si trasforma in uno sviluppo di software, e in particolare in uno distribuito. Stai cercando un fornitore di infrastruttura, valutando come implementarlo e monitorarlo—devi monitorare il monitoraggio, giusto? Inoltre, hai bisogno di supporto. Pensa dieci volte prima di affrontare questa sfida. Forse è più semplice pagare qualcuno che lo faccia per te.
Monitoraggio delle anomalie BGP e degli attacchi DDoS
Qui, per le risorse disponibili, è tutto più semplice. Le anomalie BGP vengono rilevate tramite servizi specializzati come QRadar, BGPmon. Ricevono una tabella full view da molti operatori. Sulla base di ciò che vedono da diversi operatori, possono identificare anomalie, cercare amplificatori e altro. Di solito, la registrazione è gratuita: inserisci il numero della tua autonoma, ti iscrivi per ricevere notifiche via email, e il servizio ti avvisa sui tuoi problemi.
Nel monitoraggio degli attacchi DDoS è tutto piuttosto semplice. In genere, si tratta di NetFlow-based e log. Esistono sistemi specializzati come FastNetMon, moduli per Splunk. In caso di necessità, c'è il tuo fornitore di protezione DDoS. Puoi anche inviare il NetFlow e in base a questo ti avviserà degli attacchi verso di te.
Conclusioni
Non nutrire illusioni: internet si romperà sicuramente.. Non si romperà tutto e non a tutti, ma 14 mila incidenti nel 2017 suggeriscono che ci saranno problemi.
Il tuo compito è individuare i problemi il prima possibile.. Almeno non più tardi del tuo utente. Non solo devi notare, ma dovresti sempre avere un «piano B» a disposizione. Un piano è una strategia su cosa fare quando tutto si rompe.: operatori di riserva, datacenter, CDN. Il piano è una checklist separata con cui controlli il funzionamento di tutto. Il piano deve funzionare senza coinvolgere ingegneri di rete, perché di solito sono pochi e vogliono dormire.
Questo è tutto. Ti auguro alta disponibilità e monitoraggio verde.
La prossima settimana a Novosibirsk è previsto sole, carichi elevati e alta concentrazione di sviluppatori a . In Siberia è previsto un convegno sulle tematiche del monitoraggio, disponibilità e testing, sicurezza e gestione. Sono attesi precipitazioni sotto forma di appunti scritti, networking, foto e post sui social media. Si consiglia di rimandare tutte le attività il 24 e 25 giugno e . Vi aspettiamo in Siberia!
Fonte: habr.com
