Čini se da je Internet snažna, nezavisna i neuništiva struktura. U teoriji, mreža je dovoljno jaka da preživi nuklearnu eksploziju. U stvarnosti, Internet može ispustiti jedan mali ruter. Sve zato što je internet gomila kontradikcija, ranjivosti, grešaka i videa o mačkama. Okosnica interneta, BGP, prepuna je problema. Neverovatno je da još uvek diše. Osim grešaka na samom Internetu, razbijaju ga i svi i svi: veliki internet provajderi, korporacije, države i DDoS napadi. Šta učiniti s tim i kako živjeti s tim?
Zna odgovor Alexey Uchakin () je vođa tima mrežnih inženjera u IQ Optionu. Njegov glavni zadatak je dostupnost platforme za korisnike. U transkriptu Aleksejevog izveštaja o Hajde da pričamo o BGP-u, DDOS napadima, internet komutatorima, greškama provajdera, decentralizaciji i slučajevima kada je mali ruter prebacio internet u stanje mirovanja. Za kraj - par savjeta kako sve ovo preživjeti.
Dan kada je Internet probio
Navešću samo nekoliko incidenata u kojima je došlo do prekida internetske veze. Ovo će biti dovoljno za potpunu sliku.
"AS7007 incident". Prvi put se internet pokvario u aprilu 1997. Postojala je greška u softveru jednog rutera iz autonomnog sistema 7007. U nekom trenutku, ruter je najavio svoju internu tabelu rutiranja svojim susjedima i poslao pola mreže u crnu rupu.
"Pakistan protiv YouTube-a". 2008. hrabri momci iz Pakistana odlučili su da blokiraju YouTube. Učinili su to tako dobro da je pola svijeta ostalo bez mačaka.
“Preuzimanje VISA, MasterCard i Symantec prefiksa od strane Rostelecoma”. Godine 2017. Rostelecom je greškom počeo da objavljuje VISA, MasterCard i Symantec prefikse. Kao rezultat toga, finansijski promet je usmjeravan kroz kanale koje kontrolira provajder. Curenje nije dugo trajalo, ali je bilo neugodno za finansijske kompanije.
Google protiv Japana. U avgustu 2017. Google je počeo da objavljuje prefikse velikih japanskih provajdera NTT i KDDI u nekim svojim uplinkovima. Saobraćaj je poslan Googleu kao tranzit, najvjerovatnije greškom. Budući da Google nije provajder i ne dozvoljava tranzitni saobraćaj, značajan dio Japana ostao je bez interneta.
“DV LINK je snimio prefikse Google, Apple, Facebook, Microsoft”. Takođe 2017. godine, ruski provajder DV LINK iz nekog razloga počeo je da najavljuje mreže Google, Apple, Facebook, Microsoft i nekih drugih velikih igrača.
“eNet iz SAD-a je uhvatio AWS Route53 i MyEtherwallet prefikse”. U 2018., provajder iz Ohaja ili jedan od njegovih klijenata najavio je Amazon Route53 i MyEtherwallet mreže kripto novčanika. Napad je bio uspješan: čak i uprkos samopotpisanom certifikatu, upozorenje o kojem se korisniku pojavilo prilikom ulaska na web stranicu MyEtherwallet, mnogi novčanici su oteti i dio kriptovalute je ukraden.
Samo u 2017. godini bilo je više od 14 ovakvih incidenata! Mreža je još uvijek decentralizirana, tako da se ne kvari sve i ne svi. Ali postoje hiljade incidenata, svi povezani sa BGP protokolom koji pokreće Internet.
BGP i njegovi problemi
Protokol BGP - Border Gateway Protocol, prvi put su 1989. godine opisali dva inženjera iz IBM-a i Cisco Systems-a na tri „salvete“ - A4 lista. Ove i dalje sjedi u sjedištu Cisco Systems-a u San Franciscu kao relikt svijeta umrežavanja.
Protokol se zasniva na interakciji autonomnih sistema - Autonomni sistemi ili skraćeno AS. Autonomni sistem je jednostavno ID kojem su IP mreže dodijeljene u javnom registru. Ruter sa ovim ID-om može objaviti ove mreže svijetu. Shodno tome, bilo koja ruta na Internetu se može predstaviti kao vektor, koji se zove AS put. Vektor se sastoji od broja autonomnih sistema koje je potrebno preći da bi se došlo do odredišne mreže.
Na primjer, postoji mreža brojnih autonomnih sistema. Morate prijeći sa sistema AS65001 na sistem AS65003. Putanja iz jednog sistema je na dijagramu predstavljena AS Putem. Sastoji se od dva autonomna sistema: 65002 i 65003. Za svaku odredišnu adresu postoji vektor AS putanje, koji se sastoji od broja autonomnih sistema kroz koje treba da prođemo.
Dakle, koji su problemi sa BGP-om?
BGP je protokol povjerenja
BGP protokol je zasnovan na poverenju. To znači da po defaultu vjerujemo komšiji. Ovo je karakteristika mnogih protokola koji su razvijeni na samom početku Interneta. Hajde da shvatimo šta znači "poverenje".
Nema autentifikacije susjeda. Formalno postoji MD5, ali MD5 u 2019. je upravo to...
Nema filtriranja. BGP ima filtere i oni su opisani, ali se ne koriste ili koriste pogrešno. Kasnije ću objasniti zašto.
Vrlo je lako uspostaviti susjedstvo. Postavljanje susjedstva u BGP protokolu na gotovo svakom ruteru je nekoliko redova konfiguracije.
Nisu potrebna prava upravljanja BGP-om. Ne morate polagati ispite da biste dokazali svoje kvalifikacije. Niko vam neće oduzeti prava za konfigurisanje BGP-a u pijanom stanju.
Dva glavna problema
Otmice prefiksa. Otmica prefiksa je oglašavanje mreže koja vam ne pripada, kao što je slučaj s MyEtherwallet-om. Uzeli smo neke prefikse, dogovorili se sa provajderom ili ga hakovali i preko njega najavljujemo ove mreže.
Ruta curi. Curenje je malo komplikovanije. Curenje je promjena AS putanje. U najboljem slučaju, promjena će rezultirati većim kašnjenjem jer trebate putovati dužom rutom ili na manje prostranoj vezi. U najgorem slučaju, ponovit će se slučaj s Googleom i Japanom.
Google sam po sebi nije operater ili tranzitni autonomni sistem. Ali kada je svom provajderu najavio mreže japanskih operatera, promet preko Googlea preko AS Path-a smatran je višim prioritetom. Saobraćaj je otišao tamo i opao jednostavno zato što su postavke rutiranja unutar Google-a složenije od samo filtera na granici.
Zašto filteri ne rade?
Nikoga nije briga. Ovo je glavni razlog - nikoga nije briga. Administrator malog provajdera ili kompanije koja se povezala sa provajderom preko BGP-a uzeo je MikroTik, konfigurisao BGP na njemu i ne zna ni da se tu mogu konfigurisati filteri.
Greške u konfiguraciji. Nešto su zabrljali, pogriješili u maski, stavili pogrešnu mrežicu - i sad je opet greška.
Nema tehničke mogućnosti. Na primjer, telekom provajderi imaju mnogo klijenata. Pametno je automatski ažurirati filtere za svakog klijenta - pratiti da li ima novu mrežu, da je svoju mrežu nekome iznajmio. Teško je ovo pratiti, a još teže rukama. Stoga jednostavno ugrađuju opuštene filtere ili ih uopće ne ugrađuju.
Izuzeci. Postoje izuzeci za voljene i velike klijente. Posebno u slučaju međuoperaterskih sučelja. Na primjer, TransTeleCom i Rostelecom imaju gomilu mreža i postoji interfejs između njih. Ako spoj padne, nikome neće biti dobro, pa se filteri opuštaju ili uklanjaju u potpunosti.
Zastarjele ili nebitne informacije u IRR-u. Filteri se grade na osnovu informacija koje su zabilježene IRR - Internet Routing Registry. To su registri regionalnih Internet registratora. Često registri sadrže zastarjele ili nebitne informacije, ili oboje.
Ko su ti matičari?
Sve Internet adrese pripadaju organizaciji IANA - Internet Assigned Numbers Authority. Kada od nekoga kupujete IP mrežu, ne kupujete adrese, već pravo da ih koristite. Adrese su nematerijalni resurs i prema zajedničkom dogovoru sve su u vlasništvu IANA-e.
Sistem funkcioniše ovako. IANA delegira upravljanje IP adresama i brojevima autonomnog sistema na pet regionalnih registratora. Izdaju autonomne sisteme LIR - lokalni internet registratori. LIR-ovi zatim dodjeljuju IP adrese krajnjim korisnicima.
Nedostatak sistema je što svaki od regionalnih registrara vodi svoje registre na svoj način. Svako ima svoje stavove o tome koje informacije treba da budu sadržane u registrima i ko treba, a ko ne treba da ih provjerava. Rezultat je nered koji sada imamo.
Kako drugačije možete da se borite protiv ovih problema?
IRR - osrednji kvalitet. Sa IRR-om je jasno - tamo je sve loše.
BGP-zajednice. Ovo je neki atribut koji je opisan u protokolu. Možemo priložiti, na primjer, posebnu zajednicu našoj objavi kako susjed ne bi slao naše mreže svojim susjedima. Kada imamo P2P vezu, razmjenjujemo samo naše mreže. Kako bismo spriječili da ruta slučajno ode na druge mreže, dodajemo zajednicu.
Zajednice nisu tranzitivne. To je uvijek ugovor za dvoje, a to je njihov nedostatak. Ne možemo dodijeliti nijednu zajednicu, osim jedne, koju svi prihvaćaju po defaultu. Ne možemo biti sigurni da će svi prihvatiti ovu zajednicu i ispravno je tumačiti. Stoga, u najboljem slučaju, ako se slažete sa svojim uplinkom, on će razumjeti šta želite od njega u smislu zajednice. Ali vaš susjed možda neće razumjeti, ili će vam operater jednostavno resetirati vašu oznaku, a vi nećete postići ono što ste željeli.
RPKI + ROA rješava samo mali dio problema. RPKI je Infrastruktura javnog ključa resursa — poseban okvir za potpisivanje informacija o rutiranju. Dobra je ideja prisiliti LIR-ove i njihove klijente da održavaju ažurnu bazu podataka adresnog prostora. Ali postoji jedan problem s tim.
RPKI je takođe hijerarhijski sistem javnih ključeva. IANA ima ključ iz kojeg se generiraju RIR ključevi i iz kojeg se generiraju LIR ključevi? kojim potpisuju svoj adresni prostor koristeći ROAs - Route Origin Authorisations:
— Uvjeravam vas da će ovaj prefiks biti objavljen u ime ove autonomne regije.
Osim ROA, postoje i drugi objekti, ali o njima kasnije. Čini se kao dobra i korisna stvar. Ali to nas ne štiti od curenja riječi "uopšte" i ne rješava sve probleme s otmicom prefiksa. Stoga igrači ne žure da ga implementiraju. Iako već postoje uvjeravanja velikih igrača kao što su AT&T i velike IX kompanije da će prefiksi s nevažećim ROA zapisom biti odbačeni.
Možda će to učiniti, ali za sada imamo ogroman broj prefiksa koji nisu ni na koji način potpisani. S jedne strane, nejasno je da li su oni valjano najavljeni. S druge strane, ne možemo ih po defaultu izbaciti, jer nismo sigurni da li je to tačno ili ne.
Šta još ima?
BGPSec. Ovo je super stvar koju su akademici smislili za mrežu ružičastih ponija. Oni su rekli:
- Imamo RPKI + ROA - mehanizam za provjeru potpisa adresnog prostora. Kreirajmo poseban BGP atribut i nazovimo ga BGPSec Path. Svaki ruter će svojim potpisom potpisati najave koje objavljuje svojim susjedima. Na ovaj način ćemo dobiti pouzdanu putanju iz lanca potpisanih objava i moći ćemo je provjeriti.
Dobro u teoriji, ali u praksi ima mnogo problema. BGPSec razbija mnoge postojeće BGP mehanike za odabir sljedećih skokova i upravljanje dolaznim/odlaznim prometom direktno na ruteru. BGPSec ne radi sve dok ga 95% čitavog tržišta ne implementira, što je samo po sebi utopija.
BGPSec ima velike probleme sa performansama. Na trenutnom hardveru, brzina provjere najava je približno 50 prefiksa u sekundi. Poređenja radi: trenutna internet tabela od 700 prefiksa biće postavljena za 000 sati, tokom kojih će se promeniti još 5 puta.
BGP Open Policy (BGP zasnovan na ulogama). Svježi prijedlog baziran na modelu Gao-Rexford. Ovo su dva naučnika koji istražuju BGP.
Gao-Rexfordov model je sljedeći. Da pojednostavimo, kod BGP-a postoji mali broj tipova interakcija:
- Provider Customer;
- P2P;
- interna komunikacija, recimo iBGP.
Na osnovu uloge rutera, već je moguće dodijeliti određene politike uvoza/izvoza po defaultu. Administrator ne treba da konfiguriše liste prefiksa. Na osnovu uloge o kojoj se ruteri međusobno dogovore i koja se može podesiti, već dobijamo neke zadane filtere. Ovo je trenutno nacrt o kojem se raspravlja u IETF-u. Nadam se da ćemo to uskoro vidjeti u obliku RFC-a i implementacije na hardveru.
Veliki Internet provajderi
Pogledajmo primjer provajdera CenturyLink. To je treći najveći američki provajder, koji opslužuje 37 država i ima 15 data centara.
U decembru 2018. CenturyLink je bio na američkom tržištu 50 sati. Tokom incidenta došlo je do problema sa radom bankomata u dvije države, a broj 911 nije radio nekoliko sati u pet država. Lutrija u Ajdahu je potpuno uništena. Incident je trenutno pod istragom američke Komisije za telekomunikacije.
Uzrok tragedije bila je jedna mrežna kartica u jednom data centru. Kartica je pokvarila rad, poslala je pogrešne pakete i svih 15 data centara provajdera se pokvarilo.
Ideja nije uspjela za ovog provajdera "prevelik da bi pao". Ova ideja uopšte ne funkcioniše. Možete uzeti bilo kojeg velikog igrača i staviti neke male stvari na vrh. Sjedinjene Američke Države i dalje dobro rade sa povezivanjem. Klijenti CenturyLink-a koji su imali rezervu masovno su ulazili u njega. Zatim su se alternativni operateri požalili da su njihovi linkovi preopterećeni.
Ako padne uslovni Kazahtelekom, cijela zemlja će ostati bez interneta.
Korporacije
Vjerovatno Google, Amazon, FaceBook i druge korporacije podržavaju internet? Ne, i oni ga pokvare.
2017. godine u Sankt Peterburgu na konferenciji ENOG13 Jeff Houston из APnic uveo . Kaže da smo navikli da su interakcije, tokovi novca i promet na Internetu vertikalni. Imamo male provajdere koji plaćaju za povezivanje sa većim, a oni već plaćaju za povezivanje sa globalnim tranzitom.
Sada imamo tako vertikalno orijentisanu strukturu. Sve bi bilo u redu, ali svijet se mijenja - glavni igrači grade svoje prekookeanske kablove kako bi izgradili vlastitu kičmu.
Novosti o CDN kablu.
TeleGeography je 2018. objavio studiju da više od polovine saobraćaja na internetu više nije internet, već okosnica CDN velikih igrača. Ovo je promet koji je vezan za internet, ali ovo više nije mreža o kojoj smo pričali.
Internet se raspada na veliki skup slabo povezanih mreža.
Microsoft ima svoju mrežu, Google ima svoju i malo se preklapaju jedna s drugom. Saobraćaj koji je nastao negdje u SAD ide preko Microsoftovih kanala preko okeana u Evropu negdje preko CDN-a, zatim se preko CDN-a ili IX povezuje sa vašim provajderom i dolazi do vašeg rutera.
Decentralizacija nestaje.
Ova snaga interneta, koja će mu pomoći da preživi nuklearnu eksploziju, se gubi. Pojavljuju se mjesta koncentracije korisnika i prometa. Ako uslovni Google Cloud padne, bit će mnogo žrtava odjednom. Djelomično smo to osjetili kada je Roskomnadzor blokirao AWS. A primjer CenturyLink-a pokazuje da su za to dovoljne i male stvari.
Ranije nije sve i nisu svi pokvarili. U budućnosti možemo doći do zaključka da utjecajem na jednog velikog igrača možemo razbiti mnogo stvari, na mnogo mjesta i kod mnogih ljudi.
države
Države su sljedeće na redu, a to im se obično dešava.
Naš Roskomnadzor ovdje nikako nije pionir. Slična praksa gašenja interneta postoji u Iranu, Indiji i Pakistanu. U Engleskoj postoji prijedlog zakona o mogućnosti gašenja interneta.
Svaka velika država želi da dobije prekidač da isključi internet, bilo u potpunosti ili u dijelovima: Twitter, Telegram, Facebook. Nije da ne shvataju da nikada neće uspeti, ali to zaista žele. Prekidač se, po pravilu, koristi u političke svrhe - da se eliminišu politički konkurenti, ili se približavaju izbori, ili su ruski hakeri ponovo nešto razbili.
DDoS napadi
Neću oduzimati hljeb svojim drugovima iz Qrator Labsa, oni to rade mnogo bolje od mene. Oni imaju o stabilnosti interneta. A ovo je ono što su napisali u izvještaju za 2018.
Prosječno trajanje DDoS napada pada na 2.5 sata. Napadači također počinju brojati novac, a ako resurs nije odmah dostupan, onda ga brzo ostave na miru.
Intenzitet napada raste. U 2018. smo vidjeli 1.7 Tb/s na Akamai mreži, a to nije granica.
Pojavljuju se novi vektori napada, a stari se intenziviraju. Pojavljuju se novi protokoli koji su podložni pojačavanju, a pojavljuju se i novi napadi na postojeće protokole, posebno TLS i slične.
Većina saobraćaja je sa mobilnih uređaja. Istovremeno, internet promet prelazi na mobilne klijente. I oni koji napadaju i oni koji se brane moraju biti sposobni da rade s tim.
Neranjivi - ne. Ovo je glavna ideja - ne postoji univerzalna zaštita koja će definitivno zaštititi od bilo kakvog DDoS-a.
Sistem se ne može instalirati osim ako nije povezan na Internet.
Nadam se da sam te dovoljno uplašio. Hajde sada da razmislimo šta da radimo povodom toga.
Šta da radim?!
Ukoliko imate slobodnog vremena, želje i znanja engleskog, uključite se u radne grupe: IETF, RIPE WG. To su otvorene mail liste, pretplatite se na mailing liste, sudjelujte u diskusijama, dolazite na konferencije. Ako imate LIR status, možete glasati, na primjer, u RIPE-u za razne inicijative.
Za obične smrtnike je to praćenje. Da znam šta je pokvareno.
Monitoring: šta provjeriti?
Normalan Ping, a ne samo binarnu provjeru - radi ili ne. Snimite RTT u historiji kako biste kasnije mogli pogledati anomalije.
Traceroute. Ovo je pomoćni program za određivanje ruta podataka na TCP/IP mrežama. Pomaže u prepoznavanju anomalija i blokada.
HTTP provjerava prilagođene URL-ove i TLS certifikate pomoći će u otkrivanju blokiranja ili lažiranja DNS-a za napad, što je praktično ista stvar. Blokiranje se često vrši lažiranjem DNS-a i okretanjem saobraćaja na završnu stranicu.
Ako je moguće, provjerite odluku vaših klijenata o vašem porijeklu s različitih mjesta ako imate aplikaciju. Ovo će vam pomoći da otkrijete anomalije otmice DNS-a, nešto što provajderi ponekad rade.
Monitoring: gdje provjeriti?
Ne postoji univerzalni odgovor. Provjerite odakle korisnik dolazi. Ako su korisnici u Rusiji, provjerite iz Rusije, ali nemojte se ograničavati na to. Ako vaši korisnici žive u različitim regijama, provjerite iz ovih regija. Ali bolje iz cijelog svijeta.
Monitoring: šta provjeriti?
Smislio sam tri načina. Ako znate više, pišite u komentarima.
- RIPE Atlas.
- Komercijalni nadzor.
- Vaša vlastita mreža virtuelnih mašina.
Hajde da pričamo o svakom od njih.
RIPE Atlas - To je tako mala kutija. Za one koji poznaju domaćeg "Inspektora" - ovo je ista kutija, ali sa drugom naljepnicom.
RIPE Atlas je besplatan program. Registrirate se, dobijete ruter poštom i priključite ga na mrežu. Za činjenicu da neko drugi koristi vaš uzorak, dobijate neke kredite. Uz ove kredite možete sami istražiti. Možete testirati na različite načine: ping, traceroute, provjerite certifikate. Pokrivenost je prilično velika, ima mnogo čvorova. Ali postoje nijanse.
Kreditni sistem ne dozvoljava izgradnju proizvodnih rješenja. Neće biti dovoljno kredita za tekuće istraživanje ili komercijalno praćenje. Bodovi su dovoljni za kratko učenje ili jednokratnu provjeru. Dnevna norma iz jednog uzorka se troši za 1-2 kontrole.
Pokrivenost je neujednačena. Budući da je program besplatan u oba smjera, pokrivenost je dobra u Evropi, u evropskom dijelu Rusije i nekim regijama. Ali ako vam treba Indonezija ili Novi Zeland, onda je sve mnogo gore - možda nećete imati 50 uzoraka po zemlji.
Ne možete provjeriti http iz uzorka. To je zbog tehničkih nijansi. Obećavaju da će to popraviti u novoj verziji, ali za sada se http ne može provjeriti. Samo certifikat se može provjeriti. Neka vrsta http provjere se može obaviti samo na posebnom RIPE Atlas uređaju koji se zove Anchor.
Druga metoda je komercijalno praćenje. Sve je u redu sa njim, plaćate novac, zar ne? Obećavaju vam nekoliko desetina ili stotina nadzornih tačaka širom svijeta i izvlače prekrasne kontrolne ploče iz kutije. Ali, opet, ima problema.
Plaćeno je, na nekim mestima veoma. Praćenje pinga, provjere širom svijeta i puno http provjera mogu koštati nekoliko hiljada dolara godišnje. Ako vam finansije dozvoljavaju i sviđa vam se ovo rješenje, samo naprijed.
Pokrivenost možda neće biti dovoljna u regionu od interesa. Sa istim pingom određen je maksimum apstraktnog dijela svijeta - Azija, Evropa, Sjeverna Amerika. Rijetki sistemi za praćenje mogu se izvući do određene zemlje ili regije.
Slaba podrška za prilagođene testove. Ako vam treba nešto prilagođeno, a ne samo „kovrčavo“ na URL-u, onda i s tim ima problema.
Treći način je vaše praćenje. Ovo je klasik: "Hajde da napišemo svoje!"
Vaše praćenje se pretvara u razvoj softverskog proizvoda, i to distribuiranog. Tražite provajdera infrastrukture, pogledajte kako ga implementirati i nadgledati - nadzor se mora nadzirati, zar ne? Takođe je potrebna podrška. Razmislite deset puta prije nego što prihvatite ovo. Možda je lakše platiti nekome da to uradi umjesto vas.
Praćenje BGP anomalija i DDoS napada
Ovdje je, na osnovu raspoloživih resursa, sve još jednostavnije. BGP anomalije se otkrivaju pomoću specijalizovanih servisa kao što su QRadar, BGPmon. Oni prihvataju punu tabelu prikaza od više operatora. Na osnovu onoga što vide od različitih operatera, mogu otkriti anomalije, tražiti pojačala itd. Registracija je obično besplatna - unesete svoj broj telefona, pretplatite se na obavještenja putem e-pošte, a servis će vas upozoriti na vaše probleme.
Praćenje DDoS napada je takođe jednostavno. Obično je ovo Zasnovano na NetFlowu i evidencije. Postoje specijalizovani sistemi kao što su FastNetMon, moduli za Splunk. U krajnjem slučaju, tu je vaš dobavljač DDoS zaštite. Također može procuriti NetFlow i na osnovu toga će vas obavijestiti o napadima u vašem smjeru.
nalazi
Nemojte gajiti iluzije - Internet će se sigurno pokvariti. Neće se sve i neće svi slomiti, ali 14 hiljada incidenata u 2017. nagovještava da će incidenata biti.
Vaš zadatak je da uočite probleme što je ranije moguće. U najmanju ruku, najkasnije do vašeg korisnika. Ne samo da je važno napomenuti, uvijek držite “Plan B” u rezervi. Plan je strategija šta ćete učiniti kada se sve pokvari.: rezervni operateri, DC, CDN. Plan je posebna kontrolna lista prema kojoj provjeravate rad svega. Plan bi trebao funkcionirati bez uključivanja mrežnih inženjera, jer ih je obično malo i žele spavati.
To je sve. Želim vam visoku dostupnost i zeleni nadzor.
Sljedeće sedmice u Novosibirsku se očekuje sunce, velika opterećenja i velika koncentracija programera . U Sibiru se predviđaju prvi izvještaji o praćenju, dostupnosti i testiranju, sigurnosti i upravljanju. Očekuju se padavine u vidu nažvrljanih bilješki, umrežavanja, fotografija i objava na društvenim mrežama. Preporučujemo odgađanje svih aktivnosti 24. i 25. juna i . Čekamo vas u Sibiru!
izvor: www.habr.com