Čini se da je Internet snažna, neovisna i neuništiva struktura. U teoriji, mreža je dovoljno jaka da preživi nuklearnu eksploziju. U stvarnosti, Internet može ispustiti jedan mali usmjerivač. Sve zato što je internet hrpa proturječja, ranjivosti, pogrešaka i videa o mačkama. Okosnica Interneta, BGP, puna je problema. Nevjerojatno je da još diše. Osim grešaka u samom internetu, kvare ga i svašta: veliki internet provajderi, korporacije, države i DDoS napadi. Što učiniti s tim i kako živjeti s tim?
zna odgovor Aleksej Učakin () voditelj je tima mrežnih inženjera u IQ Optionu. Njegova glavna zadaća je dostupnost platforme za korisnike. U prijepisu Aleksejeva izvještaja o Razgovarajmo o BGP-u, DDOS napadima, internetskim preklopnicima, pogreškama pružatelja usluga, decentralizaciji i slučajevima kada je mali usmjerivač poslao internet u stanje mirovanja. Za kraj - par savjeta kako sve ovo preživjeti.
Dan kada je internet puknuo
Navest ću samo nekoliko incidenata u kojima je došlo do prekida veze s internetom. Ovo će biti dovoljno za kompletnu sliku.
"Incident AS7007". Internet je prvi put pukao u travnju 1997. Došlo je do greške u softveru jednog routera iz autonomnog sustava 7007. U nekom trenutku, ruter je objavio svoju internu tablicu usmjeravanja svojim susjedima i poslao pola mreže u crnu rupu.
"Pakistan protiv YouTubea". Godine 2008. hrabri momci iz Pakistana odlučili su blokirati YouTube. Toliko im je dobro uspjelo da je pola svijeta ostalo bez mačaka.
“Snimanje VISA, MasterCard i Symantec prefiksa od strane Rostelecoma”. Godine 2017. Rostelecom je greškom počeo najavljivati prefikse VISA, MasterCard i Symantec. Kao rezultat toga, financijski promet bio je usmjeren kanalima koje je kontrolirao pružatelj. Curenje nije dugo trajalo, ali je bilo neugodno za financijske tvrtke.
Google protiv Japana. U kolovozu 2017. Google je počeo najavljivati prefikse velikih japanskih pružatelja usluga NTT i KDDI u nekim od svojih uplinkova. Promet je poslan Googleu kao tranzit, najvjerojatnije greškom. Budući da Google nije provajder i ne dopušta tranzitni promet, značajan dio Japana ostao je bez interneta.
“DV LINK uhvatio prefikse Google, Apple, Facebook, Microsoft”. Također u 2017. ruski pružatelj usluga DV LINK iz nekog je razloga počeo najavljivati mreže Googlea, Applea, Facebooka, Microsofta i nekih drugih velikih igrača.
“eNet iz SAD-a uhvatio je AWS Route53 i MyEtherwallet prefikse”. U 2018. pružatelj iz Ohija ili jedan od njegovih klijenata najavio je mreže kripto novčanika Amazon Route53 i MyEtherwallet. Napad je bio uspješan: čak i usprkos samopotpisanom certifikatu, upozorenje o kojem se korisnik pojavio prilikom ulaska na web stranicu MyEtherwallet, mnogi su novčanici bili oteli, a dio kriptovalute je ukraden.
Samo u 2017. bilo je više od 14 takvih incidenata! Mreža je još uvijek decentralizirana, pa se ne kvari sve i ne kvari svatko. No postoje tisuće incidenata, a svi su povezani s BGP protokolom koji pokreće internet.
BGP i njegovi problemi
protokol BGP - Border Gateway Protocol, prvi put su 1989. opisala dva inženjera iz IBM-a i Cisco Systemsa na tri “salvete” - A4 lista. ove još uvijek sjedi u sjedištu Cisco Systemsa u San Franciscu kao relikt svijeta umrežavanja.
Protokol se temelji na interakciji autonomnih sustava - Autonomni sustavi ili skraćeno AS. Autonomni sustav je jednostavno ID kojem su IP mreže dodijeljene u javnom registru. Usmjerivač s ovim ID-om može objaviti ove mreže svijetu. Sukladno tome, bilo koja ruta na Internetu može se prikazati kao vektor, koji se naziva AS Put. Vektor se sastoji od broja autonomnih sustava koji se moraju proći da bi se doseglo odredišnu mrežu.
Na primjer, postoji mreža niza autonomnih sustava. Morate prijeći sa sustava AS65001 na sustav AS65003. Put iz jednog sustava na dijagramu je predstavljen kao AS Put. Sastoji se od dva autonomna sustava: 65002 i 65003. Za svaku odredišnu adresu postoji vektor AS Path, koji se sastoji od brojeva autonomnih sustava kroz koje trebamo proći.
Dakle, koji su problemi s BGP-om?
BGP je protokol povjerenja
BGP protokol se temelji na povjerenju. To znači da svom susjedu vjerujemo standardno. Ovo je značajka mnogih protokola koji su razvijeni u samom osvitu Interneta. Hajde da shvatimo što znači "povjerenje".
Nema provjere autentičnosti susjeda. Formalno postoji MD5, ali MD5 u 2019. je upravo to...
Nema filtriranja. BGP ima filtere i oni su opisani, ali se ne koriste ili se koriste pogrešno. Kasnije ću objasniti zašto.
Vrlo je lako osnovati susjedstvo. Postavljanje susjedstva u BGP protokolu na gotovo svakom usmjerivaču je nekoliko redaka konfiguracije.
Nisu potrebna prava upravljanja BGP-om. Ne morate polagati ispite da biste dokazali svoje kvalifikacije. Nitko vam neće oduzeti prava za konfiguriranje BGP-a dok ste pijani.
Dva glavna problema
Otmice prefiksa. Otmica prefiksa je oglašavanje mreže koja ne pripada vama, kao što je slučaj s MyEtherwalletom. Uzeli smo neke prefikse, dogovorili se s provajderom ili ga hakirali i preko njega najavljujemo te mreže.
Curenje rute. Curenja su malo kompliciranija. Curenje je promjena u AS putu. U najboljem slučaju, promjena će rezultirati većim kašnjenjem jer morate putovati dužom rutom ili na poveznici manjeg kapaciteta. U najgorem slučaju ponovit će se slučaj s Googleom i Japanom.
Sam Google nije operater ili autonomni tranzitni sustav. Ali kada je svom pružatelju usluga najavio mreže japanskih operatera, promet preko Googlea putem AS Patha smatrao se višim prioritetom. Promet je otišao tamo i pao jednostavno zato što su postavke usmjeravanja unutar Googlea složenije od pukih filtara na granici.
Zašto filteri ne rade?
Nikoga nije briga. To je glavni razlog – nikoga nije briga. Administrator malog provajdera ili firme koja se spajala na provajdera preko BGP-a je uzeo MikroTik, konfigurirao BGP na njemu i uopće ne zna da se tu mogu konfigurirati filteri.
Greške u konfiguraciji. Nešto su zabrljali, pogriješili masku, stavili pogrešnu mrežicu - i sad opet greška.
Nema tehničke mogućnosti. Na primjer, pružatelji telekomunikacijskih usluga imaju mnogo klijenata. Pametno je svakom klijentu automatski ažurirati filtere - pratiti da li ima novu mrežu, da li je iznajmio svoju mrežu nekome. Teško je to pratiti, a rukama još teže. Stoga jednostavno postavljaju opuštene filtere ili ih uopće ne postavljaju.
iznimke. Postoje iznimke za voljene i velike klijente. Pogotovo u slučaju međuoperatorskih sučelja. Na primjer, TransTeleCom i Rostelecom imaju hrpu mreža i između njih postoji sučelje. Ako zglob padne, nikome neće biti dobro, pa se filteri opuštaju ili potpuno uklanjaju.
Zastarjele ili nevažne informacije u IRR-u. Filtri su izgrađeni na temelju informacija koje su zabilježene u IRR - Internet Routing Registar. Riječ je o registrima regionalnih internetskih registara. Često registri sadrže zastarjele ili nevažne informacije, ili oboje.
Tko su ti matičari?
Sve internetske adrese pripadaju organizaciji IANA - Internet Assigned Numbers Authority. Kada od nekoga kupite IP mrežu, ne kupujete adrese, već pravo na njihovo korištenje. Adrese su nematerijalni resurs i prema zajedničkom dogovoru sve su u vlasništvu IANA-e.
Sustav funkcionira ovako. IANA delegira upravljanje IP adresama i brojevima autonomnog sustava na pet regionalnih registara. Izdaju autonomne sustave LIR - lokalni internet registri. LIR-ovi tada dodjeljuju IP adrese krajnjim korisnicima.
Nedostatak sustava je što svaki od regionalnih matičara vodi svoje matične knjige na svoj način. Svatko ima svoje mišljenje o tome koje podatke treba sadržavati upisnici i tko ih treba, a tko ne treba provjeravati. Rezultat je nered koji sada imamo.
Kako se drugačije možete boriti protiv ovih problema?
IRR - osrednja kvaliteta. S IRR-om je jasno - tamo je sve loše.
BGP-zajednice. Ovo je neki atribut koji je opisan u protokolu. Našoj objavi možemo priložiti npr. posebnu zajednicu kako susjed ne bi slao naše mreže svojim susjedima. Kada imamo P2P vezu, razmjenjujemo samo svoje mreže. Kako bismo spriječili da ruta slučajno ode na druge mreže, dodajemo zajednicu.
Zajednice nisu tranzitivne. Uvijek je ugovor za dvoje i to im je nedostatak. Ne možemo dodijeliti nijednu zajednicu, osim jedne, koju svi prihvaćaju prema zadanim postavkama. Ne možemo biti sigurni da će svi prihvatiti ovu zajednicu i ispravno je protumačiti. Stoga, u najboljem slučaju, ako se slažete sa svojim uplinkom, on će razumjeti što želite od njega u smislu zajednice. Ali vaš susjed možda neće razumjeti ili će operater jednostavno resetirati vašu oznaku, a vi nećete postići ono što ste htjeli.
RPKI + ROA rješava samo mali dio problema. RPKI je Infrastruktura javnog ključa resursa — poseban okvir za potpisivanje informacija o usmjeravanju. Dobra je ideja natjerati LIR-ove i njihove klijente da održavaju ažurnu bazu podataka adresnog prostora. Ali postoji jedan problem s tim.
RPKI je također hijerarhijski sustav javnih ključeva. IANA ima ključ iz kojeg se generiraju RIR ključevi, a iz kojeg LIR ključevi? s kojim potpisuju svoj adresni prostor koristeći ROA - Route Origin Authorizations:
— Uvjeravam vas da će ovaj prefiks biti objavljen u ime ove autonomne regije.
Osim ROA-e tu su i drugi objekti, ali o njima kasnije. Čini se kao dobra i korisna stvar. Ali to nas ne štiti od curenja iz riječi "uopće" i ne rješava sve probleme s otmicom prefiksa. Stoga se igrači ne žure s implementacijom. Iako već postoje jamstva velikih igrača kao što su AT&T i velike IX tvrtke da će prefiksi s nevažećim zapisom ROA biti odbačeni.
Možda će to učiniti, ali za sada imamo ogroman broj prefiksa koji nisu ni na koji način potpisani. S jedne strane, nejasno je jesu li valjano objavljeni. S druge strane, ne možemo ih ispustiti prema zadanim postavkama jer nismo sigurni je li to točno ili ne.
Što je još tamo?
BGPSec. Ovo je super stvar koju su akademici smislili za mrežu ružičastih ponija. Rekli su:
- Imamo RPKI + ROA - mehanizam za provjeru potpisa adresnog prostora. Kreirajmo zaseban BGP atribut i nazovimo ga BGPSec Path. Svaki usmjerivač svojim će potpisom potpisati obavijesti koje objavljuje svojim susjedima. Na taj način ćemo dobiti pouzdani put iz lanca potpisanih objava i moći ćemo ga provjeriti.
Dobro u teoriji, ali u praksi ima mnogo problema. BGPSec prekida mnoge postojeće BGP mehanike za odabir sljedećih skokova i upravljanje dolaznim/odlaznim prometom izravno na usmjerivaču. BGPSec ne radi dok ga ne implementira 95% cijelog tržišta, što je samo po sebi utopija.
BGPSec ima velike probleme s performansama. Na trenutnom hardveru brzina provjere najava je oko 50 prefiksa u sekundi. Za usporedbu: trenutna internetska tablica od 700 prefiksa bit će postavljena za 000 sati, tijekom kojih će se promijeniti još 5 puta.
Otvorena politika BGP-a (BGP temeljen na ulozi). Svježi prijedlog na temelju modela Gao-Rexford. Ovo su dva znanstvenika koji istražuju BGP.
Gao-Rexfordov model je sljedeći. Da pojednostavimo, s BGP-om postoji mali broj vrsta interakcija:
- Davatelj Kupac;
- P2P;
- interna komunikacija, recimo iBGP.
Na temelju uloge usmjerivača već je moguće prema zadanim postavkama dodijeliti određena pravila uvoza/izvoza. Administrator ne treba konfigurirati popise prefiksa. Na temelju uloge koju usmjerivači međusobno dogovore i koju je moguće postaviti, već dobivamo neke zadane filtere. Ovo je trenutno nacrt o kojem se raspravlja u IETF-u. Nadam se da ćemo to uskoro vidjeti u obliku RFC-a i implementacije na hardveru.
Veliki internet provajderi
Pogledajmo primjer pružatelja usluga CenturyLink. To je treći najveći pružatelj usluga u SAD-u, koji opslužuje 37 država i ima 15 podatkovnih centara.
U prosincu 2018. CenturyLink je bio na američkom tržištu 50 sati. Tijekom incidenta došlo je do problema s radom bankomata u dvije države, a broj 911 nije radio nekoliko sati u pet država. Lutrija u Idahu potpuno je propala. Incident je trenutno pod istragom Američke komisije za telekomunikacije.
Uzrok tragedije bila je jedna mrežna kartica u jednom podatkovnom centru. Kartica se pokvarila, slala netočne pakete i svih 15 podatkovnih centara pružatelja usluga je palo.
Ideja nije uspjela ovom pružatelju usluga "prevelik da padne". Ova ideja uopće ne funkcionira. Možete uzeti bilo kojeg većeg igrača i staviti neke male stvari na vrh. SAD još uvijek dobro stoji s povezivosti. Kupci CenturyLinka koji su imali rezervu ušli su u to u gomilama. Tada su se alternativni operateri žalili da su im linkovi preopterećeni.
Ako padne uvjetni Kazakhtelecom, cijela će država ostati bez interneta.
Korporacije
Vjerojatno Google, Amazon, FaceBook i druge korporacije podržavaju internet? Ne, i oni ga razbijaju.
2017. u St. Petersburgu na konferenciji ENOG13 Jeff Houston od APNIC podnijeti . Kaže da smo navikli da su interakcije, tokovi novca i promet na internetu vertikalni. Imamo male pružatelje usluga koji plaćaju povezanost s većima, a već plaćaju povezanost s globalnim prijevozom.
Sada imamo takvu vertikalno orijentiranu strukturu. Sve bi bilo u redu, ali svijet se mijenja - veliki igrači grade svoje prekooceanske kablove kako bi izgradili vlastite okosnice.
Novosti o CDN kabelu.
TeleGeography je 2018. godine objavio studiju prema kojoj više od polovice prometa na internetu više nije internet, već okosnice CDN-a velikih igrača. Ovo je promet koji je vezan uz internet, ali to više nije mreža o kojoj smo pričali.
Internet se raspada na veliki skup slabo povezanih mreža.
Microsoft ima svoju mrežu, Google ima svoju i malo se međusobno preklapaju. Promet koji je nastao negdje u SAD-u ide Microsoftovim kanalima preko oceana u Europu negdje na CDN-u, zatim se preko CDN-a ili IX-a povezuje s vašim providerom i dolazi do vašeg routera.
Decentralizacija nestaje.
Ova snaga interneta, koja će mu pomoći da preživi nuklearnu eksploziju, gubi se. Pojavljuju se mjesta koncentracije korisnika i prometa. Ako uvjetni Google Cloud padne, bit će mnogo žrtava odjednom. To smo djelomično osjetili kada je Roskomnadzor blokirao AWS. A primjer CenturyLinka pokazuje da su za to dovoljne i male stvari.
Prije se nije sve i nisu svi pokvarili. U budućnosti ćemo možda doći do zaključka da utjecajem na jednog velikog igrača možemo puno toga slomiti, na mnogo mjesta i kod mnogo ljudi.
Države
Države su sljedeće na redu i to im se obično događa.
Ovdje naš Roskomnadzor uopće nije pionir. Slična praksa gašenja interneta postoji u Iranu, Indiji i Pakistanu. U Engleskoj postoji prijedlog zakona o mogućnosti gašenja interneta.
Svaka velika država želi dobiti prekidač za gašenje interneta, potpuno ili djelomično: Twitter, Telegram, Facebook. Nije da ne razumiju da nikada neće uspjeti, ali to stvarno žele. Prekidač se, u pravilu, koristi u političke svrhe - da se eliminiraju politički konkurenti, ili se bliže izbori, ili su ruski hakeri opet nešto provalili.
DDoS napadi
Neću oduzimati kruh svojim drugovima iz Qrator Labsa, oni to rade puno bolje od mene. Oni imaju o stabilnosti interneta. A to su napisali u izvješću za 2018.
Prosječno trajanje DDoS napada pada na 2.5 sata. Napadači također počnu brojati novac, a ako resurs nije odmah dostupan, brzo ga ostave na miru.
Intenzitet napada raste. U 2018. vidjeli smo 1.7 Tb/s na mreži Akamai, a to nije granica.
Pojavljuju se novi vektori napada, a stari se intenziviraju. Pojavljuju se novi protokoli koji su podložni amplificiranju, a pojavljuju se i novi napadi na postojeće protokole, posebice TLS i slično.
Većina prometa dolazi s mobilnih uređaja. U isto vrijeme, internetski promet prebacuje se na mobilne klijente. I oni koji napadaju i oni koji se brane moraju znati raditi s tim.
Nepovrediv - ne. Ovo je glavna ideja - ne postoji univerzalna zaštita koja će sigurno zaštititi od bilo kakvog DDoS-a.
Sustav se ne može instalirati ako nije spojen na Internet.
Nadam se da sam te dovoljno prestrašio. Razmislimo sada što učiniti u vezi s tim.
Što uraditi?!
Ukoliko imate slobodnog vremena, želju i znanje engleskog jezika, sudjelujte u radnim grupama: IETF, RIPE WG. To su otvorene mail liste, pretplatite se na mailing liste, sudjelujte u raspravama, dolazite na konferencije. Ako imate LIR status, možete glasati npr. u RIPE za razne inicijative.
Za obične smrtnike ovo je nadgledanje. Da znam što je pokvareno.
Praćenje: što provjeriti?
Normalni ping, a ne samo binarnu provjeru - radi ili ne. Snimite RTT u povijest kako biste kasnije mogli pogledati anomalije.
traceroute. Ovo je pomoćni program za određivanje ruta podataka na TCP/IP mrežama. Pomaže u prepoznavanju anomalija i blokada.
HTTP provjerava prilagođene URL-ove i TLS certifikate pomoći će otkriti blokiranje ili lažiranje DNS-a za napad, što je praktički ista stvar. Blokiranje se često provodi lažiranjem DNS-a i preusmjeravanjem prometa na stranicu za nedovršetak.
Ako je moguće, provjerite odluku svojih klijenata o vašem porijeklu s različitih mjesta ako imate zahtjev. Ovo će vam pomoći da otkrijete anomalije otmice DNS-a, nešto što pružatelji ponekad rade.
Praćenje: gdje provjeriti?
Ne postoji univerzalni odgovor. Provjerite odakle korisnik dolazi. Ako su korisnici u Rusiji, provjerite iz Rusije, ali nemojte se ograničiti na nju. Ako vaši korisnici žive u različitim regijama, provjerite iz tih regija. Ali bolje sa svih strana svijeta.
Praćenje: što provjeriti?
Smislio sam tri načina. Ako znate više, napišite u komentarima.
- ZRELI Atlas.
- Komercijalni nadzor.
- Vlastita mreža virtualnih strojeva.
Razgovarajmo o svakom od njih.
ZRELI Atlas - to je tako mala kutija. Za one koji poznaju domaćeg "Inspektora" - ovo je ista kutija, ali s drugom naljepnicom.
RIPE Atlas je besplatan program. Registrirate se, dobijete ruter poštom i uključite ga u mrežu. Za činjenicu da netko drugi koristi vaš uzorak, dobivate neke kredite. S ovim zajmovima možete i sami malo istražiti. Možete testirati na različite načine: ping, traceroute, provjeriti certifikate. Pokrivenost je prilično velika, ima mnogo čvorova. Ali postoje nijanse.
Kreditni sustav ne dopušta izgradnju proizvodnih rješenja. Neće biti dovoljno kredita za tekuće istraživanje ili komercijalno praćenje. Bodovi su dovoljni za kratko učenje ili jednokratnu provjeru. Dnevna norma iz jednog uzorka utroši se u 1-2 provjere.
Prekrivanje je neravnomjerno. Budući da je program besplatan u oba smjera, pokrivenost je dobra u Europi, u europskom dijelu Rusije i nekim regijama. Ali ako trebate Indoneziju ili Novi Zeland, onda je sve puno gore - možda nemate 50 uzoraka po zemlji.
Ne možete provjeriti http iz uzorka. To je zbog tehničkih nijansi. Obećavaju da će to popraviti u novoj verziji, ali za sada se http ne može provjeriti. Samo se certifikat može ovjeriti. Neka vrsta http provjere može se napraviti samo na posebnom RIPE Atlas uređaju koji se zove Anchor.
Druga metoda je komercijalni nadzor. S njim je sve u redu, plaćate novac, zar ne? Obećavaju vam nekoliko desetaka ili stotina nadzornih točaka diljem svijeta i izvlače prekrasne nadzorne ploče. Ali, opet, ima problema.
Plaća se, ponegdje itekako. Praćenje pinga, provjere širom svijeta i mnoge http provjere mogu koštati nekoliko tisuća dolara godišnje. Ako vam financije dopuštaju i sviđa vam se ovo rješenje, samo naprijed.
Pokrivenost možda neće biti dovoljna u regiji od interesa. S istim pingom specificira se najviše apstraktni dio svijeta - Azija, Europa, Sjeverna Amerika. Rijetki sustavi praćenja mogu analizirati sve do određene zemlje ili regije.
Slaba podrška za prilagođene testove. Ako trebate nešto prilagođeno, a ne samo "kovrčavo" na url-u, onda i s tim postoje problemi.
Treći način je vaš nadzor. Ovo je klasika: "Pišimo svoje!"
Vaše praćenje pretvara se u razvoj softverskog proizvoda, i to distribuiranog. Tražite pružatelja infrastrukture, pogledajte kako ga implementirati i nadzirati - nadgledanje treba nadzirati, zar ne? Također zahtijeva podršku. Razmislite deset puta prije nego što se upustite u ovo. Možda je lakše platiti nekome da to učini umjesto vas.
Praćenje BGP anomalija i DDoS napada
Ovdje je, na temelju raspoloživih resursa, sve još jednostavnije. BGP anomalije otkrivaju se pomoću specijaliziranih usluga kao što su QRadar, BGPmon. Prihvaćaju tablicu s punim pregledom od više operatera. Na temelju onoga što vide od različitih operatera, mogu otkriti anomalije, tražiti pojačala i tako dalje. Registracija je obično besplatna - unesete svoj broj telefona, pretplatite se na obavijesti e-poštom, a servis će vas upozoriti na probleme.
Praćenje DDoS napada također je jednostavno. Obično je ovo Temeljen na NetFlowu i zapisima. Postoje specijalizirani sustavi poput FastNetMon, moduli za Splunk. U krajnjem slučaju, tu je vaš pružatelj DDoS zaštite. Također može propuštati NetFlow i na temelju njega će vas obavijestiti o napadima u vašem smjeru.
Zaključci
Nemajte iluzija - internet će sigurno puknuti. Neće sve i neće svi puknuti, ali 14 tisuća incidenata u 2017. daje naslutiti da će ih biti.
Vaš zadatak je uočiti probleme što je prije moguće. Najmanje, najkasnije od vašeg korisnika. Ne samo da je važno napomenuti, uvijek imajte "Plan B" u rezervi. Plan je strategija za ono što ćete učiniti kada se sve pokvari.: rezervni operateri, DC, CDN. Plan je zasebna kontrolna lista prema kojoj provjeravate rad svega. Plan bi trebao funkcionirati bez uključivanja mrežnih inženjera, jer ih je obično malo i žele spavati.
To je sve. Želim vam visoku dostupnost i zeleni nadzor.
Sljedeći tjedan u Novosibirsku očekuje se sunce, veliko opterećenje i visoka koncentracija programera . U Sibiru se predviđa niz izvješća o praćenju, pristupačnosti i testiranju, sigurnosti i upravljanju. Očekuju se oborine u obliku škrabanja, umrežavanja, fotografija i objava na društvenim mrežama. Preporučamo odgodu svih aktivnosti 24. i 25. lipnja i . Čekamo vas u Sibiru!
Izvor: www.habr.com