Internet se zdá jako silná, nezávislá a neochvějná struktura. Teoreticky má síť dostatečnou odolnost na to, aby přežila jaderný výbuch. V praxi však internet může zkolabovat kvůli jen jednomu malému routeru. To vše proto, že internet je hromadou protikladů, zranitelností, chyb a videí s kočičkami. Základem internetu je protokol BGP, který obsahuje spoustu problémů. Je překvapivé, že stále funguje. Kromě chyb v samotném internetu jej navíc narušují ti, kdo se nezdráhají: velcí internetoví poskytovatelé, korporace, státy a DDoS útoky. Co s tím dělat a jak s tím žít?
Odpověď zná Alexej Učakin () – vedoucí týmu síťových inženýrů ve společnosti IQ Option. Jeho hlavním úkolem je zajistit dostupnost platformy pro uživatele. V přepisu přednášky Alexeje na se budeme bavit o BGP, DDoS útocích, vypínači internetu, chybách poskytovatelů, decentralizaci a o případech, kdy malý router poslal internet na spánek. Na závěr pak pár rad, jak to všechno přežít.
Den, kdy internet zkolaboval
Uvedu jen několik incidentů, kdy v internetu došlo k výpadku konektivity. To by mělo postačovat pro kompletní obraz.
Incident s AS7007. Poprvé internet zkolaboval v dubnu 1997. V softwaru jednoho routeru z autonomního systému 7007 byla chyba. V určitém okamžiku router oznámil svým sousedům svou interní směrovací tabulku a poslal polovinu sítě do black hole.
Pákistán proti YouTube. V roce 2008 se odvážní chlapci z Pákistánu rozhodli blokovat YouTube. Udělali to tak dobře, že polovina světa zůstala bez koček.
Zahájení prefixů VISA, MasterCard a Symantec společností Rostelekom. V roce 2017 Rostelekom omylem začal oznamovat prefixy VISA, MasterCard a Symantec. Výsledkem bylo, že finanční provoz směřoval přes kanály, které kontroloval poskytovatel. Únik trval kratičkou dobu, ale finančním společnostem to nebylo příjemné.
Google proti Japonsku. V srpnu 2017 Google začal oznamovat v části svých uplinků prefixy velkých japonských poskytovatelů NTT a KDDI. Provoz byl nepochybně omylem odeslán do Googlu jako tranzitní. Protože Google není poskytovatel a tranzitní provoz nepropouští, značná část Japonska zůstala bez internetu.
DV LINK obsadil prefixy Google, Apple, Facebook, Microsoft. V roce 2017 ruský poskytovatel DV LINK začal z nějakého důvodu oznamovat sítě Google, Apple, Facebook, Microsoft a některých dalších významných hráčů.
„eNet ze USA získal prefixy AWS Route53 a MyEtherwallet“. V roce 2018 poskytovatel z Ohia nebo někdo z jeho klientů oznámil sítě Amazon Route53 a kryptoměnové peněženky MyEtherwallet. Útok byl úspěšný: i přes samopodepsaný certifikát, jehož varování se uživateli zobrazovalo při přístupu na web MyEtherwallet, byly ukradeny mnohé peněženky a část kryptoměny.
Podobných incidentů bylo jen v roce 2017 více než 14 000! Síť je stále decentralizovaná, a tak se neporouchává všechno a ne u všech. Ale incidenty se dějí po tisících a všechny jsou spojeny s protokolem BGP, na kterém internet funguje.
BGP a jeho problémy
Protokol BGP – Protokol ohraničujících brán, byl poprvé popsán v roce 1989 dvěma inženýry z IBM a Cisco Systems na třech „ubrouscích“ – listech formátu A4. Tyto dodnes leží v hlavní kanceláři Cisco Systems v San Franciscu jako relikvie síťového světa.
V základu protokolu je interakce autonomních systémů – Autonomous Systems neboli zkráceně AS. Autonomní systém je prostě určité ID, za kterým v veřejném registru jsou zapsány sítě IP. Router s tímto ID může oznámit světu tyto sítě. Odpovídajícím způsobem lze jakoukoli trasu na internetu představit jako vektor, který se nazývá AS Path. Vektor se skládá z čísel autonomních systémů, které je třeba projít, aby se dosáhlo cílové sítě.
Například existuje síť z určitého počtu autonomních systémů. Je potřeba projít ze systému AS65001 do systému AS65003. Cesta z jednoho systému je znázorněna AS Path na schématu. Skládá se ze dvou autonomních systémů: 65002 a 65003. Pro každou cílovou adresu existuje vektor AS Path, který se skládá z čísel autonomních systémů, které je třeba projít.
Jaké problémy má BGP?
BGP je protokol důvěry
Protokol BGP je založen na důvěře. To znamená, že defaultně důvěřujeme našemu sousedovi. Toto je charakteristika mnoha protokolů, které byly vyvinuty na samém počátku internetu. Pojďme si objasnit, co znamená „důvěřovat“.
Žádná autentizace souseda. Formálně existuje MD5, ale MD5 v roce 2019 – no, tak to je...
Žádná filtraci. BGP má filtry a ty jsou popsány, ale nejsou využívány, nebo jsou využívány špatně. Později vysvětlím, proč.
Velmi snadné nastavit sousedství. Nastavení sousedství v protokolu BGP téměř na jakémkoli routeru – pár řádků konfigurace.
Není potřeba mít oprávnění k řízení BGP. Není nutné skládat zkoušky, které potvrzují vaše kvalifikace. Nikdo vám neodebere práva za nastavení BGP v opilosti.
Dva hlavní problémy
Ugony prefixů – prefix hijacks. Ugon prefixu – oznámení sítě, která vám nepatří, jako v případě s MyEtherwallet. Vzali jsme některé prefixy, dohodli se s poskytovatelem nebo ho hackli, a přes něj oznámíme tyto sítě.
Úniky tras – route leaks. S úniky je to trochu složitější. Únik – to je změna AS Path. V nejlepším případě tato změna povede k většímu zpoždění, protože musíte projít delší trasu nebo méně výkonným linkem. V horším případě se znovu zopakuje případ s Googlem a Japonskem.
Sám Google není operátor ani tranzitní autonomní systém. Ale když oznámil svému poskytovateli sítě japonských operátorů, pak byl provoz přes Google na AS Path viděn jako prioritnější. Provoz šel tam a byl prostě zahozen, protože nastavení směrování uvnitř Google bylo složitější než jen filtry na hranici.
Proč filtry nefungují?
Nikdo se nestará. To je hlavní důvod – všem je to jedno. Administrátor malé společnosti nebo poskytovatele, který se připojil k poskytovateli přes BGP, vzal MikroTik, nastavil na něm BGP a ani neví, že je možné nastavovat filtry.
Chyby v konfiguraci. Něco debugovali, udělali chybu v masce, nastavili nesprávnou síť – a je tu opět chyba.
Není technická možnost. Například poskytovatelé služeb mají mnoho klientů. Rozumně by bylo automaticky aktualizovat filtry pro každého klienta – sledovat, že má novou síť, že pronajal svou síť někomu jinému. Sledovat to je složité, ručně – ještě složitější. Proto se jednoduše nastavují uvolněné filtry nebo se filtry vůbec nenastavují.
Výjimky. Existují výjimky pro oblíbené a velké klienty. Zejména v případě mezooperátorských spojení. Například TransTelecom a Rostelecom mají spoustu sítí a mezi nimi spojení. Pokud spojení spadne – nikomu to nebude dobře, takže filtry uvolňují nebo úplně odstraňují.
Zastaralé nebo neaktuální informace v IRR. Filtry se staví na základě informací, které jsou zapsány v IRR – Internet Routing Registry. Jedná se o registry regionálních internetových registrátorů. Často obsahují zastaralé nebo neaktuální informace, nebo obojí.
Kdo jsou tito registrátoři?
Všechny adresy na internetu patří organizacím IANA – Internet Assigned Numbers Authority. Když si od někoho kupujete síť IP, nekupujete adresy, ale právo je používat. Adresy jsou nehmotný zdroj a podle dohody patří všem agentuře IANA.
Systém funguje takto. IANA deleguje správu IP adres a čísel autonomních systémů pěti regionálním registrátorům. Ti vydávají autonomní systémy LIR – lokálním internetovým registrátorům. Dále LIR přidělují IP adresy koncovým uživatelům.
Nevýhodou systému je, že každý z regionálních registrátorů vede své registry po svém. Každý má svůj pohled na to, jaké informace by měly být v registrech, kdo by je měl či neměl kontrolovat. Výsledkem je chaos, který máme nyní.
Jak jinak lze bojovat s těmito problémy?
IRR – průměrná kvalita. S IRR je to jasné – je to špatné.
BGP-communities. To je určitý atribut, který je popsán v protokolu. Můžeme připojit například speciální community k našemu oznámení, aby soused neodesílal naše sítě svým sousedům. Když máme link P2P, vyměňujeme si jen naše sítě. Aby náhodou cesta neodešla do jiných sítí, připojujeme community.
Community nejsou tranzitivní. Je to vždy dohoda mezi dvěma, a to je jejich nevýhoda. Nemůžeme připojit žádnou community, kromě jedné, kterou přijímají všichni jako výchozí. Nemůžeme si být jisti, že tuto community všichni přijmou a správně interpretují. Proto, v nejlepším případě, pokud se domluvíte se svým uplinkem, pochopí, co od něj chcete přes community. Ale může to nepochopit jeho soused, nebo operátor prostě odstraní vaši značku a nedosáhnete toho, co jste chtěli.
RPKI + ROA řeší pouze malou část problémů. RPKI – to je Resource Public Key Infrastructure – speciální rámec pro podepisování směrovacích informací. Dobrá myšlenka, jak donutit LIR a jejich klienty vést aktuální databázi adresního prostoru. Ale s tím je jeden problém.
RPKI je také hierarchický systém otevřených klíčů. IANA má klíč, od kterého jsou vytvářeny klíče RIR, a od nich klíče LIR, kterými podepisují své adresní prostory pomocí ROA — Route Origin Authorisations:
— Ujišťuji, že tento prefix bude vyhlašován jménem této autonomní sítě.
Kromě ROA existují i další objekty, ale o těch někdy jindy. Zdá se, že je to užitečná a dobrá věc. Ale tato ochrana nás neochrání před úniky, to znamená, že neřeší všechny problémy s krádeží prefixů. Proto se hráči do jejího zavádění nesnaží přehnaně spěchat. I když už od velkých hráčů, jako je AT&T a velkých IX, máme záruky, že prefixy s invalidními zápisy ROA budou vyhazovány.
Možná to budou dělat, ale zatím máme ohromné množství prefixů, které nejsou nijak podepsány. Na jedné straně není jasné, jestli jsou vyhlašovány platně. Na druhé straně je nemůžeme vyhazovat automaticky, protože si nejsme jisti, zda je to správné nebo ne.
Co dalšího existuje?
BGPSec. To je skvělá věc, kterou vymysleli akademici pro síť růžových poníků. Řekli:
— Máme RPKI + ROA — mechanismus zajištění podpisu adresního prostoru. Pojďme zavést samostatný BGP atribut a nazvěme ho BGPSec Path. Každý router podepíše své výstupy, které vyhlašuje sousedům. Tak získáme důvěryhodnou cestu z řetězce podepsaných oznámení, kterou budeme moci ověřit.
V teorii je to dobré, ale v praxi je mnoho problémů. BGPSec narušuje mnohé stávající mechaniky BGP při výběru next-hop a řízení příchozího/odchozího provozu přímo na routeru. BGPSec nefunguje, dokud ho nezavedou 95 % účastníků celého trhu, což samo o sobě je utopie.
BGPSec má obrovské problémy s výkonem. Na současném hardwaru je rychlost ověřování oznámení přibližně 50 prefixů za sekundu. Pro porovnání: současná tabulka internetu s 700 000 prefixy by byla naplněna za 5 hodin, během kterých se ještě 10krát změní.
BGP Open Policy (Role-based BGP). Nový návrh na základě modelu Gao-Rexforda. To jsou dva vědci, kteří se zabývají výzkumem BGP.
Model Gao-Rexforda spočívá v následujícím. Pokud to zjednodušíme, v případě BGP existuje malé množství typů interakcí:
- Poskytovatel Zákazník;
- P2P;
- interní interakce, řekněme, iBGP.
Na základě role směrovače je již možné přednastavit určité politiky importu/exportu. Správce nemusí konfigurovat prefixové seznamy. Na základě role, na které se směrovače dohodnou a kterou lze nastavit, již získáváme určité výchozí filtry. V současnosti se jedná o návrh, který je projednáván v IETF. Doufám, že brzy to uvidíme ve formě RFC a implementace na hardware.
Velcí internetoví poskytovatelé
Podívejme se na příkladu poskytovatele CenturyLink. Je to třetí největší poskytovatel v USA, který obsluhuje 37 států a má 15 datových center.
V prosinci 2018 byla společnost CenturyLink na americkém trhu nefunkční po dobu 50 hodin. Během incidentu byly problémy s fungováním bankomatů ve dvou státech, několik hodin nefungovalo číslo 911 v pěti státech. Navíc byla zrušena loterie v Idahu. V souvislosti s tímto incidentem nyní probíhá vyšetřování ze strany komise pro telekomunikace USA.
Příčina tragédie spočívala v jedné síťové kartě v jednom datovém centru. Karta selhala, odesílala nesprávné pakety a všech 15 datových center poskytovatele selhalo.
U tohoto poskytovatele se neosvědčila myšlenka „příliš velký, aby padl“. Tento koncept obecně nefunguje. Můžete vzít jakéhokoli velkého hráče a způsobit jeho pád nějakou malicherností. V USA je stále vše v pořádku s konektivitou. Klienti CenturyLink, kteří měli záložní připojení, masivně přešli k němu. Poté si alternativní operátoři stěžovali na přetížení svých linků.
Pokud by selhal hypotetický „KAZAKHTELECOM“, celá země by zůstala bez internetu.
Korporace
Možná internet drží Google, Amazon, Facebook a další korporace? Ne, také ho narušují.
V roce 2017 na konferenci ENOG13 v Petrohradě Jeff Houston z APNIC představil . V ní se uvádí, že jsme zvyklí, že interakce, toky peněz a provoz na internetu jsou vertikální. Máme malé poskytovatele, kteří platí za konektivitu větším, a ti pak platí za konektivitu globálnímu tranzitu.
V současnosti máme takovou vertikálně orientovanou strukturu. Všechno by bylo v pořádku, ale svět se mění — velcí hráči budují své transoceánské kabely pro vybudování vlastních backbone.
Novinka o CDN kabelu.
V roce 2018 vydala TeleGeography studii, že více než polovina internetového provozu již není internet, ale backbone CDN velkých hráčů. Je to provoz, který má vztah k internetu, ale už to není ta síť, o které jsme mluvili.
Internet se rozpadá na velkou sadu slabě propojených sítí.
Microsoft má svou síť, Google má svou, a mezi nimi je slabá překrývání. Provoz, který vznikl někde v USA, putuje přes kanály Microsoftu přes oceán do Evropy někde na CDN, dále se skrze CDN nebo IX napojuje na vašeho poskytovatele a dostává se k vám do routeru.
Decentralizace mizí.
Tato silná stránka internetu, která mu pomůže přežít po jaderném výbuchu, se ztrácí. Objevují se místa koncentrace uživatelů a provozu. Pokud selže hypotetický Google Cloud, bude mnoho postižených najednou. Částečně jsme si to uvědomili, když Roskomnadzor zablokoval AWS. A na příkladu CenturyLink je vidět, že k tomu stačí i maličkosti.
Dříve se to nedělo se všemi a ne u všech. V budoucnu se můžeme dostat k tomu, že ovlivněním jednoho velkého hráče lze zhroutit mnoho věcí, na mnoha místech a mnoha u koho.
Státy
Další na řadě jsou státy a s nimi se to obvykle děje takto.
Náš Roskomnadzor není v tomhle žádný pionýr. Podobná praxe Internet shutdown existuje v Íránu, Indii, Pákistánu. V Anglii je navrhován zákon o možnosti odpojení internetu.
Každý velký stát chce mít vypínač pro odpojení internetu buď úplně, nebo po částech: Twitter, Telegram, Facebook. Oni ne že by nerozuměli, že se jim to nikdy nepodaří, ale velmi o to stojí. Vypínač obvykle používají k politickým cílům - k eliminaci politických konkurentů, nebo když se blíží volby, nebo když ruští hackeři opět něco rozbili.
DDoS útoky
Nebudu brát práci kolegům z Qrator Labs, to dělají mnohem lépe než já. Mají o stabilitě internetu. A co napsali ve zprávě za rok 2018.
Průměrná délka DDoS útoků klesá na 2,5 hodiny. Útočníci také začínají počítat peníze a pokud se zdroj okamžitě nezhroutí, rychle ho nechávají být.
Roste intenzita útoků. V roce 2018 jsme viděli 1,7 Tb/s na síti Akamai, a to není limit.
Objevují se nové vektory útoků a ty staré se posilují.Objevují se nové protokoly náchylné k amplifikaci, nové útoky na existující protokoly, zejména na TLS a podobné.
Většina provozu pochází z mobilních zařízení.Internetový provoz se přesouvá na mobilní klienty. S tím je nutné umět pracovat jak pro útočníky, tak pro obránce.
Neexistuje žádná dokonalá ochrana.To je hlavní myšlenka - neexistuje a nikdy se neobjeví univerzální ochrana, která by přesně chránila před jakýmikoli DDoS útoky.
Systém nelze ohrozit, pokud není připojen k internetu.
Doufám, že jsem vás dostatečně vyděsil. Teď se pojďme zamyslet, co s tím dělat.
Co dělat?!
Pokud máte volný čas, chuť a znalost angličtiny - zapojte se do pracovních skupin: IETF, RIPE WG. To jsou otevřené mailing listy, přihlašte se do newsletterů, zúčastněte se diskuzí, přijeďte na konference. Pokud máte status LIR, můžete například v RIPE hlasovat pro různé iniciativy.
Pro obyčejné smrtelníky - to je monitoring. abyste věděli, co se pokazilo.
Monitoring: co kontrolovat?
Běžný Ping, což zahrnuje nejen binární kontrolu - funguje nebo ne. Zaznamenávejte RTT do historie, abyste později viděli anomálie.
Traceroute. To je pomocný program pro určení cest, kterými data cestují v sítích TCP/IP. Pomáhá odhalovat anomálie a blokace.
HTTP kontroly - úpravy custom URL a TLS certifikátů pomohou odhalit blokace nebo podvody s DNS pro útok, což je téměř totéž. Blokace často probíhají podvržením DNS a směrováním provozu na stránku s výstrahou.
Pokud je to možné, zkontrolujte resolvování vašeho originu z různých míst, pokud máte aplikaci. Tak odhalíte anomálie DNS interception, s kterými se někdy potýkají poskytovatelé.
Monitoring: odkud kontrolovat?
Neexistuje univerzální odpověď. Kontrolujte ze zdrojů, odkud přicházejí uživatelé. Pokud uživatelé jsou v Rusku - kontrolujte z Ruska, ale neomezujte se na něj. Pokud vaši uživatelé žijí v různých regionech - kontrolujte z těchto regionů. Ale nejlépe ze všech koutů světa.
Monitoring: čím kontrolovat?
Přemýšlel jsem o třech způsobech. Pokud víte více - napište do komentářů.
- RIPE Atlas.
- Komernční monitoring.
- Vlastní síť virtuálních strojů.
Probereme každý z nich.
RIPE Atlas — to je taková malá krabička. Pro ty, kteří znají domácí "Revizor" — je to stejná krabička, ale s jinou nálepkou.
RIPE Atlas — bezplatný program. Zaregistrujete se, dostanete poštou router a zapnete ho v síti. Za to, že někdo jiný používá váš test, vám připisují určité kredity. Za tyto kredity můžete sami provádět nějaké výzkumy. Můžete testovat různými způsoby: ping, traceroute, kontrolovat certifikáty. Pokrytí je docela velké, hodně uzlů. Ale jsou zde nuance.
Kreditní systém neumožňuje budovat produkční řešení. Kreditů na trvalý výzkum nebo komerční monitoring není dost. Kredity stačí na krátký výzkum nebo jednorázovou kontrolu. Denní norma z jedné zkoušky se spotřebovává 1-2 kontrolami.
Pokrytí není rovnomerné. Protože program je zdarma z obou stran, pokrytí je dobré v Evropě, v evropské části Ruska a v některých regionech. Ale pokud potřebujete Indonésii nebo Nový Zéland, tak je to mnohem horší — 50 vzorků na zemi se možná nesežene.
Nelze kontrolovat http z testu. To je způsobeno technickými nuancemi. Opravují to v nové verzi, ale zatím http kontrolovat nelze. Lze zkontrolovat pouze certifikát. Nějakou http kontrolu lze provést pouze na speciálním zařízení RIPE Atlas, které se nazývá Anchor.
Druhý způsob — komerční monitoring. S tím je vše v pořádku, vždyť platíte peníze? Slíbí vám několik desítek nebo stovek monitorovacích bodů po celém světě, vytvoří krásné dashboardy "z krabice". Ale opět, jsou zde problémy.
Je to placené, místy velmi. Monitoring pingem, kontroly ze všeho světa a množství http kontrol mohou stát několik tisíc dolarů ročně. Pokud finance dovolují a máte rádi toto řešení — prosím.
Pokrytí může být nedostatečné v zajímavém regionu. Tímto pingem upřesňují maximálně abstraktní část světa — Asii, Evropu, Severní Ameriku. Řídce se monitorovací systémy mohou detailněji zaměřit na konkrétní zemi nebo region.
Slabá podpora custom testů. Pokud potřebujete něco vlastního, a ne jen "kuř kuř" na url, tak s tím také máte problémy.
Třetí způsob — vlastní monitoring. To je klasika: "A co kdybychom napsali svoje!"
Váš monitoring se mění na vývoj softwarového produktu, a to distribuovaného. Hledáte poskytovatele infrastruktury, koukáte na to, jak to nasadit a monitorovat – monitoring je přece třeba monitorovat, že? A také potřebujete podporu. Desetkrát si promyslete, než se do toho pustíte. Možná je jednodušší zaplatit někomu, kdo to udělá za vás.
Monitoring BGP anomálií a DDoS útoků
Zde je to s dostupnými zdroji ještě jednodušší. BGP anomálie se detekují pomocí specializovaných služeb jako QRadar, BGPmon. Ty přijímají full view tabulku od mnoha operátorů. Na základě toho, co vidí od různých operátorů, mohou detekovat anomálie, hledat amplifikátory a podobně. Obvykle je registrace zdarma – zadáte číslo své autonomní sítě, přihlásíte se k upozorněním na email a služba vás upozorní na vaše problémy.
V monitoringu DDoS útoků je to také jednoduché. Obvykle je to na základě NetFlow a logů. Existují specializované systémy jako FastNetMon, moduly pro Splunk. V krajním případě je tu váš poskytovatel DDoS ochrany. I jemu můžete posílat NetFlow a na jeho základě vás bude upozorňovat na útoky směrem k vám.
Závěry
Nenechávejte nic na náhodě – internet se určitě poškodí. Ne všechno a ne u všech, ale 14 tisíc incidentů v roce 2017 naznačuje, že incidenty budou.
Vaším úkolem je co nejdříve zaznamenat problémy. Minimálně ne později než váš uživatel. Kromě toho, že je třeba si všimnout, vždy mějte v záloze 'plán B'. Plán je strategie, co uděláte, když se všechno rozpadne: záložní operátoři, datová centra, CDN. Plán je oddělený kontrolní seznam, podle kterého zkontrolujete funkčnost všeho. Plán by měl fungovat bez zapojení síťových inženýrů, protože jich většinou bývá málo a chtějí spát.
Na tom je to všechno. Přeji vám vysokou dostupnost a zelený monitoring.
Příští týden se v Novosibirsku očekává slunce, highload a vysoká koncentrace vývojářů na . V Sibiři se očekává fronta přednášek o monitoringu, dostupnosti a testování, bezpečnosti a managementu. Očekávají se srážky v podobě napsaných poznámek, networkingu, fotografií a příspěvků na sociálních sítích. Doporučujeme odložit všechny záležitosti 24. a 25. června a . Těšíme se na vás v Sibiři!
Zdroj: habr.com
