Warum ist das Internet weiterhin online?

Das Internet erscheint als eine starke, unabhängige und unzerstörbare Struktur. In der Theorie reicht die Stabilität des Netzwerks aus, um eine atomare Explosion zu überstehen. In der Realität kann das Internet jedoch durch einen einfachen kleinen Router zusammenbrechen. Das liegt daran, dass das Internet ein Konglomerat aus Widersprüchen, Verwundbarkeiten, Fehlern und Katzenvideos ist. Die Grundlage des Internets, das BGP-Protokoll, birgt viele Probleme. Es ist erstaunlich, dass es überhaupt noch funktioniert. Neben den Fehlern im Internet selbst wird es von allen möglichen Akteuren angegriffen: großen Internetanbietern, Konzernen, Staaten und DDoS-Attacken. Was kann man dagegen tun und wie damit leben?

Die Antwort kennt Alexey Uchakin (Night_Snake) – der Leiter eines Netzwerktechnik-Teams bei IQ Option. Seine Hauptaufgabe ist die Verfügbarkeit der Plattform für die Benutzer. In der Aufzeichnung von Aлексея's Präsentation auf Saint HighLoad++ 2019 werden wir über BGP, DDoS-Attacken, den Schalter vom Internet, die Fehler der Anbieter, Dezentralisierung und Fälle sprechen, in denen ein kleiner Router das Internet zum Schlafen geschickt hat. Am Ende – ein paar Ratschläge, wie man all das überstehen kann.

Der Tag, an dem das Internet zusammenbrach

Ich werde nur einige Vorfälle anführen, bei denen die Konnektivität im Internet gestört war. Das wird ausreichen, um ein umfassendes Bild zu erhalten.

„Der Vorfall mit AS7007“. Zum ersten Mal brach das Internet im April 1997 zusammen. In der Software eines Routers aus dem autonomen System 7007 gab es einen Fehler. Irgendwann kündigte der Router seinen internen Routing-Tabelle den Nachbarn an und schickte die Hälfte des Netzwerks in ein black hole.

„Pakistan gegen YouTube“. Im Jahr 2008 beschlossen mutige Jungs aus Pakistan, YouTube bei sich zu blockieren. Sie haben das so gut gemacht, dass die halbe Welt ohne Katzen auskommen musste.

„Die Übernahme der Präfixe VISA, MasterCard und Symantec durch Rostelecom“. Im Jahr 2017 begann Rostelecom versehentlich, die Präfixe von VISA, MasterCard und Symantec anzukündigen. Infolgedessen wurde der Finanzverkehr über Kanäle geleitet, die der Anbieter kontrolliert. Der Leak dauerte nicht lange, aber es war unangenehm für die Finanzunternehmen.

„Google gegen Japan“. Im August 2017 begann Google, in einem Teil seiner Uplink-Verbindungen Präfixe großer japanischer Anbieter NTT und KDDI anzukündigen. Der Verkehr wurde fälschlicherweise als Transitverkehr an Google gesendet. Da Google kein Anbieter ist und keinen Transitverkehr weiterleitet, blieb ein erheblicher Teil Japans ohne Internet.

„DV LINK übernahm die Präfixe von Google, Apple, Facebook, Microsoft“. Im Jahr 2017 begann der russische Anbieter DV LINK aus unerfindlichen Gründen, die Netzwerke von Google, Apple, Facebook, Microsoft und einigen anderen großen Akteuren anzukündigen.

„eNet aus den USA erfasste die Präfixe AWS Route53 und MyEtherwallet“. Im Jahr 2018 kündigte ein Anbieter aus Ohio oder einer seiner Kunden die Netzwerke von Amazon Route53 und der Krypto-Wallet MyEtherwallet an. Der Angriff war erfolgreich: Selbst trotz des selbstsignierten Zertifikats, dessen Warnung beim Besuch der MyEtherwallet-Website für den Nutzer erschien, wurden viele Wallets gehackt und ein Teil der Kryptowährung gestohlen.

Im Jahr 2017 gab es mehr als 14.000 solcher Vorfälle! Das Netzwerk ist nach wie vor dezentralisiert, daher bricht nicht alles und nicht bei jedem zusammen. Aber Vorfälle treten zu Tausenden auf, und alle stehen im Zusammenhang mit dem BGP-Protokoll, auf dem das Internet basiert.

BGP und seine Probleme

Protokoll BGP – Border Gateway Protocol, das erstmals 1989 von zwei Ingenieuren von IBM und Cisco Systems auf drei „Servietten“ – DIN A4-Blättern – beschrieben wurde. Diese „Servietten“ liegen bis heute als Reliquie der Netzwerk-Welt im Hauptsitz von Cisco Systems in San Francisco.

Das Protokoll basiert auf der Interaktion autonomer Systeme – Autonomous Systems oder kurz AS. Ein autonomes System ist einfach eine gewisse ID, hinter der im öffentlichen Register IP-Netzwerke vermerkt sind. Ein Router mit dieser ID kann diese Netzwerke in die Welt anmelden. Dementsprechend kann jede Route im Internet als ein Vektor dargestellt werden, den man nennt AS Path. Der Vektor besteht aus den Nummern der autonomen Systeme, die durchlaufen werden müssen, um das Zielnetzwerk zu erreichen.

Beispielsweise gibt es ein Netzwerk aus einer gewissen Anzahl von autonomen Systemen. Man muss von System AS65001 zu System AS65003 gelangen. Der Weg von einem System wird auf dem Diagramm als AS Path dargestellt. Er besteht aus zwei autonomen Systemen: 65002 und 65003. Für jede Zieladresse gibt es einen AS Path-Vektor, der aus den Nummern der autonomen Systeme besteht, die wir durchlaufen müssen.

Was sind also die Probleme von BGP?

BGP ist ein Vertrauensprotokoll

Das BGP-Protokoll basiert auf Vertrauen. Das bedeutet, dass wir standardmäßig unserem Nachbarn vertrauen. Dies ist eine Eigenschaft vieler Protokolle, die in der Frühzeit des Internets entwickelt wurden. Lassen Sie uns klären, was „vertrauen“ bedeutet.

Es gibt keine Authentifizierung des Nachbarn. Formal gibt es MD5, aber MD5 ist 2019 – naja, so lala…

Keine Filterung. BGP hat Filter, und sie sind beschrieben, aber sie werden entweder nicht verwendet oder falsch angewendet. Später erkläre ich, warum.

Sehr einfach, die Nachbarschaft einzurichten. Die Konfiguration der Nachbarschaft im BGP-Protokoll auf fast jedem Router erfordert nur ein paar Zeilen Konfiguration.

Es sind keine Verwaltungsrechte für BGP erforderlich. Es sind keine Prüfungen erforderlich, die Ihre Qualifikation bestätigen. Niemand wird Ihnen die Rechte wegen der BGP-Einrichtung im betrunkenen Zustand entziehen.

Zwei Hauptprobleme

Prefix-Hijacks. Ein Prefix-Hijack ist die Ankündigung eines Netzwerks, das Ihnen nicht gehört, wie im Fall von MyEtherwallet. Wir haben einige Präfixe entführt, mit dem Anbieter verhandelt oder ihn gehackt, und über ihn kündigen wir diese Netzwerke an.

Route-Leaks. Mit Leaks ist es etwas komplizierter. Ein Leak ist eine Änderung des AS-Pfades. Im besten Fall führt eine Änderung zu höheren Latenzen, da eine längere oder weniger effiziente Verbindung genutzt werden muss. Im schlimmsten Fall wiederholt sich der Vorfall mit Google und Japan.

Google selbst ist kein Betreiber und auch keine Transit-Autonomous-System. Aber als es sein Netzwerk den japanischen Provider anzeigte, wurde der Datenverkehr über Google im AS-Pfad als vorrangig angesehen. Der Datenverkehr wurde dorthin geleitet und fiel einfach aus, weil die Routing-Einstellungen innerhalb von Google komplizierter sind als nur Filter an der Grenze.

Warum funktionieren die Filter nicht?

Niemand kümmert sich. Das ist der Hauptgrund – es ist allen egal. Ein Admin eines kleinen Providers oder einer Firma, die sich über BGP mit einem Provider verbunden hat, hat MikroTik genommen, BGP auf ihm konfiguriert und weiß nicht einmal, dass man dort Filter einstellen kann.

Konfigurationsfehler. Irgendetwas wurde debuggt, ein Fehler in der Maske gemacht, das richtige Netzwerk nicht eingestellt – und schon wieder ein Fehler.

Keine technischen Möglichkeiten. Zum Beispiel haben Telekommunikationsanbieter viele Kunden. Es wäre sinnvoll, die Filter für jeden Kunden automatisch zu aktualisieren – darauf zu achten, dass er ein neues Netzwerk hat, das er an jemanden vermietet hat. Das zu überwachen ist schwierig, und von Hand ist es noch schwieriger. Deshalb werden einfach entspannte Filter gesetzt oder die Filter werden ganz weggelassen.

Ausnahmen. Es gibt Ausnahmen für bevorzugte und große Kunden. Besonders im Falle von Inter-Operator-Schnittstellen. Zum Beispiel haben TransTeleCom und Rostelecom viele Netzwerke und eine Schnittstelle zwischen ihnen. Wenn die Schnittstelle ausfällt, wird es für niemanden gut sein, weshalb die Filter entspannt oder ganz entfernt werden.

Veraltete oder ungenaue Informationen im IRR. Die Filter basieren auf Informationen, die aufgezeichnet sind in IRR — Internet Routing Registry. Es sind die Register regionaler Internet-Registrare. In den Registern gibt es oft veraltete oder nicht aktuelle Informationen, oder alles zusammen.

Wer sind diese Registrare?

Alle Adressen im Internet gehören Organisationen IANA — Internet Assigned Numbers Authority. Wenn Sie von jemandem ein IP-Netzwerk kaufen, erwerben Sie nicht die Adressen, sondern das Recht, sie zu nutzen. Adressen sind eine immaterielle Ressource, und nach allgemeiner Vereinbarung gehören sie alle der IANA.

Das System funktioniert so. IANA delegiert die Verwaltung von IP-Adressen und autonomen Systemnummern an fünf regionale Registratoren. Diese vergeben autonome Systeme LIR — lokale Internet-Registrare. Danach vergeben LIR IP-Adressen an Endnutzer.

Ein Nachteil des Systems besteht darin, dass jeder der regionalen Registratoren seine eigenen Register auf seine Weise führt. Jeder hat seine eigenen Vorstellungen davon, welche Informationen in den Registern enthalten sein sollten, wer sie prüfen darf oder nicht. Das Ergebnis ist das Chaos, das wir jetzt haben.

Wie kann man sonst gegen diese Probleme angehen?

IRR — mittelmäßige Qualität. Mit IRR ist alles klar — dort ist es schlecht.

BGP-Communities. Dies ist ein gewisses Attribut, das im Protokoll beschrieben ist. Wir können beispielsweise eine spezielle Community auf unsere Ankündigung legen, damit der Nachbar unsere Netzwerke nicht an seine Nachbarn weitergibt. Wenn wir eine P2P-Verbindung haben, tauschen wir nur unsere eigenen Netzwerke aus. Um zu verhindern, dass Routen versehentlich in andere Netzwerke gelangen, hängen wir eine Community-Anzeige an.

Communities sind nicht transitiv. Das ist immer ein Vertrag zwischen zwei Parteien, und das ist ihr Nachteil. Wir können keine Community aufhängen, mit der Ausnahme einer, die von allen standardmäßig akzeptiert wird. Wir können uns nicht sicher sein, dass diese Community von allen akzeptiert und richtig interpretiert wird. Daher wird es im besten Fall so sein, dass, wenn Sie sich mit Ihrem Uplink einigen, dieser versteht, was Sie über die Community von ihm wollen. Aber sein Nachbar könnte es nicht verstehen, oder der Betreiber könnte einfach Ihr Tag löschen, und Sie erreichen nicht das, was Sie wollten.

RPKI + ROA löst nur einen kleinen Teil der Probleme. RPKI — das ist Resource Public Key Infrastructure  — ein spezielles Framework zur Unterzeichnung von Routing-Informationen. Es ist eine gute Idee, LIRs und deren Kunden zu zwingen, eine aktuelle Datenbank des IP-Adressraums zu führen. Aber es gibt ein Problem damit.

RPKI ist auch ein hierarchisches System für öffentliche Schlüssel. IANA hat einen Schlüssel, von dem die RIR-Schlüssel erstellt werden, und von diesen die LIR-Schlüssel? mit denen sie ihren Adressraum mit Hilfe von ROAs – Route Origin Authorisations – signieren:

— Ich versichere, dass dieses Präfix im Namen dieses Autonomen Systems angekündigt wird.

Neben ROA gibt es auch andere Objekte, aber dazu später mehr. Es scheint, dass es eine gute und nützliche Sache ist. Aber sie schützt uns nicht vor Lecks im Sinne von „überhaupt nicht“ und löst nicht alle Probleme mit der Umleitung von Präfixen. Deshalb sind die Spieler nicht besonders begeistert, es einzuführen. Obwohl bereits große Anbieter wie AT&T und große IX-Betreiber Zusicherungen gegeben haben, dass Präfixe mit einer ungültigen ROA-Datenbank verworfen werden.

Vielleicht werden sie das tun, aber zurzeit haben wir eine riesige Menge an Präfixen, die überhaupt nicht signiert sind. Einerseits ist unklar, ob sie gültig angekündigt werden. Andererseits können wir sie nicht standardmäßig verwerfen, weil wir uns nicht sicher sind, ob das richtig ist oder nicht.

Was gibt es sonst noch?

BGPSec. Das ist eine coole Sache, die Akademiker für das Netzwerk der rosa Einhörner erfunden haben. Sie sagten:

— Wir haben RPKI + ROA – einen Mechanismus zur Bestätigung der Signatur des Adressraums. Lass uns ein separates BGP-Attribut einführen und es BGPSec Path nennen. Jeder Router wird die Ankündigungen, die er seinen Nachbarn meldet, mit seiner eigenen Signatur signieren. So erhalten wir einen vertrauenswürdigen Pfad aus einer Kette von signierten Ankündigungen und können ihn überprüfen.

In der Theorie ist es gut, in der Praxis gibt es viele Probleme. BGPSec stört viele bestehende BGP-Mechanismen zur Auswahl des Next-Hop und zur Verwaltung des eingehenden/ausgehenden Datenverkehrs direkt auf dem Router. BGPSec funktioniert nicht, solange es nicht von 95 % der Teilnehmer des gesamten Marktes implementiert wird, was an sich schon eine Utopie ist.

BGPSec hat massive Probleme mit der Leistung. Auf aktueller Hardware liegt die Geschwindigkeit zur Überprüfung von Ankündigungen bei etwa 50 Präfixen pro Sekunde. Zum Vergleich: Die aktuelle Tabelle des Internets mit 700.000 Präfixen würde 5 Stunden benötigen, in denen sich noch 10 Mal etwas ändern könnte.

BGP Open Policy (Rollenspezifisches BGP). Ein frischer Vorschlag auf Basis des Modells Gao-Rekford.Das sind zwei Wissenschaftler, die sich mit der Untersuchung von BGP beschäftigen.

Das Modell von Gao-Rekford besagt Folgendes. Um es vereinfacht auszudrücken, gibt es beim BGP eine kleine Anzahl von Interaktionstypen:

• Provider-Kunde;
• P2P;
• interne Interaktion, sagen wir mal iBGP.

Basierend auf der Rolle des Routers können bereits standardmäßig einige Import-/Export-Richtlinien angewendet werden. Der Administrator muss die Präfix-Listen nicht konfigurieren. Auf der Grundlage der Rolle, die zwischen den Routern vereinbart wird und die festgelegt werden kann, erhalten wir bereits einige Standardfilter. Aktuell handelt es sich um einen Entwurf, der in der IETF diskutiert wird. Ich hoffe, dass wir dies bald in Form eines RFC und einer Implementierung auf Hardware sehen werden.

Große Internetanbieter

Betrachten wir das Beispiel des Anbieters CenturyLink. Dies ist der drittgrößte Anbieter in den USA, der 37 Staaten bedient und 15 Rechenzentren besitzt. 

Im Dezember 2018 lag CenturyLink auf dem US-Markt 50 Stunden lang aus. Während des Vorfalls gab es Probleme mit der Funktionsweise von Geldautomaten in zwei Staaten, und mehrere Stunden lang funktionierte die Nummer 911 in fünf Staaten nicht. Außerdem fiel die Lotterie in Idaho aus. Die US-Kommission für Kommunikation führt derzeit eine Untersuchung zu diesem Vorfall durch.

Ursache der Tragödie war eine Netzwerkkarte in einem Rechenzentrum. Die Karte fiel aus und sendete fehlerhafte Pakete, wodurch alle 15 Rechenzentren des Anbieters ausfielen.

Für diesen Anbieter hat die Idee „zu groß, um zu fallen“nicht funktioniert. Man kann jeden großen Akteur nehmen und durch eine Kleinigkeit zu Fall bringen. In den USA ist die Vernetzung noch relativ gut. Die Kunden von CenturyLink, die einen Backup hatten, sind massenhaft zu ihm gewechselt. Anschließend klagten die alternativen Betreiber über eine Überlastung ihrer Verbindungen.

Wenn der hypothetische „Kazakhtelecom“ ausfällt, bleibt das ganze Land ohne Internet.

Konzerne

Hält das Internet wohl auf Google, Amazon, Facebook und anderen Konzernen? Nein, sie brechen es auch.

2017 auf der Konferenz ENOG13 in St. Petersburg Jeff Houston aus APNIC vor der Bericht „Der Tod des Transits“. Darin wird gesagt, dass wir es gewohnt sind, dass Interaktion, Geldströme und Verkehr im Internet vertikal sind. Wir haben kleine Anbieter, die für die Vernetzung mit größeren zahlen, und diese zahlen dann für die Vernetzung mit globalem Transit.

Momentan haben wir eine solch vertikal ausgerichtete Struktur. Alles wäre gut, aber die Welt verändert sich – große Akteure bauen ihre eigenen transozeanischen Kabel, um ihre eigenen Backbones zu schaffen.

Nachricht über das CDN-Kabel.

Im Jahr 2018 veröffentlichte TeleGeography eine Studie, dass mehr als die Hälfte des Traffics im Internet nicht mehr Internet ist, sondern Backbones von großen CDN-Anbietern. Dies ist Traffic, der mit dem Internet verbunden ist, aber nicht mehr das Netzwerk ist, über das wir gesprochen haben.

Das Internet zerfällt in eine große Anzahl schwach miteinander verbundener Netzwerke.

Microsoft hat sein eigenes Netzwerk, Google hat seins, und sie überschneiden sich nur geringfügig. Traffic, der irgendwo in den USA entstanden ist, wird über Microsoft-Kanäle über den Ozean nach Europa zu einem CDN geleitet, dann wird er entweder über ein CDN oder über einen IX mit Ihrem Anbieter verbunden und gelangt zu Ihrem Router.

Die Dezentralisierung verschwindet.

Diese Stärke des Internets, die ihm helfen würde, nach einer nuklearen Explosion zu überleben, geht verloren. Es entstehen Orte der Konzentration von Nutzern und Traffic. Wenn der hypothetische Google Cloud ausfällt, wird es viele Betroffene auf einmal geben. Teilweise haben wir das gespürt, als Roskomnadzor AWS blockierte. Am Beispiel von CenturyLink sieht man, dass dafür auch Kleinigkeiten ausreichen.

Früher brach nicht alles und nicht bei jedem zusammen. In Zukunft könnten wir an den Punkt kommen, dass man durch die Beeinflussung eines großen Akteurs viel beschädigen kann, viel überall und bei vielen.

Staaten

Jetzt sind die Staaten an der Reihe, und das geschieht in der Regel so.

Hier ist unser Roskomnadzor überhaupt nicht Pionier. Ähnliche Praktiken der Internetabschaltung gibt es im Iran, Indien und Pakistan. In England gibt es einen Gesetzentwurf über die Möglichkeit, das Internet abzuschalten.

Jedes große Land möchte einen Schalter bekommen, um das Internet entweder vollständig oder in Teilen abzuschalten: Twitter, Telegram, Facebook. Sie wollen nicht unbedingt verstehen, dass das niemals klappen wird, aber sie wünschen sich es sehr. Der Schalter wird in der Regel zu politischen Zwecken eingesetzt – um politische Gegner auszuschalten, oder wenn Wahlen anstehen, oder wenn russische Hacker wieder etwas kaputtgemacht haben.

DDoS-Angriffe

Ich werde meinen Kollegen von Qrator Labs nicht das Brot wegnehmen, sie machen das viel besser als ich. Sie haben einen Jahresbericht zur Stabilität des Internets. Und das ist, was sie im Bericht für das Jahr 2018 geschrieben haben.

Die durchschnittliche Dauer von DDoS-Attacken sinkt auf 2,5 Stunden. Auch die Angreifer beginnen, Geld zu zählen, und wenn eine Ressource nicht sofort ausfällt, lassen sie sie schnell in Ruhe.

Die Intensität der Angriffe nimmt zu. Im Jahr 2018 haben wir 1,7 Tbit/s im Netzwerk von Akamai gesehen, und das ist nicht das Limit.

Es erscheinen neue Angriffsvektoren und bestehende werden verstärkt.Es erscheinen neue Protokolle, die anfällig für Amplifikation sind, und es gibt neue Angriffe auf bestehende Protokolle, insbesondere auf TLS und ähnliche.

Der größte Teil des Datenverkehrs stammt von mobilen Geräten.In diesem Zusammenhang geht der Internetverkehr immer mehr auf mobile Clients über. Damit müssen sowohl Angreifer als auch Verteidiger umgehen können.

Es gibt keine Unverwundbaren.Das ist die Hauptbotschaft – es gibt keinen universellen Schutz, der vor jedem DDoS-Angriff schützt.

Ein System kann nur dann nicht lahmgelegt werden, wenn es nicht mit dem Internet verbunden ist.

Ich hoffe, ich habe Sie genug erschreckt. Lassen Sie uns nun darüber nachdenken, was wir dagegen tun können.

Was kann man tun?!

Wenn Sie etwas Zeit, Lust und Englischkenntnisse haben, nehmen Sie an Arbeitsgruppen teil: IETF, RIPE WG. Das sind öffentliche Mailinglisten, abonnieren Sie die Newsletter, beteiligen Sie sich an Diskussionen, kommen Sie zu Konferenzen. Wenn Sie den LIR-Status haben, können Sie zum Beispiel bei RIPE über verschiedene Initiativen abstimmen.

Für die einfachen Menschen bedeutet das Überwachung. Um zu wissen, was kaputt gegangen ist.

Monitoring: Was zu überprüfen ist?

Ein normaler Ping, und zwar nicht nur eine binäre Überprüfung – ob es funktioniert oder nicht. Erfassen Sie RTT in einer Historie, um später Anomalien zu erkennen.

Traceroute. Dies ist ein Dienstprogramm zur Bestimmung der Pfade von Daten in TCP/IP-Netzwerken. Es hilft, Anomalien und Blockierungen zu erkennen.

HTTP-Checks, benutzerdefinierte URL-Überprüfungen und TLS-Zertifikate werden helfen, Blockierungen oder DNS-Manipulationen für Angriffe zu erkennen, was praktisch dasselbe ist. Blockierungen erfolgen häufig durch DNS-Manipulation und durch Umleitung des Verkehrs auf eine Platzhalterseite.

Wenn möglich, überprüfen Sie die Auflösung Ihres Ursprungs von verschiedenen Standorten aus, wenn Sie eine Anwendung haben. So finden Sie Anomalien bei DNS-Abfangungen, die manchmal von Anbietern verursacht werden.

Monitoring: Von wo aus zu überprüfen?

Es gibt keine universelle Antwort. Überprüfen Sie dort, wo der Benutzer ist. Wenn die Benutzer in Russland sind, überprüfen Sie von Russland aus, aber beschränken Sie sich nicht darauf. Wenn Ihre Benutzer in verschiedenen Regionen leben, überprüfen Sie aus diesen Regionen. Am besten global.

Monitoring: Was zu übertragen ist?

Ich habe mir drei Methoden überlegt. Wenn Sie mehr wissen, schreiben Sie es in die Kommentare.

• RIPE Atlas.
• Kommerzielles Monitoring.
• Eigenes virtuelles Netzwerk.

Lassen Sie uns über jede einzelne davon sprechen.

RIPE Atlas — es ist so eine kleine Box. Für diejenigen, die den heimischen „Revisor“ kennen — es ist die gleiche Box, aber mit einem anderen Aufkleber.

RIPE Atlas — ein kostenloses Programm. Sie registrieren sich, erhalten einen Router per Post und schließen ihn ans Netzwerk an. Dafür, dass andere Ihre Probe nutzen, erhalten Sie einige Credits. Mit diesen Credits können Sie selbst einige Forschungen durchführen. Man kann unterschiedlich testen: ping, traceroute, Zertifikate überprüfen. Die Abdeckung ist ziemlich groß, viele Nodes. Aber es gibt Nuancen.

Das Kreditssystem erlaubt es nicht, Produktionslösungen zu bauen. Die Credits reichen nicht für kontinuierliche Forschung oder kommerzielle Überwachung. Die Credits sind ausreichend für kurze Forschungen oder einmalige Überprüfungen. Die tägliche Quote einer Probe wird durch 1-2 Überprüfungen verbraucht.

Die Abdeckung ist ungleichmäßig. Da das Programm kostenlos auf beiden Seiten ist, ist die Abdeckung in Europa, im europäischen Teil Russlands und in einigen Regionen gut. Aber wenn Sie Indonesien oder Neuseeland benötigen, sieht es viel schlechter aus — vielleicht kommen nicht einmal 50 Proben pro Land zustande.

Es ist nicht möglich, http von der Probe zu überprüfen. Das liegt an technischen Nuancen. Man verspricht, dies in der neuen Version zu beheben, aber derzeit kann http nicht überprüft werden. Man kann nur das Zertifikat überprüfen. Eine Art http-Check kann nur bis zum speziellen Gerät RIPE Atlas durchgeführt werden, das als Anchor bezeichnet wird.

Die zweite Möglichkeit — kommerzielle Überwachung. Damit läuft alles gut, schließlich zahlen Sie Geld? Ihnen werden mehrere Dutzend oder Hunderte von Überwachungsstellen weltweit versprochen, man zeichnet schöne Dashboards „out of the box“. Aber auch hier gibt es Probleme.

Das ist kostenpflichtig, teilweise sehr. Die Überwachung per Ping, Überprüfungen aus aller Welt und viele http-Prüfungen können mehrere tausend Dollar pro Jahr kosten. Wenn das Budget es zulässt und Ihnen diese Lösung gefällt — bitte.

Die Abdeckung könnte in der interessierenden Region unzureichend sein. Mit dem Ping wird maximal der abstrakte Teil der Welt — Asien, Europa, Nordamerika — eingegrenzt. Seltene Überwachungssysteme können die Probe bis zu einem bestimmten Land oder einer Region detaillieren.

Schwache Unterstützung für benutzerdefinierte Tests. Wenn Sie etwas Maßgeschneidertes benötigen und nicht einfach „puff“ auf der URL, dann gibt es auch hier Probleme.

Die dritte Möglichkeit — eigene Überwachung. Das ist der Klassiker: „Lass uns unser eigenes schreiben!“

Ihr Monitoring verwandelt sich in die Entwicklung eines Softwareprodukts, und zwar eines verteilten. Sie suchen nach einem Infrastruktur-Anbieter, schauen, wie das bereitgestellt und überwacht wird – schließlich muss das Monitoring selbst überwacht werden, richtig? Und es wird auch Unterstützung benötigt. Denken Sie zehnmal nach, bevor Sie sich darauf einlassen. Vielleicht ist es einfacher, jemandem zu bezahlen, der das für Sie erledigt.

Monitoring von BGP-Anomalien und DDoS-Attacken

Hier ist es bezüglich der verfügbaren Ressourcen noch einfacher. BGP-Anomalien werden mit speziellen Diensten wie QRadar, BGPmon entdeckt.. Sie nehmen eine Full-View-Tabelle von vielen Betreibern entgegen. Basierend auf dem, was sie von verschiedenen Betreibern sehen, können sie Anomalien erkennen, Amplitudenverstärker suchen und mehr. In der Regel ist die Registrierung kostenlos – Sie geben Ihre Autonummer ein, abonnieren die Benachrichtigungen per E-Mail, und der Dienst informiert Sie über Ihre Probleme.

Beim Monitoring von DDoS-Attacken ist es ebenfalls ganz einfach. In der Regel sind dies NetFlow-basierte und Logdateien. Es gibt spezialisierte Systeme wie FastNetMon, Module für Splunk. Im äußersten Fall gibt es Ihren DDoS-Schutzanbieter. Auch ihm können Sie NetFlow zuspielen, und er wird Sie basierend darauf über Angriffe in Ihre Richtung informieren.

Das DBMS Tarantool ist ein attraktives, zukunftsträchtiges Produkt zur Erstellung von hochbelasteten Anwendungen.

Nähren Sie keine Illusionen – das Internet wird auf jeden Fall zusammenbrechen. Es wird nicht alles und nicht bei allen zusammenbrechen, aber 14.000 Vorfälle im Jahr 2017 deuten darauf hin, dass Vorfälle nicht ausbleiben werden.

Ihre Aufgabe ist es, Probleme so früh wie möglich zu erkennen. Mindestens nicht später als Ihr Nutzer. Es reicht nicht nur, Probleme zu erkennen, haben Sie immer einen "Plan B" in der Hinterhand. Ein Plan ist die Strategie, was Sie tun werden, wenn alles zusammenbricht: Backup-Betreiber, Rechenzentren, CDN. Der Plan ist eine separate Checkliste, anhand derer Sie die Funktionalität von allem überprüfen. Der Plan sollte ohne die Hilfe von Netzwerktechnikern funktionieren, denn davon gibt es in der Regel nicht viele, und sie wollen schlafen.

Das ist alles. Ich wünsche Ihnen hohe Verfügbarkeit und grünes Monitoring.

Nächste Woche wird in Nowosibirsk Sonne, hohe Auslastung und hohe Dichte von Entwicklern erwartet bei HighLoad++ Siberia 2019. In Sibirien wird ein Vortragsprogramm über Monitoring, Verfügbarkeit und Testen, Sicherheit und Management erwartet. Es sind Niederschläge in Form von handschriftlichen Notizen, Networking, Fotos und Beiträgen in sozialen Netzwerken zu erwarten. Wir empfehlen, alle Angelegenheiten am 24. und 25. Juni zu verschieben und Tickets zu buchen. Wir freuen uns auf Sie in Sibirien!

Quelle: habr.com