TON: Telegram Open Network. Teil 1: Einführung, Netzwerkebene, ADNL, DHT, Overlay-Netzwerke

Seit zwei Wochen wird im Runet über Telegram und die sinnlose und gnadenlose Blockade durch Roskomnadsor diskutiert. Viele wurden dabei collateral getroffen, aber das ist alles Material für Posts auf Geektimes. Mich überraschte jedoch etwas anderes — ich habe bisher auf Habré keinen einzigen Beitrag zur anstehenden Veröffentlichung des auf Telegram basierenden TON-Netzwerks — Telegram Open Network — gesehen. Ich wollte diesen Mangel beheben, denn es gibt viel zu erforschen — auch wenn es keine offiziellen Aussagen dazu gibt.

Ich erinnere daran — es gibt Gerüchte, dass Telegram ein sehr umfangreiches privates ICO gestartet hat und bereits unglaubliche Summen gesammelt hat. Es wird angenommen, dass noch in diesem Jahr die eigene Kryptowährung Gram eingeführt wird — und jeder Telegram-Nutzer automatisch ein Wallet haben wird, was an sich einen erheblichen Vorteil gegenüber anderen Kryptowährungen darstellt.

Leider kann ich, da es keine offiziellen Aussagen gibt, nur von einem Dokument unbekannter Herkunft, ausgehen, worauf ich Sie gleich hinweise. Natürlich könnte es sich als sehr geschickte Fälschung herausstellen, aber es ist auch nicht ausgeschlossen, dass dies das echte Whitepaper des zukünftigen Systems ist, verfasst von Nikolai Durov (und wahrscheinlich von jemandem der Investoren geleakt). Aber selbst wenn es ein Fake ist, wird uns niemand verbieten, ihn zu studieren und zu diskutieren, oder?

Was steht also in diesem Dokument? Ich werde versuchen, es mit meinen Worten wiederzugeben, nah am Text, aber auf Deutsch und etwas menschlicher (Nikolai möge mir mit seiner Neigung zur formalen Mathematik verzeihen). Beachten Sie, dass dies selbst im Falle seiner Echtheit eine vorläufige Beschreibung des Systems ist und sich mit großer Wahrscheinlichkeit bis zur öffentlichen Einführung ändern wird.

Wir erfahren, dass neben der Kryptowährung noch wirklich sehr viel mehr geplant ist. Lassen Sie uns der Reihe nach darauf eingehen.

• TON Blockchain. Dies ist die Grundlage des gesamten Systems. Wenn Sie überhaupt nicht wissen, was ein Blockchain ist — ich empfehle, es herauszufinden, denn hier wird es viele Blockchains geben. Ineinander geschachtelt, virtuell fragmentiert und sogar "vertikale" Blockchains innerhalb anderer Blockchains. Und es wird auch mehrere cool klingende Begriffe geben, wie Instant Hypercube Routing und Infinite Sharding Paradigm, aber dazu später mehr. Und natürlich Proof-of-Stake und Smart Contracts.
• TON P2P Network. Ein Peer-to-Peer-Netzwerk, auf dessen Grundlage das System arbeiten wird. Darüber wird in diesem Abschnitt des Erzählens in erster Linie die Rede sein.
• TON Speicher. Ein Dateispeicher, der unabhängig von der Blockchain auf dem oben genannten Peer-to-Peer-Netzwerk basieren wird. Vergleichbar mit Torrents.
• TON Proxy. Dieser Dienst hat das Ziel, die Anonymität der Netzwerkteilnehmer zu erhöhen. Jedes Paket kann nicht direkt, sondern über Tunnel-Proxy-Server mit zusätzlicher Verschlüsselung gesendet werden – ähnlich wie bei I2P oder TOR.
• TON DHT. Eine verteilte Hash-Tabelle zur Speicherung beliebiger Werte. Sie ist ebenfalls auf TON Netzwerk (nutzt aber auch dasselbe) und hilft dabei, TON Speicher die „verteilenden“ Knoten zu finden, sowie TON Proxy zwischenliegende Relais. Es ist jedoch zu beachten, dass diese Hash-Tabelle im Gegensatz zur Blockchain kein geschützter Speicher ist – wichtige Informationen sollten dort nicht aufbewahrt werden.
• TON Dienste. Eine Plattform für beliebige Dienste. Im Grunde genommen ist es das neue Internet über all dem, was zuvor beschrieben wurde. Datenaustausch erfolgt über TON Netzwerk/TON Proxy, während die Logik in den Smart Contracts des TON Blockchain. Und die Schnittstelle weist recht vertraute URLs auf.
• TON DNS. Da wir jetzt über vertraute URLs sprechen, benötigen wir auch einen Umwandler von diesen in 256-Bit-Adressen – für Konten, Verträge, Dienste und Knoten.
• TON Zahlungen. Hier wird erst die Finanzfrage berührt. Und es wird nicht nur gram geben – wie bei Ether werden beliebige „Token“ möglich sein; Gramm werden hier nur die „Standard“-Währung sein.

Das ist der erste Teil, der die „bodenständige“ Ebene von TON beschreibt – seinen Netzwerkteil, der auf traditionellen Protokollen basiert. Im nächsten Teil wird es um das „Kernstück“ gehen – die Blockchain, die von dem weiter unten beschriebenen System unterstützt wird. Daher unterscheidet sich meine Erzählreihenfolge ein wenig von der im oben genannten Dokument verwendeten (das sofort mit der abstrakten Ebene beginnt).

Grundbegriffe

TL (Type Language). Dies ist ein abstraktes binäres Format für beliebige Datenstrukturen. Es wird im Telegram-Protokoll verwendet und wird aktiv in TON eingesetzt. Wer sich ausführlich damit vertraut machen möchte – hier ist die Beschreibung.

Hash (hash). Eine Funktion, die eine irreversible Umwandlung einer beliebigen Datenstruktur in eine feste Länge von Zahlen durchführt. In der Dokumentation wird häufig von der Funktion SHA-256.

Netzwerkknoten (node). Ein Knoten ist eine Software, die den Betrieb des Systems gewährleistet. Insbesondere wird davon ausgegangen, dass jede Clientanwendung von Telegram einen Knoten des TON enthalten wird. Auf niedriger Ebene haben die Knoten IPv4/IPv6-Adressen und kommunizieren über das UDP-Protokoll, auf höherer Ebene verfügen sie über abstrakte Adressen und implementieren das ADNL-Protokoll (über abstrakte Adressen und ADNL – siehe unten). Wenn es darum geht, dass Teile des Systems etwas tun oder Daten speichern, wird davon ausgegangen, dass dies durch die Knoten des Netzwerks geschieht.

Abstrakte Adresse (oder einfach Adresse, address). Die Adresse eines Knotens wird durch seinen öffentlichen Schlüssel bestimmt. Genauer gesagt ist dies ein 256-Bit-Hash (SHA256) der Datenstruktur, die den öffentlichen Schlüssel enthält (der spezifische kryptografische Algorithmus wird dabei nicht näher spezifiziert – als Beispiele werden elliptische Kurven und RSA-2048 genannt). Damit ein Knoten mit einem anderen interagieren kann, muss er nicht nur die Adresse des anderen kennen, sondern auch diese Datenstruktur. Theoretisch kann ein physischer Knoten eine beliebige Anzahl von Adressen (entsprechend verschiedenen Schlüsseln) erstellen.

Häufig wird genau diese Verknüpfung verwendet: das „Vorbild“ in Form einer TL-Struktur (die praktisch beliebige Daten enthält) und der 256-Bit-Hash davon, der zur Adressierung verwendet wird.

Blockchain (blockchain). Die Blockchain ist eine Datenstruktur, deren Elemente (Blöcke) in einer „Kette“ angeordnet sind, wobei jeder folgende Block der Kette den Hash des vorherigen enthält. So wird Integrität erreicht – Änderungen können nur durch Hinzufügen neuer Blöcke vorgenommen werden.

Dienst (service). Die Dienste im Rahmen von TON können unterschiedlicher Art sein – je nachdem, ob sie die Blockchain nutzen oder nicht. Zum Beispiel kann einer (oder mehrere) der Knoten des Netzwerks bestimmte RPC-Anfragen nach dem im Folgenden beschriebenen ADNL-Protokoll bearbeiten, ohne dabei irgendwelche Einträge in der Blockchain zu erstellen – ähnlich wie traditionelle Webserver. Auch wird die Möglichkeit in Betracht gezogen, HTTP über ADNL zu implementieren sowie den Messenger selbst auf dieses Protokoll umzustellen. Ähnlich wie bei TOR oder I2P würde dies ihn resistenter gegen verschiedene Blockierungen machen.

Gleichzeitig setzen einige Dienste sowohl auf Interaktion mit der Blockchain als auch auf die Bearbeitung von Anfragen außerhalb davon. Für TON Storage – ein Dateispeicher – ist es beispielsweise nicht sehr sinnvoll, die Dateien selbst in der Blockchain zu speichern. Dort werden nur die Hashes der Dateien (zusammen mit einigen Metainformationen) gespeichert, während spezialisierte Knoten im Netzwerk als "Dateiserver" fungieren, die bereit sind, diese an andere Knoten über ADNL weiterzugeben.

Nebendienst (fog service). Es handelt sich um einige Dienste, die Dezentralisierung und offene Teilnahme daran implizieren. Zum Beispiel ist TON Proxy ein Dienst, den jeder Teilnehmer unterstützen kann, der seinen Knoten als Vermittler (Proxy) zur Verfügung stellen möchte, um Pakete zwischen anderen Knoten weiterzuleiten. Bei Wunsch kann er dafür eine von ihm festgelegte Gebühr erheben – unter Verwendung des TON Payments-Systems für Mikropayments (das seinerseits ebenfalls ein Nebendienst ist).

ADNL: Abstract Datagram Network Layer

Auf der niedrigsten Ebene findet die Interaktion zwischen den Knoten über das UDP-Protokoll statt (es sind auch andere Varianten zulässig).

Wie oben erwähnt, muss ein Knoten, um ein Paket an einen anderen zu senden, einen seiner öffentlichen Schlüssel kennen (und damit die Adresse, die damit zugeordnet ist). Er verschlüsselt das Paket mit diesem Schlüssel und fügt am Anfang des Pakets die 256-Bit-Adresse des Empfängers hinzu – da ein Knoten mehrere solcher Adressen haben kann, ermöglicht dies ihm zu bestimmen, welchen Schlüssel er für die Entschlüsselung verwenden soll.

Darüber hinaus könnte am Anfang des Datenpakets anstelle der Empfängeradresse ein sogenannter Identifikator stehen Kanal. In diesem Fall hängt die Verarbeitung des Pakets bereits von den spezifischen Vereinbarungen zwischen den Knoten ab – beispielsweise können die in einen bestimmten Kanal gesendeten Daten für einen anderen Knoten bestimmt sein und müssen an diesen weitergeleitet werden (das ist der Dienst TON Proxy). Ein anderes spezielles Beispiel könnte die direkte Interaktion zwischen Knoten sein, jedoch mit Verschlüsselung durch ein individuelles Schlüsselpaar für diesen Kanal (vorher gebildet nach dem Diffie-Hellman-Protokoll).

Schließlich ist ein spezieller Fall der "Null"-Kanal — wenn ein Knoten noch keine öffentlichen Schlüssel seiner "Nachbarn" kennt, kann er ihnen Pakete völlig unverschlüsselt senden. Dies dient nur zur Initialisierung — sobald die Knoten Informationen über ihre Schlüssel senden, sollten diese für die weitere Interaktion verwendet werden.

Das oben beschriebene Protokoll (256-Bit-Kanal-ID + Paketinhalt) wird ADNL genannt. Die Dokumentation erwähnt die Möglichkeit, einen TCP-ähnlichen Analog oder eine eigene Erweiterung — RLDP (Reliable Large Datagram Protocol) — darüber zu implementieren, geht jedoch nicht auf die Details ihrer Implementierung ein.

TON DHT: Verteilte Hash-Tabelle

Wie bei anderen verteilten Systemen sieht TON die Implementierung einer DHT vor — der verteilten Hash-Tabelle. Genauer gesagt — die Tabelle ist kademlia-ähnlich. Wenn Sie mit dieser Art von Hash-Tabellen nicht vertraut sind — machen Sie sich keine Sorgen, ich werde im Folgenden ungefähr beschreiben, wie sie aufgebaut sind.

Im abstrakten Sinne ordnet eine DHT 256-Bit-Schlüsseln bestimmte binäre Werte beliebiger Länge zu. Dabei sind die Schlüssel in der Tabelle Hashes einer bestimmten TL-Struktur (die Strukturen selbst werden ebenfalls zusammen mit der DHT gespeichert). Dies ähnelt sehr der Bildung von Knotenadressen — und sie können tatsächlich in der DHT vorhanden sein (zum Beispiel kann unter einem solchen Schlüssel die IP-Adresse des Knotens mit der angegebenen abstrakten Adresse, wenn er diese nicht verbirgt, gefunden werden). Aber im Allgemeinen sind "Abbilder von Schlüsseln" (ihre Beschreibungen, key descriptions) Metadaten, die auf den "Besitzer" des Eintrages in der Hash-Tabelle verweisen (also den öffentlichen Schlüssel eines bestimmten Knotens), den Typ des gespeicherten Wertes und die Regeln, nach denen dieser Eintrag später geändert werden kann. Zum Beispiel kann eine Regel festlegen, dass nur der Eigentümer den Wert ändern darf — oder die Änderung des Wertes in eine geringere Richtung untersagen (um sich vor Replay-Angriffen zu schützen).

Neben den 256-Bit-Schlüsseln wird das Konzept von DHT-Adressen eingeführt. Der Unterschied zu normalen Knotenadressen besteht darin, dass eine DHT-Adresse unbedingt an eine IP-Adresse gebunden ist. Wenn ein Knoten seine IP nicht verbirgt, kann er eine normale Adresse für die DHT verwenden. Häufiger wird jedoch für die Zwecke der DHT eine separate, "halb-permanente" Adresse eingerichtet.

Für Schlüssel und DHT-Adressen wird das Konzept der Distanz eingeführt — in dieser Hinsicht stimmen sie mit den Tabellen überein Kademlia — der Abstand zwischen den Schlüsseln entspricht dem XOR (exklusives Oder) von ihnen. Wie in den Kademlia-Tabellen muss der Wert, der einem bestimmten Schlüssel zugeordnet ist, auf s Knoten gespeichert werden, die den geringsten Abstand zu diesem Schlüssel haben (s hier — eine relativ kleine Zahl).

Damit ein DHT-Knoten mit anderen solchen Knoten interagieren kann, speichert er eine DHT-Routetabelle — DHT- und IP-Adressen von Knoten, mit denen er zuvor interagiert hat, gruppiert nach ihrem Abstand zu ihnen. Es gibt 256 solcher Gruppen (sie entsprechen dem höchsten gesetzten Bit im Abstandswert — das heißt, Knoten, die einen Abstand von 0 bis 255 haben, fallen in eine Gruppe, von 256 bis 65535 in die nächste usw.). Innerhalb jeder Gruppe wird eine begrenzte Anzahl von "besten" Knoten gespeichert (in Bezug auf den Ping zu ihnen).

Jeder Knoten muss mehrere Operationen unterstützen: Wert für einen Schlüssel speichern, Knoten suchen und Werte suchen. Knoten suchen bedeutet, dass die nächstgelegenen Knoten zur angegebenen Schlüssel in der Routetabelle zurückgegeben werden; Werte suchen ist dasselbe, außer wenn dem Knoten der Wert für den Schlüssel bekannt ist (dann gibt er ihn einfach zurück). Wenn also ein Knoten einen Wert im DHT für einen Schlüssel finden möchte, sendet er Anfragen an eine kleine Anzahl von Knoten, die seinem Routentabelle am nächsten liegen. Wenn unter ihren Antworten der gesuchte Wert nicht vorhanden ist, aber andere Adressen von Knoten vorhanden sind, wird die Anfrage erneut an diese gesendet.

TON DHT kann für verschiedene Zwecke verwendet werden, zum Beispiel — zur Implementierung eines torrent-ähnlichen Dateispeichers (siehe TON Speicher); zur Bestimmung der Adressen von Knoten, die bestimmte Dienste anbieten; zur Speicherung von Informationen über Kontoinhaber in der Blockchain. Aber die wichtigste Anwendung ist die Entdeckung von Knoten anhand ihrer abstrakten Adressen. Dafür wird die Adresse als Schlüssel verwendet, dessen Wert gefunden werden soll. Infolge der Anfrage wird entweder der Knoten selbst gefunden (wenn die gesuchte Adresse seine halb-ständige DHT-Adresse war) oder der Wert besteht aus der IP-Adresse und dem Port für die Verbindung — oder einer anderen Adresse, die als Tunnel-Middleware verwendet werden soll.

Overlay-Netze in TON

Das oben beschriebene ADNL-Protokoll ermöglicht es allen Knoten, Informationen direkt miteinander auszutauschen – allerdings nicht unbedingt auf optimalen Wegen. Man kann sagen, dass durch ADNL alle Knoten ein globales TON-Diagramm bilden (idealerweise – zusammenhängend). Darüber hinaus besteht die Möglichkeit, Überlagernetzwerke – Teilgraphen innerhalb dieses Diagramms – zu erstellen.

Innerhalb eines solchen Netzwerks erfolgt die Interaktion nur direkt – über zuvor gebildete Verbindungen zwischen den Knoten, die an dem Netzwerk teilnehmen (über die oben beschriebenen ADNL-Kanäle). Die Bildung solcher Verbindungen zwischen Nachbarn und die Suche nach Nachbarn ist ein automatischer Prozess, der darauf abzielt, die Zusammenhängbarkeit des Überlagernetzwerks zu erhalten und Verzögerungen beim Datenaustausch darin zu minimieren.

Darüber hinaus gibt es eine Methode, um große Broadcast-Updates schnell innerhalb des Netzwerks zu verbreiten – diese werden in Teile zerlegt, mit Fehlerkorrekturcode ergänzt und all diese Stücke werden von einem Teilnehmer zum anderen weitergeleitet. So muss der Teilnehmer nicht alle Teile vollständig erhalten, bevor er sie weiter im Netzwerk verschickt.

Überlagernetzwerke können öffentlich und privat sein. Es ist nicht schwierig, Teilnehmer eines öffentlichen Netzwerks zu werden – man muss die TL-Struktur finden, die es beschreibt (sie kann öffentlich sein – oder über einen bestimmten Schlüssel im DHT zugänglich sein). Im Fall eines privaten Netzwerks muss diese Struktur dem Knoten im Voraus bekannt sein.

Fortsetzung folgt

Ich habe beschlossen, die Übersicht über TON auf mehrere Artikel aufzuteilen. An dieser Stelle endet dieser Teil, und im nächsten werde ich die Struktur der Blockchain (genauer gesagt, der Blockchains), aus denen TON bestehen wird, betrachten.

Quelle: habr.com