TON: Telegram Open Network. Teil 1: Einführung, Netzwerkebene, ADNL, DHT, Overlay-Netzwerke

Seit zwei Wochen wird im russischen Internet über Telegram und die sinnlose und gnadenlose Blockierung durch Roskomnadsor diskutiert. Viele sind betroffen, doch all das sind Themen für Beiträge auf Geektimes. Was mich jedoch überrascht hat, ist, dass ich bisher keinen einzigen Artikel über das geplante Netzwerk TON — Telegram Open Network auf Habré gesehen habe, das auf Telegram basiert. Ich wollte diese Lücke schließen, denn es gibt viel zu erkunden — selbst trotz der fehlenden offiziellen Ankündigungen dazu.

Ich erinnere daran, dass Gerüchte die Runde machen, dass Telegram ein sehr umfangreiches, geheimes ICO gestartet hat, bei dem bereits unglaubliche Summen gesammelt wurden. Es wird angenommen, dass noch in diesem Jahr die eigene Kryptowährung Gram lanciert wird — und jeder Telegram-Nutzer automatisch eine Wallet erhalten wird, was an sich schon einen erheblichen Vorteil gegenüber anderen Kryptowährungen schafft.

Leider kann ich, da es keine offiziellen Erklärungen gibt, nur von einem Dokument unbekannter Herkunft ausgehen, worauf ich Sie sofort hinweisen möchte. Natürlich könnte es sich um eine sehr kunstvolle Fälschung handeln, aber es ist ebenso möglich, dass dies ein echter Whitepaper der zukünftigen Systeme ist, verfasst von Nikolai Durov (und möglicherweise von jemandem aus dem Investorenteam geleakt). Doch selbst wenn es ein Fake ist, wird uns niemand verbieten, ihn zu studieren und zu diskutieren, oder?

Was steht in diesem Dokument? Ich werde versuchen, es mit eigenen Worten näherzubringen, nah am Original, aber auf Deutsch und etwas menschlicher (möge mir Nikolai mit seiner Neigung zur formalen Mathematik verzeihen). Seien Sie sich bewusst, dass selbst im Falle seiner Echtheit dies eine vorläufige Beschreibung des Systems ist und sie sich sehr wahrscheinlich bis zum öffentlichen Start ändern wird.

Wir erfahren, dass neben der Kryptowährung noch sehr viel mehr vorgesehen ist. Lassen Sie uns der Reihe nach durchgehen.

• TON Blockchain. Das ist das Fundament des gesamten Systems. Wenn Sie absolut keine Ahnung haben, was ein Blockchain ist – ich empfehle Ihnen, sich darüber zu informieren, denn hier wird es viele Blockchains geben. Ineinander verschachtelt, virtuell fragmentiert und sogar „vertikale“ Blockchains innerhalb anderer Blockchains. Und zudem wird es einige cool klingende Begriffe wie Instant Hypercube Routing und Unendliches Sharding-Paradigma, aber dazu später. Und natürlich Proof-of-Stake und Smart Contracts.
• TON P2P-Netzwerk. Ein Peer-to-Peer-Netzwerk, auf dem das System aufgebaut werden soll. Darüber wird in diesem Abschnitt des Berichts hauptsächlich gesprochen.
• TON Storage. Ein Dateispeicher, der unabhängig von der Blockchain auf dem zuvor genannten Peer-to-Peer-Netzwerk basieren wird. Man kann es mit Torrents vergleichen.
• TON Proxy. Dieser Dienst hat das Ziel, die Anonymität der Netzwerkteilnehmer zu erhöhen. Jeder Paket kann nicht direkt, sondern über Tunnel-Proxy-Dienste mit zusätzlicher Verschlüsselung gesendet werden — ähnlich wie I2P oder TOR.
• TON DHT. Eine verteilte Hash-Tabelle zur Speicherung beliebiger Werte. Sie ist ebenfalls aufgebaut auf TON Network (verwendet jedoch dessen Infrastruktur) und hilft TON Storage die "Seed"-Knoten zu finden, und TON Proxy — Zwischen-Relais. Es ist jedoch zu beachten, dass diese Hash-Tabelle im Gegensatz zur Blockchain kein sicheres Lager ist — wichtige Informationen sollten darin nicht aufbewahrt werden.
• TON Services. Eine Plattform für beliebige Dienste. Im Grunde genommen ist dies das neue Internet über all dem, was oben beschrieben wurde. Datenaustausch erfolgt über TON Network/TON Proxy, während die Logik in den Smart Contracts selbst liegt. TON Blockchain. Und die Benutzeroberfläche mit relativ vertrauten URLs.
• TON DNS. Da wir gerade von vertrauten URLs sprechen, benötigt man auch einen Umwandler zu 256-Bit-Adressen – für Konten, Verträge, Dienstleistungen und Knoten.
• TON Payments. Und hier wird das finanzielle Thema angesprochen. Und es wird nicht nur gram – wie bei Ethereum werden alle möglichen „Token“ möglich sein; die Grams werden hier lediglich die „Standardwährung“ sein.

Dies ist der erste Teil, der die „bodenständige“ Ebene von TON beschreibt – seinen Netzwerkteil, der auf traditionellen Protokollen aufgebaut ist. Im nächsten Teil wird es um das „Kernstück“ gehen – die Blockchain, die von dem nachfolgend beschriebenen System unterstützt wird. Somit stimmt meine Erzählreihenfolge etwas von der im oben genannten Dokument ab (das sofort mit der abstrakten Ebene beginnt).

Grundlagen

TL (Type Language). Dies ist ein abstraktes binäres Format für beliebige Datenstrukturen. Es wird im Telegram-Protokoll verwendet und wird aktiv in TON eingesetzt. Wenn Sie sich näher damit vertrautmachen möchten – hier ist seine Beschreibung.

Hash (hash). Eine Funktion, die eine irreversible Umwandlung beliebiger Datenstrukturen in eine feste Länge Zahl durchführt. In der Dokumentation wird häufig über diese Funktion gesprochen. SHA-256.

Netzknoten (node). Ein Knoten ist eine Software, die den Betrieb des Systems sicherstellt. Insbesondere wird angenommen, dass jede Clientanwendung von Telegram einen TON-Knoten enthalten wird. Auf niedriger Ebene haben Knoten IPv4/IPv6-Adressen und kommunizieren über das UDP-Protokoll, auf höherer Ebene verfügen sie über abstrakte Adressen und implementieren das ADNL-Protokoll (zu abstrakten Adressen und ADNL — siehe unten). Wenn darüber gesprochen wird, dass bestimmte Teile des Systems etwas tun oder Daten speichern, wird damit angedeutet, dass dies durch die Netzknoten erfolgt.

Abstrakte Adresse (oder einfach Adresse, address). Die Adresse eines Knotens wird durch seinen öffentlichen Schlüssel bestimmt. Genauer gesagt handelt es sich um einen 256-Bit-Hash (SHA256) der Datenstruktur, die den öffentlichen Schlüssel enthält (der spezifische kryptografische Algorithmus wird hierbei nicht näher spezifiziert – als Beispiele werden elliptische Kurven und RSA-2048 genannt). Damit ein Knoten mit einem anderen interagieren kann, muss nicht nur die Adresse des anderen bekannt sein, sondern auch diese Datenstruktur. Theoretisch kann ein physischer Knoten beliebig viele Adressen (entsprechend verschiedener Schlüssel) erstellen.

Darüber hinaus wird häufig genau diese Kombination verwendet: ein «Abbild» in Form einer TL-Struktur (die praktisch beliebige Daten enthält) und der 256-Bit-Hash davon, der zur Adressierung verwendet wird.

Blockchain (Blockchain). Die Blockchain ist eine Datenstruktur, deren Elemente (Blöcke) in einer «Kette» angeordnet sind, wobei jeder folgende Block der Kette den Hash des vorhergehenden enthält. Dadurch wird Integrität erreicht – Änderungen können nur durch das Hinzufügen neuer Blöcke vorgenommen werden.

Dienste (service). Die Dienste innerhalb von TON können verschiedene Typen haben – abhängig davon, ob sie Blockchain nutzen oder nicht. Zum Beispiel kann ein (oder mehrere) Knoten im Netzwerk bestimmte RPC-Anfragen über das weiter unten beschriebene ADNL-Protokoll verarbeiten, ohne dass irgendwelche Einträge in der Blockchain erstellt werden – ähnlich wie traditionelle Webserver. Es wird auch die Möglichkeit geprüft, HTTP über ADNL zu implementieren sowie den Messenger selbst auf dieses Protokoll umzustellen. Ähnlich wie bei TOR oder I2P würde dies ihn widerstandsfähiger gegen verschiedene Blockaden machen.

Gleichzeitig impliziert eine Reihe von Diensten sowohl die Interaktion mit der Blockchain als auch die Verarbeitung von Anfragen außerhalb davon. Zum Beispiel wäre es für TON Storage – das Dateispeichersystem – nicht besonders sinnvoll, die Dateien selbst in der Blockchain zu speichern. Dort werden nur die Hashes der Dateien (neben einigen Metainformationen) enthalten sein, während spezialisierte Knoten im Netzwerk als „Dateiserver“ fungieren, die bereit sind, sie über ADNL an andere Knoten auszugeben.

Fog-Dienst (fog service). Es handelt sich um einige Dienste, die Dezentralisierung und offene Teilnahme vorsehen. Zum Beispiel ist der TON Proxy ein Dienst, den jeder Teilnehmer unterstützen kann, der seinen Knoten als Vermittler (Proxy) bereitstellen möchte, um Pakete zwischen anderen Knoten weiterzuleiten. Bei Wunsch kann er dafür eine von ihm festgelegte Gebühr erheben — unter Verwendung des TON Payments-Systems für Mikrozahlungen (das seinerseits auch ein dezentrales Dienst ist).

ADNL: Abstrakte Datagramm-Netzwerkschicht

Auf der tiefsten Ebene erfolgt die Interaktion zwischen den Knoten über das UDP-Protokoll (obwohl auch andere Optionen zulässig sind).

Wie oben erwähnt, um ein Paket von einem Knoten zu einem anderen zu senden, muss dieser einen seiner öffentlichen Schlüssel (und damit die Adresse, die ihm zugeordnet ist) kennen. Er verschlüsselt das Paket mit diesem Schlüssel und fügt am Anfang des Pakets die 256-Bit-Adresse des Empfängers hinzu — da ein Knoten mehrere solcher Adressen haben kann, ermöglicht dies die Bestimmung, welchen Schlüssel zur Entschlüsselung verwendet werden soll.

Darüber hinaus kann anstelle der Empfängeradresse zu Beginn des Datenpakets eine sogenannte Identifikationsnummer stehen des Kanals. In diesem Fall hängt die Verarbeitung des Pakets von den spezifischen Vereinbarungen zwischen den Knoten ab – beispielsweise können die Daten, die an einen bestimmten Kanal gesendet werden, für einen anderen Knoten bestimmt sein und müssen an diesen weitergeleitet werden (das ist der Dienst). TON Proxy). Ein weiterer spezifischer Fall kann die direkte Interaktion zwischen Knoten sein, jedoch mit Verschlüsselung über ein individuelles Schlüsselpaar für diesen Kanal (vorab gebildet gemäß dem Diffie-Hellman-Protokoll).

Schließlich gibt es einen speziellen Fall, der als „null“ Kanal bezeichnet wird – wenn ein Knoten die öffentlichen Schlüssel seiner „Nachbarn“ noch nicht kennt, kann er Pakete ohne jegliche Verschlüsselung an sie senden. Dies dient nur der Initialisierung – sobald die Knoten Informationen über ihre Schlüssel gesendet haben, sollten diese für die weitere Interaktion verwendet werden.

Das oben beschriebene Protokoll (256 Bit Kanal-Identifikator + Paketinhalt) nennt sich ADNL. Die Dokumentation erwähnt die Möglichkeit, ein TCP-ähnliches Protokoll darauf zu implementieren oder eine eigene Erweiterung – RLDP (Reliable Large Datagram Protocol) – zu nutzen, geht jedoch nicht näher auf deren Implementierung ein.

TON DHT: Verteilte Hash-Tabelle

Wie bei anderen verteilten Systemen implementiert TON ein DHT — eine verteilte Hashtabelle. Genauer gesagt handelt es sich um eine kademlia-ähnliche Tabelle. Wenn Sie mit dieser Art von Hashtabellen nicht vertraut sind, keine Sorge, ich werde Ihnen gleich eine grobe Beschreibung geben, wie sie aufgebaut sind.

Im abstrakten Sinne ordnet DHT 256-Bit-Schlüssel bestimmten Binärwerten variabler Länge zu. Dabei sind die Schlüssel in der Tabelle Hashes von bestimmten TL-Strukturen (diese Strukturen werden ebenfalls zusammen mit dem DHT gespeichert). Das ähnelt der Bildung von Adressen für Knoten — und sie können tatsächlich im DHT vorhanden sein (zum Beispiel könnte unter einem solchen Schlüssel die IP-Adresse des Knotens zu finden sein, die dem angegebenen abstrakten Adresse, vorausgesetzt, sie versteckt sie nicht). Aber im Allgemeinen sind die „Abbilder der Schlüssel“ (ihre Beschreibungen, key descriptions) — sind Metadaten, die den «Eigentümer» des Eintrags in der Hashtabelle angeben (das heißt, den öffentlichen Schlüssel eines Knotens), den Typ des gespeicherten Wertes sowie die Regeln, nach denen dieser Eintrag später geändert werden kann. Zum Beispiel kann eine Regel vorsehen, dass nur der Eigentümer den Wert ändern darf — oder die Änderung des Wertes in eine geringere Richtung verbieten (um sich vor Replay-Angriffen zu schützen).

Neben 256-Bit-Schlüsseln wird das Konzept der DHT-Adressen eingeführt. Der Unterschied zu normalen Knotenadressen besteht darin, dass eine DHT-Adresse unbedingt an eine IP-Adresse gebunden sein muss. Wenn ein Knoten seine IP nicht verbirgt, kann er eine normale Adresse für DHT verwenden. Häufiger wird jedoch für DHT ein separater, «halb-permanenter» Adresse eingerichtet.

Für Schlüssel und DHT-Adressen wird das Konzept der Entfernung eingeführt — hier stimmen sie mit den Tabellen überein. Kademlia — die Entfernung zwischen Schlüsseln ist gleich XOR (bitweise exklusive ODER) von ihnen. Wie in Kademlia-Tabellen sollte der Wert, der einem bestimmten Schlüssel entspricht, auf s Knoten gespeichert werden, die die geringste Entfernung zu diesem Schlüssel aufweisen (s hier — eine relativ kleine Zahl).

Damit ein DHT-Knoten mit anderen solchen Knoten interagieren kann, speichert er eine DHT-Routingtabelle. — DHT- und IP-Adressen von Knoten, mit denen zuvor interagiert wurde, gruppiert nach Entfernung zu ihnen. Es gibt 256 solcher Gruppen (entsprechend dem höchsten gesetzten Bit im Entfernungswert — das heißt, Knoten in der Entfernung von 0 bis 255 fallen in eine Gruppe, von 256 bis 65535 in die nächste, usw.). Innerhalb jeder Gruppe wird eine begrenzte Anzahl von „besten“ Knoten gespeichert (in Bezug auf den Ping zu ihnen).

Jeder Knoten muss mehrere Operationen unterstützen: Wert für einen Schlüssel speichern, Knoten suchen und Werte suchen. Das Suchen von Knoten beinhaltet die Ausgabe der nächstgelegenen Knoten zu einem bestimmten Schlüssel aus der Routing-Tabelle; das Suchen von Werten ist dasselbe, es sei denn, der Knoten kennt bereits den Wert für den Schlüssel (in diesem Fall gibt er ihn einfach zurück). Wenn ein Knoten also im DHT einen Wert für einen Schlüssel finden möchte, sendet er Anfragen an eine kleine Anzahl von Knoten, die in seiner Routing-Tabelle am nächsten zu diesem Schlüssel liegen. Wenn unter ihren Antworten der gesuchte Wert nicht zu finden ist, aber andere Knotenadressen vorhanden sind, wird die Anfrage an diese wiederholt.

TON DHT kann für verschiedene Zwecke verwendet werden, zum Beispiel — zur Implementierung eines torrentähnlichen Dateispeichers (siehe. TON Storage); zur Bestimmung von Knotenadressen, die bestimmte Dienste bereitstellen; zur Speicherung von Informationen über Eigentümer von Konten in der Blockchain. Die wichtigste Anwendung besteht jedoch darin, Knoten anhand ihrer abstrakten Adressen zu erkennen. Dazu wird die Adresse als Schlüssel verwendet, dessen Wert gefunden werden muss. Im Ergebnis eines Anfrages wird entweder der Knoten selbst (wenn die gesuchte Adresse seine semi-permanente DHT-Adresse war) oder der Wert wird eine IP-Adresse und ein Port für die Verbindung sein — oder eine andere Adresse, die als Tunnel-Mittelsmann verwendet werden soll.

Overlay-Netzwerke in TON

Das oben beschriebene ADNL-Protokoll ermöglicht es allen Knoten, Informationen untereinander auszutauschen — allerdings nicht unbedingt auf optimalen Wegen. Man kann sagen, dass alle Knoten durch ADNL ein globales TON-Diagramm bilden (idealerweise verbunden). Dennoch besteht zusätzlich die Möglichkeit, Overlay-Netzwerke zu erstellen — Untergraphen innerhalb dieses Diagramms.

Innerhalb eines solchen Netzwerks erfolgt die Interaktion ausschließlich direkt — über zuvor etablierte Verbindungen zwischen den Knotenpunkten (über die oben beschriebenen ADNL-Kanäle). Der Aufbau solcher Verbindungen zwischen Nachbarn sowie die Suche nach diesen Nachbarn sind automatische Prozesse, die darauf abzielen, die Konnektivität des Overlay-Netzes aufrechtzuerhalten und die Latenz beim Datenaustausch zu minimieren.

Darüber hinaus gibt es eine Methode, um große, breit gefächerte Updates innerhalb des Netzwerks schnell zu verbreiten — diese werden in Teile zerlegt, mit Fehlerkorrekturcode ergänzt und alle diese Teile werden von einem Teilnehmer zum anderen weitergeleitet. So muss ein Teilnehmer nicht alle Teile vollständig erhalten, bevor er sie im Netzwerk weiterleitet.

Overlay-Netzwerke können öffentlich oder privat sein. Es ist nicht schwer, Mitglied eines öffentlichen Netzwerks zu werden — man muss die TL-Struktur finden, die es beschreibt (diese kann öffentlich sein oder über einen bestimmten Schlüssel im DHT zugänglich sein). Im Falle eines privaten Netzwerks muss diese Struktur dem Knoten im Voraus bekannt sein.

Fortsetzung folgt

Ich habe beschlossen, die Übersicht über TON in mehrere Artikel zu unterteilen. An dieser Stelle endet dieser Teil, und im nächsten Ich beschäftige mich mit der Struktur der Blockchains (genauer gesagt, der Blockchains), aus denen TON bestehen wird.

Quelle: habr.com