Veröffentlichung der verteilten Datenbank TiDB 3.0

Verfügbar Release der verteilten DBMS TiDB 3.0, inspiriert von Technologien von Google Spanner und F1. TiDB gehört zur Kategorie der hybriden HTAP-Systeme (Hybrid Transactional/Analytical Processing), die sowohl Echtzeitztransaktionen (OLTP) unterstützt als auch analytische Abfragen verarbeiten kann. Das Projekt ist in der Programmiersprache Go geschrieben und wird verbreitet unter der Apache 2.0 Lizenz.

Merkmale von TiDB:

• Unterstützung von SQL und Bereitstellung einer Client-Schnittstelle, die mit dem MySQL-Protokoll kompatibel ist, was die Anpassung vorhandener Anwendungen, die für MySQL geschrieben wurden, an TiDB erleichtert und die Verwendung gängiger Client-Bibliotheken ermöglicht. Neben dem MySQL-Protokoll kann auch eine JSON-basierte API und ein Connector für Spark verwendet werden, um auf die DBMS zuzugreifen.
• Zu den SQL-Funktionen gehören Indizes, Aggregatfunktionen, GROUP BY, ORDER BY, DISTINCT, Joins (LEFT JOIN / RIGHT JOIN / CROSS JOIN), Sichten, Fensterfunktionen und Unterabfragen. Diese Funktionen sind ausreichend für die Integration von TiDB in Webanwendungen wie PhpMyAdmin, Gogs und WordPress;
• Die Möglichkeit zur horizontalen Skalierung und Gewährleistung der Ausfallsicherheit: Speichergröße und Rechenleistung können einfach durch Anschluss neuer Knoten erweitert werden. Die Daten werden redundant auf die Knoten verteilt, sodass der Betrieb im Falle eines Ausfalls einzelner Knoten fortgesetzt werden kann. Ausfälle werden automatisch verarbeitet.
• Das System gewährleistet die Konsistenz und erscheint für die Client-Software wie eine große DBMS, obwohl tatsächlich Daten von mehreren Knoten abgerufen werden, um eine Transaktion auszuführen.
• Für die physische Speicherung von Daten auf Knoten können verschiedene Backends verwendet werden, beispielsweise die lokalen Speicherungsmotoren GoLevelDB und BoltDB oder die eigene Engine für die verteilte Speicherung. TiKV.
• Die Möglichkeit zur asynchronen Änderung des Speicherschemas, die es ermöglicht, Spalten und Indizes ohne Unterbrechung der Verarbeitung aktueller Vorgänge hinzuzufügen.

Haupt- Neuheiten:

• Es wurde an der Leistungssteigerung gearbeitet. Im Sysbench-Test übertrifft die Version 3.0 die Version 2.1 um das 1,5-Fache bei den Operationen select und update, und im TPC-C-Test sogar um das 4,5-Fache. Optimierungen betrafen verschiedene Arten von Abfragen, einschließlich der Unterabfragen 'IN', 'DO' und 'NOT EXISTS', der JOIN-Operationen, der Verwendung von Indizes und vieles mehr.
  
• Eine neue Speicherungsmotor TiFlash wurde hinzugefügt, der eine höhere Leistung bei der Lösung analytischer Aufgaben (OLAP) ermöglicht, da die Daten spaltenbasiert gespeichert werden. TiFlash ergänzt die zuvor angebotene Speicherung TiKV, die Daten zeilenweise im Schlüssel/Wert-Format speichert und optimaler für Transaktionsverarbeitung (OLTP) ist. TiFlash arbeitet neben TiKV, und die Daten werden weiterhin wie gewohnt in TiKV unter Verwendung des Raft-Protokolls zum Konsens repliziert, jedoch wird für jede Raft-Replikatgruppe eine zusätzliche Replikat erstellt, die in TiFlash verwendet wird. Dieser Ansatz ermöglicht eine bessere Ressourcenteilung zwischen OLTP- und OLAP-Aufgaben und macht Transaktionsdaten sofort für analytische Abfragen zugänglich.
  
• Ein verteilter Garbage Collector wurde implementiert, der die Geschwindigkeit der Müllabfuhr in großen Clustern erheblich erhöht und die Stabilität verbessert.
• Eine experimentelle Umsetzung eines rollenbasierten Zugriffskontrollsystems (RBAC) wurde hinzugefügt. Es wurde auch die Möglichkeit geschaffen, Zugriffsrechte für die Operationen ANALYZE, USE, SET GLOBAL und SHOW PROCESSLIST festzulegen.
• Es wurde die Möglichkeit hinzugefügt, SQL-Ausdrücke zur Auswahl aus dem Protokoll langsamer Abfragen zu verwenden.
• Ein Mechanismus zur schnellen Wiederherstellung gelöschter Tabellen wurde implementiert, der die Wiederherstellung versehentlich gelöschter Daten ermöglicht.
• Das Format der protokollierten Logs wurde vereinheitlicht.
• Die Unterstützung für den pessimistischen Sperrmodus wurde hinzugefügt, der die Verarbeitung von Transaktionen näher an MySQL heranführt.
• Unterstützung für Fensterfunktionen (window functions oder analytische Funktionen), die mit MySQL 8.0 kompatibel sind, hinzugefügt. Fensterfunktionen ermöglichen es, für jede Zeile einer Abfrage Berechnungen unter Verwendung anderer Zeilen durchzuführen. Im Gegensatz zu Aggregatfunktionen, die eine gruppierte Menge von Zeilen in eine Zeile zusammenfassen, aggregieren Fensterfunktionen auf Grundlage des Inhalts eines „Fensters“, das eine oder mehrere Zeilen aus dem Ergebnissatz umfasst. Zu den implementierten Fensterfunktionen gehören:
  NTILE, LEAD, LAG, PERCENT_RANK, NTH_VALUE, CUME_DIST, FIRST_VALUE, LAST_VALUE, RANK, DENSE_RANK und ROW_NUMBER;
• Experimentelle Unterstützung für Ansichten (VIEW) hinzugefügt;
• Das Partitionssystem (Partitionierung) wurde verbessert, und die Möglichkeit hinzugefügt, Daten basierend auf Wertebereichen oder Hashes auf Partitionen zu verteilen;
• Ein Framework zur Entwicklung von Plugins wurde hinzugefügt, beispielsweise sind bereits Plugins für die Verwendung von IP-Whitelists oder zur Protokollierung von Audits vorbereitet;
• Experimentelle Unterstützung für die Funktion „EXPLAIN ANALYZE“ zur Erstellung eines Ausführungsplans für SQL-Abfragen (SQL Plan Management) bereitgestellt;
• Der Befehl next_row_id wurde hinzugefügt, um die ID der nächsten Zeile abzurufen;
• Neue integrierte Funktionen JSON_QUOTE, JSON_ARRAY_APPEND, JSON_MERGE_PRESERVE, BENCHMARK, COALESCE und NAME_CONST hinzugefügt.

Quelle: opennet.ru