Release van de gedistribueerde DBMS TiDB 3.0

Beschikbaar release van een gedistribueerd DBMS TiDB 3.0, ontwikkeld onder invloed van Google-technologieën Moersleutel и F1. TiDB behoort tot de categorie hybride HTAP-systemen (Hybrid Transactional/Analytical Processing), die zowel realtime transacties (OLTP) kunnen leveren als analytische vragen kunnen verwerken. Het project is geschreven in Go en gedistribueerd door gelicentieerd onder Apache 2.0.

Kenmerken van TiDB:

• SQL-ondersteuning en levering van een clientinterface die compatibel is met het MySQL-protocol, wat de aanpassing van bestaande applicaties die voor MySQL zijn geschreven aan TiDB vereenvoudigt, en ook het gebruik van gemeenschappelijke clientbibliotheken mogelijk maakt. Naast het MySQL-protocol kunt u een op JSON gebaseerde API en een connector voor Spark gebruiken om toegang te krijgen tot het DBMS.
• SQL-functies ondersteunen indexen, aggregatiefuncties, GROUP BY, ORDER BY, DISTINCT-expressies, samenvoegingen (LEFT JOIN / RIGHT JOIN / CROSS JOIN), views, vensterfuncties en subquery's. De geboden mogelijkheden zijn voldoende om het werk met TiDB te organiseren voor webapplicaties als PhpMyAdmin, Gogs en WordPress;
• Horizontale schaalbaarheid en fouttolerantie: de opslaggrootte en verwerkingskracht kunnen worden vergroot door simpelweg nieuwe knooppunten aan te sluiten. Gegevens worden redundant over knooppunten verdeeld, waardoor de werking kan worden voortgezet als individuele knooppunten uitvallen. Storingen worden automatisch afgehandeld.
• Het systeem garandeert consistentie en voor de clientsoftware lijkt het op één groot DBMS, ondanks het feit dat er in feite gegevens van veel knooppunten worden aangetrokken om de transactie te voltooien.
• Для физического хранения данных на узлах могут применяться разные бэкенды, например, локальные движки хранения GoLevelDB и BoltDB или собственный движок распределённого хранилища TiKV.
• De mogelijkheid om het opslagschema asynchroon te wijzigen, zodat u on-the-fly kolommen en indexen kunt toevoegen zonder de verwerking van lopende bewerkingen te stoppen.

De belangrijkste innovaties:

• Проведена работа по увеличению производительности. В тесте Sysbench выпуск 3.0 опережает ветку 2.1 в 1.5 раза при выполнении операций select и update, а в тесте TPC-C в 4.5 раза. Оптимизации затронули различные виды запросов, включая подзапросы «IN», «DO» и «NOT EXISTS», операции слияния таблиц (JOIN), использование индексов и многое другое;
  

• Добавлен новый движок хранения TiFlash, позволяющий добиться более высокой производительности при решении аналитических задач (OLAP), благодаря хранению в привязке к столбцам. TiFlash дополняет собой ранее предлагаемое хранилище TiKV, хранящее данные в разрезе строк в формате ключ/значение и более опримальное для задач обработки транзакций (OLTP). TiFlash работает бок о бок с TiKV и данные продолжают как и раньше реплицироваться в TiKV с использоанием протокола Raft для определении консенсуса, но для каждой группы реплик Raft создаётся дополнительная реплика, которая используется в TiFlash. Подобный поход позволяет добиться лучшего разделения ресурсов между задачами OLTP и OLAP, а также делает данные транзакций мгновенно доступными для аналитических запросов;
  

• Реализован распределённый сборщик мусора, позволяющий существенно повысить скорость сборки мусора в крупных кластерах и повысить стабильность работы;
• Добавлена экспериментальная реализация системы разграничения доступа на основе ролей (RBAC). Также обеспечена возможность задания прав доступа для операций ANALYZE, USE, SET GLOBAL и SHOW PROCESSLIST;
• Добавлена возможность использования выражений SQL для выблрки из лога медленных запросов;
• Реализован механизм быстрого восстановления удалённых таблиц, позволяющий восстановить случайно удалённые данные;
• Унифицирован формат записываемых логов;
• Добавлена поддержка пессимистического режима блокировки, который делает обработку транзакций более близкой к MySQL;
• Добавлена поддержка оконных функций (window-функции или аналитические функции), совместимых с MySQL 8.0. Оконные функции позволяют для каждой строки запроса выполнить вычисления, используя другие строки. В отличие от агрегатных функций, которые свёртывают сгруппированный набор строк в одну строку, оконные функции производят агрегирование на основе содержимого «окна», включающего одну или более строк из результирующего набора. Среди реализованных оконных функций:
  NTILE, LEAD, LAG, PERCENT_RANK, NTH_VALUE, CUME_DIST, FIRST_VALUE , LAST_VALUE, RANK, DENSE_RANK и ROW_NUMBER;

• Добавлена экспериментальная поддержка представлений (VIEW);
• Улучшена система секционирования (партицирования), добавлена возможность распределения данным по секциям на основании диапазона значений или хэшей;
• Добавлен фреймворк для разработки плагинов, например, уже подготовлены плагины для использования белого списка IP или ведения лога аудита;
• Обеспечена экспериментальная поддержка функции «EXPLAIN ANALYZE» для построения плана выполнения SQL-запроса (SQL Plan Management);
• Добавлена команда next_row_id для получения идентификатора следующей строки;
• Добавлены новые встроенные функции JSON_QUOTE, JSON_ARRAY_APPEND, JSON_MERGE_PRESERVE, BENCHMARK ,COALESCE и NAME_CONST.

Bron: opennet.ru