Elosztott DBMS TiDB 3.0 kiadás

Elérhető elosztott DBMS kiadás TiDB3.0a Google technológiáinak hatására alakult ki Csavarkulcs и F1. A TiDB a hibrid HTAP (Hybrid Transaction/Analytical Processing) rendszerek kategóriájába tartozik, amelyek egyaránt képesek valós idejű tranzakciók (OLTP) biztosítására és analitikai lekérdezések feldolgozására. A projekt Go and nyelven íródott forgalmazza Apache 2.0 licenc alatt.

A TiDB jellemzői:

• Az SQL támogatása és a MySQL protokollal kompatibilis kliens interfész biztosítása, amely megkönnyíti a meglévő MySQL-re írt alkalmazások TiDB-hez való adaptálását, és lehetővé teszi az általános ügyfélkönyvtárak használatát is. A MySQL-protokoll mellett a JSON-alapú API-t és a Spark-összekötőt is használhatja a DBMS-hez való hozzáféréshez.
• Az SQL szolgáltatásai közül az indexek, az összesítő függvények, a GROUP BY, ORDER BY, DISTINCT kifejezések, egyesítések (LEFT JOIN / RIGHT JOIN / CROSS JOIN), nézetek, ablakfüggvények és részlekérdezések támogatottak. A biztosított lehetőségek elegendőek az olyan webes alkalmazások TiDB-vel való munkájának megszervezéséhez, mint a PhpMyAdmin, Gogs és WordPress;
• Kibővítés és rugalmasság: A tárolási és feldolgozási teljesítmény egyszerűen növelhető új csomópontok hozzáadásával. Az adatok redundanciával vannak elosztva a csomópontok között, hogy a műveletek folytatódhassanak, ha az egyes csomópontok meghibásodnak. A hibákat a rendszer automatikusan kezeli.
• A rendszer garantálja a konzisztenciát, és úgy néz ki, mint egy nagy DBMS a kliensszoftver számára, annak ellenére, hogy valójában sok csomópont adatait használják fel a tranzakció befejezéséhez.
• Для физического хранения данных на узлах могут применяться разные бэкенды, например, локальные движки хранения GoLevelDB и BoltDB или собственный движок распределённого хранилища TiKV.
• A tárolási séma aszinkron megváltoztatásának képessége, lehetővé téve az oszlopok és indexek menet közbeni hozzáadását anélkül, hogy leállítaná a folyamatban lévő műveletek feldolgozását.

A főbb innovációk:

• Проведена работа по увеличению производительности. В тесте Sysbench выпуск 3.0 опережает ветку 2.1 в 1.5 раза при выполнении операций select и update, а в тесте TPC-C в 4.5 раза. Оптимизации затронули различные виды запросов, включая подзапросы «IN», «DO» и «NOT EXISTS», операции слияния таблиц (JOIN), использование индексов и многое другое;
  

• Добавлен новый движок хранения TiFlash, позволяющий добиться более высокой производительности при решении аналитических задач (OLAP), благодаря хранению в привязке к столбцам. TiFlash дополняет собой ранее предлагаемое хранилище TiKV, хранящее данные в разрезе строк в формате ключ/значение и более опримальное для задач обработки транзакций (OLTP). TiFlash работает бок о бок с TiKV и данные продолжают как и раньше реплицироваться в TiKV с использоанием протокола Raft для определении консенсуса, но для каждой группы реплик Raft создаётся дополнительная реплика, которая используется в TiFlash. Подобный поход позволяет добиться лучшего разделения ресурсов между задачами OLTP и OLAP, а также делает данные транзакций мгновенно доступными для аналитических запросов;
  

• Реализован распределённый сборщик мусора, позволяющий существенно повысить скорость сборки мусора в крупных кластерах и повысить стабильность работы;
• Добавлена экспериментальная реализация системы разграничения доступа на основе ролей (RBAC). Также обеспечена возможность задания прав доступа для операций ANALYZE, USE, SET GLOBAL и SHOW PROCESSLIST;
• Добавлена возможность использования выражений SQL для выблрки из лога медленных запросов;
• Реализован механизм быстрого восстановления удалённых таблиц, позволяющий восстановить случайно удалённые данные;
• Унифицирован формат записываемых логов;
• Добавлена поддержка пессимистического режима блокировки, который делает обработку транзакций более близкой к MySQL;
• Добавлена поддержка оконных функций (window-функции или аналитические функции), совместимых с MySQL 8.0. Оконные функции позволяют для каждой строки запроса выполнить вычисления, используя другие строки. В отличие от агрегатных функций, которые свёртывают сгруппированный набор строк в одну строку, оконные функции производят агрегирование на основе содержимого «окна», включающего одну или более строк из результирующего набора. Среди реализованных оконных функций:
  NTILE, LEAD, LAG, PERCENT_RANK, NTH_VALUE, CUME_DIST, FIRST_VALUE , LAST_VALUE, RANK, DENSE_RANK и ROW_NUMBER;

• Добавлена экспериментальная поддержка представлений (VIEW);
• Улучшена система секционирования (партицирования), добавлена возможность распределения данным по секциям на основании диапазона значений или хэшей;
• Добавлен фреймворк для разработки плагинов, например, уже подготовлены плагины для использования белого списка IP или ведения лога аудита;
• Обеспечена экспериментальная поддержка функции «EXPLAIN ANALYZE» для построения плана выполнения SQL-запроса (SQL Plan Management);
• Добавлена команда next_row_id для получения идентификатора следующей строки;
• Добавлены новые встроенные функции JSON_QUOTE, JSON_ARRAY_APPEND, JSON_MERGE_PRESERVE, BENCHMARK ,COALESCE и NAME_CONST.

Forrás: opennet.ru