Представлен релиз распределённой СУБД rqlite 6.0, которая использует SQLite в качестве движка хранения и позволяет организовать работу кластера из синхронизированных между собой хранилищ. Из особенностей rqlite отмечается простота установки, развёртывания и сопровождения распределённого отказоустойчивого хранилища, чем-то похожего на etcd и Consul, но использующего реляционную модель работы с данными вместо формата ключ/значения. Код проекта написан на языке Go и распространяется под лицензией MIT.
Для поддержания всех узлов в синхронизированном состояния используется алгоритм достижения консенсуса Raft. Rqlite использует оригинальную библиотеку SQLite и и штатный драйвер go-sqlite3, поверх которых запускается прослойка обрабатывающая запросы клиентов, выполняющая репликацию на другие узлы и отслеживающая достижение консенсуса по выбору лидирующего узла.
Изменения в БД могут вносится только узлом, который выбран в качестве лидирующего, но соединения с операциями записи могут направляться и к другим узлам кластера, которые вернут адрес лидера для повторения запроса (в следующей версии обещают добавить автоматический проброс обращения к лидеру). Главный упор делается на отказоустойчивость, поэтому СУБД масштабируется только по операциям чтения, а операции записи являются узким местом. Возможно запустить кластер rqlite из одного узла и такое решение может использоваться для организации доступа к SQLite поверх HTTP без предоставления отказоустойчивости.
Данные SQLite на каждом узле хранятся не в файле, а в памяти. На уровне слоя с реализацией протокола Raft ведётся лог всех команд SQLite, приводящих к изменению БД. Данный лог используется при репликации (репликация на уровне воспроизведения запросов на других узлах), запуске нового узла или восстановления после потери связности. Для сокращения размера лога применяется автоматическая упаковка, которая запускается после заданного числа изменений и приводит к фиксации на диске снапшота, относительно которого начинает вестись новый лог (состояние БД в памяти идентично снапшоту + накопившемуся логу изменений).
Caratteristiche di rqlite:
- Semplicità nel dispiegamento di un cluster, senza necessità di installare SQLite separatamente.
- Possibilità di ottenere rapidamente uno storage SQL replicato.
- Готовность для использования в рабочих проектах (Production-grade).
- Наличие HTTP(S) API, позволяющего обновлять данные в пакетном режиме и определять лидирующий узел кластера. Также предоставляется интерфейс командной строки и возможность использования различных клиентских библиотек, созданных для SQLite.
- Disponibilità di un servizio per l'individuazione di altri nodi, che consente di creare cluster dinamicamente.
- Supporto per la crittografia della comunicazione dei dati tra i nodi.
- Possibilità di configurare il livello di verifica della validità e coerenza dei dati durante la lettura.
- Opzione per collegare nodi in modalità di sola lettura, che non partecipano alla definizione del consenso e sono utilizzati per aumentare la scalabilità del cluster per le operazioni di lettura.
- Supporto per una forma personalizzata di transazioni basata sulla combinazione di comandi in un'unica richiesta (non sono supportate transazioni basate su BEGIN, COMMIT, ROLLBACK, SAVEPOINT e RELEASE).
- Supporto per la creazione di backup a caldo.
В новом выпуске внесены значительные архитектурные изменения, направленные на повышения надёжности кластера за счёт улучшения процесса направления запросов на чтения и запись к корректным узлам кластера. Узлы rqlite теперь могут мультиплексировать между собой несколько логических соединений, используя TCP-соединения, установленные между узлами протоколом Raft. Если запрос требует полномочий лидирующего узла, но отправлен вторичному узлу, вторичный узел может определить адрес лидера и передать его клиенту, без выполнения расчёта консенсуса по протоколу Raft.
Изменение также позволило избавиться от отдельного компонента для синхронизации метаданных и исключить отдельную обработку состояния Raft и метаданных. Вторичные узлы теперь направляют запросы к узлу-лидеру только по необходимости, когда нужно узнать адрес лидирующего узла. В API предоставлена возможность получения информации о состоянии других узлов в кластере. В интерфейс командной строки добавлена команда «.sysdump».
Fonte: opennet.ru
