Microsoft отвори кода на хранилището Garnet, съвместимо с Redis

Компанията Microsoft отвори изходния код на NoSQL системата Garnet, проектирана за създаване на кеширащи хранилища и съвместима с вече съществуващите клиентски библиотеки за хранилището Redis. Garnet поддържа създаването на мащабируеми клъстери за кеширане на данни, в които може да се използва репликация, миграция на ключове и сегментиране на данни между възлите на клъстера. Проектът е написан на C# с ядро за съхранение на C++, отворен под лицензия MIT и може да работи на всички платформи, поддържани в .NET (първичните платформи, посочени за Linux и Windows).

За съхранение на данните се използва двигателят Tsavorite (форк на хранилището Microsoft FASTER), който поддържа многопоточна обработка на заявки, транзакции, фиксиране на промените в неблокиращ режим (checkpointing), възстановяване след аварии, запазване на резервни копия и водене на лог на операциите. Мрежовият обработчик в Garnet е изградени с използване на архитектура на споделена памет, предложена от изследователския проект ShadowFax. Обработката на TLS и взаимодействието с хранилището се извършва в един поток, което позволява да се избегнат разходите за превключване на потоци и по-ефективно използване на CPU кеша при предаване на данни по мрежата.

Архитектурата на Garnet отделя логиката за анализ и обработка на заявки от операциите с хранилището. Данните се съхраняват, използвайки две хранилища във формат ключ-стойност, реализирани на базата на библиотеката Tsavorite. Първото "основно" хранилище е оптимизирано за бързо извършване на операции със низове, а второто "обектно" хранилище е оптимизирано за съхранение на сложни обекти и разширени типове данни, като хешове и списъци. Типовете данни във второто хранилище са реализирани с помощта на библиотеки от .NET. Данните се съхраняват в купчина (C# heap), което позволява ефективното им обновяване и в сериализиран вид на диска.

Характеристики на Garnet:

• Възможно е разгръщане на многостепенни хранилища, обхващащи оперативната памет, SSD дискове и облачни хранилища, в които по-малко търсени данни се прехвърлят в бавни хранилища за създаване на кешове, по-големи от оперативната памет.
• Разширяема поддръжка на устройства, позволяваща създаването на слоеве, оптимизирани за работа с различни устройства, например, налични са слоеве за SDD, твърди дискове и облачно хранилище Azure Storage.
• Ефективен механизъм за повторно използване на освободено пространство в оперативната памет, предотвратяващ фрагментация.
• Конфигурируеми лимити за размера на паметта, използвана за индекси, лог и съхранение на обекти.
• За достъп до хранилището се използва протоколът RESP, което позволява използването на Garnet с не модифицирани клиенти Redis.
• Поддръжка на съхранение както на стрингови стойности, така и на сложни структури от данни, като списъци, хешове, множества, сортирани списъци и данни за геопозициониране. Възможност за определяне на времето на живот на ключа.
• Наличие на API за извършване на аналитични заявки (HLL/Hyperloglog, Bitmap), транзакции (MULTI/EXEC) и използване на парадигмата публикация/подписка.
• Наличие на средства за гъвкаво управление на достъпа чрез ACL.
• Възможност за определяне на конфигурация във формат JSON или redis.conf.
• Поддръжка на свързването на допълнителни мрежови обработващи единици. Възможност за шифроване на трафика с използване на TLS (на база SslStream).
• Възможност за създаване на разширения на език C#, реализиращи допълнителни операции с низове и обекти.
• Поддръжка на транзакционни съ хранимост процедури, обхващащи няколко ключа.
• Възможност за възстановяване на състояние от предишно запазена позиция (checkpoint-recovery). Наличие на режим само добавяне (AOF, append-only file), при който всички стари данни остават достъпни и не се заменят.
• Поддръжка на създаване на клъстер за съхранение с репликация, сегментиране (Sharding), динамична миграция на ключове между възли и възстановяване на неработещи възли.
• Висока производителност и ниски закъснения при извършване на запитвания. Ефективна обработка на малки пакетни запитвания при голям брой клиентски сесии, позволяваща постигането на пропускна способност (броя на обработените запитвания в секунда) на порядък по-висока от конкурентните решения. При стартиране в виртуални машини В облака Azure забавянето на клиентските запитвания в повечето случаи не надвишава 300 микросекунди. В проведените тестове Garnet значително надминава Redis, Dragonfly и KeyDB по производителност и отзивчивост. В някои тестове Garnet изпреварва конкурентните системи с десет пъти.

Източник: opennet.ru