Microsoft откри кода на хранилището Garnet, съвместимо с Redis

Компания Microsoft публикова исходния код на NoSQL системата Garnet, проектирана за изграждане на кеширащи хранилища и съвместима с текущите клиентски библиотеки за хранилище Redis. Garnet поддържа създаването на мащабируеми клъстери за кеширане на данни, в които може да се използва репликация, миграция на ключове и сегментиране на данни между възлите на клъстера. Проектът е написан на C# с ядрото на хранилището на C++, отворен е под MIT лиценз и може да работи на всички платформи, поддържани в .NET (първичните платформи са заявени Linux и Windows).

За съхранение на данните се използва двигателят Tsavorite (форк на хранилището Microsoft FASTER), който поддържа многопоточна обработка на заявките, транзакции, фиксиране на промените в неблокиращ режим (checkpointing), възстановяване след сривове, запазване на излишни копия и водене на лог на операциите. Мрежовият обработчик в Garnet е построен с използването на архитектурата на споделена памет, предложена от изследователския проект ShadowFax. Обработката на TLS и взаимодействието с хранилището се извършват в един поток, което позволява да се избегнат разходите за превключване на потоци и да се използва по-ефективно кеша на CPU при предаване на данни през мрежата.

Архитектурата на Garnet разделя логиката за парсване и обработка на заявките от операциите с хранилището. Данните се съхраняват с използването на две хранилища в ключ-стойност формат, реализирани на базата на библиотеката Tsavorite. Първото "основно" хранилище е оптимизирано за бързо изпълнение на операции със стрингове, а второто "обектно" хранилище е оптимизирано за разполагане на сложни обекти и разширени типове данни, като хешове и списъци. Типовете данни във второто хранилище са реализирани с използване на .NET библиотеки. Данните се съхраняват в купчина (C# heap), което позволява ефективно обновление, и в сериализиран вид на диска.

Характеристики на Garnet:

• Възможно е разгръщането на многостепенни хранилища, които обхващат оперативна памет, SSD дискове и облачни хранилища, в които по-малко търсени данни се преместват в бавни хранилища за създаване на кешове, по-големи от оперативната памет.
• Разширима поддръжка на устройства, която позволява създаването на слоеве, оптимизирани за работа с различни устройства, например, слоеве за SDD, твърди дискове и облачно хранилище Azure Storage.
• Ефективен механизъм за повторно използване на освободеното пространство в оперативната памет, предотвратяващ фрагментацията.
• Конфигурируеми лимити на размера на паметта, използвана за индекси, лог и съхранение на обекти.
• За достъп до хранилището се използва протоколът RESP, което позволява използването на Garnet с немодифицирани клиенти Redis.
• Поддръжка на съхранение както на стрингови стойности, така и на сложни структурни данни, като списъци, хешове, множества, сортирани списъци и геопозиционни данни. Възможност за определяне на времето за живот на ключа.
• Наличие на API за изпълнение на аналитични заявки (HLL/Hyperloglog, Bitmap), транзакции (MULTI/EXEC) и използване на парадигмата публикуване/абониране.
• Наличие на средства за гъвкаво управление на достъпа чрез ACL.
• Възможност за определяне на конфигурацията в формат JSON или redis.conf.
• Поддръжка на свързване на допълнителни мрежови обработвачи. Възможност за криптиране на трафика с използване на TLS (на базата на SslStream).
• Възможност за създаване на разширения на езика C#, които реализират допълнителни операции със стрингове и обекти.
• Поддръжка на транзакционни храними процедури, обхващащи няколко ключа.
• Възможност за възстановяване на състоянието от преди запазена позиция (checkpoint-recovery). Наличие на режим само за добавяне (AOF, append-only file), при който всички стари данни остават достъпни и не се заместват.
• Поддръжка на създаване на кластер за съхранение с репликация, сегментиране (Sharding), динамична миграция на ключове между възли и възстановяване на повредени възли.
• Висока производителност и ниски закъснения при изпълнение на заявки. Ефективна обработка на малки пакетни заявки при голям брой клиентски сесии, позволяваща постигнатата пропускна способност (броя на обработените заявки в секунда) да бъде на порядък по-висока от конкурентните решения. При стартиране в виртуални машини в облака Azure в повечето случаи закъснението при достъп от клиента не надвишава 300 микросекунди. В проведените тестове Garnet значително изпреварва Redis, Dragonfly и KeyDB по производителност и отзивчивост. В някои тестове Garnet надминава конкурентните системи десетократно.

Източник: opennet.ru