Пускане на Dragonfly 1.0, система за кеширане на данни в паметта

Беше пусната системата за кеширане и съхранение в паметта Dragonfly, която манипулира данните във формат ключ/стойност и може да се използва като леко решение за ускоряване на работата на силно натоварени сайтове, кеширане на бавни заявки към СУБД и междинни данни в RAM. Dragonfly поддържа протоколите Memcached и Redis, което ви позволява да използвате съществуващи клиентски библиотеки и да прехвърляте проекти с помощта на Memcached и Redis към Dragonfly, без да преработвате кода.

В сравнение с Redis, Dragonfly постигна 2-кратно увеличение на производителността (6 милиона заявки в секунда) за типични работни натоварвания в средата на Amazon EC16 c25gn.3.8xlarge. В сравнение с Memcached в средата на AWS c6gn.16xlarge, Dragonfly успя да изпълни 4.7 пъти повече заявки за запис в секунда (3.8 милиона срещу 806 хиляди) и 1.77 пъти повече заявки за четене в секунда (3.7 милиона срещу 2.1 милиона).

При тестове за съхранение на 5 GB данни, Dragonfly изискваше 30% по-малко памет от Redis. При създаване на моментни снимки с командата “bgsave” потреблението на памет се увеличава, но в пиковите моменти остава почти три пъти по-малко, отколкото в Redis, а самата операция по запис на моментни снимки е много по-бърза (в теста моментна снимка в Dragonfly е написана на 30 секунди, докато Redis - за 42 секунди).

Високата производителност се постига благодарение на многонишкова архитектура без споделяне на ресурси (споделено нищо), което предполага, че към всяка нишка е прикрепен отделен отделен манипулатор със собствена част от данни, работещ без мютекси и заключвания на завъртане. Използват се леки VLL ключалки, за да се осигури атомарност при работа с множество ключове. За ефективно съхранение на информация в паметта се използва структурата dashtable, която реализира един вид разделени хеш-таблици.

Някои характеристики на Dragonfly:

• Режим на кеширане, който автоматично заменя старите данни с нови след изчерпване на свободната памет.
• Поддръжка за обвързване с данни през целия живот, през който данните се считат за релевантни.
• Поддръжка за изчистване на състоянието на съхранението на диск във фонов режим за по-късно възстановяване след рестартиране.
• Наличието на HTTP конзола (свързва се към TCP порт 6379) за управление на системата и API за връщане на метрики, съвместими с Prometheus.
• Поддръжка за 185 Redis команди, което е приблизително еквивалентно на функционалността на версията Redis 5.
• Поддържа всички команди Memcached с изключение на CAS (проверка и настройка).
• Поддръжка на асинхронни операции за създаване на моментни снимки.
• Предсказуема консумация на памет.
• Вграден интерпретатор Lua 5.4.
• Поддържа сложни типове данни като хешове, набори, списъци (ZSET, HSET, LIST, SETS и STRING) и JSON данни.
• Поддържа репликация на съхранение за толерантност към грешки и балансиране на натоварването.

Кодът на Dragonfly е написан на C/C++ и се разпространява под BSL (Business Source License). Лицензът BSL ​​беше предложен от съоснователите на MySQL като алтернатива на модела Open Core. Същността на BSL е, че кодът с разширена функционалност първоначално е достъпен за модификация, но за известно време може да се използва безплатно само ако са изпълнени допълнителни условия, които изискват закупуване на търговски лиценз за заобикаляне. Допълнителните лицензионни условия за проекта Dragonfly изискват кодът да бъде прехвърлен към лиценза Apache 2.0 на 15 март 2028 г. До този момент лицензът позволява използването на кода само за осигуряване на работата на неговите услуги и продукти, но забранява използването за създаване на платени облачни услуги, които действат като добавка към Dragonfly.

Версия Dragonfly 1.0 се отличава с внедряването на поддръжка за репликация на данни от основния сървър към вторичния. Въпреки това, Dragonfly може да бъде конфигуриран да се използва като вторично хранилище, което получава данни от основен сървър или на базата на Dragonfly, или на базата на Redis. API за управление на репликация е съвместим с Redis и се основава на използването на командите ROLE и REPLICAOF (SLAVEOF).

Източник: opennet.ru