Проектът Dragonfly разработва по-бърз заместител на Redis и Memcached

Първата версия на системата за кеширане в паметта на Dragonfly е налична, осигурявайки поддръжка за протоколите Memcached и Redis, но позволявайки заявките да се изпълняват с много по-висока производителност и с по-малко потребление на памет. Системата манипулира данни във формат ключ/стойност и може да се използва като леко решение за ускоряване на силно натоварени сайтове, кеширане на бавни заявки към СУБД и междинни данни в RAM. Кодът на Dragonfly е написан на C/C++ и се разпространява под BSL (Business Source License).

BSL беше предложен от съоснователите на MySQL като алтернатива на модела Open Core. Същността на BSL е, че кодът с разширена функционалност първоначално е достъпен за модификация, но за известно време може да се използва безплатно само ако са изпълнени допълнителни условия, заобикалянето на които изисква закупуване на търговски лиценз. Допълнителните лицензионни условия на проекта Dragonfly изискват кодът да бъде преобразуван в лиценза Apache 2.0 само на 1 юни 2027 г. До този момент лицензът позволява използването на кода само за осигуряване на работата на неговите услуги и продукти, но забранява използването за създаване на платени облачни услуги, които действат като добавка към Dragonfly.

Dragonfly твърди, че е най-бързата система за съхранение в паметта в света, според разработчиците и бенчмарковете. В сравнение с Redis, Dragonfly постигна 25x увеличение на производителността и 2x намаление на потреблението на памет при типични работни натоварвания. Един сървър на Dragonfly може да обработва милиони заявки в секунда, например в среда на Amazon EC6 c16gn.3.8xlarge е постигната производителност от XNUMX милиона заявки в секунда.

При тестове за съхранение от 5 GB, Dragonfly изисква 30% по-малко памет от Redis. По време на създаването на моментни снимки чрез командата “bgsave” потреблението на памет се увеличава, но в пиковите моменти остава почти три пъти по-малко, отколкото в Redis, а самата операция за запис на моментна снимка е много по-бърза (в теста беше написана моментна снимка в Dragonfly за 30 секунди, а Redis - за 42 секунди).

Високата производителност се постига благодарение на многонишкова архитектура без споделяне на ресурси (споделено нищо), което предполага, че към всяка нишка е прикрепен отделен отделен манипулатор със собствена част от данни, работещ без мютекси и заключвания на завъртане. Използват се леки VLL ключалки, за да се осигури атомарност при работа с множество ключове. За ефективно съхранение на информация в паметта се използва структурата dashtable, която реализира един вид разделени хеш-таблици.

От функциите, налични в първото издание, се отбелязва поддръжката на протокола RESP2 и 130 Redis команди, което приблизително съответства на функционалността на изданието Redis 2.8. В допълнение, Dragonfly поддържа всички memcached команди, с изключение на CAS (проверка и настройка), осигурява поддръжка за асинхронни операции за създаване на моментни снимки, осигурява предвидимо потребление на памет, предоставя вграден интерпретатор на Lua 5.4 и поддържа сложни типове данни като хешове, набори и списъци (ZSET, HSET, LIST, SETS и STRING).

Отделно е наличен режим на кеширане, при който старите данни се заменят автоматично с нови след изчерпване на свободната памет. Възможно е да се обвърже с данните за целия живот, през който данните се считат за релевантни. Състоянието на съхранение може да бъде изчистено на диск във фонов режим за по-късно възстановяване след рестартиране. За управление на системата е предоставена HTTP конзола (свързва се към TCP порт 6379) и API за връщане на показатели, съвместими с Prometheus. В бъдещите издания планираме да разширим поддръжката за команди на Redis и да внедрим възможността за репликиране на хранилище за преодоляване при отказ и балансиране на натоварването.

Източник: opennet.ru