Dragonfly projekt arendab kiiremat alternatiivi Redis'ile ja Memcached'ile

Esimene versioon Dragonfly mälukasutuse süsteemist on nüüd saadaval. See toetab Memcached'i ja Redis'e protokolle ning võimaldab teha päringuid palju suurema jõudluse ja madalama mälutarbimisega. Süsteem manipuleerib andmetega võtme/väärtuse formaadis ja võib olla kerge lahendus kõrge koormusega veebisaitide kiirusel, vahemälustades aeglaseid päringuid andmebaasile ja vaheandmeid mälus. Dragonfly kood on kirjutatud C/C++ keeltes ja jagatakse BSL (Business Source License) litsentsi alusel.

BSL litsentsi pakkusid MySQLi kaasasutajad alternatiivina Open Core mudelile. BSL põhimõte seisneb selles, et laiendatud funktsionaalsuse kood on algselt muudatuste tegemiseks saadaval, kuid teatud aja jooksul võib seda tasuta kasutada ainult täiendavate tingimuste täitmise korral, mille ületamiseks on vajalik kaubandusliku litsentsi ostmine. Dragonfly projekti täiendavad litsentsitingimused määravad, et kood muudetakse Apache 2.0 litsentsiks alles 1. juunil 2027. Kuni selle ajani lubab litsents koodi kasutada ainult oma teenuste ja toodete toimimise tagamiseks, kuid keelab selle rakendamise tasuliste pilveteenuste loomisel, mis on Dragonfly kohalduseks.

Arendajate väidete ja tehtud testide põhjal pretendeerib Dragonfly tiitlile kõige kiirema mäluhaldussüsteemi värav. Dragonfly on suutnud saavutada tüüpiliste koormuste puhul 25-kordse jõudluse kasvu ja kolme korda väiksema mälu tarbimise võrreldes Redisiga. server Dragonfly suudab töödelda miljoneid päringuid sekundis, näiteks Amazon EC2 c6gn.16xlarge keskkonnas saavutati jõudlus 3.8 miljonit päringut sekundis.

5 GB andmete salvestamise testides nõudis Dragonfly 30% vähem mälu kui Redis. Snapshot'ide loomise ajal käsuga «bgsave» kasvab mälutarbimine, kuid tipptundidel jääb see peaaegu kolm korda madalamale kui Redis, samas kui snapshot'i kirjutamise protsess toimub oluliselt kiiremini (Dragonfly puhul salvestati snapshot 30 sekundiga, Redisel aga 42 sekundiga).

Korge jõudlus saavutatakse tänu mitme võtme arhitektuurile ilma ressursside jagamiseta (shared-nothing), mis tähendab, et iga teema jaoks on eraldi isoleeritud töötleja koos oma andmeportsjoniga, töötades ilma mutex'ide ja spin-lockideta. Mitmete võtmete töötlemise aatomilisuse tagamiseks kasutatakse kergkaalu blokke VLL. Informatsiooni tõhusaks salvestamiseks mälus kasutatakse dashtable struktuuri, mis rakendab jaotatud hash-tabelite varianti.

Esimese väljaande võimalustest tasub märkida RESP2 protokolli ja 130 Redis käsku, mis vastavad umbkaudu Redis 2.8 väljaande funktsionaalsusele. Lisaks toetab Dragonfly kõiki memcached käsku, välja arvatud CAS (check-and-set), pakub asünkroonsete toimingute tuge snapshottide loomiseks, tagab ettearvatava mälu tarbimise, sisaldab sisseehitatud Lua 5.4 tõlgendajat ning toetab keerulisi andmetüüpe nagu hash'id, kogud ja loendid (ZSET, HSET, LIST, SETS ja STRING).

Saadaval on eraldi vahemälu režiim, kus vanade andmete automaatne asendamine uute andmetega toimub pärast mäluruumi täitumist. On võimalik seostada andmete eluea pikkusega, mille jooksul andmeid peetakse kehtivaks. Salvestusseisund võib taustal kettale salvestuda, et see pärast taaskäivitamist taastada. Süsteemi haldamiseks on saadaval HTTP-konsool (seondub TCP-porti 6379) ja API mõõdikute edastamiseks, mis on ühilduv Prometheusega. Järgmistes versioonides on plaanis laiendada Redis käskude toetust ja rakendada salvestuse replitseerimise võimalust, et tagada talitlushäirekindlus ja koormuse tasakaalustus.

Allikas: opennet.ru