Injini ya hifadhi ya HSE yenye chanzo huria ya Micron iliyoboreshwa kwa SSD

Teknolojia ya Micron, kampuni ya kumbukumbu ya DRAM na flash, imewasilishwa injini mpya ya kuhifadhi HSE (Injini ya Kuhifadhi ya kumbukumbu nyingi), iliyoundwa kwa kuzingatia maalum ya matumizi kwenye viendeshi vya SSD kulingana na NAND flash (X100, TLC, QLC 3D NAND) au kumbukumbu ya kudumu (NVDIMM). Injini imeundwa kama maktaba ya kupachikwa kwenye programu zingine na inasaidia usindikaji wa data katika umbizo la thamani kuu. Nambari ya HSE imeandikwa katika C na kusambazwa na leseni chini ya Apache 2.0.

Miongoni mwa maeneo ya utumiaji wa injini, inatajwa uhifadhi wa data wa kiwango cha chini katika NoSQL DBMS, hifadhi za programu (SDS, Hifadhi Iliyoainishwa na Programu) kama vile Ceph na Scality RING, majukwaa ya usindikaji wa data kubwa (Data Kubwa) , mifumo ya kompyuta yenye utendakazi wa juu (HPC), vifaa vya Intaneti vya vitu (IoT) na suluhu za mifumo ya kujifunza kwa mashine.

HSE imeboreshwa sio tu kwa utendaji wa juu zaidi, lakini pia kwa maisha marefu katika anuwai ya madarasa ya SSD. Kasi ya juu ya uendeshaji inapatikana kwa njia ya mfano wa hifadhi ya mseto - data muhimu zaidi ni cached katika RAM, ambayo inapunguza idadi ya upatikanaji wa gari. Kama mfano wa kuunganisha injini mpya katika miradi ya watu wengine tayari toleo la DBMS MongoDB yenye hati, iliyotafsiriwa kutumia HSE.

Kiteknolojia, HSE inategemea moduli ya kernel ya ziada mpool, ambayo hutumia kiolesura maalum cha uhifadhi wa kitu kwa anatoa za hali dhabiti, kwa kuzingatia uwezo na vipengele vyao, ambayo inakuwezesha kupata sifa tofauti za kimsingi za utendaji na uimara. Mpool pia ni maendeleo ya Teknolojia ya Micron, iliyofunguliwa kwa wakati mmoja na HSE, lakini ikitenganishwa katika mradi wa miundombinu huru. Mpool akubali matumizi kumbukumbu inayoendelea и vifaa vya uhifadhi wa kanda, lakini kwa sasa inasaidia SSD za kitamaduni pekee.

Jaribio la utendaji kwa kutumia kifurushi YCSB (Kigezo cha Kuhudumia Wingu cha Yahoo) kilionyesha ongezeko kubwa la utendakazi wakati wa kutumia hifadhi ya TB 2 na kuchakata vizuizi vya data vya KB 1. Ongezeko kubwa la utendaji huzingatiwa katika jaribio na usambazaji sawa wa shughuli za kusoma na kuandika (jaribio "A" kwenye grafu).

Kwa mfano, MongoDB iliyo na injini ya HSE iligeuka kuwa karibu mara 8 kuliko toleo na injini ya kawaida ya WiredTiger, na RocksDB DBMS ilikuwa haraka kuliko injini ya HSE kwa zaidi ya mara 6. Utendaji bora pia unaonekana katika majaribio yanayohusisha 95% ya utendakazi wa kusoma na 5% kurekebisha au kuongeza shughuli (majaribio "B" na "D" kwenye grafu). Jaribio C, ambalo linahusisha shughuli za kusoma tu, linaonyesha faida ya takriban 40%. Ongezeko la uhai wa viendeshi vya SSD wakati wa shughuli za uandishi ikilinganishwa na suluhisho kulingana na RocksDB inakadiriwa kuwa mara 7.

Vipengele kuu vya HSE:

• Usaidizi kwa waendeshaji wa kawaida na waliopanuliwa kwa kushughulikia data katika muundo wa ufunguo/thamani;
• Usaidizi kamili wa shughuli na uwezo wa kutenganisha vipande vya hifadhi kwa njia ya kuundwa kwa snapshots (snapshots pia inaweza kutumika kudumisha makusanyo ya kujitegemea katika hifadhi moja);
• Uwezo wa kutumia vielekezi kupitisha data katika mionekano inayotokana na picha;
• Muundo wa data ulioboreshwa kwa aina mchanganyiko za mizigo katika hifadhi moja;
• Mbinu nyumbufu za usimamizi wa utegemezi wa uhifadhi;
• Mipango ya kupanga data inayoweza kubinafsishwa (usambazaji katika aina tofauti za kumbukumbu zilizopo kwenye hifadhi);
• Maktaba iliyo na API ya C ambayo inaweza kuunganisha kwa programu yoyote;
• Uwezo wa kuongeza hadi terabaiti za data na mamia ya mabilioni ya funguo katika hifadhi;
• Usindikaji wa ufanisi wa maelfu ya shughuli zinazofanana;
• Ongezeko kubwa la matokeo, kuchelewa kwa muda na kuongezeka kwa utendaji wa kuandika/kusoma kwa aina mbalimbali za mzigo wa kazi ikilinganishwa na suluhu mbadala za kawaida;
• Uwezo wa kutumia hifadhi za SSD za madarasa tofauti katika hifadhi moja ili kuboresha utendaji na uimara.

Chanzo: opennet.ru