🥇Reiser5 објави поддршка за Burst Buffers (Data Tiering)

Едуард Шишкин објавија нови можности развиени во рамките на проектот Reiser5. Reiser5 е значително редизајнирана верзија на датотечен систем ReiserFS, во кој поддршката за паралелни скалабилни логички волумени се имплементира на ниво на датотечен систем, наместо на ниво на блок уред, што ви овозможува ефикасно да ги дистрибуирате податоците низ логички волумен.

Меѓу иновациите развиени неодамна, обезбедувањето на
можност за корисникот да додаде мал со високи перформанси
повикан блок уред (на пр. NVRAM). прокси-диск, до
релативно голем логички волумен составен од бавно
буџетски погони. Ова ќе создаде впечаток дека сите
волуменот е составен од истите скапи високи перформанси
уреди, како „прокси-диск“.

Имплементираниот метод се базираше на едноставното набљудување дека во пракса дискот не се запишува постојано, а кривата на оптоварување В/И има облик на врвови. Во интервалот помеѓу таквите „врвови“, секогаш е можно да се ресетираат податоците од прокси-дискот, препишувајќи ги сите податоци (или само дел) во позадина на главното, „бавно“ складирање. Така, прокси-дискот е секогаш подготвен да прими нов дел од податоците.

Оваа техника (позната како Burst Buffers) првично потекнува од
области на пресметување со високи перформанси (HPC). Но, се покажа дека е баран и за обични апликации, особено за оние кои поставуваат зголемени барања за интегритетот на податоците (обично различни видови бази на податоци). Таквите апликации вршат какви било промени во која било датотека на атомски начин, имено:

прво, се креира нова датотека која ги содржи променетите податоци;

оваа нова датотека потоа се запишува на диск користејќи fsync(2);

после тоа новата датотека се преименува во старата, што е автоматски
Ослободува блокови окупирани од стари податоци.

Сите овие чекори, до еден или друг степен, предизвикуваат значајни
деградација на перформансите на кој било датотечен систем. Ситуација
се подобрува ако новата датотека прво се запише на доделената
уред со високи перформанси, што е токму она што се случува во
датотечен систем со поддршка за Burst Buffers.

Во Reiser5 се планира опционално да се испраќа не само
нови логички блокови на датотеката, но и сите валкани страници воопшто. Згора на тоа,
не само страници со податоци, туку и со мета податоци кои
се запишуваат во чекорите (2) и (3).

Поддршката за прокси-дискови се врши во контекст на редовна работа со
Reiser5 логички волумени, објави на почетокот на годината. Тоа е,
агрегатниот систем „прокси диск - главно складирање“ е нормален
логичен волумен со единствена разлика што прокси-дискот има приоритет
меѓу другите волуменски компоненти во политиката за распределба на адреси на дискот.

Додавањето прокси-диск на логичен волумен не е придружено со никаков
ребалансирање на податоците, а неговото отстранување се случува токму на ист начин како
отстранување на обичен диск. Сите операции на прокси-диск се атомски.
Ракувањето со грешки и распоредувањето на системот (вклучително и по падот на системот) се случуваат на ист начин како прокси-дискот да е редовна компонента
логичен волумен.

По додавањето на прокси-диск, вкупниот капацитет на логичкиот волумен
се зголемува за капацитетот на овој диск. Мониторинг на слободен простор
прокси-дискот се изведува на ист начин како и за другите компоненти за волумен, т.е. користејќи ја алатката volume.reiser4(8).

Прокси-дискот мора периодично да се чисти, т.е. ресетирање податоци од
до главното складирање. По постигнување на бета стабилност Reiser5
чистењето се планира да биде автоматско (со него ќе управува
специјална нишка на јадрото). Во оваа фаза, одговорност за чистење
почива со корисникот. Ресетирање на податоците од прокси-дискот на главниот
складирањето се произведува со едноставно повикување на алатката volume.reiser4 со опцијата
„-б“. Како аргумент, треба да ја наведете точката на монтирање на логиката
тома Се разбира, не заборавајте да вршите периодично чистење. За
Можете да напишете едноставна скрипта за школка за да го направите ова.

Ако нема слободен простор на прокси-дискот, сите податоци
автоматски се запишуваат во главната меморија. Во исто време, стандардно
севкупните перформанси на FS се намалени (поради постојаните повици
процедури за извршување на сите постоечки трансакции). По желба можете да поставите
режим без губење на перформансите. Меѓутоа, во овој случај дискот
Просторот на прокси уредот ќе се користи помалку ефикасно.
Удобно е да се користи подсекција за метаподатоци (тула) како прокси-диск, под услов да се креира на блок уред со доволно високи перформанси.

Извор: opennet.ru

Reiser5 најавува поддршка за Burst Buffers (Data Tiering)

Додадете коментар Откажи одговор