Reiser5 napoveduje podporo za Burst Buffers (Data Tiering)

Eduard Šiškin napovedal nove priložnosti, ki so se razvile v okviru projekta Reiser5. Reiser5 je a bistveno preoblikovana različica datotečnega sistema ReiserFS, v kateri je podpora za vzporedne razširljive logične nosilce implementirana na ravni datotečnega sistema in ne na ravni blokovne naprave, kar vam omogoča učinkovito distribucijo podatkov po logičnem nosilcu.

Med nedavno razvitimi novostmi je zagotavljanje
možnost, da uporabnik doda majhen visoko zmogljiv
klicana blokovna naprava (npr. NVRAM). proxy disk, do
relativno velik logični volumen, sestavljen iz počasnih
proračunski pogoni. To bo ustvarilo vtis, da vsi
glasnost je sestavljena iz istega dragega visoko zmogljivega
naprave, kot je "proxy disk".

Implementirana metoda je temeljila na preprosti ugotovitvi, da se v praksi na disk ne piše konstantno in da ima I/O obremenitvena krivulja obliko vrhov. V intervalu med takšnimi "vrhovi" je vedno mogoče ponastaviti podatke s posredniškega diska, pri čemer se vsi podatki (ali le del) v ozadju prepišejo v glavni, "počasen" pomnilnik. Tako je proxy disk vedno pripravljen na sprejem nove porcije podatkov.

Ta tehnika (znana kot Burst Buffers) prvotno izvira iz
področja visoko zmogljivega računalništva (HPC). Izkazalo pa se je, da je povpraševanje tudi po običajnih aplikacijah, predvsem po tistih, ki postavljajo povečane zahteve glede celovitosti podatkov (običajno različne vrste baz podatkov). Takšne aplikacije izvajajo vse spremembe v kateri koli datoteki na atomski način, in sicer:

  • najprej se ustvari nova datoteka, ki vsebuje spremenjene podatke;
  • ta nova datoteka se nato zapiše na disk z uporabo fsync(2);
  • po tem se nova datoteka preimenuje v staro, kar se samodejno
    Osvobodi bloke, ki jih zasedajo stari podatki.

    Vsi ti koraki v eni ali drugi meri povzročajo pomembne
    poslabšanje zmogljivosti katerega koli datotečnega sistema. Stanje
    izboljša, če se nova datoteka najprej zapiše v dodeljeno
    visoko zmogljivo napravo, kar se točno zgodi v
    datotečni sistem s podporo Burst Buffers.

    V Reiser5 je načrtovano, da po želji pošljete ne samo
    nove logične bloke datoteke, temveč tudi vse umazane strani na splošno. Še več,
    ne samo strani s podatki, ampak tudi z metapodatki, ki
    so zapisane v korakih (2) in (3).

    Podpora za proxy diske se izvaja v okviru rednega dela z
    Reiser5 logični nosilci, napovedal na začetku leta. to je
    agregatni sistem "proxy disk - glavni pomnilnik" je normalen
    logični nosilec z edino razliko, da ima proxy disk prednost
    med drugimi komponentami nosilca v pravilniku o dodeljevanju diskovnih naslovov.

    Dodajanje proxy diska na logični nosilec ne spremlja noben
    ponovno uravnoteženje podatkov, njegova odstranitev pa poteka na popolnoma enak način kot
    odstranitev običajnega diska. Vse operacije proxy diska so atomske.
    Obravnava napak in uvajanje sistema (vključno po zrušitvi sistema) se zgodi na popolnoma enak način, kot če bi bil proxy disk običajna komponenta
    logični volumen.

    Po dodajanju proxy diska skupna zmogljivost logičnega nosilca
    poveča za kapaciteto tega diska. Nadzor prostega prostora
    proxy disk se izvede na enak način kot za druge komponente nosilca, tj. z uporabo pripomočka volume.reiser4(8).

    Proxy disk je treba občasno očistiti, tj. ponastavi podatke iz
    v glavni pomnilnik. Po doseganju beta stabilnosti Reiser5
    čiščenje je predvideno avtomatsko (vodilo ga bo
    posebna nit jedra). Na tej stopnji je odgovornost za čiščenje
    ostane pri uporabniku. Ponastavitev podatkov s proxy diska na glavnega
    shramba se ustvari s preprostim klicem pripomočka volume.reiser4 z možnostjo
    "-b". Kot argument morate podati točko namestitve logičnega
    zvezki Seveda ne smete pozabiti na občasno čiščenje. Za
    Za to lahko napišete preprost lupinski skript.

    Če na proxy disku ni prostega prostora, vsi podatki
    se samodejno zapišejo v glavni pomnilnik. Hkrati privzeto
    splošna zmogljivost FS se zmanjša (zaradi stalnih klicev
    postopki za izvedbo vseh obstoječih transakcij). Po želji lahko nastavite
    način brez izgube zmogljivosti. Vendar v tem primeru disk
    Prostor naprave proxy bo uporabljen manj učinkovito.
    Priročno je uporabiti metapodatkovni podrazdelek (opeko) kot proxy disk, pod pogojem, da je ustvarjen na dovolj zmogljivi blok napravi.

    Vir: opennet.ru

  • Dodaj komentar