Reiser5 kondig ondersteuning aan vir Burst Buffers (Data Tiering)

Edward Shishkin aangekondig nuwe kenmerke ontwikkel binne die raamwerk van die Reiser5-projek. Reiser5 is a 'n aansienlik herontwerpte weergawe van die ReiserFS-lêerstelsel, waarin ondersteuning vir parallelle skaalbare logiese volumes op die lêerstelselvlak geïmplementeer word, en nie op die bloktoestelvlak nie, wat dit moontlik maak om data doeltreffend oor 'n logiese volume te versprei.

Van die innovasies wat onlangs ontwikkel is, is die verskaffing van
die gebruiker die geleentheid om 'n klein hoë-prestasie by te voeg
blok toestel (bv. NVRAM) genoem proxy skyf, na
relatief groot logiese volume saamgestel uit stadig
begroting dryf. Dit sal die indruk wek dat die geheel
volume is saamgestel uit dieselfde duur hoë-prestasie
toestelle, net soos "proxy skyf".

Die geïmplementeerde metode was gebaseer op 'n eenvoudige waarneming dat skyfskryf in die praktyk nie voortdurend uitgevoer word nie, en die I / O-ladingskromme het die vorm van pieke. In die interval tussen sulke "pieke" is dit altyd moontlik om die data vanaf die proxy-skyf terug te stel, deur al die data (of slegs 'n deel) op die agtergrond na die hoof, "stadige" berging te herskryf. Die instaanskyf is dus altyd gereed om 'n nuwe stuk data te ontvang.

Hierdie tegniek (bekend as Burst Buffers) het oorspronklik ontstaan ​​in
hoë werkverrigting rekenaar (HPC). Maar dit blyk ook in aanvraag te wees vir gewone toepassings, veral vir diegene wat hoë eise aan data-integriteit stel (gewoonlik is dit verskillende soorte databasisse). Sulke toepassings voer enige veranderinge in enige lêer op 'n atomiese manier uit, naamlik:

  • eerstens word 'n nuwe lêer geskep wat die veranderde data bevat;
  • hierdie nuwe lêer word dan na skyf geskryf met fsync(2);
  • daarna word die nuwe lêer hernoem na die ou een, wat outomaties is
    stel blokke vry wat deur ou data beset is.

    Al hierdie stappe, in een of ander mate, lei tot betekenisvolle
    prestasie agteruitgang op enige lêerstelsel. Situasie
    verbeter as die nuwe lêer eers na die toegekende geskryf word
    hoë-werkverrigting toestel, wat presies is wat in gebeur
    lêerstelsel met "Burst Buffers" ondersteuning.

    In Reiser5 word daar beplan om nie net opsioneel na die proxy-skyf te stuur nie
    nuwe logiese lêerblokke, maar alle vuil bladsye in die algemeen. Verder,
    nie net bladsye met data nie, maar ook met metadata wat
    word in stappe (2) en (3) geskryf.

    Ondersteuning vir proxy skywe word uitgevoer in die konteks van gereelde werk met
    Reiser5 logiese volumes, aangekondig aan die begin van die jaar. Dit wil sê,
    totale stelsel "proxy skyf - hoofberging" is 'n algemene
    logiese volume, met die enigste verskil dat die instaanbediener voorkeur geniet
    onder ander volumekomponente in die skyfadrestoekenningsbeleid.

    Die byvoeging van 'n instaanbediener by 'n logiese volume word nie vergesel van enige
    data herbalansering, en die verwydering daarvan vind plaas op dieselfde manier as
    die verwydering van 'n normale skyf. Alle proxy skyf bedrywighede is atoom.
    Fouthantering en stelselontplooiing (insluitend na 'n stelselongeluk) is presies dieselfde asof die instaanbediener 'n normale komponent was
    logiese volume.

    Na die byvoeging van 'n proxy skyf, die totale kapasiteit van die logiese volume
    verhoog met die kapasiteit van daardie skyf. Vrye spasie monitering
    proxy skyf word op dieselfde manier gedoen as vir die res van die volume komponente, d.w.s. met behulp van die volume.reiser4(8)-nutsprogram.

    Die instaanskyf moet periodiek skoongemaak word, d.w.s. stort data van
    dit na die hoofbewaarplek. Na bereiking van beta-stabiliteit Reiser5
    skoonmaak word beplan om outomaties gedoen te word (sy sal in beheer wees
    spesiale kerndraad). Op hierdie stadium is die verantwoordelikheid vir skoonmaak
    is die verantwoordelikheid van die gebruiker. Stel data terug vanaf die instaanbediener na die primêre
    berging word gedoen deur bloot die volume.reiser4-nutsprogram met die opsie te skakel
    "-b". As 'n argument moet jy die bergpunt van die logiese spesifiseer
    volumes. Natuurlik moet skoonmaak nie vergeet word om gereeld uitgevoer te word nie. Vir
    Jy kan 'n eenvoudige dopskrif skryf om dit te doen.

    As daar geen vrye spasie op die instaanbediener is nie, alle data
    word outomaties na die hoofberging geskryf. Maar by verstek
    die algehele prestasie van die FS word verminder (as gevolg van die konstante oproep
    prosedures vir die pleeg van alle bestaande transaksies). Opsioneel kan jy stel
    modus sonder verlies aan prestasie. Maar in hierdie geval die skyf
    die instaanbediener-toestelspasie sal minder doeltreffend gebruik word.
    Dit is gerieflik om 'n onderafdeling (bric) van metadata as 'n instaanskyf te gebruik, mits dit op 'n voldoende hoëprestasie-bloktoestel geskep word.

    Bron: opennet.ru

  • Voeg 'n opmerking