Reiser5 oznamuje podporu pre Burst Buffers (Data Tiering)

Eduard Šiškin oznámil nové príležitosti vyvinuté v rámci projektu Reiser5. Reiser5 je a výrazne prepracovaná verzia súborového systému ReiserFS, v ktorej je podpora paralelných škálovateľných logických zväzkov implementovaná na úrovni súborového systému a nie na úrovni blokového zariadenia, čo vám umožňuje efektívne distribuovať údaje cez logický zväzok.

Medzi nedávno vyvinuté inovácie patrí poskytovanie
možnosť pre užívateľa pridať malý vysoký výkon
blokové zariadenie (napr. NVRAM) tzv proxy disk, do
relatívne veľký logický zväzok zložený z pomalých
rozpočtové ťahy. To vytvorí dojem, že všetky
zväzok sa skladá z rovnakých drahých vysokovýkonných
zariadenia, ako napríklad „proxy disk“.

Implementovaná metóda bola založená na jednoduchom pozorovaní, že v praxi sa na disk nezapisuje neustále a krivka I/O záťaže má tvar vrcholov. V intervale medzi týmito „špičkami“ je vždy možné resetovať dáta z proxy disku, pričom sa všetky dáta (alebo iba časť) na pozadí prepíšu do hlavného, ​​„pomalého“ úložiska. Proxy disk je tak vždy pripravený prijať novú časť údajov.

Táto technika (známa ako Burst Buffers) pôvodne vznikla v r
oblasti vysokovýkonnej výpočtovej techniky (HPC). Ukázalo sa však, že je žiadaný aj pre bežné aplikácie, najmä pre tie, ktoré kladú zvýšené nároky na integritu dát (zvyčajne rôzne typy databáz). Takéto aplikácie vykonávajú akékoľvek zmeny v akomkoľvek súbore atómovým spôsobom, a to:

  • najprv sa vytvorí nový súbor, ktorý obsahuje zmenené údaje;
  • tento nový súbor sa potom zapíše na disk pomocou fsync(2);
  • potom sa nový súbor premenuje na starý, čo je automaticky
    Uvoľňuje bloky obsadené starými dátami.

    Všetky tieto kroky v tej či onej miere spôsobujú významné
    zníženie výkonu na akomkoľvek súborovom systéme. Situácia
    zlepšuje, ak sa nový súbor najskôr zapíše do prideleného súboru
    vysokovýkonné zariadenie, čo sa presne deje v
    súborový systém s podporou Burst Buffers.

    V Reiser5 sa plánuje voliteľne poslať nielen
    nové logické bloky súboru, ale aj všetky špinavé stránky vo všeobecnosti. navyše
    nielen stránky s dátami, ale aj s meta dátami, ktoré
    sú zapísané v krokoch (2) a (3).

    Podpora pre proxy disky sa vykonáva v rámci bežnej práce s
    Logické zväzky Reiser5, oznámil začiatkom roka. teda
    agregovaný systém "proxy disk - hlavné úložisko" je normálny
    logický zväzok s jediným rozdielom, že prioritu má proxy disk
    medzi ostatnými komponentmi zväzku v politike prideľovania adries disku.

    Pridanie proxy disku do logického zväzku nie je sprevádzané žiadnym
    rebalancovanie údajov a ich odstránenie prebieha presne rovnakým spôsobom ako
    odstránenie bežného disku. Všetky operácie s proxy diskom sú atomické.
    Spracovanie chýb a nasadenie systému (aj po zlyhaní systému) prebieha presne rovnakým spôsobom, ako keby bol proxy disk bežným komponentom
    logický objem.

    Po pridaní proxy disku celková kapacita logického zväzku
    zvyšuje o kapacitu tohto disku. Monitorovanie voľného miesta
    proxy disk sa vykonáva rovnakým spôsobom ako pri iných komponentoch zväzku, t.j. pomocou utility volume.reiser4(8).

    Proxy disk je potrebné pravidelne čistiť, t.j. resetovať údaje z
    do hlavného úložiska. Po dosiahnutí beta stability Reiser5
    čistenie je plánované ako automatické (riadiť ho bude
    špeciálne jadrové vlákno). V tejto fáze zodpovednosť za čistenie
    spočíva na užívateľovi. Resetovanie údajov z proxy disku na hlavný
    úložisko sa vytvorí jednoduchým volaním utility volume.reiser4 s možnosťou
    "-b". Ako argument musíte zadať bod pripojenia logiky
    zväzkov Samozrejme, nezabudnite na pravidelné čistenie. Pre
    Na tento účel môžete napísať jednoduchý shell skript.

    Ak na disku proxy nie je voľné miesto, všetky dáta
    sa automaticky zapisujú do hlavnej pamäte. Zároveň štandardne
    celkový výkon FS je znížený (kvôli neustálym volaniam
    postupy na vykonanie všetkých existujúcich transakcií). Voliteľne môžete nastaviť
    režim bez straty výkonu. Avšak v tomto prípade disk
    Priestor zariadenia proxy sa bude využívať menej efektívne.
    Ako proxy disk je vhodné použiť podsekciu metadát (tehlu) za predpokladu, že je vytvorená na dostatočne výkonnom blokovom zariadení.

    Zdroj: opennet.ru

  • Pridať komentár