Reiser5 oznamuje podporu pro Burst Buffers (Data Tiering)

Eduard Šiškin oznámil nové příležitosti vyvinuté v rámci projektu Reiser5. Reiser5 je a výrazně přepracovaná verze souborového systému ReiserFS, ve které je podpora paralelně škálovatelných logických svazků implementována na úrovni souborového systému, nikoli na úrovni blokového zařízení, což vám umožňuje efektivně distribuovat data přes logický svazek.

Mezi inovace vyvinuté v poslední době patří poskytování
příležitost pro uživatele přidat malý vysoký výkon
volané blokové zařízení (např. NVRAM). proxy disk, do
relativně velký logický svazek složený z pomalých
rozpočtové tahy. To vytvoří dojem, že všechny
svazek se skládá ze stejných drahých vysoce výkonných
zařízení, jako je „proxy disk“.

Implementovaná metoda byla založena na jednoduchém pozorování, že v praxi se na disk nezapisuje neustále a křivka I/O zátěže má tvar vrcholů. V intervalu mezi těmito „špičkami“ je vždy možné resetovat data z proxy disku a přepsat všechna data (nebo jen část) na pozadí do hlavního „pomalého“ úložiště. Proxy disk je tak vždy připraven přijmout novou část dat.

Tato technika (známá jako Burst Buffers) původně vznikla v
oblasti high performance computing (HPC). Ukázalo se ale, že je žádaný i pro běžné aplikace, zejména pro ty, které kladou zvýšené nároky na integritu dat (obvykle různé typy databází). Takové aplikace provádějí jakékoli změny v jakémkoli souboru atomickým způsobem, konkrétně:

  • nejprve se vytvoří nový soubor, který obsahuje změněná data;
  • tento nový soubor je poté zapsán na disk pomocí fsync(2);
  • poté se nový soubor přejmenuje na starý, což je automaticky
    Uvolňuje bloky obsazené starými daty.

    Všechny tyto kroky jsou v té či oné míře významné
    snížení výkonu na jakémkoli souborovém systému. Situace
    zlepšuje, pokud je nový soubor nejprve zapsán do přiděleného souboru
    vysoce výkonné zařízení, což je přesně to, co se děje v
    souborový systém s podporou Burst Buffers.

    V Reiser5 se plánuje volitelně odeslat nejen
    nové logické bloky souboru, ale i všechny špinavé stránky obecně. Navíc,
    nejen stránky s daty, ale i s metadaty, které
    se zapisují v krocích (2) a (3).

    Podpora proxy disků se provádí v rámci běžné práce
    Logické svazky Reiser5, oznámil na začátku roku. to znamená,
    agregovaný systém "proxy disk - hlavní úložiště" je normální
    logický svazek s jediným rozdílem, že proxy disk má prioritu
    mezi ostatními komponentami svazku v zásadě přidělování adres disku.

    Přidání proxy disku k logickému svazku není doprovázeno žádným
    rebalancování dat a jejich odstranění probíhá přesně stejným způsobem jako
    vyjmutí běžného disku. Všechny operace proxy disku jsou atomické.
    Zpracování chyb a nasazení systému (včetně po zhroucení systému) probíhá přesně stejným způsobem, jako kdyby byl proxy disk běžnou součástí
    logický objem.

    Po přidání proxy disku celková kapacita logického svazku
    zvyšuje o kapacitu tohoto disku. Sledování volného prostoru
    proxy disk se provádí stejným způsobem jako u ostatních komponent svazku, tzn. pomocí obslužného programu volume.reiser4(8).

    Proxy disk je nutné pravidelně čistit, tzn. resetovat data z
    do hlavního úložiště. Po dosažení beta stability Reiser5
    čištění je plánováno jako automatické (bude řízeno
    speciální jádrové vlákno). V této fázi zodpovědnost za úklid
    spočívá na uživateli. Resetování dat z proxy disku na hlavní
    úložiště se vytváří pouhým voláním obslužného programu volume.reiser4 s možností
    "-b". Jako argument musíte zadat bod připojení logické
    svazky Samozřejmě musíte pamatovat na pravidelné čištění. Pro
    K tomu můžete napsat jednoduchý shell skript.

    Pokud na disku proxy není volné místo, všechna data
    se automaticky zapisují do hlavního úložiště. Přitom standardně
    celkový výkon FS je snížen (kvůli neustálým voláním
    postupy pro provedení všech existujících transakcí). Volitelně můžete nastavit
    režimu bez ztráty výkonu. Nicméně v tomto případě disk
    Místo proxy zařízení bude využíváno méně efektivně.
    Jako proxy disk je vhodné použít podsekci metadat (cihlu), pokud je vytvořena na dostatečně výkonném blokovém zařízení.

    Zdroj: opennet.ru

  • Přidat komentář