Inanunsyo ng Reiser5 ang suporta para sa Burst Buffers (Data Tiering)

Eduard Shishkin inihayag mga bagong pagkakataon na binuo sa loob ng balangkas ng proyektong Reiser5. Reiser5 ay isang isang makabuluhang muling idisenyo na bersyon ng ReiserFS file system, kung saan ang suporta para sa parallel scalable logical volume ay ipinapatupad sa antas ng file system, sa halip na isang block device level, na nagbibigay-daan sa iyong mahusay na mamahagi ng data sa isang lohikal na volume.

Kabilang sa mga inobasyon na binuo kamakailan, ang pagkakaloob ng
ang pagkakataon para sa user na magdagdag ng maliit na mataas na pagganap
block device (eg NVRAM) na tinatawag proxy diskSa
medyo malaking lohikal na volume na binubuo ng mabagal
mga drive ng badyet. Ito ay lilikha ng impresyon na ang lahat
ang volume ay binubuo ng parehong mahal na mataas na pagganap
mga device, tulad ng isang "proxy disk".

Ang ipinatupad na pamamaraan ay batay sa simpleng obserbasyon na sa pagsasagawa ng disk ay hindi nakasulat sa patuloy, at ang I/O load curve ay may hugis ng mga peak. Sa pagitan ng naturang "mga taluktok", palaging posible na i-reset ang data mula sa proxy disk, muling isulat ang lahat ng data (o bahagi lamang) sa background sa pangunahing, "mabagal" na imbakan. Kaya, ang proxy disk ay laging handa na tumanggap ng bagong bahagi ng data.

Ang diskarteng ito (kilala bilang Burst Buffers) ay orihinal na nagmula sa
mga lugar ng high performance computing (HPC). Ngunit ito rin ay naging in demand para sa mga ordinaryong aplikasyon, lalo na para sa mga naglalagay ng mas mataas na mga pangangailangan sa integridad ng data (karaniwan ay iba't ibang uri ng mga database). Ang ganitong mga application ay nagsasagawa ng anumang mga pagbabago sa anumang file sa isang atomic na paraan, katulad:

  • una, nilikha ang isang bagong file na naglalaman ng binagong data;
  • ang bagong file na ito ay isinusulat sa disk gamit ang fsync(2);
  • pagkatapos na ang bagong file ay pinalitan ng pangalan sa luma, na awtomatiko
    Pinakawalan ang mga bloke na inookupahan ng lumang data.

    Ang lahat ng mga hakbang na ito, sa isang antas o iba pa, ay nagdudulot ng makabuluhan
    pagkasira ng pagganap sa anumang file system. Sitwasyon
    nagpapabuti kung ang bagong file ay unang nakasulat sa inilalaan
    high-performance device, na kung ano mismo ang nangyayari sa
    file system na may suporta sa Burst Buffers.

    Sa Reiser5 ito ay binalak na opsyonal na magpadala hindi lamang
    bagong lohikal na mga bloke ng file, pati na rin ang lahat ng maruruming pahina sa pangkalahatan. Bukod dito,
    hindi lang mga page na may data, kundi pati meta data na
    ay nakasulat sa mga hakbang (2) at (3).

    Ang suporta para sa mga proxy disk ay isinasagawa sa konteksto ng regular na trabaho
    Reiser5 logical volume, inihayag sa simula ng taon. Yan ay,
    ang pinagsama-samang sistema na "proxy disk - pangunahing imbakan" ay normal
    lohikal na dami na ang pagkakaiba lamang ay ang proxy disk ay may priyoridad
    bukod sa iba pang bahagi ng volume sa patakaran sa paglalaan ng disk address.

    Ang pagdaragdag ng proxy disk sa isang lohikal na volume ay hindi sinamahan ng anuman
    data rebalancing, at ang pag-aalis nito ay nangyayari sa parehong paraan tulad ng
    pag-alis ng isang regular na disk. Ang lahat ng mga pagpapatakbo ng proxy disk ay atomic.
    Ang paghawak ng error at pag-deploy ng system (kabilang ang pagkatapos ng pag-crash ng system) ay nangyayari sa parehong paraan na parang ang proxy disk ay isang regular na bahagi
    lohikal na dami.

    Pagkatapos magdagdag ng proxy disk, ang kabuuang kapasidad ng lohikal na volume
    tataas ng kapasidad ng disk na ito. Libreng pagsubaybay sa espasyo
    Ang proxy disk ay ginaganap sa parehong paraan tulad ng para sa iba pang mga bahagi ng volume, i.e. gamit ang volume.reiser4(8) utility.

    Ang proxy disk ay dapat na malinis na pana-panahon, i.e. i-reset ang data mula sa
    ito sa pangunahing imbakan. Pagkatapos maabot ang beta stability Reiser5
    Ang paglilinis ay binalak na maging awtomatiko (ito ay pamamahalaan ng
    espesyal na kernel thread). Sa yugtong ito, responsibilidad para sa paglilinis
    nakasalalay sa gumagamit. Pag-reset ng data mula sa proxy disk sa pangunahing isa
    imbakan ay ginawa sa pamamagitan lamang ng pagtawag sa volume.reiser4 utility na may opsyon
    "-b". Bilang isang argumento, kailangan mong tukuyin ang mount point ng lohikal
    mga volume Siyempre, dapat mong tandaan na regular na magsagawa ng paglilinis. Para sa
    Maaari kang magsulat ng isang simpleng script ng shell upang gawin ito.

    Kung walang libreng espasyo sa proxy disk, lahat ng data
    ay awtomatikong nakasulat sa pangunahing imbakan. Kasabay nito, bilang default
    ang pangkalahatang pagganap ng FS ay nabawasan (dahil sa patuloy na mga tawag
    mga pamamaraan para sa paggawa ng lahat ng umiiral na mga transaksyon). Opsyonal na maaari mong itakda
    mode nang walang pagkawala ng pagganap. Gayunpaman, sa kasong ito ang disk
    Gagamitin nang hindi gaanong mahusay ang espasyo ng proxy device.
    Maginhawang gumamit ng metadata subsection (brick) bilang proxy disk, sa kondisyon na ito ay nilikha sa isang sapat na mataas na pagganap ng block device.

    Pinagmulan: opennet.ru

  • Magdagdag ng komento