Reiser5 tshaj tawm kev txhawb nqa rau Burst Buffers (Data Tiering)

Eduard Shishkin tshaj tawm cov cib fim tshiab tsim nyob rau hauv lub moj khaum ntawm Reiser5 qhov project. Reiser 5 yog ib tug ib qho kev hloov kho tshiab ntawm ReiserFS cov ntaub ntawv kaw lus, uas txhawb nqa rau qhov sib npaug scalable logical tagnrho yog siv nyob rau hauv cov ntaub ntawv theem, es tsis yog ib tug thaiv ntaus ntawv theem, tso cai rau koj mus cuag tau zoo faib cov ntaub ntawv nyob rau hauv ib tug logical ntim.

Ntawm cov kev tsim kho tshiab tsim tsis ntev los no, kev muab ntawm
lub sijhawm rau tus neeg siv los ntxiv me me ua haujlwm siab
thaiv ntaus ntawv (xws li NVRAM) hu ua npe diskrau
kuj loj logical ntim tsim ntawm qeeb
nyiaj txiag tsav. Qhov no yuav tsim qhov kev xav tias txhua tus
lub ntim yog tsim los ntawm cov khoom kim heev uas ua haujlwm zoo tib yam
pab kiag li lawm, zoo li "proxy disk".

Txoj kev siv yog raws li qhov yooj yim kev soj ntsuam uas nyob rau hauv kev xyaum lub disk tsis yog sau mus tas li, thiab I / O load nkhaus muaj cov duab ntawm peaks. Nyob rau hauv lub caij nyoog ntawm xws li "peaks", nws yog ib txwm muaj peev xwm rov pib dua cov ntaub ntawv los ntawm lub npe disk, rewriting tag nrho cov ntaub ntawv (los yog ib feem) nyob rau hauv keeb kwm yav dhau mus rau lub ntsiab, "slow" cia. Yog li, lub npe disk yeej ib txwm npaj kom tau txais ib feem tshiab ntawm cov ntaub ntawv.

Cov txheej txheem no (lub npe hu ua Burst Buffers) keeb kwm pib hauv
thaj chaw ntawm kev ua haujlwm siab (HPC). Tab sis nws kuj tau dhau los ua qhov kev thov rau cov ntawv thov zoo tib yam, tshwj xeeb tshaj yog rau cov neeg uas xav tau ntau ntxiv ntawm cov ntaub ntawv ncaj ncees (feem ntau ntau hom databases). Cov ntawv thov no ua rau muaj kev hloov pauv hauv ib qho ntaub ntawv hauv txoj kev atomic, uas yog:

  • ua ntej, cov ntaub ntawv tshiab yog tsim uas muaj cov ntaub ntawv hloov pauv;
  • cov ntaub ntawv tshiab no yog sau rau disk siv fsync(2);
  • tom qab ntawd cov ntaub ntawv tshiab tau hloov npe mus rau qhov qub, uas yog txiav
    Frees blocks nyob los ntawm cov ntaub ntawv qub.

    Tag nrho cov kauj ruam no, mus rau ib qib lossis lwm qhov, ua rau muaj qhov tseem ceeb
    kev ua haujlwm degradation ntawm txhua qhov system. Qhov xwm txheej
    txhim kho yog tias cov ntaub ntawv tshiab tau sau thawj zaug rau qhov muab faib
    high-performance ntaus ntawv, uas yog raws nraim li cas tshwm sim nyob rau hauv
    cov ntaub ntawv kaw lus nrog kev txhawb nqa Burst Buffers.

    Hauv Reiser5 nws yog npaj los xaiv xa tsis tau xwb
    tshiab logical blocks ntawm cov ntaub ntawv, tab sis kuj tag nrho cov nplooj ntawv qias neeg feem ntau. Ntxiv mus,
    tsis tsuas yog nplooj ntawv nrog cov ntaub ntawv, tab sis kuj nrog cov ntaub ntawv meta uas
    tau sau nyob rau hauv cov kauj ruam (2) thiab (3).

    Kev them nyiaj yug rau npe disks yog nqa tawm hauv cov ntsiab lus ntawm kev ua haujlwm tsis tu ncua nrog
    Reiser5 logical ntim, tshaj tawm thaum pib ntawm lub xyoo. Ntawd yog,
    lub aggregate system "proxy disk - lub ntsiab cia" yog qhov qub
    logical ntim nrog qhov sib txawv tsuas yog tias lub npe disk muaj qhov tseem ceeb
    ntawm lwm cov khoom ntim hauv disk chaw faib txoj cai.

    Ntxiv ib lub npe disk rau lub logic ntim tsis nrog ib qho twg
    cov ntaub ntawv rebalancing, thiab nws tshem tawm tshwm sim raws nraim tib yam li
    tshem tawm ib txwm disk. Txhua qhov kev ua haujlwm ntawm lub npe disk yog atomic.
    Kev ua yuam kev thiab kev xa tawm cov kab ke (nrog rau tom qab lub kaw lus sib tsoo) tshwm sim zoo ib yam li yog tias lub npe disk yog cov khoom siv tsis tu ncua
    logical ntim.

    Tom qab ntxiv ib lub npe disk, tag nrho lub peev xwm ntawm lub logical ntim
    nce los ntawm lub peev xwm ntawm no disk. Kev saib xyuas qhov chaw dawb
    proxy disk tau ua tib yam li rau lwm cov khoom ntim, i.e. siv lub volume.reiser4(8) utility.

    Lub npe disk yuav tsum tau muab ntxuav ib ntus, i.e. pib dua cov ntaub ntawv los ntawm
    nws mus rau lub ntsiab cia. Tom qab ncav cuag beta stability Reiser5
    kev ntxuav yog npaj kom tsis siv neeg (nws yuav raug tswj los ntawm
    tshwj xeeb kernel xov). Nyob rau theem no, lub luag haujlwm rau kev tu
    so nrog tus neeg siv. Resetting cov ntaub ntawv los ntawm lub npe disk mus rau lub ntsiab
    cia yog tsim los ntawm tsuas yog hu rau volume.reiser4 utility nrog rau kev xaiv
    "-b". Raws li kev sib cav, koj yuav tsum tau hais kom meej lub mount point ntawm lub logic
    ntim Tau kawg, koj yuav tsum nco ntsoov ua kev ntxuav txhua lub sijhawm. Rau
    Koj tuaj yeem sau cov ntawv plhaub yooj yim los ua qhov no.

    Yog tias tsis muaj qhov chaw dawb ntawm lub npe disk, tag nrho cov ntaub ntawv
    tau sau cia rau hauv lub ntsiab cia. Nyob rau tib lub sijhawm, los ntawm lub neej ntawd
    tag nrho cov kev ua tau zoo ntawm FS raug txo qis (vim yog hu mus tas li
    cov txheej txheem rau kev ua txhua yam kev lag luam uas twb muaj lawm). Optionally koj tuaj yeem teeb tsa
    hom tsis poob ntawm kev ua haujlwm. Txawm li cas los xij, hauv qhov no, lub disk
    Qhov chaw tso npe khoom siv yuav raug siv tsawg dua.
    Nws yog ib qho yooj yim los siv cov metadata subsection (cib) raws li lub npe disk, yog tias nws tsim los ntawm cov khoom siv ua haujlwm siab txaus.

    Tau qhov twg los: opennet.ru

  • Ntxiv ib saib