ProHoster > blog > habari za mtandao > Reiser5 inatangaza msaada kwa Burst Buffers (Tiering ya data)

Reiser5 inatangaza msaada kwa Burst Buffers (Tiering ya data)

Eduard Shishkin alitangaza fursa mpya zilizotengenezwa ndani ya mfumo wa mradi wa Reiser5. Reiser5 ni toleo lililosanifiwa upya kwa kiasi kikubwa la mfumo wa faili wa ReiserFS, ambapo usaidizi wa ujazo wa kimantiki unaosawazishwa unatekelezwa katika kiwango cha mfumo wa faili, badala ya kiwango cha kifaa cha kuzuia, huku kuruhusu kusambaza data kwa ufanisi kwa kiasi cha kimantiki.

Miongoni mwa ubunifu uliotengenezwa hivi karibuni, utoaji wa
fursa kwa mtumiaji kuongeza utendaji mdogo wa juu
kuzuia kifaa (mfano NVRAM) kinachoitwa diski ya wakalaKwa
kiasi kikubwa cha kimantiki kinachojumuisha polepole
anatoa bajeti. Hii itaunda hisia kwamba wote
kiasi kinaundwa na utendakazi sawa wa gharama kubwa
vifaa, kama "diski ya wakala".

Njia iliyotekelezwa ilitokana na uchunguzi rahisi kwamba katika mazoezi disk haijaandikwa mara kwa mara, na curve ya mzigo wa I / O ina sura ya kilele. Katika muda kati ya "kilele" kama hicho, inawezekana kila wakati kuweka upya data kutoka kwa diski ya wakala, kuandika tena data zote (au sehemu tu) nyuma hadi hifadhi kuu, "polepole". Kwa hivyo, diski ya wakala daima iko tayari kupokea sehemu mpya ya data.

Mbinu hii (inayojulikana kama Burst Buffers) asili yake ilitoka
maeneo ya kompyuta ya juu ya utendaji (HPC). Lakini pia iligeuka kuwa mahitaji ya programu za kawaida, haswa kwa zile ambazo zinaweka mahitaji ya kuongezeka kwa uadilifu wa data (kawaida aina anuwai za hifadhidata). Programu kama hizo hufanya mabadiliko yoyote katika faili yoyote kwa njia ya atomiki, ambayo ni:

  • kwanza, faili mpya imeundwa ambayo ina data iliyobadilishwa;
  • faili hii mpya huandikwa kwa diski kwa kutumia fsync(2);
  • baada ya hapo faili mpya inaitwa jina la zamani, ambayo ni moja kwa moja
    Huondoa vizuizi vilivyochukuliwa na data ya zamani.

    Hatua hizi zote, kwa kiwango kimoja au nyingine, husababisha muhimu
    uharibifu wa utendaji kwenye mfumo wowote wa faili. Hali
    inaboresha ikiwa faili mpya itaandikwa kwanza kwa ile iliyotengwa
    kifaa chenye utendakazi wa hali ya juu, ambayo ndiyo hasa hufanyika ndani
    mfumo wa faili na msaada wa Burst Buffers.

    Katika Reiser5 imepangwa kutuma kwa hiari sio tu
    vizuizi vipya vya kimantiki vya faili, lakini pia kurasa zote chafu kwa ujumla. Aidha,
    sio kurasa zilizo na data tu, bali pia na data ya meta hiyo
    zimeandikwa katika hatua (2) na (3).

    Msaada kwa disks za wakala unafanywa katika mazingira ya kazi ya kawaida na
    Reiser5 kiasi cha kimantiki, alitangaza mwanzoni mwa mwaka. Hiyo ni,
    mfumo wa jumla "diski ya wakala - hifadhi kuu" ni ya kawaida
    kiasi cha kimantiki na tofauti pekee ni kwamba diski ya wakala ina kipaumbele
    kati ya vipengele vingine vya kiasi katika sera ya ugawaji wa anwani ya disk.

    Kuongeza diski ya wakala kwa kiasi cha kimantiki haiambatani na yoyote
    kusawazisha data, na kuondolewa kwake hutokea kwa njia sawa na
    kuondoa diski ya kawaida. Shughuli zote za diski za wakala ni za atomiki.
    Ushughulikiaji wa hitilafu na uwekaji wa mfumo (ikiwa ni pamoja na baada ya hitilafu ya mfumo) hutokea kwa njia sawa kabisa na kama diski ya proksi ilikuwa sehemu ya kawaida.
    kiasi cha mantiki.

    Baada ya kuongeza diski ya wakala, uwezo wa jumla wa kiasi cha mantiki
    huongezeka kwa uwezo wa diski hii. Ufuatiliaji wa nafasi ya bure
    diski ya wakala inafanywa kwa njia sawa na kwa vipengele vingine vya kiasi, i.e. kwa kutumia matumizi ya volume.reiser4(8).

    Disk ya wakala lazima kusafishwa mara kwa mara, i.e. weka upya data kutoka
    kwa hifadhi kuu. Baada ya kufikia uthabiti wa beta Reiser5
    kusafisha imepangwa kuwa moja kwa moja (itasimamiwa na
    uzi maalum wa kernel). Katika hatua hii, jukumu la kusafisha
    inakaa na mtumiaji. Kuweka upya data kutoka kwa diski ya wakala hadi kuu
    uhifadhi hutolewa kwa kupiga tu huduma ya volume.reiser4 na chaguo
    "-b". Kama hoja, unahitaji kutaja sehemu ya mlima ya kimantiki
    juzuu Bila shaka, ni lazima kukumbuka kufanya kusafisha mara kwa mara. Kwa
    Unaweza kuandika hati rahisi ya ganda kufanya hivyo.

    Ikiwa hakuna nafasi ya bure kwenye diski ya wakala, data yote
    huandikwa kiotomatiki kwa hifadhi kuu. Wakati huo huo, kwa default
    utendaji wa jumla wa FS umepunguzwa (kutokana na simu za mara kwa mara
    taratibu za kufanya miamala yote iliyopo). Kwa hiari unaweza kuweka
    mode bila kupoteza utendaji. Walakini, katika kesi hii diski
    Nafasi ya kifaa cha seva mbadala itatumika kwa ufanisi mdogo.
    Ni rahisi kutumia kifungu kidogo cha metadata (matofali) kama diski ya proksi, mradi tu imeundwa kwenye kifaa chenye utendaji wa juu wa kutosha.

    Chanzo: opennet.ru

    • Kuongeza maoni