Reiser5 yn cyhoeddi cefnogaeth ar gyfer Burst Buffers (Haenu Data)

Eduard Shishkin cyhoeddi cyfleoedd newydd a ddatblygwyd o fewn fframwaith y prosiect Reiser5. Reiser5 yw a fersiwn wedi'i hailgynllunio'n sylweddol o system ffeiliau ReiserFS, lle mae cymorth ar gyfer cyfeintiau rhesymegol graddadwy cyfochrog yn cael ei weithredu ar lefel y system ffeiliau, yn hytrach na lefel dyfais bloc, sy'n eich galluogi i ddosbarthu data yn effeithlon ar draws cyfaint rhesymegol.

Ymhlith y datblygiadau arloesol a ddatblygwyd yn ddiweddar, mae darpariaeth
y cyfle i'r defnyddiwr ychwanegu perfformiad uchel bach
dyfais bloc (ee NVRAM) o'r enw disg dirprwyI
cyfaint resymegol cymharol fawr sy'n cynnwys araf
gyriannau cyllideb. Bydd hyn yn creu'r argraff hynny i gyd
mae'r gyfrol yn cynnwys yr un perfformiad uchel drud
dyfeisiau, fel β€œdisg dirprwy”.

Roedd y dull a weithredwyd yn seiliedig ar yr arsylwi syml nad yw'n ymarferol ysgrifennu at y ddisg yn gyson, a bod gan gromlin llwyth I/O siΓ’p brigau. Yn yr egwyl rhwng β€œcopaon” o'r fath, mae bob amser yn bosibl ailosod data o'r ddisg ddirprwy, gan ailysgrifennu'r holl ddata (neu ran yn unig) yn y cefndir i'r prif storfa "araf". Felly, mae'r ddisg dirprwy bob amser yn barod i dderbyn cyfran newydd o ddata.

Dechreuodd y dechneg hon (a elwir yn Burst Buffers) yn wreiddiol
meysydd cyfrifiadura perfformiad uchel (HPC). Ond daeth hefyd i fod yn y galw am gymwysiadau cyffredin, yn enwedig ar gyfer y rhai sy'n rhoi mwy o bwysau ar gywirdeb data (fel arfer gwahanol fathau o gronfeydd data). Mae cymwysiadau o'r fath yn perfformio unrhyw newidiadau mewn unrhyw ffeil mewn ffordd atomig, sef:

  • yn gyntaf, mae ffeil newydd yn cael ei chreu sy'n cynnwys y data wedi'i newid;
  • yna ysgrifennir y ffeil newydd hon i ddisg gan ddefnyddio fsync(2);
  • ar Γ΄l hynny mae'r ffeil newydd yn cael ei ailenwi i'r hen un, sy'n awtomatig
    Yn rhyddhau blociau a feddiannir gan hen ddata.

    Mae'r holl gamau hyn, i ryw raddau neu'i gilydd, yn achosi arwyddocaol
    dirywiad perfformiad ar unrhyw system ffeiliau. Sefyllfa
    yn gwella os yw'r ffeil newydd yn cael ei hysgrifennu yn gyntaf i'r un a neilltuwyd
    dyfais perfformiad uchel, a dyna'n union beth sy'n digwydd yn
    system ffeiliau gyda chefnogaeth Burst Buffers.

    Yn Reiser5 bwriedir anfon nid yn unig yn ddewisol
    blociau rhesymegol newydd o'r ffeil, ond hefyd yr holl dudalennau budr yn gyffredinol. Ar ben hynny,
    nid yn unig tudalennau gyda data, ond hefyd gyda data meta hynny
    yn cael eu hysgrifennu yng nghamau (2) a (3).

    Cefnogir disgiau dirprwyol yng nghyd-destun gwaith rheolaidd gyda
    cyfrolau rhesymegol Reiser5, cyhoeddi ar ddechrau'r flwyddyn. Hynny yw,
    mae'r system gyfanredol "disg dirprwy - prif storfa" yn normal
    cyfaint rhesymegol a'r unig wahaniaeth yw bod gan y ddisg dirprwy flaenoriaeth
    ymhlith cydrannau cyfaint eraill yn y polisi dyrannu cyfeiriadau disg.

    Nid oes dim yn cyd-fynd ag ychwanegu disg dirprwy at gyfrol resymegol
    ail-gydbwyso data, ac mae ei ddileu yn digwydd yn union yr un ffordd ag
    tynnu disg arferol. Mae'r holl weithrediadau disg dirprwy yn atomig.
    Mae trin gwallau a gosod system (gan gynnwys ar Γ΄l damwain system) yn digwydd yn union yr un ffordd Γ’ phe bai'r ddisg dirprwy yn gydran reolaidd
    cyfaint rhesymegol.

    Ar Γ΄l ychwanegu disg dirprwy, cyfanswm cynhwysedd y gyfrol rhesymegol
    yn cynyddu gan gapasiti'r ddisg hon. Monitro gofod am ddim
    mae disg dirprwy yn cael ei berfformio yn yr un modd ag ar gyfer cydrannau cyfaint eraill, h.y. gan ddefnyddio'r cyfleustodau volume.reiser4(8).

    Rhaid glanhau'r ddisg dirprwy o bryd i'w gilydd, h.y. ailosod data o
    i'r brif storfa. Ar Γ΄l cyrraedd sefydlogrwydd beta Reiser5
    cynllunnir glanhau i fod yn awtomatig (bydd yn cael ei reoli gan
    edau cnewyllyn arbennig). Ar y cam hwn, cyfrifoldeb am lanhau
    yn gorwedd gyda'r defnyddiwr. Ailosod data o'r ddisg dirprwy i'r prif un
    storio yn cael ei gynhyrchu gan syml yn galw y cyfleustodau volume.reiser4 gyda'r opsiwn
    "-b". Fel dadl, mae angen i chi nodi pwynt gosod y rhesymeg
    cyfrolau Wrth gwrs, mae'n rhaid i chi gofio glanhau o bryd i'w gilydd. Canys
    Gallwch ysgrifennu sgript plisgyn syml i wneud hyn.

    Os nad oes lle am ddim ar y ddisg dirprwy, yr holl ddata
    yn cael eu hysgrifennu'n awtomatig i'r brif storfa. Ar yr un pryd, yn ddiofyn
    mae perfformiad cyffredinol yr FS yn cael ei leihau (oherwydd galwadau cyson
    gweithdrefnau ar gyfer ymrwymo'r holl drafodion presennol). Yn ddewisol gallwch chi osod
    modd heb golli perfformiad. Fodd bynnag, yn yr achos hwn y ddisg
    Bydd y gofod dyfais dirprwy yn cael ei ddefnyddio'n llai effeithlon.
    Mae'n gyfleus defnyddio is-adran metadata (brics) fel disg dirprwy, ar yr amod ei fod yn cael ei greu ar ddyfais bloc perfformiad digon uchel.

    Ffynhonnell: opennet.ru

  • Ychwanegu sylw