Reiser5 paziņo par atbalstu Burst Buffers (Data Tiring)

Eduards Å iÅ”kins paziņoja jaunas iespējas, kas izstrādātas projekta Reiser5 ietvaros. Reiser5 ir a ievērojami pārveidota ReiserFS failu sistēmas versija, kurā atbalsts paralēli mērogojamiem loÄ£iskiem sējumiem ir ieviests failu sistēmas lÄ«menÄ«, nevis blokierÄ«ces lÄ«menÄ«, ļaujot efektÄ«vi sadalÄ«t datus loÄ£iskā sējumā.

Starp nesen izstrādātajiem jauninājumiem ir nodroŔināt
iespēja lietotājam pievienot nelielu augstas veiktspējas
bloķēt ierīci (piem., NVRAM), ko sauc starpniekservera disksLīdz
salÄ«dzinoÅ”i liels loÄ£iskais apjoms, kas sastāv no lēnām
budžeta diskus. Tas radīs iespaidu, ka viss
apjoms sastāv no tā paÅ”a dārga augstas veiktspējas
ierÄ«ces, piemēram, ā€œstarpniekservera disksā€.

Ieviestā metode balstÄ«jās uz vienkārÅ”u novērojumu, ka praksē disks netiek rakstÄ«ts pastāvÄ«gi un I/O slodzes lÄ«knei ir pÄ«Ä·u forma. Intervālā starp Ŕādiem ā€œpÄ«Ä·iemā€ vienmēr ir iespējams atiestatÄ«t datus no starpniekservera diska, pārrakstot visus datus (vai tikai daļu) fonā uz galveno, ā€œlēnoā€ krātuvi. Tādējādi starpniekservera disks vienmēr ir gatavs saņemt jaunu datu daļu.

Šī tehnika (pazīstama kā Burst Buffers) sākotnēji radās
augstas veiktspējas skaitļoÅ”anas (HPC) jomās. Taču izrādÄ«jās, ka tas ir pieprasÄ«ts arÄ« pēc parastajām lietojumprogrammām, Ä«paÅ”i tām, kas izvirza paaugstinātas prasÄ«bas datu integritātei (parasti dažāda veida datu bāzes). Šādas lietojumprogrammas veic jebkādas izmaiņas jebkurā failā atomu veidā, proti:

  • vispirms tiek izveidots jauns fails, kurā ir izmainÄ«tie dati;
  • Å”is jaunais fails pēc tam tiek ierakstÄ«ts diskā, izmantojot fsync(2);
  • pēc tam jaunais fails tiek pārdēvēts par veco, kas tiek automātiski
    Atbrīvo veco datu aizņemtos blokus.

    Visas Ŕīs darbÄ«bas vienā vai otrā pakāpē rada ievērojamas sekas
    veiktspējas pasliktināŔanās jebkurā failu sistēmā. Situācija
    uzlabojas, ja jaunais fails vispirms tiek ierakstīts pieŔķirtajā failā
    augstas veiktspējas ierÄ«ce, kas tieÅ”i tā arÄ« notiek
    failu sistēma ar Burst Buffers atbalstu.

    Reiser5 ir plānots pēc izvēles nosūtīt ne tikai
    jauni faila loģiskie bloki, bet arī visas netīrās lapas kopumā. Turklāt,
    ne tikai lapas ar datiem, bet arī ar metadatiem, kas
    ir rakstīti (2) un (3) darbībā.

    Starpniekservera disku atbalsts tiek veikts regulāra darba kontekstā ar
    Reiser5 loģiskie sējumi, paziņoja gada sākumā. Tas ir,
    kopējā sistēma "starpniekserveris - galvenā krātuve" ir normāla
    loģiskais apjoms ar vienīgo atŔķirību, ka starpniekservera diskam ir prioritāte
    starp citiem skaļuma komponentiem diska adreses pieŔķirŔanas politikā.

    Starpniekservera diska pievienoÅ”ana loÄ£iskajam sējumam netiek pievienota
    datu lÄ«dzsvaroÅ”ana, un tā noņemÅ”ana notiek tieÅ”i tāpat kā
    parastā diska noņemÅ”ana. Visas starpniekservera diska darbÄ«bas ir atomāras.
    Kļūdu apstrāde un sistēmas izvietoÅ”ana (tostarp pēc sistēmas avārijas) notiek tieÅ”i tāpat kā tad, ja starpniekservera disks bÅ«tu parasts komponents
    loģiskais apjoms.

    Pēc starpniekservera diska pievienoÅ”anas loÄ£iskā sējuma kopējā ietilpÄ«ba
    palielinās par Ŕī diska ietilpību. Brīvās vietas uzraudzība
    starpniekservera disks tiek veikts tāpat kā citiem apjoma komponentiem, t.i. izmantojot utilītu volume.reiser4(8).

    Starpniekservera disks ir periodiski jātīra, t.i. atiestatīt datus no
    uz galveno krātuvi. Pēc beta stabilitātes sasniegÅ”anas Reiser5
    tīrīŔana plānota automātiska (to vadīs
    īpaŔs kodola pavediens). Šajā posmā atbildība par tīrīŔanu
    paliek lietotāja ziņā. Datu atiestatÄ«Å”ana no starpniekservera diska uz galveno
    krātuve tiek izveidota, vienkārŔi izsaucot utilītu volume.reiser4 ar opciju
    "-b". Kā arguments ir jānorāda loģiskā savienojuma punkts
    apjomi Protams, jums ir jāatceras periodiski veikt tīrīŔanu. PriekŔ
    Lai to izdarītu, varat uzrakstīt vienkārŔu čaulas skriptu.

    Ja starpniekservera diskā nav brīvas vietas, visi dati
    tiek automātiski ierakstÄ«ti galvenajā atmiņā. Tajā paŔā laikā pēc noklusējuma
    FS kopējā veiktspēja ir samazināta (pastāvīgu zvanu dēļ
    visu esoÅ”o darÄ«jumu veikÅ”anas procedÅ«ras). Pēc izvēles varat iestatÄ«t
    režīms bez veiktspējas zuduma. Tomēr Å”ajā gadÄ«jumā disks
    Starpniekservera ierīces vieta tiks izmantota mazāk efektīvi.
    Metadatu apakÅ”sadaļu (Ä·ieÄ£eli) ir ērti izmantot kā starpniekservera disku, ja tas ir izveidots pietiekami augstas veiktspējas blokierÄ«cē.

    Avots: opennet.ru

  • Pievieno komentāru