4.2.2. RBER a vek disku (okrem cyklov PE).
Obrázok 1 ukazuje významnú koreláciu medzi RBER a vekom, čo je počet mesiacov, počas ktorých bol disk v teréne. Toto však môže byť falošná korelácia, pretože je pravdepodobné, že staršie disky majú viac PE, a preto RBER viac koreluje s PE cyklami.
Aby sme eliminovali vplyv veku na opotrebenie spôsobené PE cyklami, zoskupili sme všetky mesiace prevádzky do kontajnerov s použitím decilov rozloženia PE cyklov ako hranice medzi kontajnermi, napríklad prvý kontajner obsahuje všetky mesiace životnosti disku až do prvý decil distribúcie cyklu PE a tak ďalej Ďalej. Overili sme, že v rámci každého kontajnera je korelácia medzi cyklami PE a RBER pomerne malá (keďže každý kontajner pokrýva iba malý rozsah cyklov PE), a potom sme vypočítali korelačný koeficient medzi RBER a vekom disku samostatne pre každý kontajner.
Túto analýzu sme vykonali samostatne pre každý model, pretože akékoľvek pozorované korelácie nie sú spôsobené rozdielmi medzi mladšími a staršími modelmi, ale výlučne vekom diskov toho istého modelu. Zistili sme, že aj po obmedzení účinku cyklov PE vyššie opísaným spôsobom pre všetky modely pohonov stále existovala významná korelácia medzi počtom mesiacov, počas ktorých bol pohon v teréne, a jeho RBER (koeficienty korelácie sa pohybovali od 0,2 do 0,4 ).
Ryža. 3. Vzťah medzi RBER a počtom PE cyklov pre nové a staré disky ukazuje, že vek disku ovplyvňuje hodnotu RBER bez ohľadu na PE cykly spôsobené opotrebovaním.
Tiež sme graficky znázornili vplyv veku disku vydelením dní používania disku v „mladom“ veku do 1 roka a dní používania disku vo veku nad 4 roky a potom sme vyniesli RBER každého skupine oproti počtu PE cyklov. Obrázok 3 ukazuje tieto výsledky pre model pohonu MLC-D. Vidíme viditeľný rozdiel v hodnotách RBER medzi skupinami starých a nových diskov počas všetkých cyklov PE.
Z toho usudzujeme, že vek, meraný podľa dní používania disku v teréne, má významný vplyv na RBER, bez ohľadu na opotrebovanie pamäťových buniek v dôsledku vystavenia PE cyklom. To znamená, že na fyzickom opotrebovaní disku zohrávajú veľkú úlohu ďalšie faktory, ako je starnutie kremíka.
4.2.3. RBER a pracovné zaťaženie.
Predpokladá sa, že bitové chyby sú spôsobené jedným zo štyroch mechanizmov:
- chyby ukladania Chyby uchovávania, keď pamäťová bunka stratí údaje v priebehu času
Chyby čítania, pri ktorých operácia čítania poškodí obsah susednej bunky; - Chyby rušenia zápisu, pri ktorých operácia čítania poškodí obsah susednej bunky;
- Chyby neúplného vymazania, keď operácia vymazania úplne neodstráni obsah bunky.
Chyby posledných troch typov (narušenie čítania, narušenie zápisu, neúplné vymazanie) súvisia s pracovným zaťažením, takže pochopenie korelácie medzi RBER a pracovným zaťažením nám pomáha pochopiť prevalenciu rôznych mechanizmov chýb. V nedávnej štúdii „Veľká štúdia zlyhaní flash pamätí v teréne“ (MEZA, J., WU, Q., KUMAR, S., MUTLU, O. „Veľká štúdia zlyhaní flash pamätí v v odbore." V Proceedings of the 2015 ACM SIGMETRICS International Conference on Measurement and Modeling of Computer Systems, New York, 2015, SIGMETRICS '15, ACM, s. sú celkom drobné.
Obrázok 1 ukazuje významný vzťah medzi hodnotou RBER v danom mesiaci životnosti disku a počtom čítaní, zápisov a vymazaní v rovnakom mesiaci pre niektoré modely (napríklad korelačný koeficient je vyšší ako 0,2 pre MLC - B a vyššia ako 0,6 pre SLC-B). Je však možné, že ide o falošnú koreláciu, pretože mesačná pracovná záťaž môže súvisieť s celkovým počtom cyklov PE.
Použili sme rovnakú metodiku opísanú v časti 4.2.2 na izoláciu účinkov pracovného zaťaženia od účinkov cyklov PE izoláciou mesiacov prevádzky pohonu na základe predchádzajúcich cyklov PE a následným stanovením korelačných koeficientov samostatne pre každý kontajner.
Videli sme, že korelácia medzi počtom čítaní v danom mesiaci životnosti disku a hodnotou RBER v danom mesiaci pretrvala pri modeloch MLC-B a SLC-B, a to aj pri obmedzení PE cyklov. Zopakovali sme tiež podobnú analýzu, kde sme vylúčili vplyv čítaní na počet súbežných zápisov a vymazaní a dospeli sme k záveru, že korelácia medzi RBER a počtom čítaní platí pre model SLC-B.
Obrázok 1 tiež ukazuje koreláciu medzi RBER a operáciami zápisu a vymazania, takže sme zopakovali rovnakú analýzu pre operácie čítania, zápisu a vymazania. Dospeli sme k záveru, že obmedzením vplyvu cyklov a čítaní PE neexistuje žiadny vzťah medzi hodnotou RBER a počtom zápisov a vymazaní.
Existujú teda modely diskov, kde chyby porušenia čítania majú významný vplyv na RBER. Na druhej strane neexistuje žiadny dôkaz, že RBER je ovplyvnený chybami porušovania zápisu a neúplným vymazaním.
4.2.4 RBER a litografia.
Rozdiely vo veľkosti objektu môžu čiastočne vysvetliť rozdiely v hodnotách RBER medzi modelmi pohonov používajúcimi rovnakú technológiu, t. j. MLC alebo SLC. (Prehľad litografie rôznych modelov zahrnutých v tejto štúdii nájdete v tabuľke 1).
Napríklad 2 modely SLC s 34nm litografiou (modely SLC-A a SLC-D) majú RBER rádovo vyššie ako 2 modely s 50nm mikroelektronickou litografiou (modely SLC-B a SLC-C). V prípade modelov MLC má iba 43nm model (MLC-B) medián RBER, ktorý je o 50% vyšší ako ostatné 3 modely s 50nm litografiou. Okrem toho sa tento rozdiel v RBER zvyšuje o faktor 4, keď sa disky opotrebúvajú, ako je znázornené na obrázku 2. Napokon tenšia litografia môže vysvetliť vyššiu RBER jednotiek eMLC v porovnaní s jednotkami MLC. Celkovo máme jasný dôkaz, že litografia ovplyvňuje RBER.
4.2.5. Prítomnosť iných chýb.
Skúmali sme vzťah medzi RBER a inými typmi chýb, ako sú neopraviteľné chyby, chyby časového limitu atď., najmä to, či sa hodnota RBER zvýši po mesiaci vystavenia iným typom chýb.
Obrázok 1 ukazuje, že zatiaľ čo RBER z predchádzajúceho mesiaca predpovedá budúce hodnoty RBER (korelačný koeficient väčší ako 0,8), neexistuje žiadna významná korelácia medzi neopraviteľnými chybami a RBER (skupina položiek na obrázku 1 úplne vpravo). Pri iných typoch chýb je korelačný koeficient ešte nižší (na obrázku nie je znázornený). Ďalej sme skúmali vzťah medzi RBER a neopraviteľnými chybami v časti 5.2 tohto dokumentu.
4.2.6. Vplyv iných faktorov.
Našli sme dôkazy o tom, že existujú faktory, ktoré majú významný vplyv na RBER, ktoré naše údaje nemohli zohľadniť. Najmä sme si všimli, že RBER pre daný model disku sa líši v závislosti od klastra, v ktorom je disk nasadený. Dobrým príkladom je obrázok 4, ktorý zobrazuje RBER ako funkciu cyklov PE pre pohony MLC-D v troch rôznych klastroch (prerušované čiary) a porovnáva ho s RBER pre tento model vo vzťahu k celkovému počtu pohonov (plná čiara). Zistili sme, že tieto rozdiely pretrvávajú, aj keď obmedzíme vplyv faktorov, ako je vek disku alebo počet čítaní.
Jedným z možných vysvetlení sú rozdiely v type pracovného zaťaženia v rámci klastrov, keďže sme pozorovali, že klastre, ktorých pracovné zaťaženie má najvyššie pomery čítania/zápisu, majú najvyššie RBER.
Ryža. 4 a), b). Medián hodnôt RBER ako funkcia cyklov PE pre tri rôzne klastre a závislosť pomeru čítania/zápisu od počtu cyklov PE pre tri rôzne klastre.
Napríklad obrázok 4(b) zobrazuje pomery čítania/zápisu rôznych klastrov pre model pohonu MLC-D. Pomer čítania/zápisu však nevysvetľuje rozdiely medzi klastrami pre všetky modely, takže môžu existovať ďalšie faktory, ktoré naše údaje nezohľadňujú, ako napríklad faktory prostredia alebo iné externé parametre pracovného zaťaženia.
4.3. RBER počas zrýchleného testovania odolnosti.
Väčšina vedeckých prác, ako aj testov vykonaných pri nákupe médií v priemyselnom meradle, predpovedá spoľahlivosť zariadení v teréne na základe výsledkov zrýchlených testov odolnosti. Rozhodli sme sa zistiť, ako dobre výsledky takýchto testov zodpovedajú praktickým skúsenostiam s prevádzkou pevných pamäťových médií.
Analýza výsledkov testov vykonaných pomocou všeobecnej zrýchlenej testovacej metodológie pre zariadenia dodávané do dátových centier Google ukázala, že hodnoty RBER v poli sú výrazne vyššie, ako sa predpokladalo. Napríklad pre model eMLC-a bol medián RBER pre disky prevádzkované v teréne (na konci testovania dosiahol počet PE cyklov 600) 1e-05, pričom podľa výsledkov predbežného zrýchleného testovania bol tento RBER hodnota by mala zodpovedať viac ako 4000 cyklom PE. To naznačuje, že je veľmi ťažké presne predpovedať hodnotu RBER v teréne na základe odhadov RBER získaných z laboratórnych testov.
Tiež sme si všimli, že niektoré typy chýb sa počas zrýchleného testovania reprodukujú pomerne ťažko. Napríklad v prípade modelu MLC-B sa takmer u 60 % jednotiek v teréne vyskytujú neopraviteľné chyby a takmer 80 % jednotiek vytvára zlé bloky. Počas zrýchleného testovania odolnosti však žiadne zo šiestich zariadení nezaznamenalo žiadne neopraviteľné chyby, kým disky nedosiahli viac ako trojnásobok limitu cyklu PE. Pri modeloch eMLC sa neopraviteľné chyby vyskytli u viac ako 80 % pohonov v teréne, pričom pri zrýchlenom testovaní sa takéto chyby vyskytli po dosiahnutí 15000 XNUMX cyklov PE.
Pozreli sme sa aj na RBER uvedený v predchádzajúcej výskumnej práci, ktorá bola založená na experimentoch v kontrolovanom prostredí, a dospeli sme k záveru, že rozsah hodnôt bol extrémne široký. Napríklad L.M. Grupp a ďalší vo svojej práci v rokoch 2009 - 2012 uvádzajú hodnoty RBER pre pohony, ktoré sa blížia k dosiahnutiu limitov cyklu PE. Napríklad pre zariadenia SLC a MLC s veľkosťami litografie podobnými tým, ktoré sa používajú v našej práci (25-50nm), sa hodnota RBER pohybuje od 1e-08 do 1e-03, pričom väčšina testovaných modelov pohonov má hodnotu RBER blízku 1e- 06.
V našej štúdii mali tri modely pohonov, ktoré dosiahli limit cyklu PE, RBER v rozmedzí od 3e-08 do 8e-08. Aj keď vezmeme do úvahy, že naše čísla sú spodné hranice a mohli by byť 16-krát väčšie v absolútne najhoršom prípade, alebo ak vezmeme do úvahy 95. percentil RBER, naše hodnoty sú stále výrazne nižšie.
Celkovo, zatiaľ čo skutočné hodnoty RBER v teréne sú vyššie ako predpokladané hodnoty založené na zrýchlenom testovaní odolnosti, sú stále nižšie ako väčšina RBER pre podobné zariadenia uvedené v iných výskumných dokumentoch a vypočítané z laboratórnych testov. To znamená, že by ste sa nemali spoliehať na predpovedané hodnoty RBER v teréne, ktoré boli odvodené zo zrýchleného testovania odolnosti.
5. Neopraviteľné chyby.
Vzhľadom na rozšírený výskyt neopraviteľných chýb (UE), o ktorých sa hovorilo v časti 3 tohto dokumentu, v tejto časti podrobnejšie preskúmame ich charakteristiky. Začneme diskusiou o tom, ktorú metriku použiť na meranie UE, ako súvisí s RBER a ako UE ovplyvňujú rôzne faktory.
5.1. Prečo pomer UBER nedáva zmysel.
Štandardnou metrikou charakterizujúcou neopraviteľné chyby je UBER neopraviteľná bitová chybovosť, teda pomer počtu neopraviteľných bitových chýb k celkovému počtu prečítaných bitov.
Táto metrika implicitne predpokladá, že počet neopraviteľných chýb je nejakým spôsobom viazaný na počet prečítaných bitov, a preto musí byť normalizovaný týmto číslom.
Tento predpoklad platí pre opraviteľné chyby, kde sa zistilo, že počet chýb pozorovaných v danom mesiaci vysoko koreluje s počtom čítaní za rovnaké časové obdobie (Spearmanov korelačný koeficient väčší ako 0.9). Dôvodom takejto silnej korelácie je, že aj jeden zlý bit, pokiaľ je opraviteľný pomocou ECC, bude naďalej zvyšovať počet chýb s každou operáciou čítania, ku ktorej pristupuje, pretože vyhodnotenie bunky obsahujúcej zlý bit je nie je okamžite opravené, keď sa zistí chyba (disky iba pravidelne prepisujú stránky s poškodenými bitmi).
Rovnaký predpoklad neplatí pre neopraviteľné chyby. Neopraviteľná chyba znemožňuje ďalšie použitie poškodeného bloku, takže po zistení takýto blok neovplyvní počet chýb v budúcnosti.
Na formálne potvrdenie tohto predpokladu sme použili rôzne metriky na meranie vzťahu medzi počtom čítaní za daný mesiac životnosti disku a počtom neopraviteľných chýb za rovnaké časové obdobie, vrátane rôznych korelačných koeficientov (Pearson, Spearman, Kendall) , ako aj vizuálna kontrola grafov . Okrem počtu neopraviteľných chýb sme sledovali aj frekvenciu neopraviteľných chybových incidentov (t. j. pravdepodobnosť, že sa na disku vyskytne aspoň jeden takýto incident počas daného časového obdobia) a ich vzťah k operáciám čítania.
Nenašli sme žiadny dôkaz o korelácii medzi počtom prečítaní a počtom neopraviteľných chýb. Pre všetky modely pohonov boli korelačné koeficienty nižšie ako 0.02 a grafy neukázali žiadne zvýšenie UE so zvyšujúcim sa počtom čítaní.
V časti 5.4 tohto článku diskutujeme o tom, že operácie zápisu a vymazania tiež nemajú žiadny vzťah k neopraviteľným chybám, takže alternatívna definícia UBER, ktorá je normalizovaná operáciami zápisu alebo vymazania namiesto operácií čítania, nemá žiadny význam.
Preto sme dospeli k záveru, že UBER nie je zmysluplnou metrikou, možno s výnimkou testovania v kontrolovanom prostredí, kde počet čítaní nastavuje experimentátor. Ak sa UBER použije ako metrika počas testovania v teréne, umelo zníži chybovosť pre disky s vysokým počtom čítaní a umelo zvýši chybovosť pre disky s nízkym počtom čítaní, pretože neopraviteľné chyby sa vyskytujú bez ohľadu na počet čítaní.
5.2. Neopraviteľné chyby a RBER.
Relevantnosť RBER sa vysvetľuje skutočnosťou, že slúži ako meradlo na určenie celkovej spoľahlivosti pohonu, najmä na základe pravdepodobnosti neopraviteľných chýb. N. Mielke et al vo svojej práci v roku 2008 ako prví navrhli definovať očakávanú neopraviteľnú chybovosť ako funkciu RBER. Odvtedy mnoho vývojárov systémov používa podobné metódy, ako je napríklad odhad očakávanej neopraviteľnej chybovosti ako funkcie typu RBER a ECC.
Účelom tejto časti je charakterizovať, ako dobre RBER predpovedá neopraviteľné chyby. Začnime s obrázkom 5a, ktorý zobrazuje medián RBER pre množstvo modelov pohonov prvej generácie v porovnaní s percentom dní, počas ktorých sa používali a počas ktorých sa vyskytli neopraviteľné chyby UE. Je potrebné poznamenať, že niektoré zo 16 modelov zobrazených v grafe nie sú zahrnuté v tabuľke 1 z dôvodu nedostatku analytických informácií.
Ryža. 5a. Vzťah medzi stredným RBER a neopraviteľnými chybami pre rôzne modely pohonov.
Ryža. 5b. Vzťah medzi mediánom RBER a neopraviteľnými chybami pre rôzne jednotky rovnakého modelu.
Pripomeňme, že všetky modely v rámci rovnakej generácie používajú rovnaký mechanizmus ECC, takže rozdiely medzi modelmi sú nezávislé od rozdielov ECC. Nevideli sme žiadnu koreláciu medzi incidentmi RBER a UE. Vytvorili sme rovnaký graf pre 95. percentil RBER verzus pravdepodobnosť UE a opäť sme nevideli žiadnu koreláciu.
Ďalej sme analýzu zopakovali na granulárnej úrovni pre jednotlivé pohony, t.j. snažili sme sa zistiť, či existujú pohony, kde vyššia hodnota RBER zodpovedá vyššej frekvencii UE. Ako príklad je na obrázku 5b znázornený medián RBER pre každú jednotku modelu MLC-c oproti počtu UE (výsledky podobné tým, ktoré sa získali pre 95. percentil RBER). Opäť sme nevideli žiadnu koreláciu medzi RBER a UE.
Nakoniec sme vykonali presnejšiu analýzu načasovania, aby sme preskúmali, či by prevádzkové mesiace diskov s vyšším RBER zodpovedali mesiacom, počas ktorých sa vyskytli UE. Obrázok 1 už naznačil, že korelačný koeficient medzi neopraviteľnými chybami a RBER je veľmi nízky. Tiež sme experimentovali s rôznymi spôsobmi vykresľovania pravdepodobnosti UE ako funkcie RBER a nenašli sme žiadne dôkazy o korelácii.
Dospeli sme teda k záveru, že RBER je nespoľahlivá metrika na predpovedanie UE. To môže znamenať, že mechanizmy zlyhania, ktoré vedú k RBER, sa líšia od mechanizmov, ktoré vedú k neopraviteľným chybám (napr. chyby obsiahnuté v jednotlivých bunkách oproti väčším problémom vyskytujúcim sa v celom zariadení).
5.3. Neopraviteľné chyby a opotrebovanie.
Keďže opotrebovanie je jedným z hlavných problémov flash pamäte, obrázok 6 ukazuje dennú pravdepodobnosť neopraviteľných chýb disku ako funkciu cyklov PE.
Obrázok 6. Denná pravdepodobnosť výskytu neopraviteľných chýb pohonu v závislosti od cyklov PE.
Upozorňujeme, že pravdepodobnosť UE sa neustále zvyšuje s vekom disku. Rovnako ako v prípade RBER je však nárast pomalší, ako sa zvyčajne predpokladá: grafy ukazujú, že UE rastú skôr lineárne než exponenciálne s cyklami PE.
Dva závery, ktoré sme urobili pre RBER, platia aj pre UE: po prvé, po dosiahnutí limitu PE cyklu nedochádza k jasnému zvýšeniu chybového potenciálu, ako je to na obrázku 6 pre model MLC-D, ktorého limit PE cyklu je 3000. Po druhé, po druhé chybovosť sa medzi rôznymi modelmi líši, dokonca aj v rámci rovnakej triedy. Tieto rozdiely však nie sú také veľké ako v prípade RBER.
Nakoniec, na podporu našich zistení v časti 5.2, sme zistili, že v rámci jednej modelovej triedy (MLC vs. SLC) modely s najnižšími hodnotami RBER pre daný počet PE cyklov nie sú nevyhnutne modely s najnižšou pravdepodobnosť výskytu UE. Napríklad viac ako 3000 4 PE cyklov mali modely MLC-D hodnoty RBER XNUMX-krát nižšie ako modely MLC-B, ale pravdepodobnosť UE pre rovnaký počet cyklov PE bola o niečo vyššia pre modely MLC-D ako pre MLC-B. modelov.
Obrázok 7. Mesačná pravdepodobnosť výskytu neopraviteľných chýb pohonu ako funkcia prítomnosti predchádzajúcich chýb rôznych typov.
5.4. Neopraviteľné chyby a pracovné zaťaženie.
Z rovnakých dôvodov, pre ktoré môže pracovná záťaž ovplyvniť RBER (pozri časť 4.2.3), možno očakávať, že ovplyvní aj UE. Napríklad, keďže sme zistili, že chyby porušovania čítania ovplyvňujú RBER, operácie čítania môžu tiež zvýšiť pravdepodobnosť neopraviteľných chýb.
Vykonali sme podrobnú štúdiu o vplyve pracovného zaťaženia na EÚ. Ako je však uvedené v časti 5.1, nenašli sme vzťah medzi UE a počtom prečítaní. Zopakovali sme rovnakú analýzu pre operácie zápisu a vymazania a opäť sme nevideli žiadnu koreláciu.
Všimnite si, že na prvý pohľad sa zdá, že je to v rozpore s naším predchádzajúcim pozorovaním, že neopraviteľné chyby súvisia s cyklami PE. Preto možno očakávať koreláciu s počtom operácií zápisu a vymazania.
V našej analýze vplyvu cyklov PE sme však porovnali počet neopraviteľných chýb v danom mesiaci s celkovým počtom cyklov PE, ktoré disk zažil počas svojej doterajšej životnosti, aby sme zmerali vplyv opotrebovania. Pri skúmaní vplyvu pracovného vyťaženia sme sa zamerali na mesiace prevádzky disku, ktoré mali najvyšší počet operácií čítania/zápisu/vymazania v konkrétnom mesiaci, čo tiež malo vyššiu šancu spôsobiť neopraviteľné chyby, t. j. nebrali sme do úvahy vypočítať celkový počet operácií čítania/zápisu/vymazania.
V dôsledku toho sme dospeli k záveru, že chyby pri čítaní, pri zápise a pri neúplnom vymazaní nie sú hlavnými faktormi pri vzniku neopraviteľných chýb.
Ďakujeme, že ste zostali s nami. Páčia sa vám naše články? Chcete vidieť viac zaujímavého obsahu? Podporte nás zadaním objednávky alebo odporučením priateľom, 30% zľava pre užívateľov Habr na unikátny analóg serverov základnej úrovne, ktorý sme pre vás vymysleli: (k dispozícii s RAID1 a RAID10, až 24 jadier a až 40 GB DDR4).
Dell R730xd 2 krát lacnejší? Len tu v Holandsku! Dell R420 – 2x E5-2430 2.2 GHz 6C 128 GB DDR3 2 x 960 GB SSD 1 Gb/s 100 TB – od 99 USD! Čítať o
Zdroj: hab.com