Поузданост флеш меморије: очекивано и неочекивано. Део 2. КСИВ конференција удружења УСЕНИКС. Технологије складиштења датотека

Поузданост флеш меморије: очекивано и неочекивано. Део 1. КСИВ конференција удружења УСЕНИКС. Технологије складиштења датотека

4.2.2. РБЕР и старост диска (без ПЕ циклуса).

Слика 1 показује значајну корелацију између РБЕР-а и старости, што је број месеци током којих је диск био на терену. Међутим, ово може бити лажна корелација јер је вероватно да старији дискови имају више ПЕ-ова и стога је РБЕР више у корелацији са ПЕ циклусима.

Да бисмо елиминисали утицај старости на хабање изазвано ПЕ циклусима, груписали смо све месеце рада у контејнере користећи дециле дистрибуције ПЕ циклуса као граничну вредност између контејнера, на пример, први контејнер садржи све месеце трајања диска до први децил дистрибуције ПЕ циклуса, и тако даље. Проверили смо да је унутар сваког контејнера корелација између ПЕ циклуса и РБЕР-а прилично мала (пошто сваки контејнер покрива само мали опсег ПЕ циклуса), а затим смо израчунали коефицијент корелације између РБЕР-а и старости диска посебно за сваки контејнер.

Ову анализу смо урадили посебно за сваки модел јер све уочене корелације нису последица разлика између млађих и старијих модела, већ искључиво старости погона истог модела. Приметили смо да чак и након ограничавања ефекта ПЕ циклуса на горе описан начин, за све моделе погона и даље постоји значајна корелација између броја месеци колико је погон био на терену и његовог РБЕР-а (коефицијенти корелације су се кретали од 0,2 до 0,4 ).

Пиринач. 3. Однос између РБЕР и броја ПЕ циклуса за нове и старе дискове показује да старост диска утиче на вредност РБЕР без обзира на ПЕ циклусе изазване хабањем.

Такође смо графички визуелизовали ефекат старости диска тако што смо поделили дане коришћења диска у „младом“ узрасту до 1 године и дане коришћења диска старијих од 4 године, а затим смо нацртали РБЕР за сваки група према броју ПЕ циклуса. Слика 3 приказује ове резултате за модел МЛЦ-Д погона. Видимо приметну разлику у вредностима РБЕР-а између група старих и нових дискова током свих ПЕ циклуса.

Из овога закључујемо да старост, мерена данима коришћења диска на терену, има значајан утицај на РБЕР, независно од хабања меморијских ћелија услед излагања ПЕ циклусима. То значи да други фактори, као што је старење силикона, играју велику улогу у физичком хабању диска.

4.2.3. РБЕР и оптерећење.

Сматра се да су грешке у битовима узроковане једним од четири механизма:

1. грешке складиштења Грешке задржавања, када меморијска ћелија губи податке током времена
   Грешке узнемиравања читања, у којима операција читања оштећује садржај суседне ћелије;
2. Грешке узнемиравања писања, у којима операција читања оштећује садржај суседне ћелије;
3. Грешке непотпуног брисања, када операција брисања не брише у потпуности садржај ћелије.

Грешке последње три врсте (ометање читања, ометање писања, непотпуно брисање) су у корелацији са оптерећењем, тако да разумевање корелације између РБЕР-а и радног оптерећења помаже нам да разумемо распрострањеност различитих механизама грешака. У недавној студији, „Обимна студија кварова флеш меморије на терену“ (МЕЗА, Ј., ВУ, К., КУМАР, С., МУТЛУ, О. „Студија великих размера кварова флеш меморије у поље." У Зборнику радова са међународне конференције АЦМ СИГМЕТРИЦС о мерењу и моделовању рачунарских система 2015, Њујорк, 2015, СИГМЕТРИЦС '15, АЦМ, стр. 177–190) закључио је да грешке складиштења преовлађују на терену, док грешке читања прилично су минорни.

Слика 1 показује значајан однос између вредности РБЕР у датом месецу трајања диска и броја читања, уписивања и брисања у истом месецу за неке моделе (на пример, коефицијент корелације је већи од 0,2 за МЛЦ - Б модел и већи од 0,6 за СЛЦ-Б). Међутим, могуће је да је ово лажна корелација, јер месечно оптерећење може бити повезано са укупним бројем циклуса ПЕ.

Користили смо исту методологију описану у одељку 4.2.2 да изолујемо ефекте радног оптерећења од ефеката ПЕ циклуса тако што смо изоловали месеце погона на основу претходних ПЕ циклуса, а затим одређивали коефицијенте корелације посебно за сваки контејнер.

Видели смо да је корелација између броја читања у датом месецу трајања диска и вредности РБЕР у том месецу опстала за моделе МЛЦ-Б и СЛЦ-Б, чак и када су ПЕ циклуси ограничени. Такође смо поновили сличну анализу где смо искључили ефекат читања на број истовремених уписивања и брисања и закључили да корелација између РБЕР-а и броја читања важи за СЛЦ-Б модел.

Слика 1 такође показује корелацију између РБЕР и операција писања и брисања, тако да смо поновили исту анализу за операције читања, писања и брисања. Закључујемо да ограничавањем утицаја ПЕ циклуса и читања нема везе између РБЕР вредности и броја уписа и брисања.

Дакле, постоје модели дискова код којих грешке кршења читања имају значајан утицај на РБЕР. С друге стране, нема доказа да на РБЕР утичу грешке кршења писања и грешке непотпуног брисања.

4.2.4 РБЕР и литографија.

Разлике у величини објекта могу делимично да објасне разлике у вредностима РБЕР између модела погона који користе исту технологију, тј. МЛЦ или СЛЦ. (Погледајте табелу 1 за преглед литографије различитих модела укључених у ову студију).

На пример, 2 СЛЦ модела са 34нм литографијом (модели СЛЦ-А и СЛЦ-Д) имају РБЕР који је за ред величине већи од оног код 2 модела са 50нм микроелектронском литографијом (модели СЛЦ-Б и СЛЦ-Ц). У случају МЛЦ модела, само 43нм модел (МЛЦ-Б) има средњи РБЕР који је 50% већи од остала 3 модела са 50нм литографијом. Штавише, ова разлика у РБЕР-у се повећава за фактор 4 како се дискови троше, као што је приказано на слици 2. Коначно, тања литографија може објаснити већи РБЕР код еМЛЦ диск јединица у поређењу са МЛЦ диск јединицама. Све у свему, имамо јасне доказе да литографија утиче на РБЕР.

4.2.5. Присуство других грешака.

Истражили смо однос између РБЕР-а и других врста грешака, као што су грешке које се не могу исправити, грешке у временском ограничењу, итд., посебно, да ли вредност РБЕР-а постаје већа након месец дана излагања другим врстама грешака.

Слика 1 показује да док РБЕР претходног месеца предвиђа будуће вредности РБЕР (коефицијент корелације већи од 0,8), не постоји значајна корелација између грешака које се не могу исправити и РБЕР (крајња десна група ставки на слици 1). За остале врсте грешака коефицијент корелације је још мањи (није приказан на слици). Даље смо истражили однос између РБЕР и грешака које се не могу исправити у одељку 5.2 овог рада.

4.2.6. Утицај других фактора.

Пронашли смо доказе да постоје фактори који имају значајан утицај на РБЕР које наши подаци не могу да објасне. Конкретно, приметили смо да РБЕР за дати модел диска варира у зависности од кластера у којем је диск распоређен. Добар пример је Слика 4, која приказује РБЕР као функцију ПЕ циклуса за МЛЦ-Д дискове у три различита кластера (испрекидане линије) и упоређује га са РБЕР за овај модел у односу на укупан број дискова (пуна линија). Откривамо да ове разлике и даље постоје чак и када ограничимо утицај фактора као што су старост диска или број читања.

Једно могуће објашњење за ово су разлике у типу радног оптерећења међу кластерима, пошто примећујемо да кластери чији радни оптерећења имају највећи однос читања/писања имају највећи РБЕР.

Пиринач. 4 а), б). Средње вредности РБЕР-а као функција ПЕ циклуса за три различита кластера и зависност односа читања/писања од броја ПЕ циклуса за три различита кластера.

На пример, слика 4(б) приказује односе читања/писања различитих кластера за модел МЛЦ-Д погона. Међутим, однос читања и писања не објашњава разлике између кластера за све моделе, тако да могу постојати и други фактори које наши подаци не узимају у обзир, као што су фактори окружења или други спољни параметри оптерећења.

4.3. РБЕР током убрзаног тестирања издржљивости.

Већина научних радова, као и испитивања која се спроводе приликом куповине медија у индустријским размерама, предвиђају поузданост уређаја на терену на основу резултата убрзаних испитивања издржљивости. Одлучили смо да откријемо колико резултати оваквих тестова одговарају практичном искуству у раду са чврстим медијима за складиштење података.
Анализа резултата тестирања спроведена коришћењем опште методологије убрзаног тестирања опреме која се испоручује у Гоогле дата центре показала је да су вредности РБЕР на терену ​​значајно веће од предвиђених. На пример, за модел еМЛЦ-а, средњи РБЕР за дискове који раде на терену (на крају тестирања број ПЕ циклуса је достигао 600) био је 1е-05, док је према резултатима прелиминарног убрзаног тестирања овај РБЕР вредност треба да одговара више од 4000 ПЕ циклуса. Ово указује да је веома тешко тачно предвидети вредност РБЕР на терену на основу процена РБЕР добијених из лабораторијских тестова.

Такође смо приметили да је неке врсте грешака прилично тешко репродуковати током убрзаног тестирања. На пример, у случају МЛЦ-Б модела, скоро 60% драјвова на терену доживљава грешке које се не могу исправити, а скоро 80% дискова развија лоше блокове. Међутим, током убрзаног тестирања издржљивости, ниједан од шест уређаја није доживео ниједну непоправљиву грешку све док дискови нису достигли више од три пута границе ПЕ циклуса. Код еМЛЦ модела, грешке које се не могу исправити су се јављале у више од 80% погона на терену, док су се током убрзаног тестирања такве грешке дешавале након достизања 15000 ПЕ циклуса.

Такође смо погледали РБЕР пријављен у претходном истраживачком раду, који је био заснован на експериментима у контролисаном окружењу, и закључили да је распон вредности био изузетно широк. На пример, Л.М. Групп и други у свом раду из 2009. -2012. извештавају о вредностима РБЕР-а за погоне који су близу достизања граница ПЕ циклуса. На пример, за СЛЦ и МЛЦ уређаје са величинама литографије сличним онима које користимо у нашем раду (25-50нм), РБЕР вредност се креће од 1е-08 до 1е-03, при чему већина тестираних модела погона има РБЕР вредност близу 1е- 06.

У нашој студији, три модела погона који су достигли границу ПЕ циклуса имали су РБЕР у распону од 3е-08 до 8е-08. Чак и ако узмемо у обзир да су наши бројеви доње границе и да би у апсолутном најгорем случају могли бити 16 пута већи, или узимајући у обзир 95. перцентил РБЕР-а, наше вредности су и даље значајно ниже.

Све у свему, док су стварне вредности РБЕР-а на терену веће од предвиђених вредности на основу убрзаног тестирања издржљивости, оне су и даље ниже од већине РБЕР-ова за сличне уређаје пријављене у другим истраживачким радовима и израчунате из лабораторијских тестова. То значи да се не треба ослањати на предвиђене вредности РБЕР поља које су изведене из убрзаног тестирања издржљивости.

5. Неисправљиве грешке.

С обзиром на распрострањену појаву неисправљивих грешака (УЕ), о којима је било речи у одељку 3 овог рада, у овом одељку ћемо детаљније истражити њихове карактеристике. Почињемо тако што ћемо разговарати о томе коју метрику да користимо за мерење УЕ, како се она односи на РБЕР и како на УЕ утичу различити фактори.

5.1. Зашто УБЕР однос нема смисла.

Стандардна метрика која карактерише грешке које се не могу исправити је УБЕР стопа неисправљивих грешака у биту, односно однос броја неисправљивих грешака у биту и укупног броја прочитаних битова.

Ова метрика имплицитно претпоставља да је број грешака које се не могу исправити некако везан за број прочитаних битова, те стога мора бити нормализован овим бројем.

Ова претпоставка важи за грешке које се могу исправити, где је утврђено да је број уочених грешака у датом месецу у великој мери повезан са бројем читања у истом временском периоду (Спирманов коефицијент корелације већи од 0.9). Разлог за тако јаку корелацију је тај што ће чак и један лош бит, све док се може исправити коришћењем ЕЦЦ-а, наставити да повећава број грешака са сваком операцијом читања којој приступи, пошто је процена ћелије која садржи лош бит не исправља се одмах када се открије грешка (дискови само периодично преписују странице са оштећеним битовима).

Иста претпоставка се не односи на грешке које се не могу исправити. Грешка која се не може исправити онемогућава даљу употребу оштећеног блока, тако да када се открије, такав блок неће утицати на број грешака у будућности.

Да бисмо формално потврдили ову претпоставку, користили смо различите метрике за мерење односа између броја читања у датом месецу трајања диска и броја неисправљивих грешака у истом временском периоду, укључујући различите коефицијенте корелације (Пеарсон, Спеарман, Кендалл) , као и визуелни преглед графикона . Поред броја грешака које се не могу исправити, посматрали смо и учесталост инцидената грешака које се не могу исправити (тј. вероватноћу да ће диск имати бар један такав инцидент током датог временског периода) и њихов однос са операцијама читања.
Нисмо пронашли доказе о корелацији између броја читања и броја грешака које се не могу исправити. За све моделе погона, коефицијенти корелације су били испод 0.02, а графикони нису показали никакво повећање УЕ како се повећавао број читања.

У одељку 5.4 овог рада разматрамо да операције писања и брисања такође немају везе са грешкама које се не могу исправити, тако да алтернативна дефиниција УБЕР-а, која је нормализована операцијама писања или брисања уместо операцијама читања, нема смисла.

Стога закључујемо да УБЕР није значајна метрика, осим можда када се тестира у контролисаним окружењима где број читања поставља експериментатор. Ако се УБЕР користи као метрика током тестирања на терену, он ће вештачки смањити стопу грешке за диск јединице са великим бројем читања и вештачки повећати стопу грешке за диск јединице са малим бројем читања, пошто се грешке које се не могу исправити јављају без обзира на број читања.

5.2. Неисправљиве грешке и РБЕР.

Релевантност РБЕР-а се објашњава чињеницом да он служи као мера за одређивање укупне поузданости погона, посебно на основу вероватноће грешака које се не могу исправити. У свом раду, Н. Миелке и сарадници су 2008. године први предложили дефинисање очекиване стопе непоправљиве грешке као функције РБЕР-а. Од тада, многи програмери система су користили сличне методе, као што је процена очекиване неисправљиве стопе грешке као функције типа РБЕР и ЕЦЦ.

Сврха овог одељка је да окарактерише колико добро РБЕР предвиђа грешке које се не могу исправити. Почнимо са Сликом 5а, која приказује средњи РБЕР за бројне моделе погона прве генерације у односу на проценат дана када су били у употреби и који су имали неисправљиве грешке УЕ. Треба напоменути да неки од 16 модела приказаних на графикону нису укључени у табелу 1 због недостатка аналитичких информација.

Пиринач. 5а. Однос између средњег РБЕР-а и грешака које се не могу исправити за различите моделе погона.

Пиринач. 5б. Однос између средњег РБЕР-а и грешака које се не могу исправити за различите драјвове истог модела.

Подсетимо се да сви модели у оквиру исте генерације користе исти ЕЦЦ механизам, тако да су разлике између модела независне од ЕЦЦ разлика. Нисмо видели никакву корелацију између инцидената РБЕР и УЕ. Направили смо исти графикон за 95. перцентил РБЕР у односу на вероватноћу УЕ и поново нисмо видели никакву корелацију.

Затим смо поновили анализу грануларности појединачних дискова, односно покушали смо да сазнамо да ли постоје дискови на којима већа РБЕР вредност одговара вишој фреквенцији УЕ. Као пример, Слика 5б приказује средњи РБЕР за сваки диск МЛЦ-ц модела у односу на број УЕ (резултати слични онима добијеним за 95. перцентил РБЕР). Опет, нисмо видели никакву корелацију између РБЕР-а и УЕ.

Коначно, извршили смо прецизнију анализу времена да бисмо испитали да ли ће месеци рада погона са већим РБЕР-ом одговарати месецима током којих су се појавила УЕ. Слика 1 је већ показала да је коефицијент корелације између грешака које се не могу исправити и РБЕР-а веома низак. Такође смо експериментисали са различитим начинима цртања вероватноће УЕ као функције РБЕР-а и нисмо пронашли доказе о корелацији.

Дакле, закључујемо да је РБЕР непоуздана метрика за предвиђање УЕ. То може значити да се механизми отказа који доводе до РБЕР разликују од механизама који доводе до грешака које се не могу исправити (нпр. грешке садржане у појединачним ћелијама у односу на веће проблеме који се јављају са целим уређајем).

5.3. Неисправљиве грешке и хабање.

Пошто је хабање један од главних проблема флеш меморије, слика 6 приказује дневну вероватноћу неисправљивих грешака у погону као функцију ПЕ циклуса.

Слика 6. Дневна вероватноћа појаве неисправљивих погонских грешака у зависности од ПЕ циклуса.

Примећујемо да се вероватноћа УЕ непрекидно повећава са старошћу диска. Међутим, као и код РБЕР-а, повећање је спорије него што се обично претпоставља: ​​графикони показују да УЕ расту линеарно, а не експоненцијално са ПЕ циклусима.

Два закључка која смо направили за РБЕР такође се односе на УЕ: прво, нема јасног повећања потенцијала грешке када се достигне граница ПЕ циклуса, као што је на слици 6 за модел МЛЦ-Д чија је граница ПЕ циклуса 3000. Друго, друго , стопа грешке варира међу различитим моделима, чак и унутар исте класе. Међутим, ове разлике нису тако велике као за РБЕР.

Коначно, у прилог нашим налазима у одељку 5.2, открили смо да у оквиру једне класе модела (МЛЦ вс. СЛЦ), модели са најнижим вредностима РБЕР за дати број ПЕ циклуса нису нужно они са најнижим вероватноћа појаве УЕ. На пример, преко 3000 ПЕ циклуса, МЛЦ-Д модели су имали РБЕР вредности 4 пута ниже од МЛЦ-Б модела, али је вероватноћа УЕ за исти број ПЕ циклуса била нешто већа за МЛЦ-Д моделе него за МЛЦ-Б модели.

Слика 7. Месечна вероватноћа појаве неисправљивих грешака у погону у функцији присуства претходних грешака различитих типова.

5.4. Неисправљиве грешке и оптерећење.

Из истих разлога због којих радно оптерећење може утицати на РБЕР (видети одељак 4.2.3), може се очекивати да ће такође утицати на УЕ. На пример, пошто смо приметили да грешке кршења читања утичу на РБЕР, операције читања такође могу повећати вероватноћу грешака које се не могу исправити.

Спровели смо детаљну студију о утицају радног оптерећења на УЕ. Међутим, као што је наведено у одељку 5.1, нисмо пронашли везу између УЕ и броја читања. Поновили смо исту анализу за операције писања и брисања и поново нисмо видели никакву корелацију.
Имајте на уму да се на први поглед чини да је ово у супротности са нашим претходним запажањем да су грешке које се не могу исправити у корелацији са ПЕ циклусима. Стога се може очекивати корелација са бројем операција писања и брисања.

Међутим, у нашој анализи утицаја ПЕ циклуса, упоредили смо број непоправљивих грешака у датом месецу са укупним бројем ПЕ циклуса које је погон доживео током свог животног века до данас како бисмо измерили ефекат хабања. Приликом проучавања утицаја радног оптерећења, посматрали смо месеце рада диска који су имали највећи број операција читања/уписивања/брисања у одређеном месецу, што је такође имало веће шансе да изазове грешке које се не могу исправити, тј. нисмо узели у обзир рачуна укупан број операција читања/писања/брисања.

Као резултат тога, дошли смо до закључка да грешке у читању, грешке у писању и грешке непотпуног брисања нису главни фактори у развоју неисправљивих грешака.

Хвала вам што сте остали са нама. Да ли вам се свиђају наши чланци? Желите да видите још занимљивијег садржаја? Подржите нас тако што ћете наручити или препоручити пријатељима, 30% попуста за кориснике Хабра на јединствени аналог сервера почетног нивоа, који смо ми измислили за вас: Цела истина о ВПС (КВМ) Е5-2650 в4 (6 језгара) 10ГБ ДДР4 240ГБ ССД 1Гбпс од 20 долара или како делити сервер? (доступно са РАИД1 и РАИД10, до 24 језгра и до 40 ГБ ДДР4).

Делл Р730кд 2 пута јефтинији? Само овде 2 к Интел ТетраДеца-Цоре Ксеон 2к Е5-2697в3 2.6ГХз 14Ц 64ГБ ДДР4 4к960ГБ ССД 1Гбпс 100 ТВ од 199 УСД у Холандији! Делл Р420 - 2к Е5-2430 2.2Гхз 6Ц 128ГБ ДДР3 2к960ГБ ССД 1Гбпс 100ТБ - од 99 долара! Читали о Како изградити инфраструктурну корпорацију. класе уз коришћење Делл Р730кд Е5-2650 в4 сервера у вредности од 9000 евра за пени?

Извор: ввв.хабр.цом