4.2.2. RBER i wiek dysku (z wyłączeniem cykli PE).
Rysunek 1 pokazuje istotną korelację między RBER a wiekiem, czyli liczbą miesięcy, przez które dysk znajdował się w terenie. Może to jednak być fałszywa korelacja, ponieważ jest prawdopodobne, że starsze dyski mają więcej PE i dlatego RBER jest bardziej skorelowany z cyklami PE.
Aby wyeliminować wpływ wieku na zużycie spowodowane cyklami PE, wszystkie miesiące pracy pogrupowaliśmy w kontenery, stosując decyle rozkładu cykli PE jako granicę między kontenerami, przykładowo pierwszy pojemnik zawiera wszystkie miesiące żywotności dysku do pierwszy decyl rozkładu cykli PE i tak dalej. Sprawdziliśmy, że w obrębie każdego pojemnika korelacja pomiędzy cyklami PE i RBER jest dość mała (ponieważ każdy pojemnik obejmuje jedynie niewielki zakres cykli PE), a następnie obliczyliśmy współczynnik korelacji pomiędzy RBER i wiekiem dysku oddzielnie dla każdego pojemnika.
Analizę tę przeprowadziliśmy oddzielnie dla każdego modelu, gdyż zaobserwowane korelacje nie wynikają z różnic pomiędzy młodszym i starszym modelem, a jedynie z wieku dysków tego samego modelu. Zaobserwowaliśmy, że nawet po ograniczeniu wpływu cykli PE w sposób opisany powyżej, dla wszystkich modeli napędów nadal występowała istotna korelacja pomiędzy liczbą miesięcy przebywania dysku w terenie a jego RBER (współczynniki korelacji wahały się od 0,2 do 0,4 ).
Ryż. 3. Zależność pomiędzy RBER a liczbą cykli PE dla tarcz nowych i starych pokazuje, że wiek tarczy wpływa na wartość RBER niezależnie od liczby cykli PE spowodowanej zużyciem.
Zwizualizowaliśmy także graficznie wpływ wieku dysku, dzieląc dni użytkowania dysku w „młodym” wieku do 1 roku życia i dni użytkowania dysku w wieku powyżej 4 lat, a następnie wykreśliliśmy RBER każdego grupę względem liczby cykli PE. Rysunek 3 przedstawia te wyniki dla modelu napędu MLC-D. Widzimy zauważalną różnicę w wartościach RBER pomiędzy grupami starych i nowych dysków we wszystkich cyklach PE.
Na tej podstawie wnioskujemy, że wiek mierzony liczbą dni używania dysku w terenie ma znaczący wpływ na RBER, niezależnie od zużycia komórek pamięci w wyniku narażenia na cykle PE. Oznacza to, że inne czynniki, takie jak starzenie się krzemu, odgrywają dużą rolę w fizycznym zużyciu dysku.
4.2.3. RBER i obciążenie pracą.
Uważa się, że błędy bitowe są spowodowane jednym z czterech mechanizmów:
- błędy przechowywania Błędy przechowywania, gdy komórka pamięci z czasem traci dane
Błędy zakłócające odczyt, w których operacja odczytu uszkadza zawartość sąsiedniej komórki; - Błędy zakłócające zapis, w których operacja odczytu uszkadza zawartość sąsiedniej komórki;
- Błędy niekompletnego kasowania, gdy operacja kasowania nie usuwa całkowicie zawartości komórki.
Błędy trzech ostatnich typów (zakłócenia odczytu, zakłócenia zapisu, niepełne kasowanie) są skorelowane z obciążeniem pracą, więc zrozumienie korelacji między RBER a obciążeniem pracą pomaga nam zrozumieć występowanie różnych mechanizmów błędów. W niedawnym badaniu „A Large-scale study of flash memory Failures in the Field” (MEZA, J., WU, Q., KUMAR, S., MUTLU, O. „A Large-scale study of flash memory Failures in the Field” (MEZA, J., WU, Q., KUMAR, S., MUTLU, O). w terenie.” W Proceedings of the 2015 ACM SIGMETRICS International Conference on Measurement and Modeling of Computer Systems, Nowy Jork, 2015, SIGMETRICS '15, ACM, s. 177–190) stwierdził, że w terenie dominują błędy przechowywania, podczas gdy błędy odczytu są dość niewielkie.
Rysunek 1 pokazuje istotną zależność pomiędzy wartością RBER w danym miesiącu życia dysku a liczbą odczytów, zapisów i kasowań w tym samym miesiącu dla niektórych modeli (przykładowo współczynnik korelacji jest wyższy niż 0,2 dla MLC - B modelu i powyżej 0,6 dla SLC-B). Możliwe jest jednak, że jest to fałszywa korelacja, ponieważ miesięczne obciążenie pracą może być powiązane z całkowitą liczbą cykli WF.
Zastosowaliśmy tę samą metodologię opisaną w rozdziale 4.2.2, aby wyizolować wpływ obciążenia pracą od efektów cykli PE poprzez wyodrębnienie miesięcy pracy napędu na podstawie poprzednich cykli PE, a następnie określenie współczynników korelacji osobno dla każdego kontenera.
Zaobserwowaliśmy, że korelacja pomiędzy liczbą odczytów w danym miesiącu życia dysku a wartością RBER w tym miesiącu utrzymywała się dla modeli MLC-B i SLC-B, nawet przy ograniczeniu cykli PE. Powtórzyliśmy również podobną analizę, w której wykluczyliśmy wpływ odczytów na liczbę jednoczesnych zapisów i kasowań i doszliśmy do wniosku, że korelacja między RBER a liczbą odczytów jest prawdziwa w przypadku modelu SLC-B.
Rysunek 1 pokazuje również korelację między RBER a operacjami zapisu i kasowania, dlatego powtórzyliśmy tę samą analizę dla operacji odczytu, zapisu i kasowania. Dochodzimy do wniosku, że ograniczając wpływ cykli PE i odczytów, nie ma związku pomiędzy wartością RBER a liczbą zapisów i kasowań.
Istnieją zatem modele dysków, w których błędy naruszenia odczytu mają znaczący wpływ na RBER. Z drugiej strony nie ma dowodów na to, że na RBER wpływają błędy naruszenia zasad zapisu i błędy niekompletnego kasowania.
4.2.4 RBER i litografia.
Różnice w wielkości obiektu mogą częściowo wyjaśniać różnice w wartościach RBER pomiędzy modelami dysków korzystającymi z tej samej technologii, tj. MLC lub SLC. (Przegląd litografii różnych modeli uwzględnionych w tym badaniu znajduje się w tabeli 1).
Na przykład 2 modele SLC z litografią 34 nm (modele SLC-A i SLC-D) mają RBER o rząd wielkości wyższy niż 2 modele z litografią mikroelektroniczną 50 nm (modele SLC-B i SLC-C). W przypadku modeli MLC jedynie model 43 nm (MLC-B) ma medianę RBER o 50% wyższą niż pozostałe 3 modele z litografią 50 nm. Co więcej, ta różnica w RBER wzrasta czterokrotnie w miarę zużywania się dysków, jak pokazano na rysunku 4. Wreszcie cieńsza litografia może wyjaśniać wyższy RBER dysków eMLC w porównaniu z dyskami MLC. Ogólnie rzecz biorąc, mamy wyraźne dowody na to, że litografia wpływa na RBER.
4.2.5. Obecność innych błędów.
Zbadaliśmy związek pomiędzy RBER a innymi rodzajami błędów, takimi jak błędy nienaprawialne, błędy przekroczenia limitu czasu itp., w szczególności czy wartość RBER wzrasta po miesiącu narażenia na inne rodzaje błędów.
Rysunek 1 pokazuje, że chociaż RBER z poprzedniego miesiąca pozwala przewidzieć przyszłe wartości RBER (współczynnik korelacji większy niż 0,8), nie ma istotnej korelacji pomiędzy niemożliwymi do naprawienia błędami a RBER (grupa pozycji znajdująca się najbardziej na prawo na rysunku 1). W przypadku pozostałych typów błędów współczynnik korelacji jest jeszcze niższy (nie pokazano na rysunku). W sekcji 5.2 tego artykułu szczegółowo zbadaliśmy związek między RBER a błędami niemożliwymi do naprawienia.
4.2.6. Wpływ innych czynników.
Znaleźliśmy dowody na to, że istnieją czynniki mające znaczący wpływ na RBER, których nie mogliśmy uwzględnić w naszych danych. W szczególności zauważyliśmy, że RBER dla danego modelu dysku różni się w zależności od klastra, w którym dysk jest wdrażany. Dobrym przykładem jest rysunek 4, który pokazuje RBER jako funkcję cykli PE dla dysków MLC-D w trzech różnych klastrach (linie przerywane) i porównuje go z RBER dla tego modelu w odniesieniu do całkowitej liczby dysków (linia ciągła). Odkryliśmy, że różnice te utrzymują się nawet wtedy, gdy ograniczymy wpływ takich czynników, jak wiek dysku lub liczba odczytów.
Jednym z możliwych wyjaśnień są różnice w typie obciążenia pomiędzy klastrami, ponieważ obserwujemy, że klastry, których obciążenia mają najwyższe współczynniki odczytu/zapisu, mają najwyższy RBER.
Ryż. 4 a), b). Mediana wartości RBER w funkcji cykli PE dla trzech różnych klastrów oraz zależność współczynnika odczytu/zapisu od liczby cykli PE dla trzech różnych klastrów.
Na przykład rysunek 4(b) przedstawia współczynniki odczytu/zapisu w różnych klastrach dla modelu dysku MLC-D. Jednak współczynnik odczytu/zapisu nie wyjaśnia różnic między klastrami dla wszystkich modeli, więc mogą istnieć inne czynniki, których nasze dane nie uwzględniają, takie jak czynniki środowiskowe lub inne zewnętrzne parametry obciążenia.
4.3. RBER podczas przyspieszonych badań wytrzymałościowych.
Większość prac naukowych, a także badań prowadzonych przy zakupie mediów na skalę przemysłową, przewiduje niezawodność urządzeń w terenie w oparciu o wyniki przyspieszonych testów wytrzymałościowych. Postanowiliśmy sprawdzić, na ile wyniki takich testów odpowiadają praktycznym doświadczeniom w obsłudze nośników półprzewodnikowych.
Analiza wyników testów przeprowadzonych ogólną metodologią przyspieszonych testów sprzętu dostarczanego do centrów danych Google wykazała, że wartości terenowe RBER są znacząco wyższe od przewidywanych. Przykładowo dla modelu eMLC-a mediana RBER dla dysków eksploatowanych w terenie (na koniec badań liczba cykli PE osiągnęła 600) wyniosła 1e-05, natomiast według wyników wstępnych testów przyspieszonych ten RBER wartość powinna odpowiadać ponad 4000 cyklom PE. Oznacza to, że bardzo trudno jest dokładnie przewidzieć wartość RBER w terenie na podstawie szacunków RBER uzyskanych z testów laboratoryjnych.
Zauważyliśmy również, że niektóre rodzaje błędów są dość trudne do odtworzenia podczas przyspieszonych testów. Na przykład w przypadku modelu MLC-B prawie 60% dysków w terenie doświadcza niemożliwych do naprawienia błędów, a u prawie 80% dysków powstają uszkodzone bloki. Jednak podczas przyspieszonych testów wytrzymałościowych w żadnym z sześciu urządzeń nie wystąpiły żadne niemożliwe do naprawienia błędy, dopóki dyski nie osiągnęły ponad trzykrotności limitu cykli PE. W przypadku modeli eMLC błędy nienaprawialne wystąpiły w ponad 80% napędów w terenie, natomiast podczas testów przyspieszonych błędy takie pojawiały się po przekroczeniu 15000 XNUMX cykli PE.
Przyjrzeliśmy się także RBER podanemu w poprzednich pracach badawczych, które opierały się na eksperymentach w kontrolowanym środowisku i doszliśmy do wniosku, że zakres wartości jest niezwykle szeroki. Na przykład L. M. Grupp i inni w swoim raporcie z prac za lata 2009-2012 Wartości RBER dla dysków, które są bliskie osiągnięcia limitów cyklu PE. Na przykład dla urządzeń SLC i MLC o rozmiarach litograficznych podobnych do stosowanych w naszej pracy (25-50 nm) wartość RBER waha się od 1e-08 do 1e-03, przy czym większość testowanych modeli napędów ma wartość RBER bliską 1e- 06.
W naszym badaniu trzy modele napędów, które osiągnęły limit cyklu PE, miały RBER w zakresie od 3e-08 do 8e-08. Nawet biorąc pod uwagę, że nasze liczby są dolnymi granicami i w absolutnie najgorszym przypadku mogą być 16 razy większe, lub biorąc pod uwagę 95. percentyl RBER, nasze wartości są nadal znacznie niższe.
Ogólnie rzecz biorąc, chociaż rzeczywiste wartości RBER w terenie są wyższe niż wartości przewidywane na podstawie przyspieszonych testów trwałości, są one nadal niższe niż większość RBER dla podobnych urządzeń podanych w innych artykułach naukowych i obliczonych na podstawie testów laboratoryjnych. Oznacza to, że nie należy polegać na przewidywanych terenowych wartościach RBER, które zostały wyprowadzone z przyspieszonych testów wytrzymałościowych.
5. Błędy nie do naprawienia.
Biorąc pod uwagę powszechne występowanie błędów niemożliwych do naprawienia (UE), które omówiono w części 3 tego artykułu, w tej sekcji przyjrzymy się bardziej szczegółowo ich charakterystyce. Zaczynamy od omówienia, jakiego miernika użyć do pomiaru UE, jego powiązania z RBER i wpływu różnych czynników na UE.
5.1. Dlaczego współczynnik UBER nie ma sensu.
Standardową metryką charakteryzującą błędy niekorygowalne jest współczynnik błędów bitowych niekorygowanych UBER, czyli stosunek liczby niekorygowanych błędów bitowych do całkowitej liczby odczytanych bitów.
Metryka ta domyślnie zakłada, że liczba niemożliwych do naprawienia błędów jest w jakiś sposób powiązana z liczbą odczytanych bitów i dlatego należy ją znormalizować według tej liczby.
Założenie to obowiązuje dla błędów możliwych do skorygowania, gdzie liczba błędów zaobserwowanych w danym miesiącu jest silnie skorelowana z liczbą odczytów w tym samym okresie (współczynnik korelacji Spearmana większy niż 0.9). Powodem tak silnej korelacji jest to, że nawet jeden zły bit, o ile można go skorygować za pomocą ECC, będzie w dalszym ciągu zwiększał liczbę błędów przy każdej operacji odczytu, do której uzyska dostęp, ponieważ ocena komórki zawierającej zły bit jest nie są natychmiast naprawiane w przypadku wykrycia błędu (dyski jedynie okresowo zapisują strony z uszkodzonymi bitami).
To samo założenie nie dotyczy błędów niemożliwych do naprawienia. Niemożliwy do naprawienia błąd uniemożliwia dalsze użytkowanie uszkodzonego bloku, więc raz wykryty taki blok nie będzie miał wpływu na liczbę błędów w przyszłości.
Aby formalnie potwierdzić to założenie, wykorzystaliśmy różne metryki do pomiaru zależności pomiędzy liczbą odczytów w danym miesiącu życia dysku a liczbą nienaprawialnych błędów w tym samym okresie, z uwzględnieniem różnych współczynników korelacji (Pearson, Spearman, Kendall). , a także wizualną kontrolę wykresów . Oprócz liczby błędów nienaprawialnych przyjrzeliśmy się także częstotliwości incydentów błędów nienaprawialnych (tj. prawdopodobieństwu, że na dysku wystąpi co najmniej jeden taki incydent w danym okresie) i ich powiązaniu z operacjami odczytu.
Nie znaleźliśmy żadnych dowodów na korelację między liczbą odczytów a liczbą niemożliwych do naprawienia błędów. Dla wszystkich modeli dysków współczynniki korelacji były poniżej 0.02, a wykresy nie wykazały wzrostu UE wraz ze wzrostem liczby odczytów.
W sekcji 5.4 tego artykułu omawiamy, że operacje zapisu i kasowania również nie mają związku z błędami, których nie można naprawić, zatem alternatywna definicja UBERa, która jest normalizowana przez operacje zapisu lub kasowania zamiast operacji odczytu, nie ma żadnego znaczenia.
Dlatego dochodzimy do wniosku, że UBER nie jest znaczącym miernikiem, być może z wyjątkiem testów w kontrolowanych środowiskach, w których liczbę odczytów ustala eksperymentator. Jeśli UBER zostanie użyty jako miernik podczas testów w terenie, sztucznie obniży poziom błędów w przypadku dysków z dużą liczbą odczytów i sztucznie zawyży współczynnik błędów w przypadku dysków z małą liczbą odczytów, ponieważ błędy, których nie można naprawić, występują niezależnie od liczby odczytów.
5.2. Błędy nie do naprawienia i RBER.
Znaczenie RBER tłumaczy się tym, że służy on jako miara określenia ogólnej niezawodności napędu, w szczególności na podstawie prawdopodobieństwa wystąpienia niemożliwych do naprawienia błędów. W swojej pracy N. Mielke i in. w 2008 roku jako pierwsi zaproponowali zdefiniowanie oczekiwanego poziomu błędów niemożliwych do skorygowania w funkcji RBER. Od tego czasu wielu twórców systemów stosowało podobne metody, takie jak szacowanie oczekiwanego poziomu błędów niemożliwych do skorygowania w funkcji typu RBER i ECC.
Celem tej sekcji jest scharakteryzowanie, jak dobrze RBER przewiduje błędy nienaprawialne. Zacznijmy od rysunku 5a, który przedstawia medianę RBER dla szeregu modeli dysków pierwszej generacji w porównaniu z odsetkiem dni ich używania, podczas których wystąpiły niemożliwe do naprawienia błędy UE. Należy zauważyć, że niektóre z 16 modeli pokazanych na wykresie nie zostały ujęte w tabeli 1 ze względu na brak informacji analitycznych.
Ryż. 5a. Zależność mediany RBER od błędów niekorygowalnych dla różnych modeli napędów.
Ryż. 5b. Zależność między medianą RBER a błędami niemożliwymi do naprawienia dla różnych dysków tego samego modelu.
Przypomnijmy, że wszystkie modele tej samej generacji korzystają z tego samego mechanizmu ECC, zatem różnice pomiędzy modelami są niezależne od różnic ECC. Nie zaobserwowaliśmy żadnej korelacji pomiędzy incydentami RBER i UE. Stworzyliśmy ten sam wykres dla 95. percentyla RBER w funkcji prawdopodobieństwa UE i ponownie nie zaobserwowaliśmy żadnej korelacji.
Następnie powtórzyliśmy analizę na poziomie szczegółowym dla poszczególnych dysków, czyli próbowaliśmy dowiedzieć się, czy istnieją dyski, w których wyższa wartość RBER odpowiada wyższej częstotliwości UE. Jako przykład, rysunek 5b przedstawia medianę RBER dla każdego napędu modelu MLC-c w funkcji liczby UE (wyniki podobne do tych uzyskanych dla 95. percentyla RBER). Ponownie nie zaobserwowaliśmy żadnej korelacji pomiędzy RBER i UE.
Na koniec przeprowadziliśmy bardziej precyzyjną analizę czasu, aby sprawdzić, czy miesiące pracy dysków o wyższym RBER będą odpowiadać miesiącom, w których wystąpiły UE. Rysunek 1 pokazał już, że współczynnik korelacji między błędami nienaprawialnymi a RBER jest bardzo niski. Eksperymentowaliśmy także z różnymi sposobami wykreślania prawdopodobieństwa UE jako funkcji RBER i nie znaleźliśmy żadnych dowodów na korelację.
Zatem dochodzimy do wniosku, że RBER jest niewiarygodnym miernikiem do przewidywania UE. Może to oznaczać, że mechanizmy awarii prowadzące do RBER różnią się od mechanizmów prowadzących do błędów nienaprawialnych (np. błędów zawartych w poszczególnych komórkach kontra większych problemów występujących w całym urządzeniu).
5.3. Niemożliwe do naprawienia błędy i zużycie.
Ponieważ zużycie jest jednym z głównych problemów pamięci flash, rysunek 6 przedstawia dzienne prawdopodobieństwo wystąpienia niemożliwych do naprawienia błędów napędu w funkcji cykli PE.
Rysunek 6. Dzienne prawdopodobieństwo wystąpienia nienaprawialnych błędów napędu w zależności od cykli PE.
Zauważamy, że prawdopodobieństwo wystąpienia UE stale rośnie wraz z wiekiem dysku. Jednakże, podobnie jak w przypadku RBER, wzrost jest wolniejszy niż zwykle zakłada się: wykresy pokazują, że UE rosną liniowo, a nie wykładniczo wraz z cyklami PE.
Dwa wnioski, które wyciągnęliśmy dla RBER, odnoszą się również do UE: po pierwsze, nie ma wyraźnego wzrostu potencjału błędu po osiągnięciu limitu cykli PE, jak na rysunku 6 dla modelu MLC-D, którego limit cykli PE wynosi 3000. Po drugie, po drugie, , poziom błędów różni się w zależności od modelu, nawet w obrębie tej samej klasy. Różnice te nie są jednak tak duże, jak w przypadku RBER.
Wreszcie, na poparcie naszych ustaleń w sekcji 5.2, odkryliśmy, że w ramach jednej klasy modeli (MLC vs. SLC) modele o najniższych wartościach RBER dla danej liczby cykli PE niekoniecznie są tymi o najniższych prawdopodobieństwo wystąpienia UE. Przykładowo, przy 3000 cyklach PE modele MLC-D miały wartości RBER 4 razy mniejsze niż modele MLC-B, ale prawdopodobieństwo UE dla tej samej liczby cykli PE było nieco wyższe dla modeli MLC-D niż dla MLC-B modele.
Rysunek 7. Miesięczne prawdopodobieństwo wystąpienia nienaprawialnych błędów napędu w funkcji obecności wcześniejszych błędów różnego typu.
5.4. Błędy i obciążenie pracą nie do naprawienia.
Z tych samych powodów, dla których obciążenie pracą może wpływać na RBER (patrz sekcja 4.2.3), można oczekiwać, że będzie miało ono również wpływ na UE. Na przykład, ponieważ zaobserwowaliśmy, że błędy naruszenia zasad odczytu wpływają na RBER, operacje odczytu mogą również zwiększać prawdopodobieństwo wystąpienia błędów niemożliwych do naprawienia.
Przeprowadziliśmy szczegółowe badanie dotyczące wpływu obciążenia pracą na UE. Jednakże, jak zauważono w sekcji 5.1, nie znaleźliśmy związku między UE a liczbą odczytów. Powtórzyliśmy tę samą analizę dla operacji zapisu i kasowania i ponownie nie zauważyliśmy żadnej korelacji.
Należy zauważyć, że na pierwszy rzut oka wydaje się to sprzeczne z naszą wcześniejszą obserwacją, że błędy nienaprawialne są skorelowane z cyklami PE. Dlatego można się spodziewać korelacji z liczbą operacji zapisu i kasowania.
Jednakże w naszej analizie wpływu cykli PE porównaliśmy liczbę niemożliwych do naprawienia błędów w danym miesiącu z całkowitą liczbą cykli PE, które napęd przeszedł przez cały dotychczasowy okres jego użytkowania, aby zmierzyć wpływ zużycia. Badając wpływ obciążenia pracą, przyjrzeliśmy się miesiącom pracy dysku, w których wystąpiła największa liczba operacji odczytu/zapisu/kasowania w danym miesiącu, co również wiązało się z większym ryzykiem spowodowania błędów niemożliwych do naprawienia, tj. nie uwzględniliśmy uwzględnić całkowitą liczbę operacji odczytu/zapisu/kasowania.
W rezultacie doszliśmy do wniosku, że błędy naruszenia odczytu, błędy naruszenia zapisu i błędy niekompletnego kasowania nie są głównymi czynnikami powodującymi powstawanie błędów, których nie można naprawić.
Dziękujemy za pobyt z nami. Podobają Ci się nasze artykuły? Chcesz zobaczyć więcej ciekawych treści? Wesprzyj nas składając zamówienie lub polecając znajomym, 30% zniżki dla użytkowników Habr na unikalny odpowiednik serwerów klasy podstawowej, który został przez nas wymyślony dla Ciebie: (dostępne z RAID1 i RAID10, do 24 rdzeni i do 40 GB DDR4).
Dell R730xd 2 razy tańszy? Tylko tutaj w Holandii! Dell R420 — 2x E5-2430 2.2 GHz 6C 128 GB DDR3 2x960 GB SSD 1 Gb/s 100 TB — od 99 USD! Czytać o
Źródło: www.habr.com