フラッシュ メモリの信頼性: 予想されるものと予想外のもの。 パート 2. USENIX 協会の XIV カンファレンス。 ファイルストレージテクノロジー

フラッシュ メモリの信頼性: 予想されるものと予想外のもの。 パート 1. USENIX 協会の XIV カンファレンス。 ファイルストレージテクノロジー

4.2.2. RBER とディスクの経過時間 (PE サイクルを除く)。

図 1 は、RBER と経過時間 (ディスクが現場に置かれていた月数) との間に有意な相関関係があることを示しています。 ただし、古いドライブにはより多くの PE があり、そのため RBER と PE サイクルの相関が高くなる可能性があるため、これは誤った相関関係である可能性があります。

PE サイクルによって引き起こされる摩耗に対する経年変化の影響を排除するために、コンテナ間のカットオフとして PE サイクル分布の十分位数を使用して、サービスのすべての月をコンテナにグループ化しました。たとえば、最初のコンテナには、XNUMX 番目までのディスク寿命のすべての月が含まれます。 PE サイクル分布の最初の十分位数など。 各コンテナ内で PE サイクルと RBER の間の相関関係が非常に小さいことを確認し (各コンテナが狭い範囲の PE サイクルのみをカバーしているため)、RBER とディスク寿命の間の相関係数をコンテナごとに個別に計算しました。

観察された相関関係は、新しいモデルと古いモデルの違いによるものではなく、単に同じモデルのドライブの使用年数によるものであるため、この分析はモデルごとに個別に実行しました。 上記の方法で PE サイクルの影響を制限した後でも、すべてのドライブ モデルで、ドライブが現場に置かれていた月数とその RBER の間に依然として有意な相関関係があることが観察されました (相関係数の範囲は 0,2 ～ 0,4)。 ）。

米。 3. 新しいディスクと古いディスクの RBER と PE サイクル数の関係は、摩耗による PE サイクルに関係なく、ディスクの使用年数が RBER 値に影響を与えることを示しています。

また、1 歳までの「若い」年齢でのドライブの使用日数と 4 歳以上のドライブの使用日数を分けて、ドライブの使用年数の影響をグラフで視覚化し、それぞれの RBER をプロットしました。 PE サイクル数に対するグループ。 図 3 は、MLC-D ドライブ モデルの結果を示しています。 すべての PE サイクルを通じて、古いディスクのグループと新しいディスクのグループの間で RBER 値に顕著な違いが見られます。

このことから、PE サイクルへの曝露によるメモリ セルの磨耗に関係なく、現場でのディスクの使用日数で測定される使用年数が RBER に大きな影響を与えると結論付けています。 これは、シリコンの経年劣化などの他の要因がディスクの物理的な磨耗に大きな役割を果たしているということを意味します。

4.2.3. RBER とワークロード。

ビット エラーは、次の XNUMX つのメカニズムのいずれかによって引き起こされると考えられています。

1. ストレージエラー メモリセルが時間の経過とともにデータを失う場合の保持エラー
   読み取り妨害エラー。読み取り操作により隣接するセルの内容が損傷します。
2. 書き込みディスターブ エラー。読み取り操作により隣接するセルの内容が損傷します。
3. 不完全消去エラー。消去操作でセルの内容が完全に削除されない場合。

最後の 2015 つのタイプのエラー (読み取りディスターブ、書き込みディスターブ、不完全消去) はワークロードと相関があるため、RBER とワークロードの相関関係を理解することは、さまざまなエラー メカニズムの蔓延を理解するのに役立ちます。 最近の研究では、「現場でのフラッシュ メモリ障害の大規模調査」 (MEZA, J.、WU, Q.、KUMAR, S.、MUTLU, O.「現場でのフラッシュ メモリ障害の大規模調査」) 「2015 ACM SIGMETRICS International Conference on Measurement and Modeling of Computer Systems, New York, 15, SIGMETRICS '177, ACM, pp. 190–XNUMX) の議事録では、この分野ではストレージ エラーが優勢であり、読み取りエラーが主流であると結論付けています。かなりマイナーです。

図 1 は、一部のモデルの、特定の月のディスク寿命における RBER 値と、同じ月の読み取り、書き込み、および消去の数との間の有意な関係を示しています (たとえば、MLC - B の相関係数は 0,2 より高くなります)。モデル、SLC-B の場合は 0,6 より高い）。 ただし、月々の作業負荷は PE サイクルの総数に関係している可能性があるため、これは誤った相関関係である可能性があります。

セクション 4.2.2 で説明したのと同じ方法論を使用して、以前の PE サイクルに基づいて数か月のドライブ操作を分離し、コンテナごとに相関係数を個別に決定することで、PE サイクルの影響からワークロードの影響を分離しました。

MLC-B モデルと SLC-B モデルでは、PE サイクルを制限した場合でも、ディスク寿命のある月の読み取り数とその月の RBER 値との相関関係が維持されることがわかりました。 また、同時書き込みと消去の数に対する読み取りの影響を除外する同様の分析を繰り返し、RBER と読み取り数の相関関係は SLC-B モデルにも当てはまると結論付けました。

図 1 には、RBER と書き込みおよび消去操作との相関関係も示されているため、読み取り、書き込み、消去操作についても同じ分析を繰り返しました。 PE サイクルと読み取りの影響を制限することで、RBER 値と書き込みおよび消去の回数の間には関係がなくなると結論付けています。

したがって、読み取り違反エラーが RBER に重大な影響を与えるディスク モデルが存在します。 一方、RBER が書き込み違反エラーや不完全消去エラーによって影響を受けるという証拠はありません。

4.2.4 RBER とリソグラフィー。

オブジェクト サイズの違いは、同じテクノロジー、つまり MLC または SLC を使用するドライブ モデル間の RBER 値の違いを部分的に説明できる可能性があります。 (この研究に含まれるさまざまなモデルのリソグラフィーの概要については、表 1 を参照してください)。

たとえば、2nm リソグラフィーを備えた 34 つの SLC モデル (モデル SLC-A および SLC-D) の RBER は、2nm マイクロ電子リソグラフィーを備えた 50 つのモデル (モデル SLC-B および SLC-C) の RBER よりも 43 桁高くなります。 MLC モデルの場合、50nm モデル (MLC-B) のみの中央値 RBER が、3nm リソグラフィーを備えた他の 50 つのモデルより 4% 高くなります。 さらに、図 2 に示すように、ドライブが摩耗するにつれて、この RBER の差は XNUMX 倍に増加します。最後に、MLC ドライブと比較して eMLC ドライブの RBER が高いのは、リソグラフィーが薄いことによって説明される可能性があります。 全体として、リソグラフィーが RBER に影響を与えるという明確な証拠があります。

4.2.5. その他のエラーの存在。

RBER と、訂正不能エラーやタイムアウト エラーなどの他のタイプのエラーとの関係、特に、他のタイプのエラーに XNUMX か月さらされた後に RBER 値が高くなるかどうかを調査しました。

図 1 は、前月の RBER が将来の RBER 値を予測する一方で (相関係数が 0,8 より大きい)、訂正不能エラーと RBER の間に有意な相関関係がないことを示しています (図 1 の右端の項目グループ)。 他の種類のエラーの場合、相関係数はさらに低くなります (図には示されていません)。 このペーパーのセクション 5.2 では、RBER と訂正不能エラーの関係をさらに詳しく調査しました。

4.2.6. 他の要因の影響。

私たちのデータでは説明できない、RBER に重大な影響を与える要因があるという証拠を発見しました。 特に、特定のディスク モデルの RBER は、ディスクがデプロイされているクラスターに応じて異なることに気づきました。 良い例は図 4 です。図 XNUMX は、XNUMX つの異なるクラスター内の MLC-D ドライブの PE サイクルの関数として RBER を示し (破線)、ドライブの総数に対するこのモデルの RBER (実線) と比較しています。 ディスクの古さや読み取り数などの要因の影響を制限した場合でも、これらの違いは存続することがわかりました。

これについて考えられる説明の XNUMX つは、ワークロードの読み取り/書き込み比率が最も高いクラスターの RBER が最も高いことが観察されているため、クラスター間のワークロード タイプの違いです。

米。 4a)、b)。 XNUMX つの異なるクラスターの PE サイクルの関数としての RBER 値の中央値、および XNUMX つの異なるクラスターの PE サイクル数に対する読み取り/書き込み比率の依存性。

たとえば、図 4(b) は、MLC-D ドライブ モデルのさまざまなクラスターの読み取り/書き込み比率を示しています。 ただし、読み取り/書き込み比率はすべてのモデルのクラスター間の違いを説明するものではないため、環境要因やその他の外部ワークロード パラメーターなど、データでは考慮されていない他の要因が存在する可能性があります。

4.3. 加速耐久性試験中の RBER。

ほとんどの科学的研究や、産業規模でメディアを購入する際に実施されるテストでは、加速耐久性テストの結果に基づいて、現場でのデバイスの信頼性が予測されます。 私たちは、このようなテストの結果がソリッドステート記憶媒体の操作における実際の経験とどの程度一致しているかを判断することにしました。
Google データセンターに供給された機器の一般的な加速テスト方法を使用して実施されたテスト結果の分析により、フィールド RBER 値が予測よりも大幅に高いことがわかりました。 たとえば、eMLC-a モデルの場合、フィールドで動作するディスクの RBER 中央値 (テスト終了時の PE サイクル数は 600 に達しました) は 1e-05 でしたが、予備的な加速テストの結果によれば、この RBERこの値は 4000 PE サイクルを超える値に相当する必要があります。 これは、実験室テストから得られた RBER 推定値に基づいて現場で RBER 値を正確に予測することが非常に難しいことを示しています。

また、一部の種類のエラーは加速テスト中に再現するのが非常に難しいことにも注意しました。 たとえば、MLC-B モデルの場合、現場のドライブの約 60% で修正不能なエラーが発生し、ドライブの約 80% で不良ブロックが発生します。 ただし、加速耐久性テストでは、ドライブが PE サイクル制限の 80 倍を超えるまで、15000 台のデバイスのいずれも修正不可能なエラーは発生しませんでした。 eMLC モデルの場合、現場のドライブの XNUMX% 以上で修正不可能なエラーが発生しましたが、加速テストでは、そのようなエラーは XNUMX PE サイクルに達した後に発生しました。

また、制御された環境での実験に基づいた以前の研究作業で報告された RBER も調査し、値の範囲が非常に広いと結論付けました。 たとえば、L.M. Grupp とその他の研究者は、2009 年から 2012 年の研究で、PE サイクル制限に近づきつつあるドライブの RBER 値を報告しています。 たとえば、今回の研究で使用したものと同様のリソグラフィ サイズ (25 ～ 50nm) を持つ SLC および MLC デバイスの場合、RBER 値の範囲は 1e-08 ～ 1e-03 であり、テストされたほとんどのドライブ モデルの RBER 値は 1e-06 に近くなります。 XNUMX.

私たちの調査では、PE サイクル制限に達した 3 つのドライブ モデルの RBER は 08e-8 から 08e-16 の範囲でした。 私たちの数値は下限であり、絶対的な最悪の場合には 95 倍になる可能性があることを考慮したり、RBER の XNUMX パーセンタイルを考慮したりしたとしても、私たちの値は依然として大幅に低いです。

全体として、実際の現場での RBER 値は加速耐久性テストに基づく予測値よりも高いですが、他の研究論文で報告され、実験室テストから計算された同様のデバイスのほとんどの RBER よりはまだ低いです。 これは、加速耐久性テストから導出された予測フィールド RBER 値に依存すべきではないことを意味します。

5. 修正不可能なエラー。

このペーパーのセクション 3 で説明した訂正不能エラー (UE) が広範囲に発生していることを考慮して、このセクションではその特性をさらに詳しく検討します。 まず、UE の測定にどのメトリックを使用するか、それが RBER にどのように関連するか、UE がさまざまな要因によってどのように影響されるかについて説明します。

5.1. なぜUBER比率が意味をなさないのか。

訂正不能エラーを特徴付ける標準的な指標は、UBER 訂正不能ビット エラー率、つまり、読み取られたビットの総数に対する訂正不能ビット エラー数の比率です。

このメトリクスは、修正不可能なエラーの数が何らかの形で読み取られたビット数に関連付けられているため、この数値で正規化する必要があることを暗黙的に前提としています。

この仮定は、特定の月に観察されたエラーの数が、同じ期間の読み取り数と高い相関がある (スピアマン相関係数が 0.9 より大きい) ことが判明している、訂正可能なエラーに当てはまります。 このような強い相関関係が存在する理由は、不良ビットが XNUMX つであっても、ECC を使用して訂正可能である限り、不良ビットを含むセルの評価は次のとおりであるため、読み取り操作がアクセスされるたびにエラーの数が増加し続けるためです。エラーが検出されてもすぐには修正されません (ディスクは損傷したビットを持つページを定期的に再書き込みするだけです)。

同じ仮定は、修正不可能なエラーには当てはまりません。 修正不可能なエラーは、破損したブロックをさらに使用することを妨げるため、一度検出されると、そのようなブロックは将来のエラー数に影響を与えません。

この仮定を正式に確認するために、さまざまな相関係数 (Pearson、Spearman、Kendall) を含む、さまざまな指標を使用して、特定の月のディスク寿命における読み取り数と、同じ期間における修正不可能なエラーの数との関係を測定しました。グラフの目視検査だけでなく。 修正不可能なエラーの数に加えて、修正不可能なエラー インシデントの頻度 (つまり、一定期間内にディスクにそのようなインシデントが少なくとも XNUMX 回発生する確率) と読み取り操作との関係も調べました。
読み取り数と修正不可能なエラーの数の間に相関関係があるという証拠は見つかりませんでした。 すべてのドライブ モデルで、相関係数は 0.02 未満であり、グラフでは読み取り数の増加に伴う UE の増加は示されませんでした。

この文書のセクション 5.4 では、書き込みおよび消去操作も訂正不能エラーとは無関係であるため、読み取り操作ではなく書き込みまたは消去操作によって正規化される UBER の代替定義は意味を持たないことについて説明します。

したがって、おそらく読み取り数が実験者によって設定される制御された環境でテストされる場合を除いて、UBER は意味のある指標ではないと結論付けます。 フィールド テスト中に UBER をメトリクスとして使用すると、読み取り回数に関係なく訂正不可能なエラーが発生するため、読み取り回数が多いドライブのエラー率が人為的に低下し、読み取り回数が少ないドライブのエラー率が人為的に上昇します。

5.2. 修正不可能なエラーと RBER。

RBER の関連性は、特に訂正不可能なエラーの可能性に基づいて、ドライブの全体的な信頼性を判断する尺度として機能するという事実によって説明されます。 2008 年の N. Mielke らは、研究の中で、予想される訂正不可能なエラー率を RBER の関数として定義することを最初に提案しました。 それ以来、多くのシステム開発者は、RBER と ECC タイプの関数として予想される訂正不能エラー率を推定するなど、同様の方法を使用してきました。

このセクションの目的は、RBER が訂正不可能なエラーをどの程度正確に予測するかを特徴付けることです。 図 5a から始めましょう。図 16a は、多くの第一世代ドライブ モデルの RBER 中央値を、使用中に訂正不能な UE エラーが発生した日数の割合に対してプロットしています。 グラフに示されている 1 モデルのうちの一部は、分析情報が不足しているため、表 XNUMX に含まれていないことに注意してください。

米。 5a. さまざまなドライブ モデルの RBER 中央値と修正不可能なエラーとの関係。

米。 5b. 同じモデルの異なるドライブにおける RBER 中央値と修正不可能なエラーとの関係。

同じ世代内のすべてのモデルは同じ ECC メカニズムを使用するため、モデル間の違いは ECC の違いとは無関係であることを思い出してください。 RBER と UE インシデントの間に相関関係は見られませんでした。 95 パーセンタイル RBER 対 UE 確率についても同じプロットを作成しましたが、やはり相関関係は見られませんでした。

次に、個々のドライブに対して詳細なレベルで分析を繰り返しました。つまり、より高い RBER 値がより高い UE 周波数に対応するドライブが存在するかどうかを調べようとしました。 例として、図 5b は、MLC-c モデルの各ドライブの RBER 中央値と UE の数をプロットしています (95 パーセンタイル RBER で得られた結果と同様の結果)。 ここでも、RBER と UE の間に相関関係は見られませんでした。

最後に、より正確なタイミング分析を実行して、RBER が高いドライブの稼働月が UE が発生した月に対応するかどうかを調べました。 図 1 は、訂正不能エラーと RBER の間の相関係数が非常に低いことをすでに示しています。 また、UE の確率を RBER の関数としてプロットするさまざまな方法を実験しましたが、相関関係の証拠は見つかりませんでした。

したがって、RBER は UE を予測するための指標としては信頼性が低いと結論付けられます。 これは、RBER につながる障害メカニズムが、修正不可能なエラーにつながるメカニズムとは異なることを意味する可能性があります (たとえば、個々のセルに含まれるエラーとデバイス全体で発生するより大きな問題)。

5.3. 修正不可能なエラーと磨耗。

磨耗はフラッシュ メモリの主な問題の 6 つであるため、図 XNUMX は、PE サイクルの関数として、XNUMX 日あたりの修正不可能なドライブ エラーの確率を示しています。

図 6. PE サイクルに応じた、修正不可能なドライブ エラーの XNUMX 日あたりの発生確率。

UE の確率はドライブの経過時間とともに継続的に増加することに注目してください。 ただし、RBER と同様に、増加は通常想定されているよりも遅いです。グラフは、UE が PE サイクルに伴って指数関数的ではなく直線的に増加することを示しています。

RBER に関して私たちが行った 6 つの結論は、UE にも当てはまります。3000 つは、PE サイクル制限が XNUMX である MLC-D モデルの図 XNUMX のように、PE サイクル制限に達すると、エラーの可能性が明確に増加することはありません。 、同じクラス内であっても、モデルが異なるとエラー率が異なります。 ただし、これらの違いは RBER ほど大きくありません。

最後に、セクション 5.2 での発見を裏付けるために、単一のモデル クラス (MLC 対 SLC) 内で、特定の PE サイクル数で最も低い RBER 値を持つモデルが、必ずしも最も低い RBER 値を持つモデルであるとは限らないことがわかりました。 UEの発生確率。 たとえば、3000 PE サイクルを超えると、MLC-D モデルの RBER 値は MLC-B モデルよりも 4 倍低くなりましたが、同じ数の PE サイクルにおける UE 確率は、MLC-B よりも MLC-D モデルの方がわずかに高かったモデル。

図 7. さまざまな種類の以前のエラーの有無に応じた、修正不可能なドライブ エラーの月次発生確率。

5.4. 修正不可能なエラーと作業負荷。

ワークロードが RBER に影響を与えるのと同じ理由で (セクション 4.2.3 を参照)、UE にも影響を与えることが予想されます。 たとえば、読み取り違反エラーが RBER に影響を与えることが観察されたため、読み取り操作によって修正不可能なエラーが発生する可能性も高くなります。

UE に対するワークロードの影響について詳細な調査を実施しました。 ただし、セクション 5.1 で述べたように、UE と読み取り数の間に関係は見つかりませんでした。 書き込み操作と消去操作について同じ分析を繰り返しましたが、やはり相関関係は見られませんでした。
一見すると、これは、修正不可能なエラーが PE サイクルと相関しているという以前の観察と矛盾しているように見えることに注意してください。 したがって、書き込みおよび消去操作の数との相関関係が十分に期待できます。

ただし、PE サイクルの影響の分析では、摩耗の影響を測定するために、特定の月に修正不可能なエラーの数と、ドライブがこれまでの寿命を通じて経験した PE サイクルの総数を比較しました。 ワークロードの影響を調査する際、特定の月に読み取り/書き込み/消去操作の数が最も多かったドライブ操作の月に注目しました。これらの操作では、修正不可能なエラーが発生する可能性も高くなります。つまり、考慮していませんでした。読み取り/書き込み/消去操作の合計数を考慮します。

その結果、読み取り違反エラー、書き込み違反エラー、不完全消去エラーは訂正不能エラーの主な要因ではないという結論に達しました。

いつもご宿泊いただきありがとうございます。 私たちの記事が気に入っていますか? もっと興味深いコンテンツを見たいですか? 注文したり、友人に勧めたりして私たちをサポートしてください。 Habr ユーザーは、当社があなたのために発明した、エントリーレベルのサーバーに似たユニークな製品を 30% 割引でご利用いただけます。 VPS (KVM) E5-2650 v4 (6 コア) 10GB DDR4 240GB SSD 1Gbps 20 ドルからの真実、またはサーバーを共有する方法? (RAID1 および RAID10、最大 24 コア、最大 40GB DDR4 で利用可能)。

Dell R730xdは2倍安い？ ここだけ 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV 199 ドルから オランダで！ Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - 99 ドルから! について読む インフラストラクチャー企業を構築する方法730 ペニーで 5 ユーロの価値がある Dell R2650xd E4-9000 vXNUMX サーバーを使用したクラスですか?

出所： habr.com