플래시 메모리 신뢰성: 예상된 것과 예상치 못한 것. 2부. USENIX 협회의 XIV 컨퍼런스. 파일 저장 기술

플래시 메모리 신뢰성: 예상된 것과 예상치 못한 것. 1부. USENIX 협회의 XIV 컨퍼런스. 파일 저장 기술

4.2.2. RBER 및 디스크 수명(PE 주기 제외)

그림 1은 RBER와 디스크가 현장에 있었던 개월 수인 수명 사이의 중요한 상관 관계를 보여줍니다. 그러나 오래된 드라이브에는 더 많은 PE가 있을 가능성이 높으므로 RBER는 PE 주기와 더 많은 상관관계가 있으므로 이는 잘못된 상관관계일 수 있습니다.

PE 주기로 인한 마모에 대한 수명의 영향을 제거하기 위해 우리는 PE 주기 분포의 십분위수를 컨테이너 간 구분으로 사용하여 모든 서비스 개월 수를 컨테이너로 그룹화했습니다. 예를 들어 첫 번째 컨테이너에는 최대 PE 주기 분포의 첫 번째 XNUMX분위수 등. 우리는 각 컨테이너 내에서 PE 주기와 RBER 간의 상관 관계가 매우 작다는 것을 확인한 후(각 컨테이너가 작은 범위의 PE 주기만 다루기 때문에) 각 컨테이너에 대해 별도로 RBER와 디스크 수명 간의 상관 계수를 계산했습니다.

관찰된 상관 관계는 최신 모델과 구형 모델 간의 차이로 인한 것이 아니라 순전히 동일한 모델의 드라이브 수명으로 인해 발생하기 때문에 각 모델에 대해 별도로 이 분석을 수행했습니다. 위에서 설명한 방식으로 PE 사이클의 효과를 제한한 후에도 모든 드라이브 모델에 대해 드라이브가 현장에 있었던 개월 수와 RBER(상관 계수 범위는 0,2~0,4) 사이에 여전히 중요한 상관 관계가 있음을 관찰했습니다. ).

쌀. 3. RBER와 신규 및 기존 디스크의 PE 사이클 수 사이의 관계는 마모로 인한 PE 사이클과 관계없이 디스크의 수명이 RBER 값에 영향을 미치는 것을 보여줍니다.

또한 1세까지의 드라이브 사용 기간을 4세까지의 드라이브 사용 기간과 3세 이상의 드라이브 사용 기간으로 나누어 드라이브 사용 기간의 영향을 그래픽으로 시각화한 후 각 RBER를 플롯했습니다. PE 사이클 수에 따라 그룹화합니다. 그림 XNUMX은 MLC-D 드라이브 모델에 대한 결과를 보여줍니다. 모든 PE 주기에 걸쳐 기존 디스크 그룹과 새 디스크 그룹 간의 RBER 값에 눈에 띄는 차이가 있음을 알 수 있습니다.

이를 통해 우리는 현장에서 디스크 사용 일수로 측정된 수명이 PE 주기 노출로 인한 메모리 셀 마모와 관계없이 RBER에 상당한 영향을 미친다는 결론을 내렸습니다. 이는 실리콘 노화와 같은 다른 요인이 디스크의 물리적 마모에 큰 역할을 한다는 것을 의미합니다.

4.2.3. RBER 및 워크로드.

비트 오류는 다음 네 가지 메커니즘 중 하나로 인해 발생하는 것으로 생각됩니다.

1. 저장 오류 보존 오류, 시간이 지남에 따라 메모리 셀에서 데이터가 손실되는 경우
   읽기 작업으로 인해 인접한 셀의 내용이 손상되는 읽기 방해 오류;
2. 읽기 작업으로 인해 인접한 셀의 내용이 손상되는 쓰기 방해 오류;
3. 불완전 지우기 오류는 지우기 작업으로 셀 내용이 완전히 삭제되지 않는 경우입니다.

마지막 세 가지 유형(읽기 방해, 쓰기 방해, 불완전 삭제)의 오류는 워크로드와 상관 관계가 있으므로 RBER와 워크로드 간의 상관 관계를 이해하면 다양한 오류 메커니즘의 확산을 이해하는 데 도움이 됩니다. 최근 연구에서는 "현장에서의 플래시 메모리 오류에 대한 대규모 연구"(MEZA, J., WU, Q., KUMAR, S., MUTLU, O. "A 대규모 연구 of 플래시 메모리 오류 분야) " 2015 ACM SIGMETRICS International Conference on Measurement and Modeling of Computer Systems, New York, 2015, SIGMETRICS '15, ACM, pp. 177–190)에서는 저장 오류가 현장에서 우세하고 판독 오류가 우세하다는 결론을 내렸습니다. 아주 사소합니다.

그림 1은 일부 모델에 대해 특정 달의 디스크 수명의 RBER 값과 같은 달의 읽기, 쓰기 및 삭제 횟수 사이의 중요한 관계를 보여줍니다(예를 들어, 상관 계수는 MLC - B의 경우 0,2보다 높습니다). 모델은 SLC-B의 경우 0,6 이상). 그러나 월별 작업량이 전체 PE 주기 수와 관련될 수 있으므로 이는 허위 상관관계일 가능성이 있습니다.

우리는 섹션 4.2.2에 설명된 것과 동일한 방법을 사용하여 이전 PE 주기를 기반으로 드라이브 작동 개월 수를 분리한 다음 각 컨테이너에 대해 개별적으로 상관 계수를 결정함으로써 PE 주기의 영향에서 워크로드의 영향을 분리했습니다.

우리는 PE 주기를 제한하는 경우에도 MLC-B 및 SLC-B 모델에 대해 특정 디스크 수명 기간 동안의 읽기 수와 해당 월의 RBER 값 사이의 상관 관계가 지속된다는 것을 확인했습니다. 또한 읽기가 동시 쓰기 및 지우기 수에 미치는 영향을 제외하는 유사한 분석을 반복하고 RBER와 읽기 수 간의 상관 관계가 SLC-B 모델에 적용된다는 결론을 내렸습니다.

그림 1은 RBER와 쓰기 및 지우기 작업 간의 상관 관계도 보여 주므로 읽기, 쓰기 및 지우기 작업에 대해 동일한 분석을 반복했습니다. PE 사이클과 읽기의 영향을 제한함으로써 RBER 값과 쓰기 및 지우기 횟수 사이에는 아무런 관계가 없다는 결론을 내렸습니다.

따라서 읽기 위반 오류가 RBER에 심각한 영향을 미치는 디스크 모델이 있습니다. 반면, RBER가 쓰기 위반 오류 및 불완전 삭제 오류의 영향을 받는다는 증거는 없습니다.

4.2.4 RBER 및 리소그래피.

물체 크기의 차이는 동일한 기술, 즉 MLC 또는 SLC를 사용하는 드라이브 모델 간의 RBER 값 차이를 부분적으로 설명할 수 있습니다. (이 연구에 포함된 다양한 모델의 리소그래피 개요는 표 1을 참조하십시오.)

예를 들어, 2nm 리소그래피를 사용하는 34개의 SLC 모델(모델 SLC-A 및 SLC-D)은 2nm 마이크로전자 리소그래피를 사용하는 50개의 모델(모델 SLC-B 및 SLC-C)보다 RBER가 43배 더 높습니다. MLC 모델의 경우 50nm 모델(MLC-B)만이 3nm 리소그래피를 적용한 다른 50개 모델보다 RBER 중앙값이 4% 더 높습니다. 더욱이 RBER의 이러한 차이는 그림 2에서 볼 수 있듯이 드라이브가 마모됨에 따라 XNUMX배 증가합니다. 마지막으로, 더 얇은 리소그래피는 MLC 드라이브에 비해 eMLC 드라이브의 RBER이 더 높다는 것을 설명할 수 있습니다. 전반적으로 우리는 리소그래피가 RBER에 영향을 미친다는 명확한 증거를 가지고 있습니다.

4.2.5. 기타 오류가 있습니다.

RBER와 수정 불가능한 오류, 타임아웃 오류 등 다른 유형의 오류와의 관계, 특히 다른 유형의 오류에 노출된 지 한 달 후에 RBER 값이 높아지는지 여부를 조사했습니다.

그림 1을 보면 전월 RBER가 미래 RBER 값(상관계수가 0,8보다 큼)을 예측하는 반면, 수정 불가능한 오류와 RBER(그림 1의 가장 오른쪽 항목 그룹) 사이에는 유의미한 상관관계가 없음을 알 수 있습니다. 다른 유형의 오류의 경우 상관 계수는 훨씬 더 낮습니다(그림에는 표시되지 않음). 우리는 이 백서의 섹션 5.2에서 RBER와 수정 불가능한 오류 사이의 관계를 추가로 조사했습니다.

4.2.6. 다른 요인의 영향.

우리는 데이터가 설명할 수 없는 RBER에 중요한 영향을 미치는 요인이 있다는 증거를 발견했습니다. 특히 특정 디스크 모델의 RBER은 디스크가 배포된 클러스터에 따라 다르다는 점을 확인했습니다. 좋은 예는 그림 4입니다. 이 그림은 서로 다른 XNUMX개의 클러스터(점선)에 있는 MLC-D 드라이브에 대한 PE 주기의 함수로 RBER를 보여주고 이를 총 드라이브 수(실선)와 관련하여 이 모델의 RBER와 비교합니다. 우리는 디스크 수명이나 읽기 횟수와 같은 요소의 영향을 제한하더라도 이러한 차이가 지속된다는 것을 발견했습니다.

이에 대한 한 가지 가능한 설명은 클러스터 간 워크로드 유형의 차이입니다. 워크로드의 읽기/쓰기 비율이 가장 높은 클러스터의 RBER이 가장 높다는 것을 관찰할 수 있기 때문입니다.

쌀. 4 a), b). XNUMX개의 서로 다른 클러스터에 대한 PE 사이클의 함수로서의 중앙 RBER 값과 XNUMX개의 서로 다른 클러스터에 대한 PE 사이클 수에 대한 읽기/쓰기 비율의 의존성.

예를 들어, 그림 4(b)는 MLC-D 드라이브 모델에 대한 다양한 클러스터의 읽기/쓰기 비율을 보여줍니다. 그러나 읽기/쓰기 비율은 모든 모델의 클러스터 간 차이를 설명하지 않으므로 환경 요인이나 기타 외부 워크로드 매개변수와 같이 데이터가 설명하지 못하는 다른 요인이 있을 수 있습니다.

4.3. 가속 내구성 테스트 중 RBER.

대부분의 과학적 연구와 산업 규모의 미디어 구매 시 수행되는 테스트는 가속 내구성 테스트 결과를 기반으로 현장에서 장치의 신뢰성을 예측합니다. 우리는 이러한 테스트 결과가 솔리드 스테이트 저장 매체 운영의 실제 경험과 얼마나 잘 일치하는지 파악하기로 결정했습니다.
구글 데이터센터에 공급된 장비를 대상으로 일반 가속 테스트 방법론을 사용해 테스트한 결과를 분석한 결과, 필드 RBER 값이 예상보다 훨씬 높은 것으로 나타났다. 예를 들어, eMLC-a 모델의 경우 현장에서 작동되는 디스크의 중앙 RBER(테스트 종료 시 PE 사이클 수가 600에 도달)는 1e-05인 반면, 예비 가속 테스트 결과에 따르면 이 RBER는 값은 4000 PE 사이클 이상에 해당해야 합니다. 이는 실험실 테스트를 통해 얻은 RBER 추정값을 기반으로 현장에서 RBER 값을 정확하게 예측하는 것이 매우 어렵다는 것을 의미합니다.

또한 일부 유형의 오류는 가속 테스트 중에 재현하기가 매우 어렵다는 점도 지적했습니다. 예를 들어 MLC-B 모델의 경우 현장 드라이브의 약 60%에서 수정 불가능한 오류가 발생하고 드라이브의 약 80%에서 불량 블록이 발생합니다. 그러나 가속 내구성 테스트 중에 드라이브가 PE 주기 제한의 80배 이상에 도달할 때까지 15000개 장치 중 어느 장치에서도 수정 불가능한 오류가 발생하지 않았습니다. eMLC 모델의 경우 현장 드라이브의 XNUMX% 이상에서 수정 불가능한 오류가 발생했으며, 가속 테스트 중에는 PE 주기가 XNUMX회에 도달한 후 이러한 오류가 발생했습니다.

또한 이전 연구에서 보고된 통제된 환경에서의 실험을 기반으로 한 RBER를 살펴본 결과, 값의 범위가 매우 넓다는 결론을 내렸습니다. 예를 들어, L.M. Grupp과 다른 사람들은 2009~2012년 작업에서 PE 주기 한계에 도달한 드라이브에 대한 RBER 값을 보고했습니다. 예를 들어, 우리 작업에 사용된 것과 유사한 리소그래피 크기(25-50nm)를 가진 SLC 및 MLC 장치의 경우 RBER 값의 범위는 1e-08에서 1e-03이며 테스트된 대부분의 드라이브 모델은 1e-에 가까운 RBER 값을 갖습니다. 06.

우리 연구에서 PE 사이클 한계에 도달한 세 가지 드라이브 모델의 RBER 범위는 3e-08에서 8e-08이었습니다. 우리의 숫자가 하한이고 절대 최악의 경우 16배 더 커질 수 있다는 점이나 RBER의 95번째 백분위수를 고려하더라도 우리의 값은 여전히 ​​상당히 낮습니다.

전반적으로 실제 현장 RBER 값은 가속 내구성 테스트를 기반으로 예측한 값보다 높지만, 다른 연구 논문에서 보고되고 실험실 테스트에서 계산된 유사한 장치에 대한 대부분의 RBER보다 여전히 낮습니다. 이는 가속 내구성 테스트에서 파생된 예측된 현장 RBER 값에 의존해서는 안 된다는 것을 의미합니다.

5. 수정 불가능한 오류.

본 문서의 섹션 3에서 논의한 수정 불가능한 오류(UE)가 광범위하게 발생한다는 점을 고려하여 이 섹션에서는 해당 특성을 더 자세히 살펴보겠습니다. UE를 측정하기 위해 어떤 메트릭을 사용해야 하는지, RBER과 어떤 관련이 있는지, UE가 다양한 요인에 의해 어떤 영향을 받는지 논의하는 것부터 시작합니다.

5.1. UBER 비율이 의미가 없는 이유

수정 불가능한 오류를 특징짓는 표준 지표는 UBER 수정 불가능 비트 오류율, 즉 읽은 총 비트 수에 대한 수정 불가능한 비트 오류 수의 비율입니다.

이 메트릭은 수정 불가능한 오류 수가 읽은 비트 수와 어떻게든 연관되어 있으므로 이 숫자로 정규화되어야 한다고 암묵적으로 가정합니다.

이 가정은 수정 가능한 오류에 유효하며, 특정 달에 관찰된 오류 수는 같은 기간 동안의 읽기 수와 높은 상관 관계가 있는 것으로 나타났습니다(Spearman 상관 계수는 0.9보다 큼). 이러한 강한 상관 관계가 나타나는 이유는 불량 비트가 하나라도 ECC를 사용하여 정정할 수 있는 한 해당 비트에 액세스할 때마다 오류 수가 계속 증가하기 때문입니다. 불량 비트가 포함된 셀의 평가는 다음과 같습니다. 오류가 감지되면 즉시 수정되지 않습니다(디스크는 손상된 비트가 있는 페이지를 주기적으로 다시 쓰기만 함).

수정 불가능한 오류에는 동일한 가정이 적용되지 않습니다. 수정할 수 없는 오류는 손상된 블록을 더 이상 사용할 수 없게 하므로 일단 감지되면 해당 블록은 향후 오류 수에 영향을 미치지 않습니다.

이 가정을 공식적으로 확인하기 위해 우리는 다양한 상관 계수(Pearson, Spearman, Kendall)를 포함하여 특정 달의 디스크 수명 동안 읽기 수와 동일한 기간 동안 수정할 수 없는 오류 수 사이의 관계를 측정하는 다양한 지표를 사용했습니다. , 그래프의 육안 검사도 가능합니다. 수정 불가능한 오류 수 외에도 수정 불가능한 오류 발생 빈도(즉, 특정 기간 동안 디스크에 이러한 사고가 한 번 이상 발생할 확률)와 읽기 작업과의 관계도 조사했습니다.
읽기 수와 수정 불가능한 오류 수 사이에 상관 관계가 있다는 증거는 발견되지 않았습니다. 모든 드라이브 모델에서 상관계수는 0.02 미만으로 나타났으며, 그래프에서는 읽기 횟수가 증가함에 따라 UE가 증가하지 않는 것으로 나타났습니다.

본 논문의 섹션 5.4에서는 쓰기 및 지우기 작업도 수정 불가능한 오류와 관련이 없다는 점을 논의하므로 읽기 작업 대신 쓰기 또는 지우기 작업으로 정규화되는 UBER의 대체 정의는 의미가 없습니다.

따라서 우리는 실험자가 읽기 횟수를 설정하는 통제된 환경에서 테스트하는 경우를 제외하고는 UBER가 의미 있는 지표가 아니라고 결론을 내립니다. 현장 테스트에서 UBER를 지표로 사용하면 읽기 횟수와 관계없이 수정 불가능한 오류가 발생하므로 읽기 횟수가 많은 드라이브의 오류율을 인위적으로 낮추고, 읽기 횟수가 낮은 드라이브의 오류율을 인위적으로 부풀립니다.

5.2. 수정 불가능한 오류 및 RBER.

RBER의 관련성은 특히 수정 불가능한 오류 가능성을 기반으로 드라이브의 전반적인 신뢰성을 결정하는 척도 역할을 한다는 사실로 설명됩니다. 2008년 N. Mielke 등은 자신의 연구에서 수정 불가능할 것으로 예상되는 오류율을 RBER의 함수로 정의하는 것을 처음으로 제안했습니다. 그 이후로 많은 시스템 개발자는 RBER 및 ECC 유형의 함수로 예상되는 수정 불가능 오류율을 추정하는 등 유사한 방법을 사용해 왔습니다.

이 섹션의 목적은 RBER가 수정 불가능한 오류를 얼마나 잘 예측하는지 특성화하는 것입니다. 그림 5a부터 시작해 보겠습니다. 이 그림은 수정 불가능한 UE 오류가 발생한 사용 일수의 비율에 대해 여러 16세대 드라이브 모델의 RBER 중앙값을 표시합니다. 그래프에 표시된 1개 모델 중 일부는 분석 정보가 부족하여 표 XNUMX에 포함되지 않았습니다.

쌀. 5a. 다양한 드라이브 모델에 대한 중앙값 RBER과 수정 불가능한 오류 간의 관계.

쌀. 5b. 동일한 모델의 여러 드라이브에 대한 중앙값 RBER과 수정 불가능한 오류 간의 관계.

동일한 세대 내의 모든 모델은 동일한 ECC 메커니즘을 사용하므로 모델 간의 차이는 ECC 차이와 무관합니다. RBER 사고와 UE 사고 사이에는 상관관계가 없는 것으로 나타났습니다. 우리는 95번째 백분위수 RBER 대 UE 확률에 대해 동일한 플롯을 만들었고 다시 상관 관계가 없음을 확인했습니다.

다음으로, 개별 드라이브에 대해 세분화된 수준에서 분석을 반복했습니다. 즉, RBER 값이 높을수록 UE 빈도가 높아지는 드라이브가 있는지 알아보려고 했습니다. 예를 들어, 그림 5b는 MLC-c 모델의 각 드라이브에 대한 중앙 RBER 대 UE 수를 표시합니다(95번째 백분위수 RBER에서 얻은 결과와 유사한 결과). 다시 말하지만, RBER과 UE 사이에는 어떠한 상관관계도 발견되지 않았습니다.

마지막으로, RBER이 높은 드라이브의 작동 개월이 UE가 발생한 달과 일치하는지 여부를 조사하기 위해 보다 정확한 타이밍 분석을 수행했습니다. 그림 1은 수정 불가능한 오류와 RBER 사이의 상관 계수가 매우 낮다는 것을 이미 나타냈습니다. 우리는 또한 UE의 확률을 RBER의 함수로 표시하는 다양한 방법으로 실험했지만 상관 관계의 증거를 찾지 못했습니다.

따라서 우리는 RBER이 UE를 예측하는 데 신뢰할 수 없는 지표라는 결론을 내립니다. 이는 RBER로 이어지는 오류 메커니즘이 수정 불가능한 오류(예: 개별 셀에 포함된 오류와 전체 장치에서 발생하는 더 큰 문제)로 이어지는 메커니즘과 다르다는 것을 의미할 수 있습니다.

5.3. 수정 불가능한 오류와 마모.

마모는 플래시 메모리의 주요 문제 중 하나이므로 그림 6은 PE 사이클의 함수로서 수정 불가능한 드라이브 오류의 일일 확률을 보여줍니다.

그림 6. PE 주기에 따른 수정 불가능한 드라이브 오류의 일별 발생 확률.

UE의 확률은 드라이브 수명에 따라 지속적으로 증가합니다. 그러나 RBER의 경우와 마찬가지로 증가는 일반적으로 가정하는 것보다 느립니다. 그래프는 UE가 PE 주기에 따라 기하급수적으로 증가하는 것이 아니라 선형적으로 증가하는 것을 보여줍니다.

RBER에 대해 내린 두 가지 결론은 UE에도 적용됩니다. 첫째, PE 사이클 제한이 6인 MLC-D 모델의 그림 3000과 같이 PE 사이클 제한에 도달하면 오류 가능성이 명확하게 증가하지 않습니다. , 오류율은 동일한 클래스 내에서도 모델마다 다릅니다. 그러나 이러한 차이는 RBER만큼 크지 않습니다.

마지막으로 섹션 5.2의 결과를 뒷받침하여 단일 모델 클래스(MLC 대 SLC) 내에서 주어진 PE 사이클 수에 대해 RBER 값이 가장 낮은 모델이 반드시 가장 낮은 RBER 값을 갖는 모델은 아니라는 사실을 발견했습니다. UE 발생 확률. 예를 들어, 3000개 이상의 PE 사이클에서 MLC-D 모델은 MLC-B 모델보다 RBER 값이 4배 낮았지만 동일한 수의 PE 사이클에 대한 UE 확률은 MLC-B보다 MLC-D 모델이 약간 더 높았습니다. 모델.

그림 7. 다양한 유형의 이전 오류 존재 여부에 따라 수정 불가능한 드라이브 오류가 발생할 월별 확률.

5.4. 수정할 수 없는 오류 및 작업 부하.

워크로드가 RBER에 영향을 미칠 수 있는 것과 동일한 이유로(섹션 4.2.3 참조) UE에도 영향을 미칠 것으로 예상할 수 있습니다. 예를 들어, 읽기 위반 오류가 RBER에 영향을 미치는 것으로 관찰되었으므로 읽기 작업으로 인해 수정 불가능한 오류가 발생할 가능성도 높아질 수 있습니다.

우리는 워크로드가 UE에 미치는 영향에 대해 자세한 연구를 수행했습니다. 그러나 5.1절에서 언급한 바와 같이 UE와 읽기 횟수 사이의 관계를 찾지 못했습니다. 쓰기 및 지우기 작업에 대해 동일한 분석을 반복했지만 상관 관계가 다시 나타나지 않았습니다.
언뜻 보면 이는 수정 불가능한 오류가 PE 주기와 상관관계가 있다는 이전 관찰과 모순되는 것처럼 보입니다. 따라서 쓰기 및 지우기 작업 수와 상관관계가 있을 것으로 예상할 수 있습니다.

그러나 PE 주기의 영향 분석에서 마모의 영향을 측정하기 위해 특정 달의 수정 불가능한 오류 수를 드라이브가 현재까지 수명 동안 경험한 총 PE 주기 수와 비교했습니다. 작업 부하의 영향을 연구할 때 특정 달에 읽기/쓰기/삭제 작업 수가 가장 많은 드라이브 작업 달을 살펴보았으며 수정 불가능한 오류가 발생할 가능성도 더 높았습니다. 읽기/쓰기/삭제 작업의 총 횟수를 계산합니다.

그 결과, 읽기 위반 오류, 쓰기 위반 오류, 불완전 삭제 오류가 수정 불가능한 오류 발생의 주요 요인이 아니라는 결론에 도달했습니다.

우리와 함께있어 주셔서 감사합니다. 우리 기사가 마음에 드십니까? 더 재미있는 콘텐츠를 보고 싶다면? 주문하거나 친구에게 추천하여 우리를 지원하십시오. 귀사를 위해 당사가 개발한 고유한 보급형 서버 아날로그에서 Habr 사용자를 위한 30% 할인: VPS(KVM) E5-2650 v4(6코어) 10GB DDR4 240GB SSD 1Gbps에 대한 전체 진실 또는 서버 공유 방법은? (RAID1 및 RAID10에서 사용 가능, 최대 24개 코어 및 최대 40GB DDR4).

Dell R730xd가 2배 더 저렴합니까? 여기서 만 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV $199부터 네덜란드에서! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - 최저 $99! 에 대해 읽다 인프라 공사를 구축하는 방법. 730페니에 5유로 상당의 Dell R2650xd E4-9000 vXNUMX 서버를 사용하는 클래스?

출처 : habr.com