Linuwih memori lampu kilat: samesthine lan ora dikarepke. Part 2. Konferensi XIV saka asosiasi USENIX. Teknologi panyimpenan file

Linuwih memori lampu kilat: samesthine lan ora dikarepke. Part 1. Konferensi XIV saka asosiasi USENIX. Teknologi panyimpenan file

4.2.2. RBER lan umur disk (ora kalebu siklus PE).

Figure 1 nuduhake korélasi pinunjul antarane RBER lan umur, kang nomer sasi disk wis ing lapangan. Nanging, iki bisa dadi korélasi palsu amarga kemungkinan drive lawas duwe luwih akeh PE lan mulane RBER luwih ana hubungane karo siklus PE.

Kanggo ngilangi efek umur ing nyandhang sing disebabake dening siklus PE, kita nglumpukake kabeh sasi layanan menyang kontaner nggunakake decile distribusi siklus PE minangka cutoff antarane kontaner, contone, wadhah pisanan ngemot kabeh sasi umur disk nganti desil pisanan saka distribusi siklus PE, lan ing Salajengipun. We diverifikasi sing ing saben wadhah korélasi antarane siklus PE lan RBER cukup cilik (amarga saben wadhah mung isine sawetara cilik siklus PE), banjur ngetung koefisien korélasi antarane RBER lan umur disk kapisah kanggo saben wadhah.

Kita nindakake analisis iki kanthi kapisah kanggo saben model amarga korélasi sing diamati ora amarga beda antarane model sing luwih enom lan luwih tuwa, nanging mung amarga umur drive saka model sing padha. Kita mirsani yen sanajan sawise mbatesi efek siklus PE kanthi cara sing kasebut ing ndhuwur, kanggo kabeh model drive isih ana hubungan sing signifikan antarane jumlah sasi drive ing lapangan lan RBER (koefisien korelasi antara 0,2 nganti 0,4). ).

Linuwih memori lampu kilat: samesthine lan ora dikarepke. Part 2. Konferensi XIV saka asosiasi USENIX. Teknologi panyimpenan file
Gabah. 3. Hubungan antarane RBER lan nomer PE siklus kanggo disk anyar lan lawas nuduhake yen umur disk mengaruhi Nilai RBER preduli saka siklus PE disebabake nyandhang.

Kita uga nggambarake efek umur drive kanthi grafis kanthi mbagi dina panggunaan drive ing umur "enom" nganti 1 taun lan dina panggunaan drive sajrone umur 4 taun, banjur ngrancang RBER saben klompok marang jumlah siklus PE. Figure 3 nuduhake asil iki kanggo model drive MLC-D. Kita ndeleng prabédan nyata ing nilai RBER antarane klompok disk lawas lan anyar ing kabeh siklus PE.

Saka iki, kita nganakke sing umur, diukur dening dina nggunakake disk ing lapangan, wis impact pinunjul ing RBER, preduli saka nyandhang sel memori amarga cahya kanggo siklus PE. Iki tegese faktor liyane, kayata tuwa silikon, nduweni peran gedhe ing nyandhang fisik disk.

4.2.3. RBER lan beban kerja.

Kesalahan bit dianggep disebabake salah siji saka papat mekanisme:

  1. kasalahan panyimpenan Kasalahan retensi, nalika sel memori ilang data liwat wektu
    Maca disturb kasalahan, kang operasi maca ngrusak isi sel jejer;
  2. Tulis kesalahan disturb, kang operasi maca ngrusak isi sel jejer;
  3. Kesalahan mbusak ora lengkap, nalika operasi mbusak ora rampung mbusak isi sel.

Kesalahan saka telung jinis pungkasan (maca disturb, nulis disturb, mbusak ora lengkap) ana hubungane karo workload, supaya ngerti korélasi antarane RBER lan workload mbantu kita ngerti prevalensi mekanisme kesalahan beda. Ing panaliten anyar, "Studi gedhe babagan kegagalan memori lampu kilat ing lapangan" (MEZA, J., WU, Q., KUMAR, S., MUTLU, O. "Studi gedhe babagan kegagalan memori lampu kilat ing lapangan." Ing Prosiding Konferensi Internasional ACM SIGMETRICS 2015 babagan Pengukuran lan Pemodelan Sistem Komputer, New York, 2015, SIGMETRICS '15, ACM, pp. 177-190) nyimpulake yen kesalahan panyimpenan luwih dominan ing lapangan, nalika kesalahan Reading. cukup cilik.

Figure 1 nuduhake hubungan sing signifikan antarane nilai RBER ing sasi tartamtu saka urip disk lan nomer maca, nulis, lan mbusak ing sasi padha kanggo sawetara model (contone, koefisien korélasi luwih saka 0,2 kanggo MLC - B. model lan luwih saka 0,6 kanggo SLC-B). Nanging, bisa uga iki minangka korelasi palsu, amarga beban kerja saben wulan bisa uga ana gandhengane karo jumlah siklus PE.

Kita nggunakake metodologi sing padha diterangake ing bagean 4.2.2 kanggo ngisolasi efek beban kerja saka efek siklus PE kanthi ngisolasi sasi operasi drive adhedhasar siklus PE sadurunge, lan banjur nemtokake koefisien korélasi kanthi kapisah kanggo saben wadhah.

Kita weruh sing korélasi antarane nomer diwaca ing sasi tartamtu saka urip disk lan Nilai RBER ing sasi tetep kanggo model MLC-B lan SLC-B, malah nalika matesi siklus PE. Kita uga mbaleni analisis sing padha ing ngendi kita ora kalebu efek maca ing jumlah nulis lan mbusak bebarengan, lan nyimpulake yen korélasi antarane RBER lan jumlah maca bener kanggo model SLC-B.

Gambar 1 uga nuduhake korélasi antara RBER lan operasi nulis lan mbusak, mula kita mbaleni analisis sing padha kanggo operasi maca, nulis, lan mbusak. Kita nyimpulake yen kanthi matesi pengaruh siklus PE lan maca, ora ana hubungane antarane nilai RBER lan jumlah nulis lan mbusak.

Mangkono, ana model disk ngendi kesalahan nglanggar maca duwe impact pinunjul ing RBER. Ing tangan liyane, ora ana bukti yen RBER kena pengaruh kesalahan nulis lan kesalahan mbusak ora lengkap.

4.2.4 RBER lan lithography.

Beda ing ukuran obyek bisa uga sebagian nerangake beda ing nilai RBER antarane model drive nggunakake teknologi padha, IE MLC utawa SLC. (Waca Tabel 1 kanggo ringkesan litografi saka macem-macem model sing kalebu ing panliten iki).

Contone, 2 model SLC karo litografi 34nm (model SLC-A lan SLC-D) duwe RBER sing urutan magnitudo luwih dhuwur tinimbang model 2 karo litografi mikroelektronik 50nm (model SLC-B lan SLC-C). Ing kasus model MLC, mung model 43nm (MLC-B) sing duwe RBER median sing 50% luwih dhuwur tinimbang 3 model liyane kanthi litografi 50nm. Menapa malih, prabédan iki ing RBER mundhak dening faktor 4 minangka drive rusak, minangka ditampilake ing Figure 2. Akhire, lithography tipis bisa nerangake RBER luwih saka eMLC drive dibandhingake MLC drive. Sakabèhé, kita duwe bukti sing jelas manawa litografi mengaruhi RBER.

4.2.5. Anane kesalahan liyane.

We nyelidiki hubungan antarane RBER lan jinis kasalahan liyane, kayata kesalahan uncorrectable, kasalahan wektu entek, etc., utamané, apa nilai RBER dadi luwih sawise sasi saka cahya kanggo jinis kasalahan liyane.

Gambar 1 nuduhake yen nalika RBER sasi sadurunge prediksi nilai RBER ing mangsa ngarep (koefisien korelasi luwih saka 0,8), ora ana hubungan sing signifikan antarane kesalahan sing ora bisa dibenerake lan RBER (klompok item paling tengen ing Gambar 1). Kanggo jinis kesalahan liyane, koefisien korélasi luwih murah (ora ditampilake ing gambar). We luwih nelik hubungan antarane RBER lan kasalahan uncorrectable ing bagean 5.2 saka kertas iki.

4.2.6. Pengaruh faktor liyane.

Kita nemokake bukti yen ana faktor sing nduwe pengaruh sing signifikan marang RBER sing ora bisa ditrapake data kita. Ing tartamtu, kita ngeweruhi sing RBER kanggo model disk tartamtu beda-beda gumantung saka kluster kang disk disebarake. Conto apik iku Figure 4, kang nuduhake RBER minangka fungsi saka siklus PE kanggo MLC-D drive ing telung klompok beda (garis putus-putus) lan mbandhingaké karo RBER kanggo model iki relatif kanggo jumlah total drive (line ngalangi). Kita nemokake manawa beda kasebut tetep sanajan kita mbatesi pengaruh faktor kayata umur disk utawa jumlah maca.

Salah sawijining panjelasan sing bisa ditindakake yaiku bedane jinis beban kerja ing kluster, amarga kluster sing beban kerja duwe rasio maca / nulis paling dhuwur duwe RBER paling dhuwur.

Linuwih memori lampu kilat: samesthine lan ora dikarepke. Part 2. Konferensi XIV saka asosiasi USENIX. Teknologi panyimpenan file
Gabah. 4 a), b). Nilai RBER rata-rata minangka fungsi siklus PE kanggo telung klompok sing beda-beda lan katergantungan rasio maca / nulis ing jumlah siklus PE kanggo telung klompok sing beda.

Contone, Figure 4 (b) nuduhake rasio maca / nulis saka klompok beda kanggo model drive MLC-D. Nanging, rasio maca / nulis ora nerangake beda antarane klompok kanggo kabeh model, supaya bisa uga ana faktor liyane sing data kita ora akun, kayata faktor lingkungan utawa paramèter beban kerja external liyane.

4.3. RBER sajrone tes daya tahan kanthi cepet.

Umume karya ilmiah, uga tes sing ditindakake nalika tuku media ing skala industri, prédhiksi linuwih piranti ing lapangan adhedhasar asil tes daya tahan sing cepet. Kita mutusake kanggo ngerteni kepiye asil tes kasebut cocog karo pengalaman praktis ing operasi media panyimpenan solid-state.
Analisis asil tes sing ditindakake nggunakake metodologi tes akselerasi umum kanggo peralatan sing diwenehake menyang pusat data Google nuduhake yen nilai RBER lapangan luwih dhuwur tinimbang sing diprediksi. Contone, kanggo model eMLC-a, RBER rata-rata kanggo disk sing dioperasikake ing lapangan (ing pungkasan tes jumlah siklus PE tekan 600) yaiku 1e-05, dene miturut asil tes akselerasi awal, RBER iki. Nilai kudu cocog karo luwih saka 4000 siklus PE. Iki nuduhake yen angel banget kanggo prédhiksi kanthi akurat nilai RBER ing lapangan adhedhasar perkiraan RBER sing dipikolehi saka tes laboratorium.

Kita uga nyathet yen sawetara jinis kesalahan cukup angel kanggo ngasilake sajrone tes sing cepet. Contone, ing model MLC-B, meh 60% drive ing lapangan ngalami kesalahan sing ora bisa dibenerake lan meh 80% drive ngembangake blok sing ala. Nanging, sajrone tes ketahanan sing luwih cepet, ora ana enem piranti sing ngalami kesalahan sing ora bisa dibenerake nganti drive tekan luwih saka kaping telu watesan siklus PE. Kanggo model eMLC, kesalahan sing ora bisa dibenerake dumadi ing luwih saka 80% drive ing lapangan, nalika tes cepet, kesalahan kasebut kedadeyan sawise tekan 15000 siklus PE.

Kita uga ndeleng RBER sing dilaporake ing karya riset sadurunge, sing adhedhasar eksperimen ing lingkungan sing dikontrol, lan nyimpulake manawa kisaran nilai kasebut amba banget. Contone, L.M. Grupp lan liyane ing 2009 -2012 laporan karya Nilai RBER kanggo drive sing cedhak tekan watesan siklus PE. Contone, kanggo piranti SLC lan MLC kanthi ukuran litografi sing padha karo sing digunakake ing karya kita (25-50nm), nilai RBER antara 1e-08 nganti 1e-03, kanthi akeh model drive sing diuji duwe nilai RBER sing cedhak karo 1e- 06.

Ing panliten kita, telung model drive sing tekan watesan siklus PE duwe RBER saka 3e-08 nganti 8e-08. Malah nganggep manawa nomer kita ana wates sing luwih murah lan bisa uga 16 kaping luwih gedhe ing kasus paling elek, utawa njupuk persentil 95th RBER, nilai kita isih luwih murah.

Sakabèhé, nalika nilai RBER lapangan nyata luwih dhuwur tinimbang nilai sing diprediksi adhedhasar tes daya tahan sing luwih cepet, nanging isih luwih murah tinimbang RBER kanggo piranti sing padha sing dilaporake ing kertas riset liyane lan diitung saka tes laboratorium. Iki tegese sampeyan ora kudu ngandelake nilai RBER lapangan sing diprediksi sing asale saka tes daya tahan sing cepet.

5. Kesalahan sing ora bisa dibenerake.

Amarga akehe kesalahan sing ora bisa dikoreksi (UE), sing dibahas ing Bagean 3 saka makalah iki, ing bagean iki kita nliti ciri-ciri kasebut kanthi luwih rinci. Kita miwiti kanthi ngrembug metrik sing digunakake kanggo ngukur UE, kepiye hubungane karo RBER, lan kepiye UE kena pengaruh macem-macem faktor.

5.1. Apa rasio UBER ora masuk akal.

Metrik standar sing nggambarake kesalahan sing ora bisa dibenerake yaiku tingkat kesalahan bit sing ora bisa dikoreksi UBER, yaiku rasio jumlah kesalahan bit sing ora bisa dikoreksi karo jumlah bit sing diwaca.

Metrik iki kanthi implisit nganggep manawa jumlah kesalahan sing ora bisa dibenerake uga ana gandhengane karo jumlah bit sing diwaca, mula kudu dinormalisasi kanthi nomer iki.

Asumsi iki bener kanggo kesalahan sing bisa dibenerake, ing ngendi jumlah kesalahan sing diamati ing sasi tartamtu ditemokake hubungane banget karo jumlah maca sajrone wektu sing padha (koefisien korelasi Spearman luwih saka 0.9). Alesan kanggo korélasi sing kuat yaiku sanajan siji bit sing ala, anggere bisa dibenerake nggunakake ECC, bakal terus nambah jumlah kesalahan kanthi saben operasi maca sing diakses, amarga evaluasi sel sing ngemot bit ala ora langsung didandani nalika kesalahan dideteksi (disk mung nulis ulang kaca kanthi bit sing rusak).

Asumsi sing padha ora ditrapake kanggo kesalahan sing ora bisa dibenerake. Kesalahan sing ora bisa dibenerake nyegah panggunaan blok sing rusak, mula yen dideteksi, blok kasebut ora bakal mengaruhi jumlah kesalahan ing mangsa ngarep.

Kanggo ngonfirmasi kanthi resmi asumsi iki, kita nggunakake macem-macem metrik kanggo ngukur hubungan antarane jumlah maca ing sasi tartamtu saka urip disk lan nomer kesalahan uncorrectable ing wektu sing padha, kalebu macem-macem koefisien korelasi (Pearson, Spearman, Kendall) , uga inspeksi visual saka grafik . Saliyane jumlah kesalahan sing ora bisa dibenerake, kita uga ndeleng frekuensi kedadeyan kesalahan sing ora bisa dibenerake (yaiku, kemungkinan disk bakal duwe paling ora siji kedadeyan kasebut sajrone wektu tartamtu) lan hubungane karo operasi maca.
Kita ora nemokake bukti korélasi antarane jumlah maca lan jumlah kesalahan sing ora bisa dibenerake. Kanggo kabeh model drive, koefisien korélasi ing ngisor 0.02, lan grafik ora nuduhake kenaikan UE amarga jumlah maca tambah.

Ing Bagean 5.4 saka makalah iki, kita ngrembug manawa operasi nulis lan mbusak uga ora ana hubungane karo kesalahan sing ora bisa dibenerake, mula definisi alternatif UBER, sing dinormalisasi kanthi operasi nulis utawa mbusak tinimbang operasi maca, ora ana artine.

Mulane kita nyimpulake yen UBER dudu metrik sing migunani, kajaba yen dites ing lingkungan sing dikontrol ing ngendi jumlah maca disetel dening eksperimen. Yen UBER digunakake minangka metrik sak testing lapangan, artificially nurunake tingkat kesalahan kanggo drive karo count diwaca dhuwur lan artificially inflate tingkat kesalahan kanggo drive karo count maca kurang, wiwit kesalahan uncorrectable dumadi preduli saka nomer maca.

5.2. kesalahan Uncorrectable lan RBER.

Relevansi saka RBER diterangake dening kasunyatan sing serves minangka ukuran kanggo nemtokake linuwih sakabèhé saka drive, utamané, adhedhasar kamungkinan saka kasalahan uncorrectable. Ing karyane, N. Mielke et al ing 2008 minangka sing pisanan ngusulake nemtokake tingkat kesalahan sing ora bisa dibenerake minangka fungsi RBER. Wiwit saiki, akeh pangembang sistem nggunakake cara sing padha, kayata ngira tingkat kesalahan sing ora bisa dibenerake minangka fungsi saka jinis RBER lan ECC.

Tujuan saka bagean iki kanggo ciri carane RBER prédhiksi kasalahan uncorrectable. Ayo dadi miwiti karo Figure 5a, kang ngrancang RBER belekan kanggo sawetara model drive generasi pisanan marang persentasi dina padha dienggo sing ngalami kasalahan UE uncorrectable. Sampeyan kudu nyatet sing sawetara saka 16 model ditampilake ing grafik ora klebu ing Tabel 1 amarga lack saka informasi analitis.

Linuwih memori lampu kilat: samesthine lan ora dikarepke. Part 2. Konferensi XIV saka asosiasi USENIX. Teknologi panyimpenan file
Gabah. 5a. Relationship antarane RBER belekan lan kasalahan uncorrectable kanggo macem-macem model drive.

Linuwih memori lampu kilat: samesthine lan ora dikarepke. Part 2. Konferensi XIV saka asosiasi USENIX. Teknologi panyimpenan file
Gabah. 5b. Relationship antarane RBER belekan lan kasalahan uncorrectable kanggo drive beda saka model padha.

Elinga yen kabeh model ing generasi sing padha nggunakake mekanisme ECC sing padha, mula beda antarane model ora gumantung saka beda ECC. Kita ora weruh korélasi antarane kedadeyan RBER lan UE. Kita nggawe plot sing padha kanggo persentil 95th RBER versus kemungkinan UE lan maneh ora ana hubungane.

Sabanjure, kita mbaleni analisis ing tingkat granular kanggo drive individu, IE, kita nyoba kanggo mangerteni apa ana drive ngendi Nilai RBER luwih cocog kanggo frekuensi UE luwih. Contone, Figure 5b plot RBER belekan kanggo saben drive model MLC-c versus nomer UE (asil padha sing dijupuk kanggo 95. persentil RBER). Maneh, kita ora weruh korélasi antarane RBER lan UE.

Pungkasan, kita nindakake analisis wektu sing luwih tepat kanggo mriksa apa sasi operasi drive kanthi RBER sing luwih dhuwur bakal cocog karo sasi nalika UE kedadeyan. Figure 1 wis nuduhake yen koefisien korélasi antarane kasalahan uncorrectable lan RBER banget kurang. Kita uga eksperimen karo macem-macem cara ngrancang kemungkinan UE minangka fungsi RBER lan ora nemu bukti korélasi.

Mangkono, kita nyimpulake yen RBER minangka metrik sing ora bisa dipercaya kanggo prédhiksi UE. Iki bisa uga tegese mekanisme kegagalan sing nyebabake RBER beda karo mekanisme sing nyebabake kesalahan sing ora bisa dibenerake (contone, kesalahan sing ana ing sel individu lan masalah sing luwih gedhe sing kedadeyan ing kabeh piranti).

5.3. Kesalahan sing ora bisa dikoreksi lan nyandhang lan luh.

Wiwit wearout iku salah siji saka masalah utama memori lampu kilat, Figure 6 nuduhake kemungkinan saben dina kasalahan drive uncorrectable minangka fungsi saka siklus PE.

Linuwih memori lampu kilat: samesthine lan ora dikarepke. Part 2. Konferensi XIV saka asosiasi USENIX. Teknologi panyimpenan file
Figure 6. Kemungkinan saben dina saka kesalahan drive uncorrectable gumantung siklus PE.

We Wigati sing kamungkinan UE mundhak terus-terusan karo umur drive. Nanging, kaya karo RBER, mundhak luwih alon tinimbang biasane: grafik nuduhake yen UE tuwuh sacara linear tinimbang eksponensial karo siklus PE.

Loro kesimpulan sing digawe kanggo RBER uga ditrapake kanggo UEs: pisanan, ora ana paningkatan potensial kesalahan sing jelas yen watesan siklus PE wis tekan, kayata ing Gambar 6 kanggo model MLC-D sing watesan siklus PE yaiku 3000. Kapindho, Kapindho , tingkat kesalahan beda-beda ing antarane model beda, malah ing kelas padha. Nanging, beda-beda iki ora kaya kanggo RBER.

Pungkasan, kanggo ndhukung temuan kita ing Bagean 5.2, kita nemokake manawa ing kelas model siji (MLC vs. SLC), model kanthi nilai RBER paling murah kanggo sawetara siklus PE ora mesthi model sing paling murah. kemungkinan kedadeyan UE. Contone, luwih saka 3000 siklus PE, model MLC-D nduweni nilai RBER 4 kaping luwih murah tinimbang model MLC-B, nanging kemungkinan UE kanggo jumlah siklus PE sing padha rada luwih dhuwur kanggo model MLC-D tinimbang MLC-B. model-model.

Linuwih memori lampu kilat: samesthine lan ora dikarepke. Part 2. Konferensi XIV saka asosiasi USENIX. Teknologi panyimpenan file
Figure 7. Kemungkinan saben wulan saka kesalahan drive uncorrectable minangka fungsi saka ngarsane kasalahan sadurungé saka macem-macem jinis.

5.4. Kesalahan lan beban kerja sing ora bisa dibenerake.

Kanggo alasan sing padha beban kerja bisa mengaruhi RBER (ndeleng bagean 4.2.3), bisa uga mengaruhi UE. Contone, wiwit kita mirsani sing maca kasalahan nglanggar mengaruhi RBER, maca operasi uga bisa nambah kamungkinan saka kasalahan uncorrectable.

Kita nindakake sinau rinci babagan pengaruh beban kerja ing UE. Nanging, kaya sing kacathet ing Bagean 5.1, kita ora nemokake hubungan antarane UE lan jumlah sing diwaca. Kita mbaleni analisis sing padha kanggo operasi nulis lan mbusak lan maneh ora ana hubungane.
Elinga yen ing pandang sepisanan, iki katon bertentangan karo pengamatan sadurunge yen kesalahan sing ora bisa dibenerake ana hubungane karo siklus PE. Mulane, bisa uga ana hubungane karo jumlah operasi nulis lan mbusak.

Nanging, ing analisis pengaruh siklus PE, kita mbandhingake jumlah kesalahan sing ora bisa dibenerake ing sasi tartamtu kanthi jumlah siklus PE sing wis dialami drive sajrone urip nganti saiki kanggo ngukur efek saka nyandhang. Nalika nyinaoni pengaruh beban kerja, kita ndeleng sawetara wulan operasi drive sing duwe jumlah operasi maca / nulis / mbusak paling akeh ing sasi tartamtu, sing uga duwe kemungkinan sing luwih dhuwur kanggo nyebabake kesalahan sing ora bisa dibenerake, yaiku, kita ora nganggep. akun jumlah total operasi maca / nulis / mbusak.

Akibaté, kita teka ing kesimpulan sing maca kesalahan nglanggar, nulis kasalahan nglanggar, lan kasalahan erasure ora lengkap ora faktor utama ing pangembangan kasalahan uncorrectable.

Matur nuwun kanggo tetep karo kita. Apa sampeyan seneng karo artikel kita? Pengin ndeleng konten sing luwih menarik? Ndhukung kita kanthi nggawe pesenan utawa menehi rekomendasi menyang kanca, Diskon 30% kanggo pangguna Habr ing analog unik saka server level entri, sing diciptakake kanggo sampeyan: Bebener kabeh babagan VPS (KVM) E5-2650 v4 (6 Cores) 10GB DDR4 240GB SSD 1Gbps saka $ 20 utawa carane nuduhake server? (kasedhiya karo RAID1 lan RAID10, munggah 24 intine lan nganti 40GB DDR4).

Dell R730xd 2 kaping luwih murah? Mung kene 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV saka $199 ing Walanda! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - saka $99! Maca babagan Carane mbangun infrastruktur corp. kelas karo nggunakake Dell R730xd E5-2650 v4 server worth 9000 euro kanggo Penny?

Source: www.habr.com

Add a comment