4.2.2. RBER jeung umur disk (teu kaasup siklus pe).
angka 1 nembongkeun korelasi signifikan antara RBER jeung umur, nu jumlah bulan disk geus di sawah. Nanging, ieu tiasa janten korelasi palsu sabab kamungkinan drive anu langkung lami gaduh langkung seueur PE sareng ku kituna RBER langkung pakait sareng siklus PE.
Pikeun ngaleungitkeun pangaruh umur dina ngagem anu disababkeun ku siklus PE, kami ngagolongkeun sadaya bulan jasa kana wadah nganggo decil distribusi siklus PE salaku cutoff antara wadah, contona, wadah kahiji ngandung sadaya bulan umur disk dugi ka desil munggaran tina sebaran siklus pe, jeung saterusna. Urang diverifikasi yén dina unggal wadah korelasi antara siklus pe jeung RBER rada leutik (saprak unggal wadahna ngan nyertakeun rentang leutik siklus pe), lajeng diitung koefisien korelasi antara RBER jeung umur disk misah pikeun tiap wadahna.
Kami ngalaksanakeun analisa ieu sacara misah pikeun unggal modél kusabab korelasi anu dititénan sanés kusabab bédana antara modél anu langkung ngora sareng anu langkung lami, tapi ngan ukur kusabab umur drive tina modél anu sami. Urang katalungtik yén sanajan sanggeus ngawatesan pangaruh siklus PE dina ragam ditétélakeun di luhur, pikeun sakabéh model drive masih aya korelasi signifikan antara jumlah bulan drive geus di sawah jeung RBER na (koefisien korelasi ranged ti 0,2 nepi ka 0,4). ).
Sangu. 3. Hubungan antara RBER jeung Jumlah siklus pe keur disk anyar jeung heubeul nunjukeun yen umur disk mangaruhan nilai RBER paduli siklus pe disababkeun ku maké.
Kami ogé sacara grafis visualisasi pangaruh umur drive ku ngabagi dinten pamakean drive dina umur "ngora" dugi ka 1 taun sareng dinten pamakean drive dina yuswa 4 taun, teras ngarencanakeun RBER masing-masing. grup ngalawan jumlah siklus PE. angka 3 nembongkeun hasil ieu pikeun model drive MLC-D. Kami ningali bédana nyata dina nilai RBER antara grup disk anu lami sareng énggal sapanjang sadaya siklus PE.
Ti ieu, urang disimpulkeun yen umur, diukur ku poé pamakéan disk di sawah, boga dampak signifikan dina RBER, paduli maké sél memori alatan paparan ka siklus pe. Ieu ngandung harti yén faktor séjén, kayaning sepuh silikon, maénkeun peran badag dina maké fisik disk.
4.2.3. RBER jeung workload.
Kasalahan bit diduga disababkeun ku salah sahiji tina opat mékanisme:
- kasalahan gudang Kasalahan ingetan, lamun sél memori leungit data kana waktu
Kasalahan gangguan maca, dimana operasi dibaca ngarusak eusi sél anu padeukeut; - Tulis kasalahan disturb, nu operasi dibaca ngaruksak eusi sél padeukeut;
- Kasalahan ngahapus teu lengkep, nalika operasi mupus teu lengkep ngahapus eusi sél.
Kasalahan tina tilu jinis terakhir (baca ngaganggu, nyerat ngaganggu, ngahapus teu lengkep) aya hubunganana sareng beban kerja, ku kituna ngartos korelasi antara RBER sareng beban kerja ngabantosan urang ngartos kana Prévalénsi mékanisme kasalahan anu béda. Dina ulikan panganyarna, "Ulikan skala badag gagal memori flash di sawah" (MEZA, J., WU, Q., KUMAR, S., MUTLU, O. "Ulikan skala badag gagal memori flash dina. lapangan." Dina cara ngagawe tina 2015 ACM SIGMETRICS Konférénsi Internasional on Measurement and Modeling of Computer Systems, New York, 2015, SIGMETRICS '15, ACM, pp. 177-190) menyimpulkan yén kasalahan gudang predominate di sawah, bari kasalahan Reading. anu rada minor.
angka 1 nembongkeun hubungan signifikan antara nilai RBER dina bulan tangtu hirup disk jeung jumlah maca, nyerat, jeung erases dina bulan anu sarua pikeun sababaraha model (contona, koefisien korelasi leuwih luhur ti 0,2 pikeun MLC - B. model jeung leuwih luhur ti 0,6 pikeun SLC-B). Nanging, kamungkinan yén ieu mangrupikeun korelasi palsu, sabab beban kerja bulanan tiasa aya hubunganana sareng jumlah total siklus PE.
Kami nganggo metodologi anu sami anu dijelaskeun dina Bagéan 4.2.2 pikeun ngasingkeun épék beban kerja tina épék siklus pe ku cara ngasingkeun sababaraha bulan operasi drive dumasar kana siklus pe saméméhna, teras nangtoskeun koefisien korelasi sacara misah pikeun unggal wadah.
Urang nempo yén korelasi antara jumlah dibaca dina bulan tinangtu tina kahirupan disk jeung nilai RBER dina bulan éta tetep pikeun model MLC-B jeung SLC-B, sanajan ngawatesan siklus pe. Kami ogé ngulang analisis anu sami dimana urang ngaluarkeun pangaruh bacaan dina jumlah nyerat sareng ngahapus sakaligus, sareng nyimpulkeun yén korelasi antara RBER sareng jumlah bacaan leres pikeun modél SLC-B.
Gambar 1 ogé nunjukkeun korelasi antara RBER sareng operasi nyerat sareng mupus, janten urang ngulang analisis anu sami pikeun operasi maca, nyerat sareng mupus. Kami nyimpulkeun yén ku ngawatesan dampak siklus PE sareng maca, henteu aya hubungan antara nilai RBER sareng jumlah nyerat sareng ngahapus.
Ku kituna, aya model disk mana kasalahan palanggaran maca boga dampak signifikan dina RBER. Di sisi séjén, euweuh bukti yen RBER kapangaruhan ku kasalahan palanggaran nulis jeung kasalahan erasure teu lengkep.
4.2.4 RBER jeung lithography.
Beda dina ukuran obyék sawaréh tiasa ngajelaskeun bédana nilai RBER antara modél drive nganggo téknologi anu sami, nyaéta MLC atanapi SLC. (Tingali Tabél 1 pikeun tinjauan litografi tina rupa-rupa modél anu kalebet dina ulikan ieu).
Contona, 2 model SLC kalawan litografi 34nm (model SLC-A jeung SLC-D) boga hiji RBER nu urutan gedena leuwih luhur ti 2 model jeung 50nm microelectronic lithography (model SLC-B jeung SLC-C). Dina kasus model MLC, ngan model 43nm (MLC-B) boga RBER median nu 50% leuwih luhur ti 3 model sejen kalawan litografi 50nm. Leuwih ti éta, bédana ieu RBER ngaronjat ku faktor 4 salaku drive kaluar, ditémbongkeun saperti dina Gambar 2. Tungtungna, lithography thinner bisa ngajelaskeun RBER luhur eMLC drive dibandingkeun MLC drive. Gemblengna, urang gaduh bukti anu jelas yén litografi mangaruhan RBER.
4.2.5. Ayana kasalahan séjén.
Urang nalungtik hubungan antara RBER jeung tipe séjén kasalahan, kayaning kasalahan uncorrectable, kasalahan timeout, jeung sajabana, hususna, naha nilai RBER jadi leuwih luhur sanggeus hiji bulan paparan ka tipe séjén kasalahan.
Gambar 1 nunjukkeun yén nalika RBER bulan saacanna ngaramalkeun nilai RBER kahareup (koéfisién korelasi langkung ageung tibatan 0,8), teu aya korelasi anu signifikan antara kasalahan anu teu tiasa dilereskeun sareng RBER (kelompok item paling katuhu dina Gambar 1). Pikeun tipe séjén kasalahan, koefisien korelasi malah leuwih handap (teu ditémbongkeun dina gambar). Urang salajengna ngajajah hubungan antara RBER jeung kasalahan uncorrectable dina Bagéan 5.2 makalah ieu.
4.2.6. Pangaruh faktor séjén.
Kami mendakan bukti yén aya faktor anu gaduh dampak anu signifikan dina RBER anu henteu tiasa dipertanggungjawabkeun ku data urang. Utamana, urang noticed nu RBER pikeun model disk tinangtu beda-beda gumantung kana klaster nu disk ieu deployed. Hiji conto alus nyaeta Gambar 4, nu nembongkeun RBER salaku fungsi tina siklus pe pikeun MLC-D drive dina tilu klaster béda (garis dashed) sarta ngabandingkeun éta kalayan RBER pikeun modél kieu relatif ka total jumlah drive (garis padet). Urang manggihan yén béda ieu persist sanajan urang ngawatesan pangaruh faktor kayaning umur disk atawa jumlah dibaca.
Salah sahiji katerangan anu mungkin pikeun ieu nyaéta bédana jinis beban kerja dina klaster, sabab kami ningali yén klaster anu beban kerjana ngagaduhan rasio baca / tulis anu paling luhur ngagaduhan RBER anu paling luhur.
Sangu. 4 a), b). Nilai RBER median salaku fungsi tina siklus PE pikeun tilu klaster anu béda sareng gumantungna rasio baca / tulis dina jumlah siklus PE pikeun tilu klaster anu béda.
Contona, Gambar 4 (b) nembongkeun babandingan baca / nulis tina klaster béda pikeun modél drive MLC-D. Tapi, babandingan baca/tulis teu ngajelaskeun bédana antara klaster pikeun sakabéh model, jadi meureun aya faktor sejen nu data urang teu akun, kayaning faktor lingkungan atawa parameter workload éksternal séjén.
4.3. RBER salila nguji durability gancangan.
Kaseueuran karya ilmiah, kitu ogé tés anu dilakukeun nalika mésér média dina skala industri, ngaramalkeun réliabilitas alat di lapangan dumasar kana hasil tés daya tahan gancangan. Kami mutuskeun pikeun terang kumaha hasil tés sapertos kitu cocog sareng pangalaman praktis dina ngoperasikeun média panyimpen solid-state.
Analisis hasil tés anu dilakukeun nganggo metodologi tés gancangan umum pikeun alat anu disayogikeun ka pusat data Google nunjukkeun yén nilai RBER lapangan nyata langkung luhur tibatan anu diprediksi. Salaku conto, pikeun modél eMLC-a, RBER median pikeun drive anu beroperasi dina kaayaan lapangan (dina ahir tés jumlah siklus PE ngahontal 600) nyaéta 1e-05, sedengkeun dumasar kana hasil tés gancangan awal, RBER ieu. nilai kedah pakait jeung leuwih ti 4000 siklus PE. Ieu nunjukkeun yén hese pisan pikeun ngaduga nilai RBER di lapangan dumasar kana perkiraan RBER anu dicandak tina tés laboratorium.
Kami ogé nyatet yén sababaraha jinis kasalahan anu rada sesah pikeun baranahan nalika tés gancangan. Contona, dina kasus model MLC-B, ampir 60% drive dina widang ngalaman kasalahan uncorrectable sarta ampir 80% drive ngamekarkeun blok goréng. Nanging, salami tés daya tahan gancangan, teu aya genep alat anu ngalaman kasalahan anu teu tiasa dilereskeun dugi ka drive ngahontal langkung ti tilu kali wates siklus PE. Pikeun model eMLC, kasalahan anu teu bisa dibenerkeun lumangsung dina leuwih ti 80% drive di sawah, sedengkeun salila nguji gancangan kasalahan sapertos lumangsung sanggeus ngahontal 15000 siklus PE.
Urang ogé nempo RBER dilaporkeun dina karya panalungtikan saméméhna, anu dumasar kana percobaan dina lingkungan dikawasa, sarta menyimpulkan yén rentang nilai pisan lega. Contona, L.M. Grupp sareng anu sanésna dina karyana 2009 -2012 ngalaporkeun nilai RBER pikeun drive anu caket kana wates siklus PE. Salaku conto, pikeun alat SLC sareng MLC kalayan ukuran lithografi sami sareng anu dianggo dina padamelan urang (25-50nm), nilai RBER antara 1e-08 dugi ka 1e-03, sareng kalolobaan model drive diuji gaduh nilai RBER caket sareng 1e- 06.
Dina ulikan urang, tilu model drive nu ngahontal wates siklus PE miboga RBERs mimitian ti 3e-08 mun 8e-08. Malahan nimbangkeun yén jumlah kami langkung handap sareng tiasa 16 kali langkung ageung dina kasus anu paling parah, atanapi nyandak persentil ka-95 RBER, nilai kami masih langkung handap.
Gemblengna, sanaos nilai RBER lapangan saleresna langkung luhur tibatan nilai anu diprediksi dumasar kana uji daya tahan gancangan, aranjeunna masih langkung handap tina kalolobaan RBER pikeun alat anu sami anu dilaporkeun dina makalah panalungtikan anu sanés sareng diitung tina tés laboratorium. Ieu ngandung harti yén anjeun henteu kedah ngandelkeun nilai RBER lapangan anu diprediksi anu diturunkeun tina uji daya tahan gancangan.
5. kasalahan Uncorrectable.
Dibikeun nyebarna kasalahan anu teu tiasa dilereskeun (UE), anu dibahas dina Bagian 3 tulisan ieu, dina bagian ieu urang ngajalajah ciri-cirina sacara langkung rinci. Urang mimitian ku ngabahas métrik mana anu dianggo pikeun ngukur UE, kumaha hubunganana sareng RBER, sareng kumaha UE kapangaruhan ku sababaraha faktor.
5.1. Naha rasio UBER teu asup akal.
Métrik standar anu nunjukkeun kasalahan anu teu tiasa dilereskeun nyaéta tingkat kasalahan bit anu teu tiasa dilereskeun UBER, nyaéta rasio jumlah kasalahan bit anu teu tiasa dilereskeun kana jumlah total bit anu dibaca.
Métrik ieu sacara implisit nganggap yén jumlah kasalahan anu teu tiasa dilereskeun kumaha waé aya hubunganana sareng jumlah bit anu dibaca, sareng ku kituna kedah dinormalisasi ku nomer ieu.
Asumsi ieu sah pikeun kasalahan anu tiasa dilereskeun, dimana jumlah kasalahan anu dititénan dina sasih anu ditangtukeun aya hubunganana pisan sareng jumlah bacaan dina waktos anu sami (koéfisién korelasi Spearman langkung ageung tibatan 0.9). Alesan pikeun korelasi anu kuat nyaéta yén sanajan hiji bit goréng, salami éta tiasa dilereskeun nganggo ECC, bakal terus ningkatkeun jumlah kasalahan dina unggal operasi maca anu diaksés ku éta, sabab évaluasi sél anu ngandung bit goréng nyaéta teu langsung dilereskeun lamun kasalahan dideteksi (disk ngan périodik nulis ulang kaca jeung bit ruksak).
Anggapan anu sami henteu dianggo pikeun kasalahan anu teu tiasa dilereskeun. Kasalahan anu teu tiasa dilereskeun ngahalangan pamakean blok anu rusak, ku kituna sakali dideteksi, blok sapertos kitu moal mangaruhan jumlah kasalahan anu bakal datang.
Pikeun ngonfirmasi sacara resmi asumsi ieu, kami nganggo sababaraha métrik pikeun ngukur hubungan antara jumlah bacaan dina sasih tina kahirupan disk sareng jumlah kasalahan anu teu tiasa dilereskeun dina waktos anu sami, kalebet sababaraha koefisien korelasi (Pearson, Spearman, Kendall) , kitu ogé inspeksi visual grafik. Salian jumlah kasalahan uncorrectable, urang ogé nempo frékuénsi kajadian kasalahan uncorrectable (ie, kamungkinan yén disk bakal boga sahanteuna hiji kajadian sapertos salila periode waktu nu tangtu) jeung hubungan maranéhanana pikeun operasi maca.
Kami henteu mendakan bukti korelasi antara jumlah bacaan sareng jumlah kasalahan anu teu tiasa dilereskeun. Pikeun sakabéh model drive, koefisien korelasi éta handap 0.02, sarta grafik teu némbongkeun naon baé kanaékan UE sakumaha jumlah dibaca ngaronjat.
Dina Bagéan 5.4 makalah ieu, urang bahas yén operasi nulis sareng mupus ogé henteu aya hubunganana sareng kasalahan anu teu tiasa dilereskeun, ku kituna definisi alternatif UBER, anu dinormalisasi ku operasi nyerat atanapi mupus tinimbang operasi maca, henteu hartosna.
Ku kituna kami nyimpulkeun yén UBER sanes métrik anu bermakna, iwal panginten nalika diuji dina lingkungan anu dikontrol dimana jumlah bacaan diatur ku ékspérimén. Upami UBER dianggo salaku métrik nalika uji lapangan, éta sacara artifisial bakal nurunkeun tingkat kasalahan pikeun drive kalayan jumlah bacaan anu luhur sareng sacara artifisial ngagedekeun tingkat kasalahan pikeun drive kalayan jumlah bacaan anu rendah, sabab kasalahan anu teu tiasa dilereskeun henteu paduli jumlah bacaan.
5.2. Kasalahan anu teu tiasa dilereskeun sareng RBER.
Relevansi RBER dijelaskeun ku kanyataan yén éta mangrupikeun ukuran pikeun nangtukeun réliabilitas drive, khususna, dumasar kana kamungkinan kasalahan anu teu tiasa dilereskeun. Dina karya maranéhanana, N. Mielke dkk di 2008 éta kahiji ngajukeun nangtukeun laju kasalahan uncorrectable ekspektasi salaku fungsi RBER. Saprak harita, loba pamekar sistem geus ngagunakeun métode sarupa, kayaning estimasi laju kasalahan uncorrectable ekspektasi salaku fungsi tina tipe RBER na ECC.
Tujuan tina bagian ieu mangrupa characterize kumaha ogé RBER ngaduga kasalahan uncorrectable. Hayu urang mimitian ku Gambar 5a, nu plot RBER median pikeun sababaraha model drive generasi kahiji ngalawan perséntase poé maranéhanana dina pamakéan anu ngalaman kasalahan UE uncorrectable. Ieu kudu dicatet yén sababaraha 16 model ditémbongkeun dina grafik teu kaasup dina Table 1 alatan kurangna informasi analitik.
Sangu. 5a. Hubungan antara RBER median jeung kasalahan uncorrectable pikeun sagala rupa model drive.
Sangu. 5b. Hubungan antara RBER median sareng kasalahan anu teu tiasa dilereskeun pikeun drive anu béda tina modél anu sami.
Émut yén sadaya modél dina generasi anu sami nganggo mékanisme ECC anu sami, janten bédana antara modél henteu gumantung kana bédana ECC. Kami henteu ningali korelasi antara kajadian RBER sareng UE. Kami nyiptakeun plot anu sami pikeun persentil 95th RBER versus probabilitas UE sareng deui henteu ningali korelasi.
Salajengna, urang ngulang analisis dina tingkat granular pikeun drive individu, nyaéta, urang nyobian pikeun manggihan naha aya drive mana nilai RBER luhur pakait jeung frékuénsi UE luhur. Salaku conto, Gambar 5b plot RBER median pikeun tiap drive model MLC-c versus jumlah UEs (hasilna sarua jeung nu diala pikeun 95. persentil RBER). Sakali deui, kami henteu ningali korelasi antara RBER sareng UE.
Tungtungna, kami ngalaksanakeun analisa waktos anu langkung tepat pikeun nguji naha bulan-bulan operasi drive kalayan RBER anu langkung luhur bakal pakait sareng sasih-bulan nalika UEs lumangsung. Gambar 1 parantos nunjukkeun yén koefisien korelasi antara kasalahan anu teu tiasa dilereskeun sareng RBER rendah pisan. Kami ogé ékspérimén sareng cara anu béda pikeun ngarencanakeun kamungkinan UE salaku fungsi RBER sareng henteu mendakan bukti korelasi.
Ku kituna, urang nyimpulkeun yén RBER mangrupa métrik teu bisa dipercaya pikeun ngaramal UE. Ieu bisa hartosna yén mékanisme gagalna nu ngakibatkeun RBER béda ti mékanisme nu ngakibatkeun kasalahan uncorrectable (misalna, kasalahan dikandung dina sél individu versus masalah badag lumangsung kalawan sakabéh alat).
5.3. Kasalahan anu teu tiasa dilereskeun sareng ngagem sareng cimata.
Kusabab wearout mangrupakeun salah sahiji masalah utama memori flash, Gambar 6 nembongkeun kamungkinan poéan kasalahan drive uncorrectable salaku fungsi tina siklus pe.
angka 6. probabiliti poéan lumangsungna kasalahan drive uncorrectable gumantung kana siklus pe.
Urang dicatet yén kamungkinan UE naek terus jeung umur drive. Nanging, sapertos RBER, paningkatanna langkung laun tibatan biasana: grafik nunjukkeun yén UE tumbuh sacara linier tibatan éksponénsial sareng siklus PE.
Dua kacindekan anu kami lakukeun pikeun RBER ogé dilarapkeun ka UE: kahiji, henteu aya paningkatan anu jelas dina poténsi kasalahan nalika wates siklus PE kahontal, sapertos dina Gambar 6 pikeun modél MLC-D anu wates siklus PE nyaéta 3000. Bréh, Bréh. , laju kasalahan variasina diantara model béda, sanajan dina kelas anu sarua. Sanajan kitu, béda ieu teu sakumaha badag salaku RBER.
Tungtungna, pikeun ngadukung pamanggihan urang dina Bagéan 5.2, urang mendakan yén dina kelas modél tunggal (MLC vs. SLC), modél-modél anu gaduh nilai RBER panghandapna pikeun sajumlah siklus PE henteu merta mangrupikeun modél anu panghandapna. kamungkinan lumangsungna UE. Salaku conto, langkung ti 3000 siklus PE, modél MLC-D ngagaduhan nilai RBER 4 kali langkung handap tina modél MLC-B, tapi kamungkinan UE pikeun jumlah siklus PE anu sami rada luhur pikeun modél MLC-D tibatan MLC-B. modél.
angka 7. Kamungkinan bulanan lumangsungna kasalahan drive uncorrectable salaku fungsi ayana kasalahan saméméhna tina rupa-rupa.
5.4. Kasalahan sareng beban kerja anu teu tiasa dilereskeun.
Pikeun alesan sarua nu workload bisa mangaruhan RBER (tingali Bagéan 4.2.3), bisa diperkirakeun ogé mangaruhan UE. Contona, saprak urang katalungtik yén kasalahan palanggaran maca mangaruhan RBER, operasi maca ogé bisa ningkatkeun likelihood kasalahan uncorrectable.
Kami ngalaksanakeun studi anu lengkep ngeunaan dampak beban kerja dina UE. Nanging, sakumaha anu kacatet dina Bagéan 5.1, kami henteu mendakan hubungan antara UE sareng jumlah bacaan. Kami ngulang analisis anu sami pikeun nyerat sareng mupus operasi sareng deui henteu ningali korelasi.
Catet yén dina glance kahiji, ieu sigana contradict observasi kami saméméhna yén kasalahan uncorrectable pakait sareng siklus PE. Ku alatan éta, hiji ogé bisa ngaharepkeun korelasi jeung jumlah nulis jeung mupus operasi.
Nanging, dina analisa kami ngeunaan dampak siklus PE, urang ngabandingkeun jumlah kasalahan anu teu tiasa dilereskeun dina sasih tinangtu sareng jumlah total siklus PE anu dijalankeun ku drive sapanjang hirupna dugi ka ayeuna pikeun ngukur pangaruh ngagem. Nalika ngulik dampak beban kerja, kami ningali bulan-bulan operasi drive anu ngagaduhan jumlah operasi maca / nyerat / mupus pangluhurna dina sasih tinangtu, anu ogé ngagaduhan kasempetan anu langkung ageung pikeun nyababkeun kasalahan anu teu tiasa dilereskeun, nyaéta, urang henteu nyandak kana. ngitung jumlah total operasi maca / nulis / mupus.
Hasilna, kami dugi ka kacindekan yén kasalahan palanggaran maca, kasalahan pelanggaran nyerat, sareng kasalahan pamupusan anu teu lengkep sanes faktor utama anu nyababkeun kasalahan anu teu tiasa dilereskeun.
Hatur nuhun pikeun tetep sareng kami. Naha anjeun resep artikel kami? Hoyong ningali eusi anu langkung narik? Dukung kami ku cara nempatkeun pesenan atanapi nyarankeun ka babaturan, Diskon 30% pikeun pangguna Habr dina analog unik tina server tingkat éntri, anu diciptakeun ku kami pikeun anjeun: (sadia kalawan RAID1 na RAID10, nepi ka 24 cores sarta nepi ka 40GB DDR4).
Dell R730xd 2 kali langkung mirah? Ngan di dieu di Walanda! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - ti $99! Baca ngeunaan
sumber: www.habr.com