Хөл рүүгээ буудахгүйгээр хадгалах газрыг хэрхэн сонгох вэ

Танилцуулга

Хадгалах газар худалдаж авах цаг болжээ. Алийг нь авах вэ, хэнийг сонсох вэ? Борлуулагч А нь В борлуулагчийн тухай ярьж, дараа нь эсрэгээр нь хэлж, D борлуулагчд зөвлөгөө өгдөг интегратор С байдаг. Ийм нөхцөлд туршлагатай хадгалалтын архитекторын толгой ч эргэлддэг, ялангуяа бүх шинэ үйлдвэрлэгчид болон SDS болон моод болсон гиперконвергенцтэй хамт. өнөөдөр.

Тэгэхээр та яаж энэ бүгдийг ойлгоод эцэст нь тэнэг байх вэ? бид (АнтонВиртуал Антон Жбанков ба корпораци Евгений Елизаров) энэ тухай энгийн орос хэлээр ярихыг хичээцгээе.
Нийтлэл нь олон ижил төстэй зүйлтэй бөгөөд үнэндээ "Виртуалжуулсан мэдээллийн төвийн дизайн” Хадгалах системийг сонгох, хадгалах технологийг хянах тал дээр. Бид ерөнхий онолыг товчхон авч үзэх болно, гэхдээ бид танд энэ өгүүллийг уншихыг зөвлөж байна.

Яагаад

Хадгалалтын хэлэлцүүлэг гэх мэт форум эсвэл тусгай чат руу шинэ хүн ирж, дараах асуултыг асуудаг нөхцөл байдлыг та ихэвчлэн харж болно: "Энд тэд надад хадгалах хоёр сонголтыг санал болгож байна - ABC SuperStorage S600 болон XYZ HyperOcean 666v4, та юу санал болгож байна вэ? ?”

Бэлтгэлгүй хүний ​​хувьд бүрэн хятадын шинж чанартай аймшигтай, үл ойлгогдох шинж чанаруудыг хэрэгжүүлэхэд хэн ямар онцлогтой байдаг талаар төөрөгдөл эхэлдэг.

Тиймээс, арилжааны саналуудын техникийн үзүүлэлтүүдийг харьцуулахын өмнө өөрөөсөө асуух ёстой гол бөгөөд хамгийн эхний асуулт бол ЯАГААД вэ? Энэ хадгалах систем яагаад хэрэгтэй вэ?

Хөл рүүгээ буудахгүйгээр хадгалах газрыг хэрхэн сонгох вэ

Хариулт нь гэнэтийн байх болно, мөн маш Тони Роббинсын хэв маяг - өгөгдөл хадгалах. Баярлалаа, ахмад! Гэсэн хэдий ч заримдаа бид нарийн ширийн зүйлийг харьцуулахдаа маш гүнзгий ордог тул яагаад энэ бүхнийг анхнаасаа хийж байгаагаа мартдаг.

Тиймээс өгөгдөл хадгалах системийн үүрэг бол өгөгдсөн гүйцэтгэлтэй DATA-г хадгалах, нэвтрэх боломжийг олгох явдал юм. Бид мэдээллээс эхэлнэ.

мэдээ

Мэдээллийн төрөл

Бид ямар төрлийн өгөгдөл хадгалахаар төлөвлөж байна вэ? Маш чухал асуулт бол олон хадгалалтын системийг нэг бүрчлэн авч үзэх боломжгүй юм. Жишээлбэл, та видео, зураг хадгалахаар төлөвлөж байна. Та жижиг блокуудад санамсаргүй хандалт хийх зориулалттай системүүд эсвэл шахалт / давхардлын хувийн шинж чанартай системүүдийг нэн даруй хасах боломжтой. Эдгээр нь зүгээр л маш сайн систем байж магадгүй, бид муу зүйл хэлэхийг хүсэхгүй байна. Гэхдээ энэ тохиолдолд тэдний давуу тал нь сулрах болно (видео болон зурагнууд нь шахагдаагүй) эсвэл системийн өртөгийг мэдэгдэхүйц нэмэгдүүлэх болно.

Эсрэгээр, хэрэв зорилго нь ачаалал ихтэй гүйлгээний DBMS юм бол секундэд гигабайт дамжуулах чадвартай маш сайн мультимедиа урсгалын систем нь муу сонголт байх болно.

Өгөгдлийн хэмжээ

Бид хэр их мэдээлэл хадгалахаар төлөвлөж байна вэ? Тоо хэмжээ үргэлж чанар болж хувирдаг бөгөөд үүнийг хэзээ ч мартаж болохгүй, ялангуяа өгөгдлийн хэмжээ экспоненциал өсөж буй өнөө үед. Петабайтын зэрэглэлийн системүүд ховор байхаа больсон ч петабайтын багтаамж их байх тусам систем нь илүү тодорхой болох тусам жижиг, дунд хэмжээний санамсаргүй хандалтын системийн ердийн функцэд хүртээмж бага байх болно. Зөвхөн блок хандалтын статистикийн хүснэгтүүд нь хянагч дээрх RAM-ийн хэмжээнээс их болж байгаа тул энэ нь өчүүхэн зүйл юм. Шахах/давхаргалах тухай дурдах хэрэггүй. Бид шахалтын алгоритмыг илүү хүчирхэг болгож, 20 петабайт өгөгдлийг шахахыг хүсч байна гэж бодъё. Хэр удаан үргэлжлэх вэ: зургаан сар, нэг жил?

Нөгөөтэйгүүр, хэрэв та 500 ГБ өгөгдөл хадгалах, боловсруулах шаардлагатай бол яагаад санаа зовдог вэ? Зөвхөн 500. Ийм хэмжээтэй гэр ахуйн SSD (бага DWPD) ямар ч зардалгүй. Яагаад Fiber Channel үйлдвэр барьж, цутгамал төмрийн гүүртэй тэнцэхүйц үнэтэй өндөр чанартай гадаад хадгалах системийг худалдаж авах ёстой гэж?

Нийт дүнгийн хэдэн хувийг халуун өгөгдөл эзэлдэг вэ? Өгөгдлийн эзлэхүүний хувьд ачаалал хэр жигд бус байна вэ? Энэ бол шаталсан хадгалах технологи эсвэл Flash кэш нь халуун өгөгдлийн хэмжээ нийттэй харьцуулахад маш бага байвал маш их тустай байж болох газар юм. Эсвэл эсрэгээр, урсгалын системд (видео тандалт, зарим аналитик систем) ихэвчлэн олддог бүх эзлэхүүний жигд ачаалалтай үед ийм технологи нь юу ч өгөхгүй бөгөөд зөвхөн системийн өртөг / төвөгтэй байдлыг нэмэгдүүлэх болно.

IP

Өгөгдлийн нөгөө тал нь өгөгдлийг ашигладаг мэдээллийн систем юм. IS нь өгөгдлийг өвлөн авах шаардлагатай багц шаардлагуудтай байдаг. IS-ийн талаарх дэлгэрэнгүй мэдээллийг "Виртуалжуулсан мэдээллийн төвийн дизайн" хэсгээс үзнэ үү.

Тохиромжтой байдал/Хүртээмжтэй байдлын шаардлага

Гэмтлийг тэсвэрлэх чадвар / өгөгдлийн хүртээмжид тавигдах шаардлага нь тэдгээрийг ашиглан IS-ээс өвлөгдөж, гурван тоогоор илэрхийлэгддэг - RPO, RTO, бэлэн байдал.

Бэлэн байдал - тэдэнтэй ажиллах боломжтой өгөгдөл бүхий тодорхой хугацааны хувь. Ихэвчлэн 9-ийн тоогоор илэрхийлэгддэг. Жишээлбэл, жилд хоёр ес нь 99% хүртээмжтэй байна гэсэн үг, эс бөгөөс жилд 95 цаг ажиллахгүй байхыг зөвшөөрдөг. Гурван ес - жилд 9,5 цаг.

RPO / RTO нь нийт үзүүлэлтүүд биш, харин осол (осол) бүрийн хувьд хүртээмжтэй байдлаас ялгаатай.

RPO - ослын үед алдагдсан мэдээллийн хэмжээ (цагаар). Жишээлбэл, өдөрт нэг удаа нөөцлөлт хийгдвэл RPO = 24 цаг болно. Тэдгээр. Гамшигт өртөж, хадгалах систем бүрэн алдагдсан тохиолдолд 24 цагийн турш өгөгдөл алдагдах боломжтой (нөөцлөлтийн мөчөөс). Жишээлбэл, IS-д заасан RPO дээр үндэслэн нөөцлөх зохицуулалтыг бичсэн болно. Мөн RPO дээр үндэслэн синхрон/асинхрон өгөгдлийн хуулбар хэр их хэрэгтэйг ойлгож болно.

RTO - гамшгийн дараа үйлчилгээг сэргээх хугацаа (өгөгдлийн хандалт). Өгөгдсөн RTO утга дээр үндэслэн бид метроны кластер хэрэгтэй эсэх, эсвэл нэг чиглэлтэй хуулбар хангалттай эсэхийг ойлгох боломжтой. Танд дээд зэрэглэлийн олон хянагч хадгалах систем хэрэгтэй юу?

Хөл рүүгээ буудахгүйгээр хадгалах газрыг хэрхэн сонгох вэ

Гүйцэтгэлийн шаардлага

Хэдийгээр энэ нь маш ойлгомжтой асуулт боловч ихэнх бэрхшээлүүд эндээс үүсдэг. Танд ямар нэгэн дэд бүтэц байгаа эсэхээс хамаарч шаардлагатай статистик мэдээллийг цуглуулах арга замууд бий болно.

Та аль хэдийн хадгалах системтэй бөгөөд солих систем хайж байгаа эсвэл өргөтгөх зорилгоор өөр нэгийг худалдаж авахыг хүсч байна. Энд бүх зүйл энгийн. Та аль хэдийн ямар үйлчилгээтэй, ойрын ирээдүйд хэрэгжүүлэхээр төлөвлөж байгаагаа ойлгож байна. Одоогийн үйлчилгээн дээр үндэслэн та гүйцэтгэлийн статистик мэдээллийг цуглуулах боломжтой. Одоогийн IOPS тоо болон одоогийн хоцролтыг тодорхойлно уу - эдгээр үзүүлэлтүүд юу вэ, тэдгээр нь таны даалгаварт хангалттай юу? Үүнийг өгөгдөл хадгалах систем өөрөө болон түүнтэй холбогдсон хостууд дээр хийж болно.

Түүнээс гадна, та зөвхөн одоогийн ачааллыг биш, харин тодорхой хугацаанд (сард илүү тохиромжтой) харах хэрэгтэй. Өдрийн туршид хамгийн их оргилууд ямар байгааг, нөөцлөлт нь ямар ачаалал үүсгэдэг гэх мэтийг хараарай. Хэрэв таны хадгалах систем эсвэл түүний программ хангамж танд энэ өгөгдлийн иж бүрдлийг өгөхгүй бол та хамгийн алдартай хадгалах систем, унтраалгатай ажиллах боломжтой бөгөөд гүйцэтгэлийн нарийвчилсан статистик мэдээллийг өгөх боломжтой үнэгүй RRDtool-г ашиглаж болно. Мөн энэ хадгалах системтэй ажилладаг хостуудын ачаалал, тодорхой виртуал машинуудын ачаалал эсвэл энэ хост дээр яг юу ажиллаж байгааг харах нь зүйтэй.

Хөл рүүгээ буудахгүйгээр хадгалах газрыг хэрхэн сонгох вэ

Хэрэв энэ эзлэхүүн дээр байрлах мэдээллийн сан болон эзлэхүүний саатал ихээхэн ялгаатай бол та өөрийн SAN сүлжээнд анхаарлаа хандуулах хэрэгтэй бөгөөд үүнтэй холбоотой асуудал гарах магадлал өндөр бөгөөд шинэ төхөөрөмж худалдаж авахаас өмнө үүнийг тусад нь тэмдэглэх нь зүйтэй. системийн хувьд энэ асуудлыг авч үзэх нь зүйтэй юм, учир нь одоогийн системийн гүйцэтгэлийг нэмэгдүүлэх магадлал маш өндөр байна.

Та эхнээс нь дэд бүтцийг барьж байна, эсвэл ачааллыг нь мэдэхгүй шинэ үйлчилгээнд зориулж систем худалдаж авч байна. Хэд хэдэн сонголт байдаг: тусгай нөөцөөр хамтран ажиллагсадтайгаа холбогдож ачааллыг олж мэдэх, урьдчилан таамаглах, ижил төстэй үйлчилгээг хэрэгжүүлэх туршлагатай, ачааллыг тооцоолох чадвартай интегратортой холбоо барина уу. Гурав дахь сонголт (ихэвчлэн хамгийн хэцүү, ялангуяа гэртээ бичсэн эсвэл ховор програмуудтай холбоотой бол) систем хөгжүүлэгчдээс гүйцэтгэлийн шаардлагыг олж мэдэхийг оролдох явдал юм.

Практик хэрэглээний үүднээс авч үзвэл хамгийн зөв сонголт бол одоогийн тоног төхөөрөмжийн нисгэгч эсвэл худалдагч/интеграторын туршилтанд зориулж өгсөн төхөөрөмж гэдгийг анхаарна уу.

Тусгай шаардлага

Тусгай шаардлага гэдэг нь өгөгдлийг шууд боловсруулах, хангахад тавигдах шаардлагад хамаарахгүй бүх зүйл юм.

Өгөгдөл хадгалах системд тавигдах хамгийн энгийн тусгай шаардлагуудын нэгийг "захиалах хадгалах хэрэгсэл" гэж нэрлэж болно. Энэхүү өгөгдөл хадгалах систем нь соронзон хальсны номын сан эсвэл нөөц хуулбарыг хаясан соронзон хальсны хөтөчийг агуулсан байх ёстой нь тэр даруй тодорхой болно. Үүний дараа тусгайлан бэлтгэгдсэн хүн соронзон хальс дээр гарын үсэг зурж, тусгай сейфэнд бардам авч явдаг.
Тусгай шаардлагын өөр нэг жишээ бол хамгаалалттай цочролд тэсвэртэй загвар юм.

Хаана

Тодорхой хадгалах системийг сонгох хоёр дахь үндсэн бүрэлдэхүүн хэсэг бол энэ хадгалах системийг ХААНА байрлуулах тухай мэдээлэл юм. Газарзүй, цаг уурын нөхцлөөс эхлээд боловсон хүчинд хүртэл.

Үйлчлүүлэгч

Энэ хадгалах системийг хэнд зориулж төлөвлөж байна вэ? Асуулт нь дараах шалтгаантай:

Төрийн үйлчлүүлэгч/арилжааны .
Арилжааны захиалагч нь өөрийн дотоод журамд зааснаас бусад тохиолдолд ямар ч хязгаарлалтгүй, бүр тендер зохион байгуулах үүрэг хүлээдэггүй.

Төрийн үйлчлүүлэгч гэдэг бол өөр асуудал. 44 Холбооны хууль болон бусад тендерүүд, техникийн үзүүлэлтүүд нь маргаантай байж болно.

Үйлчлүүлэгч хориг арга хэмжээнд байна
Энд асуулт маш энгийн байдаг - сонголт нь зөвхөн тухайн үйлчлүүлэгчийн санал болгож буй саналаар хязгаарлагддаг.

Худалдан авахыг зөвшөөрсөн дотоод журам / борлуулагчид / загварууд
Асуулт нь бас маш энгийн, гэхдээ та үүнийг санаж байх хэрэгтэй.

Бие махбодийн хувьд хаана

Энэ хэсэгт бид газарзүйн байршил, харилцаа холбооны суваг, орон сууцны бичил уур амьсгалтай холбоотой бүх асуудлыг авч үздэг.

Ажилтнууд

Энэ хадгалах системтэй хэн ажиллах вэ? Энэ нь хадгалах систем өөрөө юу хийж чадахаас хамаагүй чухал юм.
А худалдагчаас гаргасан хадгалах систем нь хичнээн ирээдүйтэй, гайхалтай, гайхалтай байсан ч ажилтнууд нь зөвхөн В худалдагчтай хэрхэн ажиллахаа мэддэг, А-тай цаашид худалдан авалт хийх, цаашид хамтран ажиллах төлөвлөгөө байхгүй бол үүнийг суулгах нь утгагүй юм.

Мэдээжийн хэрэг, асуултын нөгөө тал нь тухайн газарзүйн байршилд бэлтгэгдсэн боловсон хүчин нь тухайн компанид шууд болон хөдөлмөрийн зах зээлд хэр байдаг вэ гэдэг асуудал юм. Бүс нутгийн хувьд энгийн интерфэйс бүхий хадгалах системийг сонгох эсвэл удирдлагыг алсаас төвлөрүүлэх чадвартай байх нь маш их ач холбогдолтой юм. Үгүй бол хэзээ нэгэн цагт энэ нь тэвчихийн аргагүй өвдөлт болж магадгүй юм. Өчигдрийн оюутан шинээр ирсэн ажилтан хэрхэн ийм зүйлийг тохируулж, оффис бүхэлдээ сүйрсэн тухай интернет түүхээр дүүрэн байдаг.

Хөл рүүгээ буудахгүйгээр хадгалах газрыг хэрхэн сонгох вэ

Байгаль орчин

Мэдээжийн хэрэг, энэ хадгалах систем ямар орчинд ажиллах нь чухал асуулт юм.

  • Цахилгаан хангамж/хөргөлтийн талаар юу хэлэх вэ?
  • Ямар холболт
  • Үүнийг хаана суурилуулах вэ?
  • Тиймээ.

Ихэнхдээ эдгээр асуултууд нь зүгээр л нэг чухал зүйл гэж тооцогддоггүй, гэхдээ заримдаа тэд бүх зүйлийг эргүүлж чаддаг.

Юутай

Худалдагч

Өнөөдрийн байдлаар (2019 оны дундуур) Оросын хадгалалтын зах зээлийг 5 ангилалд хувааж болно.

  1. Хамгийн дээд хэлтэс нь хамгийн энгийнээс өндөр чанартай (HPE, DellEMC, Hitachi, NetApp, IBM / Lenovo) хүртэл өргөн хүрээний дискний тавиур бүхий сайн байгуулагдсан компаниуд юм.
  2. Хоёрдугаар хэлтэс - хязгаарлагдмал шугамтай компаниуд, чухал тоглогчидтой, SDS-ийн ноцтой борлуулагчид эсвэл шинээр гарч ирж буй компаниуд (Fujitsu, Datacore, Infinidat, Huawei, Pure гэх мэт)
  3. Гурав дахь хэлтэс - доод түвшний шийдэл, хямд SDS, ceph болон бусад нээлттэй төслүүдэд суурилсан дэвшилтэт бүтээгдэхүүнүүд (Infortrend, Starwind гэх мэт).
  4. SOHO сегмент - гэр/жижиг оффисын түвшний жижиг ба хэт жижиг хадгалах систем (Synology, QNAP гэх мэт)
  5. Импортыг орлуулсан хадгалах системүүд - үүнд дахин шошготой эхний хэсгийн техник хангамж, хоёрдугаар хэсгийн ховор төлөөлөгч (RAIDIX, бид хоёр дахь хэсгийг нь урьдчилан өгөх болно), гэхдээ энэ нь голчлон гуравдугаар хэлтэс (Aerodisk, Баум, Депо гэх мэт)

Хуваалт нь нэлээд дур зоргоороо бөгөөд гурав дахь эсвэл SOHO сегмент нь муу, ашиглах боломжгүй гэсэн үг биш юм. Тодорхой тодорхойлогдсон өгөгдлийн багц, ачааллын профайл бүхий тодорхой төслүүдэд тэд маш сайн ажиллаж чаддаг бөгөөд үнэ / чанарын харьцааны хувьд эхний хуваалтаас хол давж гардаг. Юуны өмнө зорилго, өсөлтийн хэтийн төлөв, шаардлагатай функцийг шийдэх нь чухал бөгөөд дараа нь Synology танд үнэнчээр үйлчлэх бөгөөд таны үс зөөлөн, торгомсог болно.

Худалдагчийг сонгоход чухал хүчин зүйлүүдийн нэг бол одоогийн орчин юм. Танд хичнээн хадгалах систем байгаа болон таны инженерүүд ямар хадгалах системтэй ажиллах боломжтой вэ? Танд өөр борлуулагч, өөр холбоо барих цэг хэрэгтэй байна уу, та бүх ачааллыг А үйлдвэрлэгчээс В үйлдвэрлэгч рүү аажмаар шилжүүлэх үү?

Шаардлагатай хэмжээнээс хэтэрсэн аж ахуйн нэгжүүдийг үйлдвэрлэж болохгүй.

iSCSI/FC/Файл

Хандалтын протоколын асуудлаар инженерүүдийн дунд зөвшилцөл байхгүй бөгөөд мэтгэлцээн нь инженерчлэлийнхээс илүү теологийн хэлэлцүүлэгтэй төстэй юм. Гэхдээ ерөнхийдөө дараахь зүйлийг тэмдэглэж болно.

FCoE амьд гэхээсээ илүү үхсэн.

FC болон iSCSI. Өгөгдөл хандалтад зориулагдсан үйлдвэр болох IP хадгалах сангаас 2019 онд FC-ийн гол давуу талуудын нэг нь тусгай IP сүлжээгээр нөхөгддөг. FC нь IP сүлжээнээс дэлхийн хэмжээнд ямар ч давуу талгүй бөгөөд IP нь том банкны үндсэн банкны системд зориулсан хүнд DBMS систем хүртэл ямар ч ачааллын түвшний хадгалах системийг бүтээхэд ашиглагдана. Нөгөөтэйгүүр, FC-ийн үхлийг хэдэн жилийн турш зөгнөж байсан ч ямар нэг зүйл үүнд саад болж байна. Жишээлбэл, өнөөдөр хадгалалтын зах зээлийн зарим тоглогчид NVMEoF стандартыг идэвхтэй хөгжүүлж байна. Тэр FCoE-ийн хувь заяаг хуваалцах эсэхийг цаг хугацаа харуулах болно.

Файлын хандалт бас анхаарал татахуйц зохисгүй зүйл биш юм. NFS/CIFS нь бүтээмжийн орчинд сайн ажилладаг бөгөөд хэрэв зөв зохион бүтээсэн бол блок протоколоос илүү гомдол гаргахгүй.

Гибрид / Бүх Flash массив

Сонгодог хадгалах системүүд нь 2 төрлөөр ирдэг:

  1. AFA (All Flash Array) - SSD ашиглахад оновчтой систем.
  2. Гибрид - HDD болон SSD эсвэл тэдгээрийн хослолыг хоёуланг нь ашиглах боломжийг танд олгоно.

Тэдний гол ялгаа нь хадгалалтын үр ашгийн технологи, гүйцэтгэлийн хамгийн дээд түвшин (өндөр IOPS ба хоцролт бага) юм. Хоёр систем хоёулаа (ихэнх загварт нь доод түвшний сегментийг тооцохгүй) блок болон файлын төхөөрөмж хэлбэрээр ажиллах боломжтой. Дэмжигдсэн функц нь системийн түвшнээс хамаардаг бөгөөд залуу загваруудын хувьд энэ нь ихэвчлэн хамгийн бага түвшинд хүртэл буурдаг. Зөвхөн бүх шугамын чадавхийг бус тодорхой загварын шинж чанарыг судлахдаа үүнийг анхаарч үзэх нь зүйтэй. Мөн мэдээжийн хэрэг процессор, санах ойн хэмжээ, кэш, портын тоо, төрөл гэх мэт техникийн шинж чанарууд нь системийн түвшингээс хамаарна. Удирдлагын үүднээс авч үзвэл AFA нь эрлийз (диск) системээс зөвхөн SSD хөтчүүдтэй ажиллах механизмын хэрэгжилтээр ялгаатай байдаг бөгөөд та SSD-ийг эрлийз системд ашигладаг байсан ч гэсэн энэ нь танд боломжтой гэсэн үг биш юм. AFA системийн түвшинд гүйцэтгэлийн түвшинд хүрэх. Түүнчлэн, ихэнх тохиолдолд хайбрид систем дээр шугамын үр ашигтай хадгалах механизмууд идэвхгүй болдог бөгөөд тэдгээрийг оруулах нь гүйцэтгэлийн алдагдалд хүргэдэг.

Тусгай хадгалах систем

Мэдээлэл боловсруулахад голчлон чиглэсэн ерөнхий зориулалтын хадгалах системүүдээс гадна ердийн зарчмуудаас эрс ялгаатай (бага хоцролт, өндөр IOPS) үндсэн зарчим бүхий тусгай хадгалах системүүд байдаг.

Хэвлэл мэдээлэл.

Эдгээр системүүд нь том медиа файлуудыг хадгалах, боловсруулахад зориулагдсан. Хариулах саатал нь бараг чухал биш болж, олон зэрэгцээ урсгалд өргөн зурваст өгөгдөл илгээх, хүлээн авах чадвар урган гарч ирдэг.

Нөөцлөлтийн хадгалалтын системийг давхар хуулбарлах.

Нөөц хуулбарууд нь хоорондоо ижил төстэй байдгаараа ялгагддаг бөгөөд энэ нь ердийн нөхцөлд ховор тохиолддог (дундаж нөөц хуулбар нь өчигдрийн хуулбараас 1-2% -иар ялгаатай байдаг) энэ ангиллын системүүд нь тэдгээрт бичигдсэн өгөгдлийг маш үр дүнтэй багцалдаг. физик мэдээллийн хэрэгслийн тоо. Жишээлбэл, зарим тохиолдолд өгөгдөл шахах харьцаа 200-1 хүрч болно.

Объект хадгалах систем.

Эдгээр хадгалалтын системүүд нь ердийн блок хандалтын хэмжээ, файл хуваалцахгүй бөгөөд хамгийн гол нь асар том мэдээллийн сантай төстэй юм. Ийм системд хадгалагдсан объект руу хандах хандалтыг өвөрмөц танигч эсвэл мета өгөгдлөөр гүйцэтгэдэг (жишээлбэл, XX-XX-XXXX болон YY-YY-YYYY хооронд үүсгэсэн бүх JPEG форматтай объектууд).

Дагаж мөрдөх систем.

Өнөөдөр Орос улсад тэд тийм ч түгээмэл биш боловч тэдгээрийг дурдах нь зүйтэй. Ийм хадгалалтын системийн зорилго нь аюулгүй байдлын бодлого эсвэл зохицуулалтын шаардлагад нийцсэн өгөгдөл хадгалах баталгаа юм. Зарим системүүд (жишээлбэл, EMC Centera) өгөгдөл устгахыг хориглох функцийг хэрэгжүүлсэн - түлхүүрийг эргүүлж, систем энэ горимд ормогц администратор болон өөр хэн ч аль хэдийн бүртгэгдсэн өгөгдлийг устгах боломжгүй.

Өмчийн технологи

Flash кэш

Flash кэш нь флаш санах ойг хоёрдугаар түвшний кэш болгон ашиглах бүх өмчийн технологийн нийтлэг нэр юм. Флэш кэш ашиглах үед хадгалах системийг ихэвчлэн соронзон дискнээс тогтмол ачааллыг хангахаар тооцдог бол дээд цэг нь кэшээр үйлчилдэг.

Энэ тохиолдолд ачааллын профайл, хадгалах багтаамжийн блок руу нэвтрэх эрхийг нутагшуулах түвшинг ойлгох шаардлагатай. Flash кэш нь өндөр нутагшуулсан асуулга бүхий ажлын ачаалалд зориулсан технологи бөгөөд жигд ачаалалтай (аналитик систем гэх мэт) эзлэхүүнд бараг тохиромжгүй.

Зах зээл дээр флаш кэшийн хоёр хувилбар байдаг:

  • Зөвхөн унших. Энэ тохиолдолд зөвхөн уншсан өгөгдлийг санах ойд хадгалдаг бөгөөд бичих нь диск рүү шууд ордог. NetApp зэрэг зарим үйлдвэрлэгчид хадгалах системдээ бичих нь аль хэдийн оновчтой болсон гэж үздэг бөгөөд кэш нь огт тус болохгүй.
  • Унших бичих. Уншихаас гадна бичих нь кэштэй бөгөөд энэ нь урсгалыг буферлэх, RAID торгуулийн нөлөөллийг багасгах боломжийг олгодог бөгөөд үүний үр дүнд бичих оновчтой механизм багатай хадгалалтын системийн нийт гүйцэтгэлийг нэмэгдүүлдэг.

Тийрэлт

Олон түвшний хадгалалт (ядаргаатай) нь SSD болон HDD гэх мэт өөр өөр түвшний гүйцэтгэлийн түвшнийг нэг дискний санд нэгтгэх технологи юм. Өгөгдлийн блокуудад нэвтрэх тэгш бус байдал илэрсэн тохиолдолд систем нь өгөгдлийн блокуудыг автоматаар тэнцвэржүүлж, ачаалагдсан блокуудыг өндөр гүйцэтгэлтэй, хүйтэн блокуудыг эсрэгээр нь удаан болгон шилжүүлэх боломжтой болно.

Доод болон дунд ангийн эрлийз систем нь хуваарийн дагуу түвшний хооронд шилжих өгөгдөл бүхий олон түвшний хадгалалтыг ашигладаг. Үүний зэрэгцээ шилдэг загваруудад зориулсан олон түвшний хадгалах блокийн хэмжээ 256 МБ байна. Эдгээр боломжууд нь олон хүн буруугаар итгэдэг шиг шаталсан хадгалах технологийг бүтээмжийг нэмэгдүүлэх технологи гэж үзэх боломжийг бидэнд олгодоггүй. Бага ба дунд зэрэглэлийн систем дэх олон түвшний хадгалалт нь ачааллын жигд бус байдал бүхий системүүдийн хадгалах зардлыг оновчтой болгох технологи юм.

Хормын хувилбар

Хадгалах системийн найдвартай байдлын талаар бид хичнээн их ярьдаг байсан ч техник хангамжийн асуудлаас хамааралгүй өгөгдлийг алдах олон боломжууд байдаг. Энэ нь вирус, хакерууд эсвэл бусад санамсаргүйгээр устгасан/мэдээлэл гэмтээсэн байж болзошгүй. Ийм учраас үйлдвэрлэлийн өгөгдлийг нөөцлөх нь инженерийн ажлын салшгүй хэсэг юм.

Хэзээ нэгэн цагт ботьны агшин зуурын агшин зураг юм. Виртуалчлал, мэдээллийн сан гэх мэт ихэнх системүүдтэй ажиллахдаа. Бид ийм агшин зуурын зургийг авах хэрэгтэй бөгөөд үүнээс өгөгдлийг нөөц хуулбар руу хуулж авахын зэрэгцээ манай IS нь энэ эзлэхүүнтэй аюулгүйгээр үргэлжлүүлэн ажиллах боломжтой болно. Гэхдээ бүх агшин зуурын зургууд адилхан ашиг тустай байдаггүй гэдгийг санах нь зүйтэй. Өөр өөр борлуулагчид өөрсдийн архитектуртай холбоотой агшин зуурын зураг үүсгэх өөр өөр арга барилтай байдаг.

Үхэр (Хуулбарлах, бичих). Өгөгдлийн блок бичих гэж оролдох үед түүний эх агуулгыг тусгай талбарт хуулж, дараа нь бичих ажил хэвийн явагдана. Энэ нь хормын хувилбар доторх өгөгдөл гэмтэхээс сэргийлнэ. Мэдээжийн хэрэг, эдгээр бүх "паразит" өгөгдлийн залруулга нь хадгалах системд нэмэлт ачааллыг бий болгодог тул ижил төстэй хэрэгжүүлэлттэй үйлдвэрлэгчид арав гаруй хормын хувилбарыг ашиглахыг зөвлөдөггүй бөгөөд ачаалал ихтэй эзэлхүүн дээр огт ашиглахгүй байхыг зөвлөж байна.

RoW (Бичих дээр дахин чиглүүлэх). Энэ тохиолдолд анхны эзэлхүүн нь аяндаа хөлддөг бөгөөд өгөгдлийн блок бичихийг оролдох үед хадгалах систем нь чөлөөт зай дахь тусгай талбарт өгөгдлийг бичиж, мета өгөгдлийн хүснэгт дэх энэ блокийн байршлыг өөрчилдөг. Энэ нь дахин бичих үйлдлүүдийн тоог багасгах боломжийг олгодог бөгөөд энэ нь гүйцэтгэлийн уналтыг арилгаж, агшин зуурын зураг болон тэдгээрийн тоон дээрх хязгаарлалтыг арилгана.

Хормын хувилбарууд нь програмуудтай холбоотой хоёр төрөлтэй:

Хэрэглээний тууштай байдал. Хормын хувилбарыг үүсгэх үед хадгалах систем нь хэрэглэгчийн үйлдлийн систем дэх агентийг татаж, дискний кэшийг санах ойноос диск рүү хүчээр зайлуулж, програмыг үүнийг хийхэд хүргэдэг. Энэ тохиолдолд хормын хувилбараас сэргээх үед өгөгдөл нь нийцтэй байх болно.

Гэмтлийн тогтвортой байдал. Энэ тохиолдолд ийм зүйл тохиолдохгүй бөгөөд агшин зуурын зургийг байгаагаар нь үүсгэнэ. Ийм агшин зуурын зургийг сэргээх тохиолдолд цахилгаан эрчим хүч гэнэт унтарч, зарим мэдээлэл алдагдах боломжтой, кэшэд гацсан, дискэнд хэзээ ч хүрэхгүй бол юу болохтой ижил зураг байна. Ийм хормын хувилбаруудыг хэрэгжүүлэхэд илүү хялбар бөгөөд програмын гүйцэтгэлийн доройтолд хүргэдэггүй, гэхдээ найдвартай биш юм.

Хадгалах системд яагаад хормын хувилбар хэрэгтэй вэ?

  • Хадгалах системээс шууд агентгүй нөөцлөлт
  • Бодит өгөгдөл дээр суурилсан туршилтын орчинг бий болгох
  • Файл хадгалах системийн хувьд үүнийг гипервизорын оронд хадгалах системийн хормын хувилбаруудыг ашиглан VDI орчныг бий болгоход ашиглаж болно.
  • Нөөц давтамжаас хамаагүй өндөр давтамжтайгаар хуваарьт агшин зуурын зургийг үүсгэж бага RPO-г баталгаажуулна уу.

Cloning

Эзлэхүүнийг хуваах - агшин зуурын зурагтай төстэй зарчмаар ажилладаг боловч зөвхөн өгөгдлийг уншихад төдийгүй түүнтэй бүрэн ажиллахад ашиглагддаг. Бид эзлэхүүний яг хуулбарыг, түүн дээр байгаа бүх өгөгдөлтэй, биет хуулбар хийхгүйгээр авах боломжтой бөгөөд энэ нь зай хэмнэх болно. Ихэвчлэн Test&Dev программ дээр эсвэл та өөрийн IS дээрх зарим шинэчлэлтүүдийн ажиллагааг шалгахыг хүсвэл эзлэхүүний клончлолыг ашигладаг. Клон хийх нь дискний нөөцийн хувьд үүнийг аль болох хурдан бөгөөд хэмнэлттэй хийх боломжийг танд олгоно, учир нь Зөвхөн өөрчлөгдсөн өгөгдлийн блокуудыг бичих болно.

Хуулбарлах / тэмдэглэл хөтлөх

Хуулбарлах нь өөр физик хадгалах систем дээр мэдээллийн хуулбарыг үүсгэх механизм юм. Дүрмээр бол борлуулагч бүр зөвхөн өөрийн шугамын хүрээнд ажилладаг өмчийн технологитой байдаг. Гэхдээ VMware vSphere Replication гэх мэт гипервизорын түвшинд ажилладаг гуравдагч талын шийдлүүд бас байдаг.

Өмчлөлийн технологийн функциональ байдал, ашиглахад хялбар байдал нь ихэвчлэн бүх нийтийнхээс хамаагүй давуу байдаг боловч жишээлбэл NetApp-аас HP MSA руу хуулбар хийх шаардлагатай үед тэдгээр нь ашиглах боломжгүй болдог.

Хуулбарлах нь хоёр дэд төрөлд хуваагдана:

Синхрон. Синхрон хуулбарлах тохиолдолд бичих үйлдлийг хоёр дахь санах ойн систем рүү нэн даруй илгээдэг бөгөөд алсын санах ойн систем баталгаажуулах хүртэл гүйцэтгэлийг баталгаажуулдаггүй. Үүнээс болж хандалтын саатал ихсэх боловч бидэнд өгөгдлийн яг толин тусгал хуулбар бий. Тэдгээр. Үндсэн хадгалах систем алдагдсан тохиолдолд RPO = 0.

асинхрон. Бичих үйлдлүүд нь зөвхөн үндсэн санах ойн систем дээр хийгддэг бөгөөд нэн даруй баталгааждаг бөгөөд нэгэн зэрэг алсын хадгалалтын системд багц дамжуулах буферт хуримтлагддаг. Энэ төрлийн хуулбар нь үнэ цэнэ багатай өгөгдөл эсвэл бага зурвасын өргөн эсвэл өндөр хоцролттой (100 км-ээс дээш зайд ердийн) сувагт хамааралтай. Үүний дагуу RPO = пакет илгээх давтамж.

Ихэнхдээ хуулбарлахын зэрэгцээ механизм байдаг мод бэлтгэх дискний үйлдлүүд. Энэ тохиолдолд тусгай талбайг мод бэлтгэх, бүртгэх үйл ажиллагааг тодорхой гүнд цаг хугацаанд нь хуваарилдаг, эсвэл бүртгэлийн хэмжээгээр хязгаарладаг. EMC RecoverPoint гэх мэт зарим өмчийн технологийн хувьд зарим хавчуургыг тусгай бүртгэлийн оруулгатай холбох боломжийг олгодог системийн програм хангамжтай нэгтгэсэн байдаг. Үүний ачаар зөвхөн 23-р сарын 11, 59 цаг 13 секунд XNUMX миллисекунд хүртэл биш, харин "БҮХ ХҮСНЭГТИЙГ DROP DROP; ЗОРИУЛАХ.”

Метроны кластер

Метро кластер нь хоёр санах ойн системийн хооронд хоёр чиглэлтэй синхрон хуулбарыг үүсгэх боломжийг олгодог технологи бөгөөд гаднаасаа энэ хос нь нэг хадгалах систем мэт харагдана. Энэ нь метроны зайд (100 км-ээс бага) газарзүйн хувьд тусгаарлагдсан гар бүхий кластер үүсгэхэд ашиглагддаг.

Виртуалчлалын орчинд ашиглах жишээн дээр үндэслэн метрокластер нь нэг дор хоёр мэдээллийн төвөөс бичлэг хийх боломжтой виртуал машин бүхий мэдээллийн сан үүсгэх боломжийг олгодог. Энэ тохиолдолд энэ өгөгдлийн сантай холбогдсон өөр өөр физик өгөгдлийн төв дэх хостуудаас бүрдэх гипервизорын түвшинд кластер үүсдэг. Энэ нь танд дараахь зүйлийг хийх боломжийг олгоно.

  • Мэдээллийн төвүүдийн аль нэг нь нас барсны дараа сэргээх үйл явцыг бүрэн автоматжуулах. Ямар ч нэмэлт хөрөнгөгүйгээр нас барсан дата төвд ажиллаж байгаа бүх VM-ууд үлдсэн нэгд нь автоматаар дахин асах болно. RTO = өндөр боломжтой кластерын завсарлага (VMware-д 15 секунд) + үйлдлийн системийг ачаалж, үйлчилгээг эхлүүлэх хугацаа.
  • Гамшгаас зайлсхийх буюу оросоор бол гамшгаас зайлсхийх. Хэрэв 1-р дата төвд цахилгаан хангамжийн ажил хийхээр төлөвлөж байгаа бол ажил эхлэхээс өмнө бид бүх чухал ачааллыг дата төв 2-т зогсолтгүй шилжүүлэх боломжтой.

Виртуалчлал

Хадгалах виртуалчлал нь техникийн хувьд өөр санах ойн системийн эзлэхүүнийг диск болгон ашиглах явдал юм. Хадгалах виртуалчлагч нь өөр хэн нэгний эзлэхүүнийг хэрэглэгч рүү өөрийнхөөрөө шилжүүлж, нэгэн зэрэг өөр санах ойн системд тусгах, эсвэл бүр гадаад эзэлхүүнээс RAID үүсгэх боломжтой.
Хадгалах виртуалчлалын ангийн сонгодог төлөөлөгчид нь EMC VPLEX болон IBM SVC юм. Мэдээжийн хэрэг виртуалчлалын функц бүхий хадгалах системүүд - NetApp, Hitachi, IBM / Lenovo Storwize.

Яагаад хэрэгтэй байж болох вэ?

  • Хадгалах системийн түвшинд илүүдэл. Ботьуудын хооронд толин тусгал үүсдэг бөгөөд нэг тал нь HP 3Par, нөгөө нь NetApp дээр байж болно. Виртуализатор нь EMC-ээс ирсэн.
  • Өөр өөр үйлдвэрлэгчдийн хадгалах системүүдийн хооронд хамгийн бага сул зогсолттойгоор өгөгдлийг зөөх. Өгөгдлийг хасагдах хуучин 3Par-аас шинэ Dell рүү шилжүүлэх шаардлагатай гэж үзье. Энэ тохиолдолд хэрэглэгчдийг 3Par-аас салгаж, эзлэхүүнийг VPLEX-ийн дагуу шилжүүлж, хэрэглэгчдэд дахин танилцуулна. Дууны хэмжээ бага зэрэг өөрчлөгдөөгүй тул ажил үргэлжилж байна. Дууны хэмжээг шинэ Dell-д толин тусгал болгох үйл явц нь цаана нь эхэлж, дууссаны дараа толин тусгал эвдэрч, 3Par идэвхгүй болно.
  • Метро кластеруудын зохион байгуулалт.

Шахах/давслах

Шахах болон хуулбарлах нь таны санах ойн систем дэх дискний зайг хэмнэх боломжийг олгодог технологи юм. Зарчмын хувьд бүх өгөгдөл шахалт ба/эсвэл давхардалтанд өртдөггүй, зарим төрлийн өгөгдөл илүү сайн шахагдаж, хуулбарлагддаг, зарим нь эсрэгээр гэдгийг нэн даруй дурдах нь зүйтэй.

2 төрлийн шахалт ба давхардалгүй:

Шугаманд - өгөгдлийн блокуудыг шахах, хуулбарлах нь энэ өгөгдлийг диск рүү бичихээс өмнө тохиолддог. Тиймээс систем нь зөвхөн блокийн хэшийг тооцоолж, хүснэгтэд байгаа хэсгүүдтэй харьцуулдаг. Нэгдүгээрт, энэ нь зүгээр л диск рүү бичихээс илүү хурдан бөгөөд хоёрдугаарт, бид дискний нэмэлт зайг дэмий үрэхгүй.

Бичлэгийн - эдгээр үйлдлүүдийг дискэн дээр аль хэдийн бүртгэгдсэн өгөгдөл дээр хийх үед. Үүний дагуу өгөгдлийг эхлээд диск рүү бичдэг бөгөөд зөвхөн дараа нь хэшийг тооцоолж, шаардлагагүй блокуудыг устгаж, дискний нөөцийг чөлөөлдөг.

Ихэнх борлуулагчид эдгээр хоёр төрлийг ашигладаг бөгөөд энэ нь эдгээр процессыг оновчтой болгож, үр ашгийг нь нэмэгдүүлэх боломжийг олгодог гэдгийг хэлэх нь зүйтэй. Ихэнх хадгалалтын үйлдвэрлэгчид танд өгөгдлийн багцаа шинжлэх боломжийг олгодог хэрэгслүүдтэй байдаг. Эдгээр хэрэгслүүд нь хадгалах системд хэрэгждэг логикийн дагуу ажилладаг тул үр ашгийн тооцоолсон түвшин ижил байх болно. Түүнчлэн, олон үйлдвэрлэгчид тодорхой (эсвэл бүх) өгөгдлийн төрлүүдэд хамгийн багадаа сайн гүйцэтгэлийг амласан гүйцэтгэлийн баталгааны хөтөлбөрүүд байдаг гэдгийг санаарай. Мөн та энэ програмыг үл тоомсорлож болохгүй, учир нь тухайн системийн үр ашгийн коэффициентийг харгалзан өөрийн даалгаврын системийг тооцоолсноор та эзлэхүүнийг хэмнэж чадна. Эдгээр програмууд нь AFA системд зориулагдсан гэдгийг анхаарч үзэх нь зүйтэй боловч сонгодог систем дэх HDD-ээс бага хэмжээний SSD худалдаж авсны ачаар энэ нь тэдний өртөгийг бууруулах бөгөөд хэрэв дискний системийн өртөгтэй тэнцэхгүй бол нэлээн ойртох.

Энэ загвар

Эндээс бид зөв асуултанд ирлээ.

"Тэд надад хадгалах хоёр сонголтыг санал болгож байна - ABC SuperStorage S600 болон XYZ HyperOcean 666v4, та юу санал болгож байна?"

"Энд тэд надад хадгалах хоёр сонголтыг санал болгож байна - ABC SuperStorage S600 болон XYZ HyperOcean 666v4, та юу санал болгож байна вэ?

Зорилтот ачаалал нь үйлдвэрлэл/туршилт/хөгжлийн гогцоотой VMware виртуал машинууд юм. Туршилт = бүтээмжтэй. 150 IOPS 80kb блоклох 000% санамсаргүй хандалт 8/50 унших-бичих зэрэг дээд үзүүлэлттэй тус бүр 80 TB. Хөгжүүлэхэд 20 TB, 300 IOPS хангалттай, 50 санамсаргүй, 000 бичих.

Метрокластерт бүтээмж RPO = 15 минут RTO = 1 цаг, асинхрон хуулбарлах RPO = 3 цаг, нэг сайт дээр туршилт хийх.

50TB DBMS байх болно, бүртгэл нь тэдэнд сайхан байх болно.

Бид хаа сайгүй Dell серверүүдтэй, хуучин Hitachi хадгалах системүүдтэй, тэд бараг даван туулж чаддаггүй, бид ачааллыг эзлэхүүн, гүйцэтгэлийн хувьд 50% -иар нэмэгдүүлэхээр төлөвлөж байна."

Тэдний хэлснээр зөв боловсруулсан асуулт хариултын 80% -ийг агуулдаг.

нэмэлт мэдээлэл

Зохиогчийн хэлснээр та нэмэлт унших ёстой зүйл

Номууд

  • Олифер ба Олифер "Компьютерийн сүлжээ". Энэхүү ном нь IP / Ethernet хадгалах системд өгөгдөл дамжуулах орчин хэрхэн ажилладагийг системчлэх, магадгүй илүү сайн ойлгоход тусална.
  • "EMC мэдээллийн хадгалалт ба менежмент." Хадгалалтын системийн үндэс, яагаад, яаж, яагаад гэдгийг харуулсан маш сайн ном.

Форум ба чат

Ерөнхий зөвлөмжүүд

Үнийн жагсаалт

Одоо үнийн хувьд - ерөнхийдөө хадгалах системүүдийн үнэ байдаг бол тэдгээр нь ихэвчлэн Жагсаалтын үнэ байдаг бөгөөд үүнээс үйлчлүүлэгч бүр хувь хүний ​​хөнгөлөлт авдаг. Хөнгөлөлтийн хэмжээ нь олон тооны параметрүүдээс бүрддэг тул дистрибьютерээс асуухгүйгээр танай компани ямар эцсийн үнийг авахыг урьдчилан таамаглах боломжгүй юм. Гэхдээ үүнтэй зэрэгцэн сүүлийн үед хямд үнэтэй загварууд ердийн компьютерийн дэлгүүрүүдэд гарч эхэлсэн. nix.ru буюу xcom-shop.ru. Эндээс та сонирхож буй системээ компьютерийн бусад бүрэлдэхүүн хэсгүүдийн нэгэн адил тогтмол үнээр шууд худалдаж авах боломжтой.

Гэхдээ TB/$-аар шууд харьцуулах нь буруу гэдгийг би шууд хэлмээр байна. Хэрэв бид энэ үүднээс хандвал хамгийн хямд шийдэл нь энгийн JBOD + сервер байх бөгөөд энэ нь бүрэн эрхт, хос хянагчтай хадгалах системийн уян хатан байдал, найдвартай байдлыг хангахгүй. Энэ нь JBOD нь жигшүүртэй, муухай бохир арга гэсэн үг биш бөгөөд та энэ шийдлийг хэрхэн, ямар зорилгоор ашиглахаа дахин маш тодорхой ойлгох хэрэгтэй. JBOD-д эвдэх зүйл байхгүй, зөвхөн нэг арын хавтан байдаг гэж та олонтаа сонсож болно. Гэсэн хэдий ч арын хавтан заримдаа бүтэлгүйтдэг. Бүх зүйл эрт орой хэзээ нэгэн цагт эвдэрдэг.

Нийт

Системийг зөвхөн үнэ, гүйцэтгэлээр нь төдийгүй бүх үзүүлэлтүүдийн нийлбэрээр харьцуулах шаардлагатай.

Хэрэв танд HDD хэрэгтэй гэдэгт итгэлтэй байгаа бол л HDD худалдаж аваарай. Ачаалал багатай, шахагдах боломжгүй өгөгдлийн төрлүүдийн хувьд, эс тэгвээс ихэнх борлуулагчид одоо байгаа (мөн тэд Орост ч гэсэн үнэхээр ажилладаг) SSD хадгалалтын үр ашгийг баталгаажуулах хөтөлбөрүүдэд хандах нь зүйтэй боловч энэ нь бүгд байрлах програмууд болон өгөгдөлөөс хамаарна. Энэ хадгалах систем дээр.

Хямд үнээр бүү яв. Заримдаа эдгээр нь олон тааламжгүй мөчүүдийг нуудаг бөгөөд тэдгээрийн нэгийг Евгений Елизаров өөрийн нийтлэлдээ дурдсан байдаг. Мэдээлэх. Эцсийн эцэст энэ хямдхан байдал танд сөрөг нөлөө үзүүлж магадгүй юм. "Харамч хоёр удаа төлдөг" гэдгийг бүү мартаарай.

Эх сурвалж: www.habr.com

сэтгэгдэл нэмэх