Чӣ тавр интихоб кардани нигаҳдории бе тир худ дар пои

Муқаддима

Вақти он расидааст, ки нигоҳдорӣ харед. Кадомашро гирифтан, ба кӣ гӯш додан? Фурӯшанда А дар бораи фурӯшандаи В сӯҳбат мекунад ва он гоҳ интегратор С аст, ки баръакс мегӯяд ва ба фурӯшандаи D маслиҳат медиҳад. Дар чунин вазъият ҳатто сари як меъмори нигаҳдории ботаҷриба чарх мезанад, махсусан бо ҳама фурӯшандагони нав ва SDS ва гиперконвергенсия, ки муд аст имруз.

Пас, чӣ тавр шумо ин ҳамаро фаҳмида метавонед ва дар ниҳоят беақл намешавед? мо (АнтонВиртуал Антон Жбанков ва corp Евгений Елизаров) биёед кӯшиш кунем, ки дар ин бора бо забони русӣ сӯҳбат кунем.
Мақола шабоҳатҳои зиёд дорад ва аслан тамдиди "Тарҳрезии маркази додаҳои виртуалӣ” дар робита ба интихоби системаҳои нигоҳдорӣ ва баррасии технологияҳои нигоҳдорӣ. Мо ба таври мухтасар ба назарияи умумӣ назар мекунем, аммо тавсия медиҳем, ки ин мақоларо низ хонед.

Барои чӣ

Шумо аксар вақт вазъиятеро мебинед, ки шахси нав ба форум ё сӯҳбати махсус меояд, ба монанди Муҳокимаҳои нигаҳдорӣ ва савол медиҳад: "дар ин ҷо онҳо ба ман ду имконоти нигоҳдорӣ пешниҳод мекунанд - ABC SuperStorage S600 ва XYZ HyperOcean 666v4, шумо чӣ тавсия медиҳед. ?”

Ва нофаҳмиҳо дар бораи он сар мешавад, ки кӣ дорои кадом хусусиятҳои татбиқи хусусиятҳои даҳшатнок ва нофаҳмо аст, ки барои шахси омоданашуда комилан чинӣ мебошанд.

Пас, саволи асосӣ ва аввалине, ки шумо бояд пеш аз муқоисаи мушаххасот дар пешниҳодҳои тиҷоратӣ аз худ бипурсед, ЧАРО? Чаро ин системаи нигоҳдорӣ лозим аст?

Чӣ тавр интихоб кардани нигаҳдории бе тир худ дар пои

Ҷавоб ғайричашмдошт хоҳад буд, ва хеле сабки Тони Роббинс - барои нигоҳ доштани маълумот. Ташаккур, капитан! Бо вуҷуди ин, баъзан мо ба муқоисаи тафсилот чунон амиқтар меафтем, ки мо фаромӯш мекунем, ки чаро ҳамаи ин корро дар ҷои аввал анҷом медиҳем.

Ҳамин тариқ, вазифаи системаи нигаҳдории маълумот нигоҳ доштан ва таъмин кардани дастрасӣ ба DATA бо иҷрои додашуда мебошад. Мо бо маълумот оғоз мекунем.

маълумот

Навъи маълумот

Мо нақша дорем, ки чӣ гуна маълумотро нигоҳ дорем? Саволи хеле муҳиме, ки метавонад бисёр системаҳои нигоҳдории онро ҳатто аз назар гузаронад. Масалан, шумо нақша доред, ки видео ва аксҳоро нигоҳ доред. Шумо метавонед фавран системаҳоеро, ки барои дастрасии тасодуфӣ дар блокҳои хурд пешбинӣ шудаанд, ё системаҳое, ки дорои хусусиятҳои хусусии фишурдасозӣ / нусхабардорӣ мебошанд, хат зада метавонед. Инҳо метавонанд танҳо системаҳои олӣ бошанд, мо намехоҳем ягон чизи бад бигӯем. Аммо дар ин ҳолат, ҷиҳатҳои қавӣ ё заиф мешаванд (видео ва аксҳо фишурда намешаванд) ё танҳо арзиши системаро ба таври назаррас афзоиш медиҳанд.

Ва баръакс, агар истифодаи пешбинишуда як МДМ-и транзаксионии банд бошад, он гоҳ системаҳои ҷараёнҳои мултимедиявӣ, ки қодиранд дар як сония гигабайтҳоро интиқол диҳанд, интихоби бад хоҳад буд.

Ҳаҷми маълумот

Мо нақша дорем, ки чӣ қадар маълумот захира кунем? Миқдор ҳамеша ба сифат табдил меёбад; инро ҳеҷ гоҳ набояд фаромӯш кард, хусусан дар замони мо, ки афзоиши экспоненсиалии ҳаҷми маълумот. Системаҳои синфи петабайтӣ дигар ғайриоддӣ нестанд, аммо ҳар қадар иқтидори петабайтӣ калонтар бошад, система ҳамон қадар мушаххастар мешавад, ҳамон қадар функсияҳои муқаррарии системаҳои дастрасии тасодуфии хурд ва миёна камтар дастрас мешаванд. Ин ночиз аст, зеро танҳо ҷадвалҳои омори дастрасии блок аз миқдори мавҷудаи RAM дар контроллерҳо калонтар мешаванд. Дар бораи фишурдакунӣ/сатҳҳо сухан нагӯед. Фарз мекунем, ки мо мехоҳем алгоритми фишурдасозиро ба алгоритми пурқувваттар гузаронем ва 20 петабайт маълумотро фишурда кунем. Он чӣ қадар вақт мегирад: шаш моҳ, як сол?

Аз тарафи дигар, агар ба шумо 500 ГБ маълумот нигоҳ доштан ва коркард кардан лозим бошад, чаро ташвиш медиҳед? Танҳо 500. SSD-ҳои хонагӣ (бо DWPD паст) ин андоза арзиш надоранд. Чаро як корхонаи Fiber Channel сохта, системаҳои нигаҳдории берунаи баландсифатро харидан лозим аст, ки арзишашон баробари пули оҳанин аст?

Чанд фоизи умумии маълумоти гарм аст? Сарборӣ аз рӯи ҳаҷми маълумот то чӣ андоза нобаробар аст? Дар ин ҷо технологияи нигоҳдории сатҳӣ ё Flash Cache метавонад хеле муфид бошад, агар миқдори маълумоти гарм дар муқоиса бо маълумоти умумӣ ночиз бошад. Ё баръакс, бо сарбории якхела дар тамоми ҳаҷм, ки аксар вақт дар системаҳои ҷараёнӣ (назорати видеоӣ, баъзе системаҳои таҳлилӣ) пайдо мешавад, чунин технологияҳо ҳеҷ чизро таъмин карда наметавонанд ва танҳо хароҷот / мураккабии системаро зиёд мекунанд.

IP

Ҷониби дигари додаҳо системаи иттилоотие мебошад, ки маълумотро истифода мебарад. IS дорои маҷмӯи талаботест, ки маълумотро мерос мегиранд. Барои маълумоти бештар дар бораи IS, нигаред ба "Тарҳрезии маркази додаҳои виртуалӣ".

Талабот ба устуворӣ/мавҷудият

Талабот барои таҳаммулпазирӣ ба хатогиҳо / мавҷудияти маълумот аз ИС бо истифода аз онҳо мерос гирифта мешаванд ва бо се рақам ифода карда мешаванд - RPO, ОТР, дастрасӣ.

Мавҷудият — хиссаи дар давраи муайяне, ки дар давоми он маълумот барои кор бо онхо дастрас аст. Одатан ҳамчун адади 9 ифода карда мешавад. Масалан, ду нӯҳ дар як сол маънои онро дорад, ки мавҷудият 99% аст, ё ба таври дигар 95 соати дастнорасӣ дар як сол иҷозат дода мешавад. Се нӯҳ - 9,5 соат дар як сол.

RPO / RTO нишондиҳандаҳои умумӣ нестанд, балки барои ҳар як ҳодиса (ҳодиса), бар хилофи мавҷудият.

RPO — микдори маълумоте, ки хангоми садама гум шудааст (бо соат). Масалан, агар нусхабардорӣ дар як рӯз як маротиба рух диҳад, пас RPO = 24 соат. Онхое. Дар ҳолати садама ва пурра аз даст додани системаи нигоҳдорӣ, маълумот метавонад то 24 соат (аз лаҳзаи нусхабардорӣ) гум шавад. Дар асоси RPO, ки барои IS муайян шудааст, масалан, қоидаҳои эҳтиётӣ навишта мешаванд. Инчунин, дар асоси RPO, шумо метавонед бифаҳмед, ки чӣ қадар такрори маълумотҳои синхронӣ/асинхронӣ лозим аст.

ОТР — вақти барқарорсозии хадамот (дастрасии маълумот) пас аз офат. Дар асоси арзиши додаи RTO, мо метавонем бифаҳмем, ки оё метрокластер лозим аст ё такрори яксамтӣ кофӣ аст. Оё ба шумо системаи нигаҳдории бисёр-назоратчии дараҷаи олӣ лозим аст?

Чӣ тавр интихоб кардани нигаҳдории бе тир худ дар пои

Талаботи иҷроиш

Гарчанде ки ин саволи хеле возеҳ аст, дар он ҷо аксарияти мушкилот ба миён меоянд. Вобаста аз он, ки шумо аллакай як намуди инфрасохтор доред ё не, роҳҳои ҷамъоварии омори зарурӣ сохта мешаванд.

Шумо аллакай як системаи нигоҳдорӣ доред ва дар ҷустуҷӯи ҷои иваз ҳастед ё мехоҳед, ки барои васеъкунӣ системаи дигарро харед. Дар ин ҷо ҳама чиз оддӣ аст. Шумо мефаҳмед, ки кадом хидматҳоеро, ки шумо аллакай доред ва дар ояндаи наздик татбиқ кардан мехоҳед. Дар асоси хидматҳои ҷорӣ, шумо имкон доред, ки омори иҷроишро ҷамъ кунед. Дар бораи шумораи ҷории IOPS ва таъхири ҷорӣ қарор қабул кунед - ин нишондиҳандаҳо кадоманд ва оё онҳо барои вазифаҳои шумо кифояанд? Инро ҳам дар худи системаи нигаҳдории маълумот ва ҳам аз ҳостҳое, ки ба он пайвастанд, анҷом додан мумкин аст.

Ғайр аз он, шумо бояд на танҳо ба сарбории ҷорӣ, балки дар тӯли як давраи муайян (бештар як моҳ) назар кунед. Бубинед, ки қуллаҳои максималӣ дар давоми рӯз чӣ гунаанд, нусхабардорӣ чӣ гуна сарбориро эҷод мекунад ва ғайра. Агар системаи нигаҳдории шумо ё нармафзори он ба шумо маҷмӯи пурраи ин маълумотро пешниҳод накунад, шумо метавонед RRDtool-и ройгонро истифода баред, ки метавонад бо аксари системаҳои нигаҳдории маъмултарин ва коммутаторҳо кор кунад ва метавонад ба шумо омори муфассали иҷроишро пешниҳод кунад. Инчунин зарур аст, ки ба сарбории ҳостҳое, ки бо ин системаи нигаҳдорӣ кор мекунанд, барои мошинҳои мушаххаси виртуалӣ ё он чизе, ки дар ин ҳост кор мекунад, назар кунед.

Чӣ тавр интихоб кардани нигаҳдории бе тир худ дар пои

Бояд алоҳида қайд кард, ки агар таъхирҳо дар ҳаҷми ҳаҷм ва анбори додаҳо, ки дар ин ҳаҷм ҷойгиранд, ба таври назаррас фарқ кунанд, шумо бояд ба шабакаи SAN-и худ диққат диҳед, эҳтимоли зиёд вуҷуд дорад, ки мушкилот бо он ва пеш аз харидани дастгоҳи нав вуҷуд дорад. система, ба ин масъала назар кардан бамаврид аст, зеро эҳтимолияти баланд бардоштани самаранокии системаи ҷорӣ вуҷуд дорад.

Шумо инфрасохторро аз сифр месозед ё системаеро барои ягон хидмати нав мехаред, ки бори онҳо аз онҳо огоҳ нестед. Якчанд вариант вуҷуд дорад: бо ҳамкорон дар захираҳои махсус муошират кунед, то сарбориро муайян ва пешгӯӣ кунед, бо интеграторе тамос гиред, ки таҷрибаи амалисозии хидматҳои шабеҳ дорад ва метавонад сарбориро барои шумо ҳисоб кунад. Ва варианти сеюм (одатан душвортарин, хусусан агар он ба барномаҳои хонагӣ ё нодир дахл дорад) ин аст, ки кӯшиши муайян кардани талаботҳои иҷроиш аз таҳиягарони система мебошад.

Ва, лутфан қайд кунед, ки варианти дурусттарин аз нуқтаи назари татбиқи амалӣ озмоишӣ дар таҷҳизоти ҷорӣ ё таҷҳизотест, ки барои санҷиш аз ҷониби фурӯшанда/интегратор пешбинӣ шудааст.

Талаботи махсус

Талаботи махсус ҳама чизест, ки ба талабот оид ба иҷроиш, таҳаммулпазирии хатогиҳо ва функсияҳо барои коркард ва пешниҳоди маълумот мувофиқат намекунанд.

Яке аз оддитарин талаботи махсус барои системаи нигаҳдории маълумотро метавон "васоити нигаҳдории бегона" номид. Ва дарҳол маълум мешавад, ки ин системаи нигаҳдории маълумот бояд китобхонаи навор ё танҳо диски лентаеро дар бар гирад, ки нусхаи эҳтиётӣ ба он партофта мешавад. Пас аз он одами махсус тайёр карда ба лента имзо мегузорад ва бо ифтихор ба сейфи махсус мебарад.
Намунаи дигари талаботи махсус ин тарҳи муҳофизатшавандаи зарба мебошад.

Дар куҷо

Ҷузъи дуюми асосӣ дар интихоби системаи махсуси нигаҳдорӣ маълумот дар бораи КУҶО ҷойгир шудани ин системаи нигаҳдорӣ мебошад. Аз ҷуғрофиё ё шароити иқлим сар карда, бо кадрҳо.

Фармоишгар

Ин системаи нигоҳдорӣ барои кӣ ба нақша гирифта шудааст? Савол сабабҳои зерин дорад:

Муштарии давлатӣ/тиҷоратӣ.
Фармоишгари тиҷоратӣ ҳеҷ гуна маҳдудият надорад ва ҳатто ӯҳдадор нест, ба истиснои муқаррароти дохилии худ, тендер баргузор кунад.

Муштарии давлатӣ масъалаи дигар аст. 44 Қонуни федералӣ ва дигар лаззатҳо бо тендерҳо ва мушаххасоти техникӣ, ки метавонанд мавриди баҳс қарор гиранд.

Муштарӣ таҳти таҳримот қарор дорад
Хуб, савол дар ин ҷо хеле содда аст - интихоб танҳо бо пешниҳодҳои дастрас барои муштарӣ маҳдуд аст.

Қоидаҳои дохилӣ / фурӯшандагон / моделҳое, ки барои харид иҷозат дода шудаанд
Савол низ хеле содда аст, аммо шумо бояд онро дар хотир доред.

Дар куҷо ҷисмонӣ

Дар ин бахш мо ҳама масъалаҳои марбут ба ҷуғрофиё, каналҳои иртиботӣ ва микроиқлими манзилро баррасӣ мекунем.

Кормандон

Кӣ бо ин системаи нигоҳдорӣ кор хоҳад кард? Ин на камтар аз он аст, ки системаи нигоҳдорӣ чӣ кор карда метавонад.
Новобаста аз он ки системаи нигаҳдории фурӯшандаи А то чӣ андоза умедбахш, олиҷаноб ва олиҷаноб аст, эҳтимолан насб кардани он фоидае надорад, агар кормандон танҳо бо фурӯшандаи В кор карданро донанд ва нақшаи хариди минбаъда ва ҳамкории доимӣ бо А вуҷуд надошта бошад.

Ва албатта, паҳлӯи дигари савол ин аст, ки чӣ гуна кадрҳои омӯзонидашуда дар як макони муайяни ҷуғрофӣ мустақиман дар ширкат ва эҳтимолан дар бозори меҳнат дастрасанд. Барои минтақаҳо, интихоби системаҳои нигоҳдорӣ бо интерфейсҳои оддӣ ё қобилияти мутамаркази идоракунӣ метавонад бисёр маъно дошта бошад. Дар акси ҳол, дар баъзе мавридҳо он метавонад тоқатфарсо дардовар гардад. Интернет пур аз ҳикояҳо дар бораи он аст, ки чӣ тавр як корманди нав, ки донишҷӯи дирӯз омада буд, чунин чизеро танзим кардааст, ки тамоми офис хароб шудааст.

Чӣ тавр интихоб кардани нигаҳдории бе тир худ дар пои

Муҳити зист

Ва албатта, як саволи муҳим ин аст, ки ин системаи нигаҳдорӣ дар кадом муҳит кор хоҳад кард.

  • Дар бораи таъминоти барқ ​​/ хунуккунӣ чӣ гуфтан мумкин аст?
  • Чӣ робита
  • Он дар куҷо насб карда мешавад?
  • Ва гайра.

Аксар вақт ин саволҳо ҳамчун як чизи муқаррарӣ гирифта мешаванд ва махсусан баррасӣ намешаванд, аммо баъзан онҳо метавонанд ҳама чизро тағир диҳанд.

Чӣ?

Фурӯшанда

То имрӯз (миёни соли 2019), бозори нигоҳдории Русияро ба 5 категория тақсим кардан мумкин аст:

  1. Шӯъбаи олӣ ширкатҳои хуб таъсисёфта бо доираи васеи рафҳои дискӣ аз соддатарин то баландтарин мебошанд (HPE, DellEMC, Hitachi, NetApp, IBM / Lenovo)
  2. Шӯъбаи дуюм - ширкатҳое, ки дорои хати маҳдуд, бозигарони чароғдонӣ, фурӯшандагони ҷиддии SDS ё навомадагон мебошанд (Fujitsu, Datacore, Infinidat, Huawei, Pure ва ғайра)
  3. Бахши сеюм - ҳалли чароғдонест, ки дар сатҳи паст, SDS арзон, маҳсулоти пешрафта дар асоси ceph ва дигар лоиҳаҳои кушода (Infortrend, Starwind ва ғайра)
  4. Сегменти SOHO - системаҳои нигоҳдории хурд ва ултра хурди сатҳи хона/офиси хурд (Synology, QNAP ва ғайра)
  5. Системаҳои нигаҳдории воридотивазшаванда - ба он ҳам таҷҳизоти шӯъбаи якум бо тамғакоғазҳои дубора нишондодашуда ва ҳам намояндагони нодири дуюм (RAIDIX, мо ба онҳо пешакӣ дуюмро медиҳем), аммо асосан ин шӯъбаи сеюм аст (Aerodisk, Баум, Депо ва ғ.)

Тақсим комилан худсарона аст ва умуман маънои онро надорад, ки сегменти сеюм ё SOHO бад аст ва онро истифода бурдан мумкин нест. Дар лоиҳаҳои мушаххас бо маҷмӯи маълумот ва профили сарборӣ, онҳо метавонанд хеле хуб кор кунанд ва аз бахши аввал аз ҷиҳати таносуби нарх / сифат хеле болотаранд. Муҳим аст, ки аввал ҳадафҳо, дурнамои рушд ва функсияҳои зарурии худро муайян кунед - ва он гоҳ Synology ба шумо содиқона хизмат мекунад ва мӯйҳои шумо нарм ва абрешим хоҳанд шуд.

Яке аз омилҳои муҳим ҳангоми интихоби фурӯшанда муҳити ҳозира мебошад. Шумо аллакай чанд системаи нигоҳдорӣ доред ва муҳандисони шумо бо кадом системаҳои нигоҳдорӣ кор карда метавонанд. Оё ба шумо як фурӯшандаи дигар, нуқтаи дигари тамос лозим аст, оё шумо тадриҷан тамоми борро аз фурӯшандаи А ба фурӯшандаи В интиқол медиҳед?

Набояд аз ҳад зиёд ашё тавлид кунад.

iSCSI/FC/Файл

Дар байни муҳандисон дар масъалаи протоколҳои дастрасӣ консенсус вуҷуд надорад ва мубоҳиса назар ба баҳсҳои муҳандисӣ бештар ба баҳсҳои теологӣ шабоҳат дорад. Аммо дар маҷмӯъ, нуктаҳои зеринро метавон қайд кард:

FCoE мурда аз зинда бештар.

FC против iSCSI. Яке аз бартариҳои калидии FC дар соли 2019 нисбат ба нигаҳдории IP, як корхонаи махсус барои дастрасии додаҳо, тавассути шабакаи махсуси IP ҷуброн карда мешавад. FC нисбат ба шабакаҳои IP бартариҳои глобалӣ надорад ва IP метавонад барои сохтани системаҳои нигоҳдории ҳама гуна сатҳи сарборӣ, то системаҳои MBMS вазнин барои системаи асосии бонкии як бонки калон истифода шавад. Аз тарафи дигар, марги ФК чанд сол боз пешгӯӣ карда мешавад, аммо чизе пайваста ба он халал мерасонад. Имрӯз, масалан, баъзе бозигарон дар бозори нигоҳдорӣ стандарти NVMEoF-ро фаъолона таҳия мекунанд. Оё ӯ ба сарнавишти FCoE шарик хоҳад шуд ё не - вақт нишон хоҳад дод.

Дастрасии файл низ чизи нолоиқ ба таваҷҷӯҳ нест. NFS/CIFS дар муҳити маҳсулнокӣ хуб кор мекунад ва агар дуруст тарҳрезӣ шавад, нисбат ба протоколҳои блок шикояте надорад.

Гибридӣ / Ҳама массиви Flash

Системаҳои нигоҳдории классикӣ дар 2 намуд меоянд:

  1. AFA (All Flash Array) - системаҳое, ки барои истифодаи SSD оптимизатсия шудаанд.
  2. Гибрид - ба шумо имкон медиҳад, ки ҳам HDD ва ҳам SSD ё маҷмӯи онҳоро истифода баред.

Тафовути асосии онҳо технологияҳои самаранокии нигоҳдории дастгирӣ ва сатҳи ҳадди ниҳоии кор (IOPS баланд ва таъхири паст) мебошад. Ҳарду система (дар аксари моделҳои онҳо, бе назардошти сегменти паст) метавонанд ҳамчун дастгоҳҳои блокӣ ва файлӣ кор кунанд. Функсияҳои дастгиришаванда аз сатҳи система вобаста аст ва барои моделҳои ҷавон он аксар вақт то ҳадди ақал кам карда мешавад. Ҳангоми омӯхтани хусусиятҳои як модели мушаххас ба ин диққат додан лозим аст, на танҳо имкониятҳои тамоми хат дар маҷмӯъ. Инчунин, албатта, характеристикаҳои техникии он, аз қабили протсессор, ҳаҷми хотира, кэш, шумора ва намудҳои портҳо ва ғайра низ аз сатҳи система вобаста аст. Аз нуқтаи назари идоракунӣ, AFA-ҳо аз системаҳои гибридӣ (диск) танҳо дар татбиқи механизмҳои кор бо дискҳои SSD фарқ мекунанд ва ҳатто агар шумо SSD-ро дар системаи гибридӣ истифода баред, ин маънои онро надорад, ки шумо метавонед Барои ноил шудан ба сатҳи кор дар сатҳи системаи AFA. Инчунин, дар аксари мавридҳо, механизмҳои нигоҳдории самарабахши дохилӣ дар системаҳои гибридӣ ғайрифаъол карда мешаванд ва дохилшавии онҳо боиси гум шудани кор мегардад.

Системаҳои махсуси нигоҳдорӣ

Илова ба системаҳои нигоҳдории таъиноти умумӣ, ки пеш аз ҳама ба коркарди оперативӣ нигаронида шудааст, системаҳои махсуси нигоҳдорӣ мавҷуданд, ки принсипҳои калидӣ аз принсипҳои муқаррарӣ ба куллӣ фарқ мекунанд (давраи паст, IOPS баланд):

ВАО.

Ин системаҳо барои нигоҳдорӣ ва коркарди файлҳои медиаи калон пешбинӣ шудаанд. Ҷавоб. таъхир амалан беаҳамият мегардад ва қобилияти фиристодан ва қабул кардани маълумот дар банди васеъ дар бисёр ҷараёнҳои мувозӣ ба ҷои аввал меояд.

Системаҳои нигаҳдории нусхабардорӣ барои нусхабардорӣ.

Азбаски нусхаҳои эҳтиётӣ бо шабоҳати худ ба ҳамдигар фарқ мекунанд, ки дар шароити муқаррарӣ нодир аст (нусхаи эҳтиётии миёна аз нусхаи дирӯз 1-2% фарқ мекунад), ин синфи системаҳо маълумоти дар онҳо сабтшударо дар доираи хеле хурд хеле самаранок бастабандӣ мекунанд. шумораи воситаҳои ахбори омма. Масалан, дар баъзе ҳолатҳо, таносуби фишурдани маълумот метавонад аз 200 то 1 бошад.

Системаҳои нигоҳдории объект.

Ин системаҳои нигоҳдорӣ ҳаҷми муқаррарии дастрасии блок ва саҳмияҳои файл надоранд ва бештар аз ҳама онҳо ба пойгоҳи додаҳои бузург шабоҳат доранд. Дастрасӣ ба объекте, ки дар чунин система нигоҳ дошта мешавад, тавассути идентификатор ё метамаълумотҳо (масалан, ҳама объектҳои формати JPEG бо таърихи офариниш байни XX-XX-XXXX ва YY-YY-YYYY) амалӣ карда мешавад.

Системаи мутобиқат.

Онҳо дар Русия имрӯз чандон маъмул нестанд, аммо онҳо қобили зикр аст. Ҳадафи чунин системаҳои нигоҳдорӣ нигоҳдории кафолати додаҳо барои мувофиқат ба сиёсатҳои амниятӣ ё талаботи танзимкунанда мебошад. Баъзе системаҳо (масалан, EMC Centera) функсияи манъ кардани ҳазфи маълумотро амалӣ кардаанд - ҳамин ки калид ба кор дароварда мешавад ва система ба ин режим ворид мешавад, на маъмур ва на ягон каси дигар наметавонанд маълумоти аллакай сабтшударо ҷисман нест кунанд.

Технологияҳои хусусӣ

Кэши флеш

Flash Cache номи умумӣ барои ҳама технологияҳои хусусӣ барои истифодаи хотираи флеш ҳамчун кеши сатҳи дуюм аст. Ҳангоми истифодаи кэши флеш, системаи нигаҳдорӣ одатан барои таъмини сарбории устувор аз дискҳои магнитӣ ҳисоб карда мешавад, дар ҳоле ки авҷи он аз ҷониби кэш хизмат мекунад.

Дар ин ҳолат, зарур аст, ки профили сарборӣ ва дараҷаи маҳаллисозии дастрасӣ ба блокҳои ҳаҷми нигоҳдорӣ фаҳманд. Кэши Flash як технологияи сарбории корӣ бо дархостҳои хеле локализатсияшуда аст ва барои ҳаҷмҳои якхела боршуда амалан ғайриимкон аст (масалан, барои системаҳои таҳлилӣ).

Дар бозор ду амалисозии кэшҳои флеш мавҷуд аст:

  • Танҳо хондан. Дар ин ҳолат, танҳо маълумоти хондашуда кэш карда мешавад ва навиштан бевосита ба дискҳо меравад. Баъзе истеҳсолкунандагон, ба монанди NetApp, боварӣ доранд, ки навиштан ба системаҳои нигаҳдории онҳо аллакай оптимал аст ва кэш ҳеҷ гоҳ кӯмак намекунад.
  • Хондан/навиштан. На танҳо хондан, балки навиштан низ кэш карда мешавад, ки ба шумо имкон медиҳад, ки ҷараёнро буфер кунед ва таъсири RAID Penalty-ро кам кунед ва дар натиҷа кори умумии системаҳои нигоҳдорӣ бо механизми камтар оптималии навиштанро афзоиш диҳед.

Тиринг

Нигоҳдории бисёрсатҳи (ҳаста) технологияест барои муттаҳид кардани сатҳҳо бо сатҳҳои гуногуни иҷроиш, аз қабили SSD ва HDD дар як ҳавзи диск. Дар сурати нобаробар будани дастрасӣ ба блокҳои додаҳо, система метавонад ба таври худкор блокҳои додаҳоро мувозинат кунад, блокҳои боршударо ба сатҳи баландсифат ва хунукро, баръакс, ба сатҳи сусттар интиқол диҳад.

Системаҳои гибридии синфҳои поёнӣ ва миёна нигаҳдории бисёрсатҳиро истифода мебаранд, ки маълумот дар байни сатҳҳо дар ҷадвал ҳаракат мекунад. Дар айни замон, андозаи блоки нигоҳдории бисёрсатҳа барои беҳтарин моделҳо 256 МБ аст. Ин хусусиятҳо ба мо имкон намедиҳанд, ки технологияи нигоҳдории сатҳӣ технологияи баланд бардоштани ҳосилнокӣ ҳисоб кунем, зеро бисёриҳо иштибоҳан боварӣ доранд. Нигоҳдории бисёрсатҳӣ дар системаҳои синфи паст ва миёна технологияи оптимизатсияи хароҷоти нигоҳдорӣ барои системаҳое мебошад, ки нобаробарӣ ба таври назаррас сарборӣ мекунанд.

Суратгир

Новобаста аз он ки мо дар бораи эътимоднокии системаҳои нигоҳдорӣ чӣ қадар гап мезанем, имкониятҳои зиёде барои аз даст додани маълумоте мавҷуданд, ки аз мушкилоти сахтафзор вобаста нестанд. Ин метавонад вирусҳо, ҳакерҳо ё дигар ҳазф/фасоди маълумот бошад. Аз хамин сабаб захира кардани маълумотхои истехсолй кисми таркибии кори инженер мебошад.

Лавҳаи аксбардорӣ як акси ҷилди як лаҳза дар вақти муайян аст. Ҳангоми кор бо аксари системаҳо, ба монанди виртуализатсия, пойгоҳи додаҳо ва ғайра. ба мо лозим аст, ки чунин аксбардорӣ гирем, ки аз он мо маълумотро ба нусхаи эҳтиётӣ нусхабардорӣ кунем, дар ҳоле ки ИС-и мо метавонад бо ин ҳаҷм корашро бехатар идома диҳад. Аммо бояд дар хотир дошт, ки на ҳама аксҳо баробар муфиданд. Фурӯшандагони гуногун барои эҷоди аксҳои марбут ба меъмории худ равишҳои гуногун доранд.

CoW (Нусха ба навиштан). Ҳангоми кӯшиши навиштани блоки додаҳо, мундариҷаи аслии он ба минтақаи махсус нусхабардорӣ карда мешавад, ки пас аз он навиштан ба таври муқаррарӣ идома меёбад. Ин фасоди маълумотро дар дохили тасвир пешгирӣ мекунад. Табиист, ки ҳамаи ин коркардҳои "паразитӣ"-и додаҳо ба системаи нигаҳдорӣ бори иловагиро ба вуҷуд меоранд ва аз ин рӯ, фурӯшандагоне, ки татбиқи шабеҳ доранд, истифодаи зиёда аз даҳҳо аксҳоро тавсия намедиҳанд ва онҳоро дар ҳаҷми хеле пурбор истифода набаранд.

RoW (Масдират оид ба Навиштан). Дар ин ҳолат ҳаҷми аслӣ ба таври табиӣ ях мекунад ва ҳангоми кӯшиши навиштани блоки додаҳо, системаи нигоҳдорӣ маълумотро ба як минтақаи махсус дар фазои холӣ менависад ва ҷойгиршавии ин блокро дар ҷадвали метамаълумотҳо тағйир медиҳад. Ин ба шумо имкон медиҳад, ки шумораи амалиётҳои азнавнависиро кам кунед, ки дар ниҳоят коҳиши иҷроишро аз байн мебарад ва маҳдудиятҳоро дар аксҳо ва шумораи онҳо аз байн мебарад.

Суратҳо инчунин дар робита ба барномаҳо ду намуд доранд:

Мутобиқати ариза. Дар лаҳзаи эҷоди аксбардорӣ, системаи нигаҳдорӣ агентро дар системаи амалиётии истеъмолкунанда мекашад, ки кэшҳои дискро аз хотира ба диск маҷбуран тоза мекунад ва барномаро маҷбур мекунад, ки ин корро кунад. Дар ин ҳолат, ҳангоми барқароркунӣ аз аксбардорӣ, маълумот мувофиқ хоҳад буд.

Муносибати садама. Дар ин ҳолат, ҳеҷ чизи ба ин монанд рӯй намедиҳад ва тасвири фаврӣ тавре сохта мешавад. Дар ҳолати барқароршавӣ аз чунин аксбардорӣ, тасвир ба он чизе монанд аст, ки агар барқ ​​ногаҳон хомӯш карда шавад ва каме гум шудани маълумот имконпазир бошад, дар кэшҳо часпида ва ҳеҷ гоҳ ба диск намерасад. Чунин тасвирҳо осонтар татбиқ мешаванд ва боиси таназзули кор дар барномаҳо намегарданд, аммо камтар эътимод доранд.

Чаро аксҳо дар системаҳои нигоҳдорӣ лозиманд?

  • Нусхаи эҳтиётии бе агентӣ бевосита аз системаи нигоҳдорӣ
  • Дар асоси маълумоти воқеӣ муҳити санҷишӣ эҷод кунед
  • Дар мавриди системаҳои нигаҳдории файл, он метавонад барои эҷоди муҳити VDI тавассути истифодаи аксҳои системаи нигоҳдорӣ ба ҷои гипервизор истифода шавад
  • Бо эҷод кардани аксҳои банақшагирифташуда бо басомади хеле баландтар аз басомади эҳтиётӣ RPO-ҳои пастро таъмин кунед

Клонкунӣ

Клонкунии ҳаҷм - аз рӯи принсипи шабеҳи аксбардорӣ кор мекунад, аммо на танҳо барои хондани маълумот, балки барои пурра кор кардан бо он истифода мешавад. Мо метавонем нусхаи дақиқи ҳаҷми худро бо тамоми маълумот дар бораи он бидуни нусхабардории физикӣ ба даст орем, ки ин ҷойро сарфа мекунад. Одатан, клонкунии ҳаҷм ё дар Test&Dev истифода мешавад ё агар шумо хоҳед, ки кори баъзе навсозиҳои IS-и худро санҷед. Клонкунӣ ба шумо имкон медиҳад, ки ин корро ҳарчи зудтар ва сарфакорона дар робита ба захираҳои диск анҷом диҳед, зеро Танҳо блокҳои додаҳои тағирёфта навишта мешаванд.

Репликатсия / рӯзноманависӣ

Репликатсия механизми эҷоди нусхаи маълумот дар системаи дигари нигоҳдории физикӣ мебошад. Одатан, ҳар як фурӯшанда дорои технологияи хусусие мебошад, ки танҳо дар доираи хати худ кор мекунад. Аммо инчунин қарорҳои тарафи сеюм мавҷуданд, аз ҷумла онҳое, ки дар сатҳи гипервизор кор мекунанд, ба монанди VMware vSphere Replication.

Функсияҳои технологияҳои хусусӣ ва осонии истифодаи онҳо одатан аз технологияҳои универсалӣ хеле бартарӣ доранд, аммо онҳо ҳангоми корношоям мешаванд, ки масалан, аз NetApp ба HP MSA нусхабардорӣ кардан лозим аст.

Репликатсия ба ду зергурӯҳ тақсим мешавад:

Синхронӣ. Дар сурати такрори синхронӣ, амалиёти навиштан фавран ба системаи нигаҳдории дуюм фиристода мешавад ва иҷро то он даме, ки системаи нигаҳдории дурдаст тасдиқ карда нашавад, тасдиқ карда намешавад. Аз ин сабаб, таъхири дастрасӣ зиёд мешавад, аммо мо нусхаи оинаи дақиқи маълумот дорем. Онхое. RPO = 0 дар ҳолати гум шудани системаи нигаҳдории асосӣ.

асинхронӣ. Амалиётҳои навиштан танҳо дар системаи нигаҳдории асосӣ иҷро мешаванд ва дарҳол тасдиқ карда мешаванд ва ҳамзамон дар буфер барои интиқоли гурӯҳӣ ба системаи нигаҳдории дурдаст ҷамъ мешаванд. Ин навъи такрорӣ барои маълумоти камарзиш ё барои каналҳои дорои маҷрои паст ё таъхири баланд (барои масофаҳои зиёда аз 100 км маъмулӣ) мувофиқ аст. Мувофиқи он, RPO = басомади фиристодани бастаҳо.

Аксар вақт, дар баробари такрорӣ, механизм вуҷуд дорад дарахтбурӣ амалиёти диск. Дар ин ҳолат, майдони махсус барои буридан ва бақайдгирии амалиёти умқи муайян дар як вақт ҷудо карда мешавад, ё бо ҳаҷми журнал маҳдуд, нигоҳ дошта мешавад. Барои баъзе технологияҳои хусусӣ, аз қабили EMC RecoverPoint, ҳамгироӣ бо нармафзори система вуҷуд дорад, ки ба шумо имкон медиҳад хатчӯбҳои муайянро ба сабти мушаххаси гузориш пайваст кунед. Ба шарофати ин, мумкин аст, ки ҳолати ҳаҷм (ё клон созед) на танҳо то 23 апрел, 11 соату 59 сония 13 миллисония, балки то лаҳзаи пеш аз "ҲАМАИ ҶАДВАЛҲО ТАРТ; ВАЗИФА КУНЕД».

Кластери метро

Метро кластери технологияест, ки ба шумо имкон медиҳад репликатсияи дуҷонибаи синхронӣ байни ду системаи нигаҳдорӣ тавре эҷод кунед, ки аз берун ин ҷуфт ба як системаи нигоҳдорӣ монанд аст. Он барои сохтани кластерҳо бо силоҳҳои ҷуғрофӣ дар масофаи метро (камтар аз 100 км) истифода мешавад.

Дар асоси мисоли истифода дар муҳити виртуализатсия, метрокластер ба шумо имкон медиҳад, ки як анбори додаҳо бо мошинҳои виртуалӣ эҷод кунед, ки барои сабт дар як вақт аз ду маркази додаҳо дастрасанд. Дар ин ҳолат кластер дар сатҳи гипервизор сохта мешавад, ки аз ҳостҳо дар марказҳои гуногуни додаҳои физикӣ, ки ба ин анбори додаҳо пайваст аст, иборат аст. Ки ба шумо имкон медиҳад, ки корҳои зеринро иҷро кунед:

  • Автоматикунонии пурраи раванди барқарорсозӣ пас аз марги яке аз марказҳои додаҳо. Бе ягон маблағҳои иловагӣ, ҳама VM-ҳое, ки дар маркази маълумоти фавтида кор мекунанд, дар боқимонда ба таври худкор аз нав оғоз карда мешаванд. RTO = Вақти фарогирии кластери дастрасии баланд (15 сония барои VMware) + вақт барои боркунии системаи оператсионӣ ва оғози хидматҳо.
  • Пешгирӣ аз офатҳо ё ба забони русӣ, канорагирӣ аз офатҳо. Агар кори таъмини нерӯи барқ ​​дар маркази додаҳои 1 ба нақша гирифта шуда бошад, пас мо имкон дорем, ки тамоми сарбории муҳимро пеш аз оғози кор беист ба маркази додаҳои 2 интиқол диҳем.

Виртуализатсия

Виртуализатсияи нигаҳдорӣ аз ҷиҳати техникӣ истифодаи ҳаҷмҳои системаи нигаҳдории дигар ҳамчун дискҳо мебошад. Виртуализатори нигаҳдорӣ метавонад танҳо ҳаҷми ягон каси дигарро ба истеъмолкунанда интиқол диҳад ва ҳамзамон онро ба системаи нигаҳдории дигар инъикос кунад ё ҳатто аз ҳаҷми берунӣ RAID эҷод кунад.
Намояндагони классикӣ дар синфи виртуализатсияи нигаҳдорӣ EMC VPLEX ва IBM SVC мебошанд. Ва албатта, системаҳои нигоҳдорӣ бо функсияи виртуализатсия - NetApp, Hitachi, IBM / Lenovo Storwize.

Чаро он метавонад лозим бошад?

  • Зиёдшавӣ дар сатҳи системаи нигоҳдорӣ. Дар байни ҷилдҳо оина сохта мешавад ва як нисфи он метавонад дар HP 3Par ва дигаре дар NetApp бошад. Ва виртуализатор аз EMC аст.
  • Интиқол додани маълумотро бо вақти камтарин байни системаҳои нигоҳдории истеҳсолкунандагони гуногун. Фарз мекунем, ки маълумот бояд аз 3Par-и кӯҳна, ки аз он хориҷ карда мешавад, ба Dell нав интиқол дода шавад. Дар ин ҳолат, истеъмолкунандагон аз 3Par ҷудо карда мешаванд, ҳаҷмҳо таҳти VPLEX интиқол дода мешаванд ва дубора ба истеъмолкунандагон пешниҳод карда мешаванд. Азбаски дар ҳаҷми каме тағйир наёфтааст, кор идома дорад. Раванди инъикоси садо ба Dell-и нав дар замина оғоз мешавад ва пас аз анҷоми он, оина шикаста мешавад ва 3Par ғайрифаъол мешавад.
  • Ташкили метрокластерҳо.

Фишурдасозӣ / нусхабардорӣ

Фишурдан ва нусхабардорӣ технологияҳое мебошанд, ки ба шумо имкон медиҳанд фазои дискро дар системаи нигаҳдории худ сарфа кунед. Дарҳол бояд қайд кард, ки на ҳама маълумотҳо ба фишурдашавӣ ва/ё нусхабардорӣ дучор мешаванд, дар ҳоле ки баъзе намудҳои додаҳо беҳтар фишурда мешаванд ва нусхабардорӣ карда мешаванд ва баъзеҳо баръакс.

2 намуди фишурдакунӣ ва нусхабардорӣ вуҷуд дорад:

Дар мувофиқат — фишурдан ва нусхабардории блокҳои додаҳо пеш аз навиштани ин маълумот ба диск ба амал меояд. Ҳамин тариқ, система танҳо хэши блокро ҳисоб мекунад ва онро дар ҷадвал бо блокҳои мавҷуда муқоиса мекунад. Якум, он назар ба навиштан ба диск тезтар аст ва дуюм, мо фазои иловагии дискро сарф намекунем.

Садо - вақте ки ин амалиётҳо оид ба маълумоти аллакай сабтшуда, ки дар дискҳо ҷойгиранд, анҷом дода мешаванд. Мувофиқи он, маълумот аввал ба диск навишта мешавад ва танҳо пас аз он хэш ҳисоб карда мешавад ва блокҳои нолозим нест карда мешаванд ва захираҳои диск озод карда мешаванд.

Бояд гуфт, ки аксари фурӯшандагон ҳарду намудро истифода мебаранд, ки ба онҳо имкон медиҳад, ки ин равандҳоро оптимизатсия кунанд ва ба ин васила самаранокии онҳоро афзоиш диҳанд. Аксари фурӯшандагони нигаҳдорӣ дорои хидматҳои коммуналӣ мебошанд, ки ба шумо имкон медиҳанд, ки маҷмӯи додаҳои худро таҳлил кунед. Ин хидматҳо мувофиқи ҳамон мантиқе кор мекунанд, ки дар системаи нигоҳдорӣ амалӣ карда мешавад, аз ин рӯ сатҳи тахминии самаранокӣ яксон хоҳад буд. Инчунин, дар хотир доред, ки бисёре аз фурӯшандагон барномаҳои кафолати иҷроиш доранд, ки ҳадди аққал иҷрои хубро барои баъзе (ё ҳама) намудҳои маълумот ваъда медиҳанд. Ва шумо набояд ин барномаро сарфи назар кунед, зеро тавассути ҳисоб кардани система барои вазифаҳои худ, бо назардошти коэффисиенти самаранокии системаи мушаххас, шумо метавонед ҳаҷми онро сарфа кунед. Инчунин бояд ба назар гирифт, ки ин барномаҳо барои системаҳои AFA тарҳрезӣ шудаанд, аммо ба шарофати харидани ҳаҷми камтари SSD-ҳо нисбат ба HDD дар системаҳои классикӣ, ин арзиши онҳоро коҳиш медиҳад ва агар ба арзиши системаи диск баробар набошад, пас ба он хеле наздик шавед.

Модели

Ва дар ин ҷо мо ба саволи дуруст меоем.

"Онҳо ба ман ду имконоти нигоҳдорӣ пешниҳод мекунанд - ABC SuperStorage S600 ва XYZ HyperOcean 666v4, шумо чӣ тавсия медиҳед?"

"Дар ин ҷо онҳо ба ман ду имконоти нигоҳдорӣ пешниҳод мекунанд - ABC SuperStorage S600 ва XYZ HyperOcean 666v4, шумо чӣ тавсия медиҳед?

Сарбории мақсаднок мошинҳои маҷозии VMware омехта бо ҳалқаҳои истеҳсолӣ/озмоиш/таҳия мебошад. Санҷиш = самаранок. 150 TB ҳар як бо иҷрои қуллаи 80 IOPS 000kb блок 8% дастрасии тасодуфӣ 50/80 хондан-навиштан. 20 TB барои рушд, 300 IOPS кифоя аст, 50 тасодуфӣ, 000 навиштан.

Эҳтимол ҳосилнокӣ дар метрокластери RPO = 15 дақиқа RTO = 1 соат, таҳия дар репликатсияи асинхронӣ RPO = 3 соат, санҷиш дар як сайт.

50TB DBMS хоҳад буд, сабти ном барои онҳо хуб мебуд.

Мо дар ҳама ҷо серверҳои Dell дорем, системаҳои нигаҳдории кӯҳнаи Hitachi, онҳо базӯр тоб оварда метавонанд, мо нақша дорем, ки сарбориро аз ҷиҳати ҳаҷм ва иҷроиш 50% зиёд кунем.”

Тавре ки мегӯянд, саволи дуруст таҳияшуда 80% ҷавобро дар бар мегирад.

маълумоти иловагӣ

Мувофиқи муаллифон он чизеро, ки шумо бояд ба таври илова хонед

Китобҳо

  • Олифер ва Олифер «Шабакаҳои компютерӣ». Китоб барои ба низом даровардан ва шояд беҳтар фаҳмидани он, ки муҳити интиқоли маълумот барои системаҳои нигоҳдории IP / Ethernet чӣ гуна кор мекунад, кӯмак хоҳад кард.
  • "Нигоҳдорӣ ва идоракунии иттилооти EMC." Китоби олӣ дар бораи асосҳои системаҳои нигоҳдорӣ, чаро, чӣ тавр ва чаро.

Форумҳо ва чатҳо

Тавсияҳои умумӣ

нархҳо

Ҳоло, дар мавриди нархҳо - умуман, агар нархҳо барои системаҳои нигоҳдорӣ вуҷуд дошта бошанд, онҳо одатан нархҳои Рӯйхат мебошанд, ки аз онҳо ҳар як муштарӣ тахфифи инфиродӣ мегирад. Андозаи тахфиф аз шумораи зиёди параметрҳо иборат аст, бинобар ин, бидуни дархост аз дистрибютор пешгӯӣ кардани нархи ниҳоии ширкати шумо ғайриимкон аст. Аммо дар айни замон, ба наздикӣ моделҳои пастсифат дар мағозаҳои компютерии муқаррарӣ пайдо шуданд, масалан, nix.ru ё xcom-shop.ru. Дар ин ҷо шумо метавонед фавран системаеро, ки ба шумо маъқул аст, ба мисли ҳама ҷузъҳои компютер бо нархи муқарраршуда харидорӣ намоед.

Аммо ман мехоҳам фавран қайд намоям, ки муқоисаи мустақим аз рӯи TB/$ дуруст нест. Агар мо ба он аз ин нуқтаи назар наздик шавем, пас ҳалли арзонтарин сервери оддии JBOD + хоҳад буд, ки на чандирӣ ва на эътимодеро, ки системаи нигаҳдории мукаммали ду контроллер таъмин мекунад, таъмин намекунад. Ин тамоман маънои онро надорад, ки JBOD нафратовар ва як ҳиллаи ифлос аст, шумо танҳо бояд бори дигар фаҳмед, ки чӣ гуна ва бо кадом мақсадҳо шумо ин ҳалли худро истифода мекунед. Шумо аксар вақт шунида метавонед, ки дар JBOD ҳеҷ чизи шикастан вуҷуд надорад, танҳо як қафо вуҷуд дорад. Бо вуҷуди ин, панелҳои пушти сар низ баъзан ноком мешаванд. Ҳама чиз дер ё зуд вайрон мешавад.

Ҳамагӣ

Системахоро бо хамдигар на танхо аз руи нарх, ё на танхо аз руи кор, балки аз руи мачмуи хамаи нишондихандахо мукоиса кардан лозим аст.

HDD-ро танҳо агар мутмаин бошед, ки ба шумо HDD лозим аст, харед. Барои бори кам ва навъҳои фишурнашавандаи маълумот, дар акси ҳол, ба барномаҳои кафолати самаранокии нигоҳдории SSD муроҷиат кардан лозим аст, ки аксари фурӯшандагон ҳоло доранд (ва онҳо воқеан ҳатто дар Русия кор мекунанд), аммо ҳама аз барномаҳо ва маълумотҳое, ки ҷойгир мешаванд, вобаста аст. дар ин системаи нигоҳдорӣ.

Барои арзон наравед. Баъзан инҳо бисёр лаҳзаҳои ногуворро пинҳон мекунанд, ки яке аз онҳоро Евгений Елизаров дар мақолаҳои худ дар бораи Хабар додан. Ва ин, дар ниҳоят, ин арзонӣ метавонад ба шумо баргардад. Фаромӯш накунед, ки "бахил ду маротиба пардохт мекунад."

Манбаъ: www.habr.com

Илова Эзоҳ