Метрикҳои нави нигоҳдории объект

Метрикҳои нави нигоҳдории объектҚалъаи парвозкунанда аз ҷониби Неле-Диел

Фармони нигаҳдории объекти S3 Захираи абрии Mail.ru мақолаеро тарҷума кардааст, ки ҳангоми интихоби нигаҳдории объект кадом меъёрҳо муҳиманд. Дар зер матн аз нигоҳи муаллиф оварда шудааст.

Вақте ки сухан дар бораи нигоҳдории объект меравад, одамон одатан танҳо дар бораи як чиз фикр мекунанд: нарх барои як TB/GB. Албатта, ин нишондиҳанда муҳим аст, аммо он равишро яктарафа мекунад ва нигоҳдории объектро бо абзори нигаҳдории бойгонӣ баробар мекунад. Илова бар ин, ин равиш аҳамияти нигаҳдории объектро барои стек технологияи корхона коҳиш медиҳад.

Ҳангоми интихоби нигаҳдории объект, шумо бояд ба панҷ хусусият диққат диҳед:

  • иҷроиш;
  • миқёспазирӣ;
  • S3 мувофиқ;
  • вокуниш ба нокомиҳо;
  • якдилй.

Ин панҷ хусусият ченакҳои нав барои нигаҳдории объект дар баробари арзиш мебошанд. Биёед ба ҳамаи онҳо назар кунем.

Маҳсулнокӣ

Мағозаҳои ашёи анъанавӣ иҷроиш надоранд. Провайдерҳои хидматрасон ҳамеша онро дар пайи нархҳои арзон қурбонӣ мекарданд. Аммо, бо нигоҳдории объекти муосир чизҳо фарқ мекунанд.

Системаҳои гуногуни нигоҳдорӣ ба суръати Hadoop наздик мешаванд ё ҳатто аз он зиёдтаранд. Талаботи муосир барои суръати хондан ва навиштан: аз 10 ГБ/с барои дискҳои сахт, то 35 ГБ/с барои NVMe. 

Ин интиқол барои Spark, Presto, Tensorflow, Teradata, Vertica, Splunk ва дигар чаҳорчӯбаҳои муосири ҳисоббарорӣ дар стеки таҳлилӣ кофӣ аст. Далели он, ки пойгоҳи додаҳои MPP барои нигаҳдории объектҳо танзим карда мешаванд, аз он шаҳодат медиҳад, ки он ҳамчун нигаҳдории ибтидоӣ бештар истифода мешавад.

Агар системаи нигаҳдории шумо суръати заруриро таъмин накунад, шумо наметавонед маълумотро истифода баред ва аз он арзиш гиред. Ҳатто агар шумо маълумотро аз нигаҳдории объект ба сохтори коркарди хотира дарёфт кунед, ба шумо барои интиқоли маълумот ба ва аз хотира фарохмаҷрои лозим мешавад. Мағозаҳои объектҳои кӯҳна аз он кофӣ нестанд.

Ин нуктаи асосӣ аст: метрикаи нави иҷроиш гузаранда аст, на таъхир. Он барои маълумот дар миқёс талаб карда мешавад ва дар инфрасохтори муосири додаҳо меъёр аст.

Гарчанде ки нишондиҳандаҳо як роҳи хуби муайян кардани самаранокӣ мебошанд, онро пеш аз кор кардани барнома дар муҳити атроф дақиқ чен кардан мумкин нест. Танҳо пас аз он шумо метавонед бигӯед, ки мушкил дар куҷост: дар нармафзор, дискҳо, шабака ё дар сатҳи компютерӣ.

Миқёспазирӣ

Миқёспазирӣ ба шумораи петабайтҳое дахл дорад, ки ба як фазои ном мувофиқат мекунанд. Он чизе ки фурӯшандагон иддао мекунанд, миқёспазирии осон аст, онҳо намегӯянд, ки ҳангоми миқёси онҳо системаҳои азими монолитӣ нозук, мураккаб, ноустувор ва гарон мешаванд.

Метрикаи нав барои миқёспазирӣ ин шумораи фазоҳои ном ё муштариёнест, ки шумо метавонед хидмат кунед. Метрик мустақиман аз гиперскалерҳо гирифта шудааст, ки дар он блокҳои сохтмонии нигаҳдорӣ хурданд, аммо миқёси миллиардҳо ададро ташкил медиҳанд. Умуман, ин нишондиҳандаи абрӣ аст.

Вақте ки блокҳои сохтмонӣ хурданд, беҳтар кардани онҳо барои амният, назорати дастрасӣ, идоракунии сиёсат, идоракунии давраи ҳаёт ва навсозиҳои халалдор осонтар аст. Ва дар нихояти кор хосилнокии мехнатро таъмин кунед. Андозаи блоки сохтмонӣ як функсияи идорашавандаи минтақаи ноком аст, ки чӣ гуна системаҳои устувори баланд сохта шудаанд.

Ичоракории бисьёрсоха хусусиятхои зиёде дорад. Гарчанде ки андоза дар бораи он ки чӣ гуна созмонҳо дастрасӣ ба маълумот ва барномаҳоро таъмин мекунанд, сухан меронад, он инчунин ба худи барномаҳо ва мантиқи ҷудо кардани онҳо аз ҳамдигар ишора мекунад.

Хусусиятҳои муносибати муосир ба бисёр мизоҷон:

  • Дар як муддати кутоҳ шумораи муштариён метавонад аз садҳо то чанд миллион афзоиш ёбад.
  • Мизоҷон аз ҳамдигар комилан ҷудо шудаанд. Ин ба онҳо имкон медиҳад, ки версияҳои гуногуни як нармафзорро иҷро кунанд ва объектҳоро бо конфигуратсияҳо, иҷозатҳо, хусусиятҳо, сатҳҳои амниятӣ ва нигоҳдории гуногун нигоҳ доранд. Ин ҳангоми миқёс ба серверҳои нав, навсозиҳо ва ҷуғрофиё зарур аст.
  • Анбор ба таври васеъ васеъшаванда аст, захираҳо мувофиқи талабот таъмин карда мешаванд.
  • Ҳар як амалиёт аз ҷониби API идора карда мешавад ва бидуни дахолати инсон автоматӣ карда мешавад.
  • Нармафзорро дар контейнерҳо ҷойгир кардан мумкин аст ва системаҳои стандартии оркестрро ба монанди Kubernetes истифода мебаранд.

S3 мувофиқ

Amazon S3 API стандарти воқеии нигаҳдории объект мебошад. Ҳар як фурӯшандаи нармафзори нигаҳдории объект бо он мувофиқат мекунад. Мутобиқат бо S3 дуӣ аст: ё он пурра иҷро шудааст ё не.

Дар амал, садҳо ё ҳазорҳо сенарияҳои канорӣ мавҷуданд, ки ҳангоми истифодаи нигаҳдории объект чизе хато мекунад. Хусусан аз провайдерҳои нармафзор ва хидматҳои хусусӣ. Ҳолатҳои асосии истифодаи он бойгонии мустақим ё нусхабардорӣ мебошанд, бинобар ин чанд сабаб барои даъват кардани API вуҷуд дорад, ҳолатҳои истифода якхелаанд.

Нармафзори кушодаасос бартариҳои назаррас дорад. Он аксари сенарияҳои канориро бо назардошти андоза ва гуногунии барномаҳо, системаҳои амалиётӣ ва меъмории сахтафзор фаро мегирад.

Ҳамаи ин барои таҳиягарони барнома муҳим аст, аз ин рӯ, санҷиши барномаро бо провайдерҳои нигаҳдорӣ лозим аст. Манбаи кушода равандро осонтар мекунад - фаҳмидани он, ки кадом платформа барои барномаи шумо мувофиқ аст, осонтар аст. Провайдер метавонад ҳамчун нуқтаи ягонаи воридшавӣ ба анбор истифода шавад, яъне он ниёзҳои шуморо қонеъ хоҳад кард. 

Манбаи кушода маънои онро дорад: барномаҳо ба фурӯшанда алоқаманд нестанд ва шаффофтаранд. Ин давраи умри дарози барномаро таъмин мекунад.

Ва чанд ёддошти дигар дар бораи кушодаасос ва S3. 

Агар шумо як барномаи бузурги додаҳоро иҷро кунед, S3 SELECT кор ва самаранокиро бо тартиби бузург беҳтар мекунад. Он ин корро бо истифода аз SQL барои дарёфт кардани танҳо объектҳое, ки ба шумо аз анбор лозим аст, анҷом медиҳад.

Нуқтаи асосӣ дастгирии огоҳиномаҳои сатил аст. Огоҳиҳои сатил ба роёниши бидуни сервер, ҷузъи муҳими ҳар як меъмории микросервис, ки ҳамчун хидмат расонида мешавад, мусоидат мекунанд. Бо дарназардошти он, ки нигаҳдории объект ба таври муассир нигаҳдории абрӣ аст, ин қобилият вақте муҳим мешавад, ки нигоҳдории объект аз ҷониби замимаҳои абрӣ истифода мешавад.

Ниҳоят, татбиқи S3 бояд API-ҳои рамзгузории сервери Amazon S3-ро дастгирӣ кунад: SSE-C, SSE-S3, SSE-KMS. Ҳатто беҳтар, S3 муҳофизати вайронкуниро дастгирӣ мекунад, ки воқеан бехатар аст. 

Ҷавоб ба нокомиҳо

Метрикие, ки аксар вақт нодида гирифта мешавад, ин аст, ки система чӣ гуна нокомиро ҳал мекунад. Нокомиҳо бо сабабҳои гуногун рух медиҳанд ва нигоҳдории объект бояд ҳамаи онҳоро ҳал кунад.

Масалан, як нуқтаи нокомӣ вуҷуд дорад, метрикаи он сифр аст.

Мутаассифона, бисёре аз системаҳои нигаҳдории объектҳо гиреҳҳои махсусро истифода мебаранд, ки барои фаъолияти дурусти кластер бояд фаъол карда шаванд. Инҳо гиреҳҳои ном ё серверҳои метамаълумотро дар бар мегиранд - ин як нуқтаи нокомиро эҷод мекунад.

Ҳатто дар он ҷое, ки якчанд нуқтаҳои нокомӣ вуҷуд доранд, қобилияти тоб овардан ба шикасти фалокатбор муҳим аст. Дискҳо ноком мешаванд, серверҳо ноком мешаванд. Калиди он эҷод кардани нармафзорест, ки барои ҳалли нокомӣ ҳамчун ҳолати муқаррарӣ пешбинӣ шудааст. Агар диск ё гиреҳ кор накунад, чунин нармафзор бидуни тағир корашро идома медиҳад.

Муҳофизати дарунсохт аз несткунии маълумот ва таназзули додаҳо кафолат медиҳад, ки шумо метавонед шумораи зиёди дискҳо ё гиреҳҳоро, ки блокҳои паритетӣ доред, яъне одатан нисфи дискҳоро аз даст диҳед. Танҳо он вақт нармафзор наметавонад маълумотро баргардонад.

Нокомӣ дар зери бори кам санҷида мешавад, аммо чунин санҷиш ҳатмист. Моделсозии нокомии сарборӣ хароҷоти умумии пас аз нокомиро нишон медиҳад.

Мутобиқати

Ҳисоби мувофиқати 100% низ пайвастагии қатъӣ номида мешавад. Пайвастагӣ як ҷузъи калидии ҳама гуна системаи нигаҳдорӣ аст, аммо пайвастагии қавӣ кам аст. Масалан, Amazon S3 ListObject ба таври қатъӣ мувофиқат намекунад, он танҳо дар охир мувофиқ аст.

Мутобиқати қатъӣ чӣ маъно дорад? Барои ҳамаи амалиётҳое, ки пас аз амалиёти тасдиқшудаи PUT, амалҳои зерин бояд иҷро шаванд:

  • Арзиши навшуда ҳангоми хондан аз ҳама гиреҳ намоён аст.
  • Навсозӣ аз изофаи нокомии гиреҳ муҳофизат карда мешавад.

Ин маънои онро дорад, ки агар шумо симро дар мобайни сабт кашед, ҳеҷ чиз гум намешавад. Система ҳеҷ гоҳ маълумоти вайроншуда ё кӯҳнашударо барнамегардонад. Ин сатри баландест, ки дар бисёр сенарияҳо аз барномаҳои транзаксионӣ то нусхабардорӣ ва барқарорсозӣ муҳим аст.

хулоса

Инҳо ченакҳои нави нигаҳдории объектҳо мебошанд, ки намунаҳои истифодаро дар созмонҳои имрӯза инъикос мекунанд, ки дар он фаъолият, мувофиқат, миқёспазирӣ, доменҳои хатогӣ ва мутобиқати S3 блокҳои сохтмонӣ барои барномаҳои абрӣ ва таҳлили додаҳои калон мебошанд. Ман тавсия медиҳам, ки ин рӯйхатро ба ғайр аз нарх ҳангоми сохтани стекҳои муосири додаҳо истифода баранд. 

Дар бораи нигоҳдории объекти Mail.ru Cloud Solutions: меъмории S3. 3 соли таҳаввулоти анбори абрии Mail.ru.

Боз чӣ хондан лозим аст:

  1. Намунаи замимаи рӯйдодҳо дар асоси вебхукҳо дар нигаҳдории объекти S3 Mail.ru Cloud Solutions.
  2. Бештар аз Ceph: нигаҳдории блоки абрии MCS 
  3. Кор бо нигоҳдории объекти Mail.ru Cloud Solutions S3 ҳамчун системаи файлӣ.
  4. Канали Telegram-и мо бо хабарҳо дар бораи навсозиҳои нигаҳдории S3 ва дигар маҳсулот

Манбаъ: will.com

Илова Эзоҳ