S3 объект сактоо буйругу объект сактагычты тандоодо кандай критерийлер маанилүү экендиги жөнүндө макаланы которгон. Төмөндө автордун көз карашынан алынган текст.
Объектти сактоого келгенде, адамдар адатта бир гана нерсе жөнүндө ойлонушат: ТБ/ГБ баасы. Албетте, бул метрика маанилүү, бирок ал мамилени бир жактуу кылат жана объектти сактоону архивди сактоо куралына теңейт. Мындан тышкары, бул ыкма ишкананын технология стек үчүн объект сактоонун маанилүүлүгүн азайтат.
объект сактоо тандоодо, беш өзгөчөлүктөргө көңүл буруу керек:
- аткаруу;
- масштабдуулугу;
- S3 шайкеш;
- ийгиликсиздиктерге жооп берүү;
- бүтүндүк.
Бул беш мүнөздөмөсү наркы менен бирге объект сактоо үчүн жаңы метрика болуп саналат. Келгиле, алардын баарын карап көрөлү.
кирешелүүлүк
Салттуу объект дүкөндөрүнүн аткаруусу жетишсиз. Кызмат көрсөтүүчүлөр арзан баага умтулуу үчүн аны дайыма курмандыкка чалышты. Бирок, заманбап объект сактоо менен нерселер башкача.
Ар кандай сактоо тутумдары Hadoopтун ылдамдыгына жакындайт же андан да ашып кетет. Окуу жана жазуу ылдамдыгына заманбап талаптар: катуу дисктер үчүн 10 ГБ/с чейин, NVMe үчүн 35 ГБ/сек чейин.
Бул өткөрүү жөндөмдүүлүгү Spark, Presto, Tensorflow, Teradata, Vertica, Splunk жана аналитика стекиндеги башка заманбап эсептөө алкактары үчүн жетиштүү. MPP маалымат базалары объектти сактоо үчүн конфигурацияланып жаткандыгы анын негизги сактагыч катары көбүрөөк колдонулуп жатканын көрсөтүп турат.
Эгерде сиздин сактоо тутумуңуз сизге керектүү ылдамдыкты камсыз кылбаса, анда сиз берилиштерди колдонуп, андан маани ала албайсыз. Сиз объект сактагычынан маалыматтарды эстутумдагы иштетүү структурасына алсаңыз дагы, маалыматтарды эстутумга жана эстутумдан өткөрүү үчүн өткөрүү жөндөмдүүлүгү керек болот. Эски объект дүкөндөрүндө ал жетишсиз.
Бул негизги пункт: жаңы аткаруу метрикасы кечигүү эмес, өткөрүү жөндөмдүүлүгү. Бул масштабдагы маалыматтар үчүн талап кылынат жана заманбап маалымат инфраструктурасында норма болуп саналат.
Эталондук көрсөткүчтөр натыйжалуулукту аныктоонун жакшы жолу болгону менен, аны чөйрөдө колдонмону иштетүүдөн мурун так өлчөө мүмкүн эмес. Ошондон кийин гана так кайда экенин айта аласыз: программалык камсыздоодо, дисктерде, тармакта же эсептөө деңгээлинде.
Масштабдуулук
Масштабдуулук бир аталыш мейкиндигине туура келген петабайттардын санын билдирет. Сатуучулардын ырасташынча, масштабдуулук оңой, алар масштабдаган сайын массалык монолиттик системалар морт, татаал, туруксуз жана кымбат болуп калат деп айтышпайт.
Масштабдуулуктун жаңы көрсөткүчү бул сиз тейлей турган аттар мейкиндигинин же кардарлардын саны. Метрика түздөн-түз гиперскалейрлерден алынат, мында сактагычтын курулуш блоктору кичинекей, бирок миллиарддаган бирдиктерге чейин масштабдуу. Жалпысынан алганда, бул булут метрика болуп саналат.
Курулуш блоктору кичинекей болгондо, коопсуздукту, кирүү мүмкүнчүлүгүн көзөмөлдөөнү, саясатты башкарууну, жашоо циклин башкарууну жана үзгүлтүксүз жаңыртууларды оптималдаштыруу оңой болот. Жана акырында өндүрүмдүүлүктү камсыз кылуу. Курулуш блогунун өлчөмү бузулган аймактын башкарууга жөндөмдүүлүгүнүн функциясы болуп саналат, бул өтө ийкемдүү системалар курулган.
Көп батирлүүлүк көптөгөн өзгөчөлүктөргө ээ. Өлчөм уюмдар маалыматтарга жана тиркемелерге кантип жетүүнү камсыз кылганы жөнүндө сөз кылса да, ал тиркемелердин өздөрүн жана аларды бири-биринен обочолонтуу логикасын билдирет.
Көп кардарларга заманбап мамиленин мүнөздөмөлөрү:
- Кыска убакыттын ичинде кардарлардын саны бир нече жүздөн бир нече миллионго чейин өсө алат.
- Кардарлар бири-биринен толугу менен обочолонуп турушат. Бул аларга бир эле программанын ар кандай версияларын иштетүүгө жана ар кандай конфигурациялар, уруксаттар, функциялар, коопсуздук жана тейлөө деңгээли менен объекттерди сактоого мүмкүндүк берет. Бул жаңы серверлерге, жаңыртууларга жана географияларга масштабдоодо зарыл.
- Сактоо ийкемдүү масштабдуу, ресурстар суроо-талап боюнча берилет.
- Ар бир операция API тарабынан башкарылат жана адамдын кийлигишүүсүз автоматташтырылган.
- Программалык камсыздоону контейнерлерде жайгаштырып, Kubernetes сыяктуу стандарттуу оркестрлөө системаларын колдонсо болот.
S3 ылайыктуу
Amazon S3 API объектти сактоо үчүн де-факто стандарты болуп саналат. Ар бир объект сактагыч программалык камсыздоону сатуучу аны менен шайкеш келет деп ырастайт. S3 менен шайкештик бинардык болуп саналат: же ал толугу менен ишке ашырылган же жок.
Иш жүзүндө, объект сактагычты колдонууда бир нерсе туура эмес болуп кеткен жүздөгөн же миңдеген кырдуу сценарийлер бар. Айрыкча, менчик программалык камсыздоону жана кызматтарды көрсөтүүчүлөрдөн. Анын негизги колдонуу учурлары түз архивдөө же резервдик көчүрүү болуп саналат, андыктан APIди чакырууга бир нече себептер бар, колдонуу учурлары бир тектүү.
Ачык программалык камсыздоонун олуттуу артыкчылыктары бар. Ал тиркемелердин, операциялык системалардын жана аппараттык архитектуранын өлчөмүн жана ар түрдүүлүгүн эске алуу менен көпчүлүк четки сценарийлерди камтыйт.
Мунун баары тиркемени иштеп чыгуучулар үчүн маанилүү, ошондуктан колдонмону сактоо провайдерлери менен сынап көрүү керек. Ачык булак процессти жеңилдетет — колдонмоңузга кайсы платформа туура келерин түшүнүү оңой. Провайдер сактагычка кирүүнүн бирдиктүү чекити катары колдонулушу мүмкүн, бул сиздин муктаждыктарыңызды канааттандырат.
Ачык булак дегенди билдирет: тиркемелер сатуучуга байланбайт жана ачык-айкын болот. Бул узак колдонуу мөөнөтүн камсыз кылат.
Жана ачык булак жана S3 жөнүндө дагы бир нече эскертүүлөр.
Эгер сиз чоң маалымат тиркемесин иштетип жатсаңыз, S3 SELECT чоңдуктун тартиби менен майнаптуулугун жана натыйжалуулугун жакшыртат. Бул сактагычтан керектүү объекттерди гана алуу үчүн SQLди колдонуу менен жасайт.
Негизги нерсе чака эскертмелерин колдоо болуп саналат. Чака эскертмелери серверсиз эсептөөнү жеңилдетет, бул кызмат катары жеткирилген ар кандай микросервис архитектурасынын маанилүү компоненти. Объекттин сакталышы эффективдүү булуттагы сактагыч экенин эске алсак, бул мүмкүнчүлүк объект сактагыч булутка негизделген колдонмолор тарабынан колдонулганда маанилүү болуп калат.
Акыр-аягы, S3 ишке ашыруу Amazon S3 сервер тарабында шифрлөө API'лерин колдоо керек: SSE-C, SSE-S3, SSE-KMS. Андан да жакшысы, S3 чындап коопсуз болгон бузукулардан коргоону колдойт.
Катачылыктарга жооп берүү
Көбүнчө көз жаздымда калган көрсөткүч бул система каталарды кантип чечет. Мүчүлүштүктөр ар кандай себептерден улам келип чыгат жана объект сактагыч алардын баарын чечиши керек.
Мисалы, бир эле иштебей калган чекит бар, мунун метрикасы нөлгө барабар.
Тилекке каршы, көптөгөн объекттерди сактоо системалары кластердин туура иштеши үчүн иштетилиши керек болгон атайын түйүндөрдү колдонушат. Аларга аталыш түйүндөрү же метаберилиш серверлери кирет - бул бир эле катачылыкты жаратат.
Кыйынчылыктын бир нече пункттары болгон жерде да, катастрофалык ийгиликсиздикке туруштук берүү эң маанилүү. Дисктер иштебей калды, серверлер иштебей калды. Негизгиси, каталарды кадимки абал катары чечүү үчүн иштелип чыккан программалык камсыздоону түзүү. Эгерде диск же түйүн иштебей калса, мындай программа өзгөрүүсүз иштей берет.
Берилиштерди өчүрүүдөн жана маалыматтардын деградациясынан камтылган коргоо паритеттик блокторго ээ болсоңуз, ошончо дискти же түйүндөрдү, адатта, дисктердин жарымын жоготуп алышыңызды камсыздайт. Ошондо гана программалык камсыздоо маалыматтарды кайтара албайт.
Мүчүлүштүк сейрек жүк астында текшерилет, бирок мындай сыноо милдеттүү болуп саналат. Жүктөөнүн бузулушун симуляциялоо бузулгандан кийин келтирилген жалпы чыгымдарды көрсөтөт.
ырааттуулук
100% ырааттуулук упай да катуу ырааттуулук деп аталат. Ылдамдуулук ар кандай сактоо тутумунун негизги компоненти болуп саналат, бирок күчтүү ырааттуулук сейрек кездешет. Мисалы, Amazon S3 ListObject катуу ырааттуу эмес, ал аягында гана ырааттуу.
Катуу ырааттуулук деген эмнени билдирет? Ырасталган PUT операциясынан кийинки бардык операциялар үчүн төмөнкүлөр болушу керек:
- Жаңыртылган маани каалаган түйүндөн окууда көрүнүп турат.
- Жаңыртуу түйүн катасынын ашыкчасынан корголгон.
Бул жазуунун ортосуна сайгычты тартсаңыз, эч нерсе жоголбойт дегенди билдирет. Система бузулган же эскирген маалыматтарды эч качан кайтарбайт. Бул транзакциялык тиркемелерден резервдик көчүрүү жана калыбына келтирүүгө чейин көптөгөн сценарийлерде маанилүү болгон бийик тилке.
жыйынтыктоо
Бул жаңы объект сактагыч көрсөткүчтөрү, алар азыркы уюмдарда колдонуу үлгүлөрүн чагылдырат, мында аткаруучулук, ырааттуулук, масштабдуулук, ката домендери жана S3 шайкештиги булуттагы тиркемелер жана чоң маалыматтардын аналитикасы үчүн курулуш материалы болуп саналат. Мен заманбап маалымат стектерин курууда баага кошумча бул тизмени колдонууну сунуштайм.
Mail.ru Cloud Solutions объект сактагычы жөнүндө: .
Дагы эмнени окуу керек:
- .
- .
- .
Source: www.habr.com