S3 объект хадгалах команд объект хадгалах газрыг сонгоход ямар шалгуур чухал вэ гэсэн нийтлэлийг орчуулав. Зохиогчийн үүднээс бичсэн текстийг доор харуулав.
Объект хадгалах тухай ярихад хүмүүс ихэвчлэн нэг л зүйлийг боддог: TB/GB үнэ. Мэдээжийн хэрэг, энэ хэмжигдэхүүн чухал боловч энэ нь хандлагыг нэг талт болгож, объектын хадгалалтыг архив хадгалах хэрэгсэлтэй адилтгадаг. Дээрээс нь энэ арга нь байгууллагын технологийн стекийн объект хадгалах ач холбогдлыг бууруулдаг.
Объект хадгалах газрыг сонгохдоо та таван шинж чанарыг анхаарч үзэх хэрэгтэй.
- гүйцэтгэл;
- өргөтгөх чадвар;
- S3 нийцтэй;
- бүтэлгүйтэлд хариу үйлдэл үзүүлэх;
- бүрэн бүтэн байдал.
Эдгээр таван шинж чанар нь зардлын хамт объект хадгалах шинэ хэмжүүр юм. Бүгдийг нь харцгаая.
Бүтээмж
Уламжлалт объектын дэлгүүрүүд гүйцэтгэл муутай байдаг. Үйлчилгээ үзүүлэгчид хямд үнийг эрэлхийлэхийн тулд үүнийг байнга золиослодог байв. Гэсэн хэдий ч орчин үеийн объектын хадгалалт нь өөр өөр байдаг.
Төрөл бүрийн хадгалах системүүд нь Hadoop-ийн хурдад ойртож эсвэл бүр давдаг. Унших, бичих хурдны орчин үеийн шаардлага: хатуу дискний хувьд 10 ГБ/с, NVMe-ийн хувьд 35 ГБ/с хүртэл.
Энэхүү дамжуулах чадвар нь аналитик стек дэх Spark, Presto, Tensorflow, Teradata, Vertica, Splunk болон бусад орчин үеийн тооцооллын фреймворкуудад хангалттай. MPP мэдээллийн санг объект хадгалахаар тохируулж байгаа нь түүнийг үндсэн санах ой болгон ашиглах нь улам бүр нэмэгдэж байгааг харуулж байна.
Хэрэв таны хадгалах систем танд шаардлагатай хурдыг өгөхгүй бол та өгөгдлийг ашиглаж, түүнээс үнэ цэнийг гаргаж чадахгүй. Хэдийгээр та объектын сангаас өгөгдлийг санах ойн боловсруулалтын бүтцэд татаж авсан ч өгөгдлийг санах ой руу болон санах ойноос дамжуулахын тулд зурвасын өргөн шаардлагатай хэвээр байх болно. Хуучин объектын дэлгүүрт хангалттай зүйл байдаггүй.
Энэ бол гол цэг юм: шинэ гүйцэтгэлийн хэмжүүр нь хоцролт биш харин дамжуулах чадвар юм. Энэ нь өргөн цар хүрээтэй өгөгдөлд шаардлагатай бөгөөд орчин үеийн мэдээллийн дэд бүтцийн хэм хэмжээ юм.
Хэдийгээр жишиг үзүүлэлт нь гүйцэтгэлийг тодорхойлох сайн арга боловч програмыг хүрээлэн буй орчинд ажиллуулахаас өмнө үүнийг нарийн хэмжих боломжгүй юм. Үүний дараа л та яг хаана бөглөрөл байгааг хэлж чадна: програм хангамж, диск, сүлжээ эсвэл тооцоолох түвшинд.
Өргөтгөх чадвар
Өргөтгөх чадвар гэдэг нь нэг нэрийн зайд багтах петабайтын тоог хэлнэ. Борлуулагчдын хэлж байгаа зүйл бол хялбархан өргөтгөх боломжтой гэж хэлдэг бөгөөд тэдний хэлээгүй зүйл бол том цул системүүд нь томрох тусам эмзэг, төвөгтэй, тогтворгүй, үнэтэй болдог.
Өргөтгөх боломжийн шинэ хэмжигдэхүүн бол таны үйлчлэх боломжтой нэрийн орон зай эсвэл үйлчлүүлэгчдийн тоо юм. Энэ хэмжигдэхүүнийг гиперскатеруудаас шууд авдаг бөгөөд хадгалах байгууламж нь жижиг боловч хэдэн тэрбум нэгж хүртэл хэмжээтэй байдаг. Ерөнхийдөө энэ бол үүлэн хэмжүүр юм.
Барилгын блокууд нь бага байх үед аюулгүй байдал, хандалтын хяналт, бодлогын удирдлага, амьдралын мөчлөгийн менежмент, саадгүй шинэчлэлтүүдийг оновчтой болгоход хялбар байдаг. Тэгээд эцэст нь бүтээмжийг хангана. Барилгын блокийн хэмжээ нь эвдрэлийн бүсийг хянах чадвараас хамаардаг бөгөөд энэ нь өндөр уян хатан системийг бий болгодог.
Олон түрээслэх нь олон шинж чанартай байдаг. Хэмжээ нь байгууллагууд өгөгдөл, програмд хэрхэн ханддаг талаар ярьдаг ч энэ нь програмууд өөрсдөө болон тэдгээрийг бие биенээсээ тусгаарлах логикийг хэлдэг.
Олон үйлчлүүлэгчтэй харилцах орчин үеийн хандлагын шинж чанарууд:
- Богино хугацаанд үйлчлүүлэгчдийн тоо хэдэн зуугаас хэдэн сая хүртэл өсөх боломжтой.
- Үйлчлүүлэгчид бие биенээсээ бүрэн тусгаарлагдсан байдаг. Энэ нь тэдэнд ижил программ хангамжийн өөр хувилбаруудыг ажиллуулж, өөр өөр тохиргоо, зөвшөөрөл, онцлог, аюулгүй байдал, засвар үйлчилгээний түвшний объектуудыг хадгалах боломжийг олгодог. Энэ нь шинэ серверүүд, шинэчлэлтүүд болон газарзүйн байршилд шилжихэд зайлшгүй шаардлагатай.
- Хадгалалт нь уян хатан, өргөтгөх боломжтой, нөөцийг хүсэлтээр хангадаг.
- Үйл ажиллагаа бүрийг API-ээр хянадаг бөгөөд хүний оролцоогүйгээр автоматжуулдаг.
- Програм хангамжийг контейнерт байрлуулж, Kubernetes гэх мэт стандарт зохион байгуулалтын системийг ашиглаж болно.
S3 нийцтэй
Amazon S3 API нь объект хадгалах бодит стандарт юм. Объект хадгалах програм хангамжийн үйлдвэрлэгч бүр үүнтэй нийцтэй гэж мэдэгддэг. S3-тай нийцтэй байдал нь хоёртын хувилбар юм: энэ нь бүрэн хэрэгжсэн эсвэл хэрэгжээгүй.
Практикт объектын хадгалалтыг ашиглах үед ямар нэг зүйл буруу болох хэдэн зуун эсвэл мянга мянган захын хувилбарууд байдаг. Ялангуяа хувийн програм хангамж, үйлчилгээ үзүүлэгчдээс. Үүний гол хэрэглээний тохиолдлууд нь шууд архивлах эсвэл нөөцлөх тул API дуудах цөөн хэдэн шалтгаан бий, хэрэглээний тохиолдлууд нэг төрлийн байдаг.
Нээлттэй эхийн програм хангамж нь ихээхэн давуу талтай. Энэ нь хэрэглээний хэмжээ, төрөл бүрийн програмууд, үйлдлийн системүүд, техник хангамжийн архитектурыг харгалзан ихэнх захын хувилбаруудыг хамардаг.
Энэ бүхэн програм хөгжүүлэгчдэд чухал ач холбогдолтой тул програмыг хадгалах үйлчилгээ үзүүлэгчид туршиж үзэх нь зүйтэй юм. Нээлттэй эх сурвалж нь үйл явцыг хөнгөвчлөх бөгөөд аль платформ таны програмд тохирохыг ойлгоход хялбар болно. Үйлчилгээ үзүүлэгчийг хадгалах нэг цэг болгон ашиглаж болох бөгөөд энэ нь таны хэрэгцээг хангах болно гэсэн үг юм.
Нээлттэй эх гэдэг нь: програмууд нь борлуулагчтай холбоогүй, илүү ил тод байна гэсэн үг. Энэ нь хэрэглээний урт хугацааны ашиглалтын хугацааг баталгаажуулдаг.
Нээлттэй эх сурвалж болон S3-ийн талаар өөр хэдэн тэмдэглэл.
Хэрэв та том дата програм ажиллуулж байгаа бол S3 SELECT нь гүйцэтгэл, үр ашгийг дарааллаар нь сайжруулдаг. Энэ нь SQL-г ашиглан зөвхөн танд хэрэгтэй объектуудыг хадгалах сангаас гаргаж авдаг.
Гол цэг бол хувин мэдэгдлийг дэмжих явдал юм. Шанаганы мэдэгдлүүд нь үйлчилгээ хэлбэрээр хүргэдэг аливаа микро үйлчилгээний архитектурын чухал бүрэлдэхүүн хэсэг болох сервергүй тооцооллыг хөнгөвчлөх болно. Объект хадгалалт нь үүлэн хадгалалтын үр дүнтэй байдаг тул объектын хадгалалтыг клоуд дээр суурилсан програмууд ашиглах үед энэ чадвар чухал болно.
Эцэст нь, S3 хэрэгжилт нь Amazon S3 сервер талын шифрлэлтийн API-г дэмжих ёстой: SSE-C, SSE-S3, SSE-KMS. Бүр илүү сайн, S3 нь үнэхээр найдвартай хөндлөнгийн хамгаалалтыг дэмждэг.
Алдаа дутагдлын хариу үйлдэл
Ихэнхдээ үл тоомсорлодог хэмжигдэхүүн бол систем алдаа дутагдлыг хэрхэн зохицуулдаг вэ? Төрөл бүрийн шалтгааны улмаас алдаа гардаг бөгөөд объектын хадгалалт нь бүгдийг нь зохицуулах ёстой.
Жишээлбэл, алдааны нэг цэг байдаг, үүний хэмжүүр нь тэг юм.
Харамсалтай нь олон объект хадгалах системүүд нь кластер зөв ажиллахын тулд идэвхжүүлсэн байх ёстой тусгай зангилаануудыг ашигладаг. Эдгээрт нэрийн зангилаа эсвэл мета өгөгдлийн серверүүд багтдаг - энэ нь алдааны нэг цэгийг үүсгэдэг.
Гэмтлийн олон цэг байсан ч сүйрлийн эвдрэлийг тэсвэрлэх чадвар нь хамгийн чухал юм. Дискүүд амжилтгүй болсон, серверүүд амжилтгүй болсон. Хамгийн гол нь бүтэлгүйтлийг хэвийн нөхцөл болгон зохицуулах программ хангамжийг бий болгох явдал юм. Хэрэв диск эсвэл зангилаа бүтэлгүйтвэл ийм програм хангамж өөрчлөгдөөгүй ажиллана.
Өгөгдөл устгах, өгөгдлийн доройтлоос хамгаалах суурилуулсан хамгаалалт нь та парит блоктой болохын хэрээр олон диск эсвэл зангилаа буюу ихэвчлэн дискний тал хувийг алдаж болно. Зөвхөн дараа нь программ хангамж нь өгөгдлийг буцааж өгөх боломжгүй болно.
Ачаалал нь ачааллын дор туршилт хийх нь ховор боловч ийм туршилт хийх шаардлагатай байдаг. Ачааллын эвдрэлийг дуурайснаар эвдрэлийн дараа гарсан нийт зардлыг харуулна.
Тууштай байдал
Тогтвортой байдлын 100% оноог хатуу тууштай байдал гэж бас нэрлэдэг. Тогтвортой байдал нь аливаа хадгалах системийн гол бүрэлдэхүүн хэсэг боловч хүчтэй тууштай байдал нь ховор байдаг. Жишээлбэл, Amazon S3 ListObject нь хатуу нийцтэй биш, зөвхөн төгсгөлд нь нийцдэг.
Хатуу тууштай байдал гэж юу гэсэн үг вэ? Баталгаажсан PUT үйлдлийн дараах бүх үйлдлүүдийн хувьд дараах үйлдлүүд хийгдэх ёстой.
- Шинэчлэгдсэн утга нь дурын зангилаанаас уншихад харагдана.
- Шинэчлэлт нь зангилааны эвдрэлээс хамгаалагдсан.
Энэ нь бичлэгийн дундуур залгуурыг нь татвал юу ч алдахгүй гэсэн үг. Систем нь эвдэрсэн эсвэл хуучирсан өгөгдлийг хэзээ ч буцаадаггүй. Энэ нь гүйлгээний програмуудаас нөөцлөх, сэргээх хүртэл олон хувилбарт чухал ач холбогдолтой өндөр мөр юм.
дүгнэлт
Эдгээр нь гүйцэтгэл, тууштай байдал, өргөтгөх чадвар, алдааны домэйн болон S3 нийцтэй байдал нь үүлэн хэрэглээний программууд болон том өгөгдлийн аналитикийн барилгын материал болох өнөөгийн байгууллагуудын ашиглалтын хэв маягийг тусгасан шинэ объект хадгалах хэмжүүрүүд юм. Орчин үеийн өгөгдлийн стек барихдаа энэ жагсаалтыг үнээс гадна ашиглахыг зөвлөж байна.
Mail.ru Cloud Solutions объект хадгалах сангийн тухай: .
Өөр юу унших вэ:
- .
- .
- .
Эх сурвалж: www.habr.com