S3 pipaṣẹ ipamọ ohun tumọ nkan kan nipa kini awọn ibeere ṣe pataki nigbati o yan ibi ipamọ ohun kan. Atẹle ni ọrọ lati irisi onkọwe.
Nigbati o ba de ibi ipamọ ohun, awọn eniyan maa n ronu nipa ohun kan nikan: idiyele fun TB/GB. Nitoribẹẹ, metiriki yii ṣe pataki, ṣugbọn o jẹ ki isunmọ si apa kan ati pe o dọgba ibi ipamọ ohun pẹlu ohun elo ibi ipamọ ile-ipamọ. Pẹlupẹlu, ọna yii dinku pataki ti ibi ipamọ ohun fun akopọ imọ-ẹrọ ile-iṣẹ.
Nigbati o ba yan ibi ipamọ ohun, o yẹ ki o san ifojusi si awọn abuda marun:
- iṣẹ ṣiṣe;
- scalability;
- S3 ni ibamu;
- idahun si awọn ikuna;
- iyege.
Awọn abuda marun wọnyi jẹ awọn metiriki tuntun fun ibi ipamọ ohun, pẹlu idiyele. Jẹ ki a wo gbogbo wọn.
Ise sise
Awọn ile itaja ohun aṣa ko ni iṣẹ ṣiṣe. Awọn olupese iṣẹ nigbagbogbo rubọ rẹ ni ilepa awọn idiyele kekere. Sibẹsibẹ, pẹlu igbalode ohun ipamọ ohun ti o yatọ si.
Awọn ọna ipamọ oriṣiriṣi sunmọ tabi paapaa ju iyara Hadoop lọ. Awọn ibeere ode oni fun kika ati kikọ awọn iyara: lati 10 GB/s fun awọn dirafu lile, to 35 GB/s fun NVMe.
Iwajade yii to fun Spark, Presto, Tensorflow, Teradata, Vertica, Splunk ati awọn ilana iširo igbalode miiran ninu akopọ atupale. Otitọ pe awọn apoti isura infomesonu MPP ti wa ni tunto fun ibi ipamọ ohun kan ni imọran pe o npọ sii ni lilo bi ibi ipamọ akọkọ.
Ti eto ipamọ rẹ ko ba pese iyara ti o nilo, o ko le lo data naa ki o yọ iye jade lati inu rẹ. Paapa ti o ba gba data pada lati ibi ipamọ ohun sinu eto sisẹ iranti, iwọ yoo tun nilo bandiwidi lati gbe data lọ si ati lati iranti. Awọn ile itaja ohun ti o lewu ko ni to.
Eyi ni aaye bọtini: Metiriki iṣẹ ṣiṣe tuntun jẹ igbejade, kii ṣe lairi. O nilo fun data ni iwọn ati pe o jẹ iwuwasi ni awọn amayederun data ode oni.
Lakoko ti awọn aṣepari jẹ ọna ti o dara lati pinnu iṣẹ ṣiṣe, ko le ṣe iwọn deede ṣaaju ṣiṣe ohun elo ni agbegbe. Nikan lẹhin rẹ o le sọ ibiti gangan igo jẹ: ni sọfitiwia, awọn disiki, nẹtiwọki tabi ni ipele iširo.
Scalability
Scalability tọka si nọmba awọn petabytes ti o baamu si aaye orukọ kan. Ohun ti awọn olutaja beere jẹ iwọn ti o rọrun, ohun ti wọn ko sọ ni pe bi wọn ti ṣe iwọn, awọn eto monolithic nla di ẹlẹgẹ, eka, riru, ati gbowolori.
Metiriki tuntun fun iwọn iwọn jẹ nọmba awọn aaye orukọ tabi awọn alabara ti o le ṣe iranṣẹ. Metiriki naa ni a mu taara lati awọn hyperscalers, nibiti awọn bulọọki ile ibi ipamọ jẹ kekere ṣugbọn iwọn si awọn ọkẹ àìmọye awọn ẹya. Ni gbogbogbo, eyi jẹ metiriki awọsanma.
Nigbati awọn bulọọki ile jẹ kekere, wọn rọrun lati mu dara julọ fun aabo, iṣakoso iwọle, iṣakoso eto imulo, iṣakoso igbesi aye, ati awọn imudojuiwọn ti ko ni rudurudu. Ati nikẹhin rii daju iṣelọpọ. Iwọn ti ile-iṣọ ile jẹ iṣẹ ti iṣakoso ti agbegbe ikuna, eyiti o jẹ bi a ṣe kọ awọn ọna ṣiṣe ti o ga julọ.
Olona-iyalegbe ni ọpọlọpọ awọn abuda. Lakoko ti iwọn naa n sọrọ si bii awọn ajo ṣe n pese iraye si data ati awọn ohun elo, o tun tọka si awọn ohun elo funrararẹ ati ọgbọn ti o wa lẹhin ipinya wọn kuro lọdọ ara wọn.
Awọn abuda ti ọna ode oni si olona-onibara:
- Ni igba diẹ, nọmba awọn onibara le dagba lati awọn ọgọrun si ọpọlọpọ awọn milionu.
- Awọn alabara ti ya sọtọ patapata lati ara wọn. Eyi n gba wọn laaye lati ṣiṣe awọn ẹya oriṣiriṣi ti sọfitiwia kanna ati tọju awọn nkan pẹlu awọn atunto oriṣiriṣi, awọn igbanilaaye, awọn ẹya, aabo ati awọn ipele itọju. Eyi jẹ pataki nigbati iwọn si awọn olupin titun, awọn imudojuiwọn, ati awọn agbegbe.
- Ibi ipamọ naa jẹ iwọn rirọ, awọn orisun ti pese lori ibeere.
- Iṣiṣẹ kọọkan jẹ iṣakoso nipasẹ API ati pe o jẹ adaṣe laisi idasi eniyan.
- Sọfitiwia le gbalejo ni awọn apoti ati lo awọn ọna ṣiṣe orchestration boṣewa gẹgẹbi Kubernetes.
S3 ibaramu
Amazon S3 API jẹ boṣewa de facto fun ibi ipamọ ohun. Gbogbo olutaja sọfitiwia ipamọ ohun kan sọ pe ibamu pẹlu rẹ. Ibamu pẹlu S3 jẹ alakomeji: boya o ti ni imuse ni kikun tabi kii ṣe.
Ni iṣe, awọn ọgọọgọrun tabi ẹgbẹẹgbẹrun awọn oju iṣẹlẹ eti nibiti nkan kan ti jẹ aṣiṣe nigba lilo ibi ipamọ ohun. Paapa lati ọdọ awọn olupese ti sọfitiwia ohun-ini ati awọn iṣẹ. Awọn ọran lilo akọkọ rẹ jẹ fifipamọ taara tabi afẹyinti, nitorinaa awọn idi diẹ lo wa lati pe API, awọn ọran lilo jẹ isokan.
Sọfitiwia orisun ṣiṣi ni awọn anfani pataki. O ni wiwa julọ awọn oju iṣẹlẹ eti, fun iwọn ati ọpọlọpọ awọn ohun elo, awọn ọna ṣiṣe, ati awọn faaji ohun elo.
Gbogbo eyi jẹ pataki fun awọn olupilẹṣẹ ohun elo, nitorinaa o tọ lati ṣe idanwo ohun elo pẹlu awọn olupese ibi ipamọ. Orisun ṣiṣi jẹ ki ilana naa rọrun — o rọrun lati ni oye iru pẹpẹ wo ni o tọ fun ohun elo rẹ. Olupese naa le ṣee lo bi aaye kan ti titẹsi sinu ibi ipamọ, afipamo pe yoo pade awọn iwulo rẹ.
Itumọ orisun ṣiṣi: awọn ohun elo ko ni somọ si ataja ati pe o han gbangba diẹ sii. Eyi ṣe idaniloju igbesi aye ohun elo gigun.
Ati awọn akọsilẹ diẹ sii nipa orisun ṣiṣi ati S3.
Ti o ba n ṣiṣẹ ohun elo data nla kan, S3 SELECT ṣe ilọsiwaju iṣẹ ati ṣiṣe nipasẹ aṣẹ titobi. O ṣe eyi nipa lilo SQL lati gba awọn ohun elo nikan ti o nilo lati ibi ipamọ.
Koko bọtini ni atilẹyin fun awọn iwifunni garawa. Awọn iwifunni garawa dẹrọ iširo alailowaya olupin, paati pataki ti eyikeyi faaji microservice ti o jẹ jiṣẹ bi iṣẹ kan. Ni fifunni ibi ipamọ ohun naa jẹ ibi ipamọ awọsanma ti o munadoko, agbara yii di pataki nigbati ibi ipamọ ohun elo jẹ lilo nipasẹ awọn ohun elo ti o da lori awọsanma.
Nikẹhin, imuse S3 gbọdọ ṣe atilẹyin awọn API fifi ẹnọ kọ nkan olupin-ẹgbẹ Amazon S3: SSE-C, SSE-S3, SSE-KMS. Paapaa dara julọ, S3 ṣe atilẹyin aabo tamper ti o ni aabo nitootọ.
Idahun si awọn ikuna
Metiriki ti o ṣee ṣe igbagbogbo aṣemáṣe ni bii eto ṣe n kapa awọn ikuna. Awọn ikuna ṣẹlẹ fun awọn idi pupọ, ati ibi ipamọ ohun gbọdọ mu gbogbo wọn.
Fun apẹẹrẹ, aaye ikuna kan wa, metric ti eyi jẹ odo.
Laanu, ọpọlọpọ awọn ọna ṣiṣe ipamọ ohun lo awọn apa pataki ti o gbọdọ ṣiṣẹ fun iṣupọ lati ṣiṣẹ daradara. Iwọnyi pẹlu awọn apa orukọ tabi awọn olupin metadata – eyi ṣẹda aaye ikuna kan.
Paapaa nibiti awọn aaye ikuna pupọ wa, agbara lati koju ikuna ajalu jẹ pataki julọ. Disiki kuna, awọn olupin kuna. Bọtini naa ni lati ṣẹda sọfitiwia ti a ṣe apẹrẹ lati mu ikuna bi ipo deede. Ti disk tabi ipade ba kuna, iru sọfitiwia yoo tẹsiwaju lati ṣiṣẹ laisi awọn ayipada.
Idaabobo ti a ṣe sinu rẹ lodi si piparẹ data ati ibajẹ data ni idaniloju pe o le padanu bi ọpọlọpọ awọn disiki tabi awọn apa bi o ṣe ni awọn bulọọki alakan-nigbagbogbo idaji awọn disiki naa. Nikan lẹhinna software naa ko le da data pada.
Ikuna naa kii ṣe idanwo labẹ ẹru, ṣugbọn iru idanwo ni o nilo. Simulating ikuna fifuye yoo ṣe afihan awọn idiyele lapapọ ti o waye lẹhin ikuna naa.
Iduroṣinṣin
Dimegilio aitasera ti 100% ni a tun pe ni aitasera to muna. Iduroṣinṣin jẹ paati bọtini ti eyikeyi eto ipamọ, ṣugbọn aitasera to lagbara jẹ toje. Fun apẹẹrẹ, Amazon S3 ListObject ko ni ibamu muna, o jẹ ibamu nikan ni ipari.
Kini o tumọ si nipasẹ iduroṣinṣin to muna? Fun gbogbo awọn iṣẹ ṣiṣe ti o tẹle iṣẹ PUT ti a fọwọsi, atẹle gbọdọ waye:
- Iye imudojuiwọn yoo han nigbati o ba ka lati eyikeyi ipade.
- Imudojuiwọn naa ni aabo lodi si idinku ikuna ipade.
Eyi tumọ si pe ti o ba fa pulọọgi naa ni arin gbigbasilẹ, ko si nkan ti yoo sọnu. Awọn eto kò pada ibaje tabi igba atijọ data. Eyi jẹ igi giga ti o ṣe pataki ni ọpọlọpọ awọn oju iṣẹlẹ, lati awọn ohun elo iṣowo si afẹyinti ati imularada.
ipari
Iwọnyi jẹ awọn metiriki ibi ipamọ ohun titun ti o ṣe afihan awọn ilana lilo ni awọn ajọ ti ode oni, nibiti iṣẹ ṣiṣe, aitasera, iwọnwọn, awọn ibugbe aṣiṣe ati ibaramu S3 jẹ awọn bulọọki ile fun awọn ohun elo awọsanma ati awọn atupale data nla. Mo ṣeduro lilo atokọ yii ni afikun si idiyele nigba kikọ awọn akopọ data ode oni.
Nipa Ibi ipamọ ohun Awọn solusan awọsanma Mail.ru: .
Kini ohun miiran lati ka:
- .
- .
- .
orisun: www.habr.com