Komand sa pagtipig sa butang sa S3 gihubad ang usa ka artikulo bahin sa kung unsang mga pamatasan ang hinungdanon kung nagpili usa ka pagtipig sa butang. Ang mosunod mao ang teksto gikan sa panglantaw sa tagsulat.
Kung bahin sa pagtipig sa butang, ang mga tawo kasagaran maghunahuna lamang sa usa ka butang: presyo kada TB/GB. Siyempre, kini nga sukatan hinungdanon, apan kini naghimo sa pamaagi nga usa ka kilid ug gipakasama ang pagtipig sa butang sa usa ka himan sa pagtipig sa archive. Dugang pa, kini nga pamaagi nagpamenos sa kamahinungdanon sa pagtipig sa butang alang sa stack sa teknolohiya sa negosyo.
Kung nagpili sa pagtipig sa butang, kinahanglan nimo nga hatagan pagtagad ang lima ka mga kinaiya:
- pasundayag;
- scalability;
- S3 compatible;
- tubag sa mga kapakyasan;
- integridad.
Kining lima ka mga kinaiya bag-ong metrics alang sa pagtipig sa butang, uban sa gasto. Atong tan-awon silang tanan.
Pag-uswag
Ang tradisyonal nga mga tindahan sa butang kulang sa performance. Ang mga service provider kanunay nga nagsakripisyo niini sa pagpangita sa mubu nga presyo. Bisan pa, sa modernong butang nga pagtipig sa mga butang lahi.
Nagkalainlain nga mga sistema sa pagtipig nagkaduol o bisan sa katulin sa Hadoop. Modernong mga kinahanglanon alang sa pagbasa ug pagsulat sa katulin: gikan sa 10 GB/s alang sa mga hard drive, hangtod sa 35 GB/s alang sa NVMe.
Kini nga throughput igo na alang sa Spark, Presto, Tensorflow, Teradata, Vertica, Splunk ug uban pang modernong computing frameworks sa analytics stack. Ang kamatuoran nga ang mga database sa MPP gi-configure alang sa pagtipig sa butang nagsugyot nga kini labi nga gigamit ingon nga panguna nga pagtipig.
Kung ang imong sistema sa pagtipig wala maghatag sa katulin nga imong gikinahanglan, dili nimo magamit ang datos ug makuha ang kantidad gikan niini. Bisan kung makuha nimo ang datos gikan sa pagtipig sa butang ngadto sa istruktura sa pagproseso sa sulod sa memorya, kinahanglan nimo gihapon ang bandwidth aron mabalhin ang data ngadto ug gikan sa memorya. Ang mga kabilin nga butang nga tindahan walay igo niini.
Kini ang yawe nga punto: ang bag-ong sukatan sa pasundayag mao ang throughput, dili latency. Gikinahanglan kini alang sa datos sa sukod ug mao ang naandan sa modernong imprastraktura sa datos.
Samtang ang mga benchmark usa ka maayong paagi aron mahibal-an ang pasundayag, dili kini tukma nga masukod sa wala pa ipadagan ang aplikasyon sa palibot. Pagkahuman ra nimo masulti kung asa gyud ang bottleneck: sa software, disk, network o sa lebel sa pag-compute.
Scalability
Ang scalability nagtumong sa gidaghanon sa mga petabytes nga mohaum sa usa ka namespace. Ang giangkon sa mga tigbaligya mao ang dali nga scalability, ang wala nila isulti mao nga sa ilang pagsukod, ang mga dagkong monolithic nga sistema mahimong huyang, komplikado, dili lig-on, ug mahal.
Ang bag-ong sukatan alang sa scalability mao ang gidaghanon sa mga namespace o mga kliyente nga imong maserbisyohan. Ang metric gikuha direkta gikan sa hyperscalers, diin ang storage building blocks gamay apan sukdanan ngadto sa binilyon nga mga yunit. Sa kinatibuk-an, kini usa ka cloud metric.
Kung gamay ra ang mga bloke sa pagtukod, mas dali silang ma-optimize alang sa seguridad, kontrol sa pag-access, pagdumala sa palisiya, pagdumala sa siklo sa kinabuhi, ug dili makabalda nga mga pag-update. Ug sa katapusan masiguro ang pagka-produktibo. Ang gidak-on sa bloke sa pagtukod usa ka function sa pagkontrolar sa rehiyon sa kapakyasan, nga mao kung giunsa gitukod ang labi ka lig-on nga mga sistema.
Ang multi-tenancy adunay daghang mga kinaiya. Samtang ang dimensyon naghisgot kung giunsa paghatag sa mga organisasyon ang pag-access sa mga datos ug aplikasyon, kini usab nagtumong sa mga aplikasyon mismo ug ang lohika sa luyo sa pagbulag kanila gikan sa usag usa.
Mga kinaiya sa modernong pamaagi sa multi-client:
- Sa mubo nga panahon, ang gidaghanon sa mga kliyente mahimong motubo gikan sa pipila ka gatos ngadto sa pipila ka milyon.
- Ang mga kliyente hingpit nga nahimulag sa usag usa. Kini nagtugot kanila sa pagpadagan sa lain-laing mga bersyon sa sa mao gihapon nga software ug tindahan sa mga butang uban sa lain-laing mga configurations, pagtugot, bahin, seguridad ug maintenance nga lebel. Kinahanglan kini kung mag-scale sa bag-ong mga server, update, ug geograpiya.
- Ang pagtipig elasticly scalable, ang mga kahinguhaan gihatag sa panginahanglan.
- Ang matag operasyon kontrolado sa usa ka API ug awtomatiko nga walaβy interbensyon sa tawo.
- Ang software mahimong ma-host sa mga sudlanan ug mogamit sa mga standard nga sistema sa orkestra sama sa Kubernetes.
S3 compatible
Ang Amazon S3 API mao ang de facto nga sumbanan alang sa pagtipig sa butang. Ang matag tigbaligya sa software sa pagtipig sa butang nag-angkon nga nahiuyon niini. Ang pagkaangay sa S3 binary: kini hingpit nga gipatuman o dili.
Sa praktis, adunay gatusan o libu-libo nga mga situwasyon sa kilid diin adunay mahitabo nga sayup sa paggamit sa pagtipig sa butang. Ilabi na gikan sa mga provider sa proprietary software ug mga serbisyo. Ang panguna nga mga kaso sa paggamit niini mao ang direkta nga pag-archive o pag-backup, mao nga adunay pipila nga mga hinungdan nga tawagan ang API, ang mga kaso sa paggamit managsama.
Ang open source software adunay mahinungdanong mga bentaha. Gisakup niini ang kadaghanan nga mga senaryo sa sulud, gihatagan ang gidak-on ug lainlaing mga aplikasyon, operating system, ug mga arkitektura sa hardware.
Ang tanan nga kini hinungdanon alang sa mga nag-develop sa aplikasyon, busa angay nga sulayan ang aplikasyon sa mga taghatag sa pagtipig. Gipasayon ββsa open source ang prosesoβmas sayon ββsabton kung asa nga plataporma ang haom sa imong aplikasyon. Ang provider mahimong gamiton isip usa ka punto sa pagsulod ngadto sa storage, nagpasabot nga kini makatubag sa imong mga panginahanglan.
Ang open source nagpasabot: ang mga aplikasyon wala gihigot sa usa ka vendor ug mas transparent. Gisiguro niini ang taas nga siklo sa kinabuhi sa aplikasyon.
Ug pipila pa nga mga nota bahin sa open source ug S3.
Kung nagdagan ka usa ka dako nga aplikasyon sa datos, ang S3 SELECT nagpauswag sa pasundayag ug kahusayan pinaagi sa usa ka han-ay sa kadako. Gihimo kini pinaagi sa paggamit sa SQL aron makuha lamang ang mga butang nga imong gikinahanglan gikan sa pagtipig.
Ang yawe nga punto mao ang suporta alang sa mga abiso sa balde. Ang mga abiso sa balde nagpadali sa serverless computing, usa ka importante nga bahin sa bisan unsang microservice nga arkitektura nga gihatag isip usa ka serbisyo. Tungod kay ang pagtipig sa butang epektibo nga pagtipig sa panganod, kini nga katakus mahimong kritikal kung ang pagtipig sa butang gigamit sa mga aplikasyon nga nakabase sa panganod.
Sa kataposan, ang pagpatuman sa S3 kinahanglang mosuporta sa Amazon S3 server-side encryption APIs: SSE-C, SSE-S3, SSE-KMS. Mas maayo pa, ang S3 nagsuporta sa tamper protection nga tinuod nga luwas.
Tubag sa mga kapakyasan
Ang usa ka metric nga lagmit kanunay nga mataligam-an mao kung giunsa pagdumala sa sistema ang mga kapakyasan. Ang mga kapakyasan mahitabo tungod sa lainlaing mga hinungdan, ug ang pagtipig sa butang kinahanglan nga magdumala sa tanan.
Pananglitan, adunay usa ka punto sa kapakyasan, ang metric niini mao ang zero.
Ikasubo, daghang mga sistema sa pagtipig sa butang naggamit mga espesyal nga node nga kinahanglan nga magamit aron ang cluster molihok sa husto. Naglakip kini sa mga node sa ngalan o metadata server - nagmugna kini usa ka punto sa kapakyasan.
Bisan diin adunay daghang mga punto sa kapakyasan, ang abilidad sa pag-agwanta sa katalagman nga kapakyasan labing hinungdanon. Napakyas ang mga disk, napakyas ang mga server. Ang yawe mao ang paghimo og software nga gidisenyo sa pagdumala sa kapakyasan isip usa ka normal nga kondisyon. Kung ang usa ka disk o node mapakyas, ang ingon nga software magpadayon sa pagtrabaho nga walaβy mga pagbag-o.
Ang built-in nga panalipod batok sa data erasure ug data degradation nagsiguro nga mawad-an ka ug daghang mga disk o node kay aduna kay parity blocksβkasagaran katunga sa mga disk. Unya ra ang software dili na makabalik sa datos.
Ang kapakyasan panagsa ra gisulayan ubos sa load, apan ang ingon nga pagsulay gikinahanglan. Ang pag-simulate sa pagkapakyas sa pagkarga magpakita sa kinatibuk-ang gasto nga nahiaguman pagkahuman sa kapakyasan.
pagkamakanunayon
Ang usa ka marka sa pagkamakanunayon nga 100% gitawag usab nga higpit nga pagkamakanunayon. Ang pagkamakanunayon usa ka hinungdanon nga sangkap sa bisan unsang sistema sa pagtipig, apan ang lig-on nga pagkamakanunayon talagsa ra. Pananglitan, ang Amazon S3 ListObject dili higpit nga makanunayon, kini makanunayon lamang sa katapusan.
Unsa ang gipasabut sa estrikto nga pagkamakanunayon? Para sa tanan nga mga operasyon human sa usa ka nakumpirma nga PUT nga operasyon, ang mosunod kinahanglan mahitabo:
- Ang gi-update nga kantidad makita kung magbasa gikan sa bisan unsang node.
- Ang pag-update gipanalipdan batok sa kapakyasan sa node redundancy.
Kini nagpasabot nga kon imong ibira ang plug sa tunga-tunga sa usa ka recording, walay mawala. Ang sistema dili gayud ibalik ang dunot o karaan nga datos. Kini usa ka taas nga bar nga hinungdanon sa daghang mga senaryo, gikan sa mga aplikasyon sa transaksyon hangtod sa pag-backup ug pagbawi.
konklusyon
Kini ang bag-ong mga sukatan sa pagtipig sa butang nga nagpakita sa mga sumbanan sa paggamit sa mga organisasyon karon, kung diin ang pasundayag, pagkamakanunayon, scalability, mga dominyo sa sayup ug pagkaangay sa S3 mao ang mga bloke sa pagtukod alang sa mga aplikasyon sa panganod ug pag-analisa sa dagkong datos. Girekomenda nako ang paggamit niini nga lista dugang sa presyo kung nagtukod mga modernong data stacks.
Mahitungod sa pagtipig sa butang sa Mail.ru Cloud Solutions: .
Unsa pa ang basahon:
- .
- .
- .
Source: www.habr.com