S3 fermana hilanînê object gotarek li ser kîjan pîvanan girîng in dema ku hilbijarkek hilbijartî hilbijêrin wergerandin. Li jêr ev nivîs ji perspektîfa nivîskar e.
Dema ku ew tê ser hilanîna tiştan, mirov bi gelemperî tenê li ser yek tiştî difikirin: bihayê per TB / GB. Bê guman, ev metrîk girîng e, lê ew nêzîkbûnê yekalî dike û hilanîna tiştan bi amûrek hilanîna arşîvê re dike yek. Zêdetir, ev nêzîkatî girîngiya hilanîna tiştan ji bo stûna teknolojiya pargîdanî kêm dike.
Dema ku hilanîna tiştan hilbijêrin, divê hûn bala xwe bidin pênc taybetmendiyan:
- birêvebirinî;
- scalability;
- S3 lihevhatî;
- bersiva têkçûnan;
- linavketinî.
Van pênc taybetmendiyên ji bo hilanîna tiştan, digel lêçûn, metrîkên nû ne. Ka em li wan hemûyan binêrin.
Berhemdariyê
Firotgehên tiştên kevneşopî kêmasiya performansê ne. Pêşkêşkerên karûbar bi domdarî ew di peydakirina bihayên kêm de qurban kirin. Lêbelê, bi hilanîna tiştên nûjen re tişt cûda ne.
Pergalên hilanînê yên cihêreng nêzîkê leza Hadoop-ê dibin an jî ji wê jî derbas dibin. Pêdiviyên nûjen ji bo leza xwendin û nivîsandinê: ji 10 GB/s ji bo ajokarên hişk, heya 35 GB/s ji bo NVMe.
Ev rêje ji bo Spark, Presto, Tensorflow, Teradata, Vertica, Splunk û çarçoveyên din ên nûjen ên di stûna analîtîk de bes e. Rastiya ku databasên MPP-ê ji bo hilanîna tiştan têne mîheng kirin destnîşan dike ku ew her ku diçe wekî hilanîna bingehîn tê bikar anîn.
Ger pergala hilanînê ya we leza ku hûn hewce ne peyda bike, hûn nekarin daneyê bikar bînin û nirxê jê derxin. Tewra ku hûn daneyan ji hilanîna tiştan di nav avahiyek hilberandina bîranînê de bizivirînin, hûn ê dîsa jî hewceyê pêlava bandê bikin da ku daneyê ji bîr û bîranînê veguhezînin. Dikanên tiştên mîras têra wê nakin.
Ev xala sereke ye: metrîka performansa nû berbiçûk e, ne dereng. Ew ji bo daneyên di pîvanê de hewce ye û di binesaziya daneya nûjen de norm e.
Digel ku pîvan ji bo destnîşankirina performansê rêyek baş e, berî ku serîlêdanê li hawîrdorê bixebite ew bi rast nayê pîvandin. Tenê piştî wê hûn dikarin bibêjin ku tam kêşe li ku ye: di nermalavê, dîskan, torê de an di asta hesabkirinê de.
Scalability
Scalability hejmara petabytên ku di nav cîhek navekî de cih digirin vedibêje. Tiştê ku firoşkar îdîa dikin pîvandina hêsan e, ya ku ew nabêjin ev e ku her ku ew mezin dibin, pergalên yekparêz ên girseyî nazik, tevlihev, bêhêz û biha dibin.
Metrîka nû ya ji bo pîvandinê hejmara navan an xerîdarên ku hûn dikarin xizmetê bikin e. Metrîka rasterast ji hîperskaleran tê girtin, ku blokên avahîsaziya hilanînê piçûk in lê bi mîlyaran yekîneyan pîvan in. Bi gelemperî, ev metrîka ewr e.
Dema ku blokên avahiyê piçûk in, ew ji bo ewlehî, kontrolkirina gihîştinê, rêveberiya polîtîkayê, rêveberiya çerxa jiyanê, û nûvekirinên ne-tevdîrker çêtir dibin. Û di dawiyê de hilberîneriyê piştrast bikin. Mezinahiya bloka avahiyê fonksiyonek kontrolkirina devera têkçûnê ye, ku bi vî rengî pergalên pir berxwedêr têne çêkirin.
Pir-kirêdar gelek taybetmendiyên xwe hene. Dema ku pîvan diaxive ka rêxistin çawa gihîştina dane û serlêdanan peyda dikin, ew di heman demê de serîlêdanan bixwe û mantiqa li pişt veqetandina wan ji hevûdu jî vedibêje.
Taybetmendiyên nêzîkbûnek nûjen ji pir-mişterî:
- Di demek kurt de, hejmara xerîdar dikare ji çend sed û çend mîlyonan mezin bibe.
- Xerîdar bi tevahî ji hev dûr in. Ev dihêle ku ew guhertoyên cihêreng ên heman nermalavê bimeşînin û tiştên bi veavakirin, destûr, taybetmendî, astên ewlehî û parastinê yên cihêreng hilînin. Dema ku li ser serverên nû, nûvekirin, û erdnîgarî têne pîvandin ev pêdivî ye.
- Depokirin bi elastîk berbelav e, çavkanî li gorî daxwazê têne peyda kirin.
- Her operasyon ji hêla API-ê ve tê kontrol kirin û bêyî destwerdana mirovî otomatîk e.
- Nermalava dikare di konteyneran de were mêvandar kirin û pergalên orkestrasyonê yên standard ên wekî Kubernetes bikar bîne.
S3 lihevhatî
Amazon S3 API ji bo hilanîna tiştan standarda de facto ye. Her firoşkarê nermalava hilanîna tiştan îdîa dike ku bi wê re lihevhatî ye. Lihevhatina bi S3 re binary e: an ew bi tevahî tête bicîh kirin an na.
Di pratîkê de, bi sedan an bi hezaran senaryoyên qiraxê hene ku gava ku hilanîna tiştan bikar tînin tiştek xelet diçe. Bi taybetî ji pêşkêşkerên nermalava xwedan û karûbarên xwedan. Dozên karanîna wê yên sereke arşîvkirin an paşvekişandina rasterast in, ji ber vê yekê çend sedem hene ku meriv API-yê bang bike, dozên karanîna homojen in.
Nermalava çavkaniya vekirî xwedî avantajên girîng e. Ew piraniya senaryoyên devê vedihewîne, ji ber mezinahî û cûrbecûr serîlêdan, pergalên xebitandinê, û mîmariya hardware.
Hemî ev ji bo pêşdebirên serîlêdanê girîng e, ji ber vê yekê hêja ye ku serîlêdanê bi pêşkêşkerên hilanînê re ceribandin. Çavkaniya vekirî pêvajoyê hêsantir dike - hêsantir e ku hûn fêm bikin ka kîjan platformê ji bo serîlêdana we rast e. Pêşkêşkar dikare wekî xalek yekane ya têketina hilanînê were bikar anîn, tê vê wateyê ku ew ê hewcedariyên we bicîh bîne.
Çavkaniya vekirî tê vê wateyê: serîlêdan bi firoşkarek ve girêdayî ne û zelaltir in. Ev yek jîyanek dirêj a serîlêdanê misoger dike.
Û çend notên din di derbarê çavkaniya vekirî û S3 de.
Ger hûn serîlêdanek daneya mezin dimeşînin, S3 SELECT bi rêzek mezinahiyê performans û karîgeriyê baştir dike. Ew vê yekê bi karanîna SQL-ê dike da ku tenê tiştên ku hûn ji hilanînê hewce ne bistînin.
Xala sereke piştgirî ji bo agahdariyên kelê ye. Agahdariyên bucket hesabkirina bê server, pêkhateyek girîng a mîmariya mîkroxizmetê ya ku wekî karûbar tê radest kirin hêsan dike. Ji ber ku hilanîna tiştan bi bandor hilanîna ewr e, ev kapasîteyê krîtîk dibe dema ku hilanîna tiştan ji hêla serîlêdanên bingehîn-ewr ve tê bikar anîn.
Di dawiyê de, pêkanîna S3 pêdivî ye ku API-yên şîfrekirinê yên server-side Amazon S3 piştgirî bike: SSE-C, SSE-S3, SSE-KMS. Tewra çêtir, S3 parastina destavêtinê ya ku bi rastî ewledar e piştgirî dike.
Bersiva têkçûnan
Metrîka ku belkî pir caran tê paşguh kirin ev e ku pergalê çawa têkçûnan bi rê ve dibe. Têkçûn ji ber gelek sedeman diqewimin, û hilanîna tiştan divê hemî wan hilgire.
Mînakî, xalek têkçûnek yek heye, metrika vê yekê sifir e.
Mixabin, gelek pergalên hilanîna tiştan girêkên taybetî bikar tînin ku divê werin çalak kirin da ku kom bi rêkûpêk bixebite. Di nav wan de girêkên navan an pêşkêşkerên metadata hene - ev yek xalek têkçûnê diafirîne.
Tewra li cîhê ku gelek xalên têkçûnê hebin jî, şiyana ku li ber têkçûna felaketî bisekinin pir girîng e. Dîsk têk diçin, pêşkêşker têk diçin. Ya sereke ev e ku meriv nermalava ku ji bo têkçûna wekî rewşek normal hatî çêkirin were çêkirin. Ger dîskek an nodek têk biçe, nermalava weha dê bêyî guhertinan bixebite.
Parastina çêkirî ya li dijî jêbirina daneyê û hilweşandina daneyê piştrast dike ku hûn dikarin bi qasî ku hûn blokên hevsengiyê hene - bi gelemperî nîvê dîskê winda bikin. Tenê wê hingê nermalavê dê nikaribe daneyan vegerîne.
Têkçû kêm kêm di bin barkirinê de tê ceribandin, lê ceribandinek weha mecbûrî ye. Simulasyona têkçûna barkirinê dê lêçûnên giştî yên piştî têkçûnê nîşan bide.
Consistency
Pûanek hevgirtinê ya 100% jê re hevrêziya hişk jî tê gotin. Berdewamî hêmanek bingehîn a her pergala hilanînê ye, lê domdariya bihêz kêm e. Mînakî, Amazon S3 ListObject ne domdar e, ew tenê di dawiyê de hevgirtî ye.
Wateya hevgirtina hişk çi ye? Ji bo hemî operasyonên li dû operasyonek PUT-ê ya pejirandî, divê jêrîn pêk werin:
- Nirxa nûvekirî dema ku ji her nodê dixwîne xuya ye.
- Nûvekirin li dijî zêdebûna têkçûna nodê tê parastin.
Ev tê vê wateyê ku heke hûn fîşa di nîvê tomarkirinê de derxînin, dê tiştek winda nebe. Pergal tu carî daneyên xerabûyî an kevnar venagerîne. Ev barek bilind e ku di gelek senaryoyan de girîng e, ji serîlêdanên danûstendinê bigire heya hilanînê û vegerandinê.
encamê
Vana metrîkên hilanîna tiştên nû ne ku di rêxistinên îroyîn de qalibên karanînê nîşan didin, ku li wir performans, hevgirtî, pîvandin, domên xeletiyê û lihevhatina S3 blokên avahîsaziyê ne ji bo serîlêdanên ewr û analîtîkên daneya mezin. Ez vê navnîşê ji bilî bihayê dema avakirina stûnên daneya nûjen pêşniyar dikim.
Di derbarê hilanîna tiştan de Mail.ru Cloud Solutions: .
Wekî din çi bixwînin:
- .
- .
- .
Source: www.habr.com