Taelo ea polokelo ea ntho ea S3 e fetoletse sehlooho se buang ka hore na ke litekanyetso life tsa bohlokoa ha u khetha polokelo ea ntho. Se se latelago ke sengwalo go ya ka tebelelo ya mongwadi.
Ha ho tluoa tabeng ea polokelo ea lintho, batho ba nahana ka ntho e le 'ngoe feela: theko ka TB/GB. Ehlile, metric ena e bohlokoa, empa e etsa hore mokhoa ona o be lehlakoreng le le leng mme o lekanye polokelo ea ntho le sesebelisoa sa polokelo ea polokelo. Hape, mokhoa ona o fokotsa bohlokoa ba ho boloka ntho bakeng sa stack ea theknoloji ea khoebo.
Ha u khetha polokelo ea lintho, u lokela ho ela hloko litšobotsi tse hlano:
- tshebetso;
- scalability;
- S3 e lumellana;
- karabelo ho ho hloleha;
- botshepehi.
Litšobotsi tsena tse hlano ke litekanyetso tse ncha tsa polokelo ea ntho, hammoho le litšenyehelo. Ha re li shebeng kaofela.
Tlhahiso
Mabenkele a lintho tsa setso a haelloa ke ts'ebetso. Bafani ba litšebeletso ba ne ba lula ba e tela ho lelekisa litheko tse tlase. Leha ho le joalo, ka lintho tsa morao-rao tsa polokelo ea lintho li fapane.
Litsamaiso tse fapaneng tsa polokelo li atamela kapa li feta lebelo la Hadoop. Litlhoko tsa sejoale-joale bakeng sa lebelo la ho bala le ho ngola: ho tloha ho 10 GB/s bakeng sa li-hard drive, ho fihla ho 35 GB/s bakeng sa NVMe.
Ts'ebetso ena e lekane bakeng sa Spark, Presto, Tensorflow, Teradata, Vertica, Splunk le meralo e meng ea sejoale-joale ea likhomphutha ho stack ea analytics. Taba ea hore li-database tsa MPP li ntse li lokisoa bakeng sa polokelo ea ntho e fana ka maikutlo a hore e ntse e sebelisoa le ho feta joalo ka polokelo ea mantlha.
Haeba sistimi ea hau ea polokelo e sa fane ka lebelo leo u le hlokang, u ke ke ua sebelisa data le ho ntša boleng ho eona. Le ha o ka fumana data ho tsoa polokelong ea ntho ho ea ho sebopeho sa ts'ebetso ea memori, o ntse o tla hloka bandwidth ho fetisetsa data ho tsoa mohopolong. Mabenkele a lintho tsa lefa ha a na e lekaneng.
Ena ke ntlha ea bohlokoa: metric e ncha ea ts'ebetso ke throughput, eseng latency. E hlokahala bakeng sa data ka tekanyo e kholo 'me ke ntho e tloaelehileng ho lisebelisoa tsa morao-rao tsa data.
Leha li-benchmark e le mokhoa o motle oa ho tseba hore na ts'ebetso e sebetsa joang, e ke ke ea lekanyetsoa ka nepo pele e sebelisa ts'ebeliso tikolohong. Ke feela ka mor'a hore u ka bolela hore na hantle-ntle botlolo bo hokae: ho software, disks, marang-rang kapa boemong ba k'homphieutha.
Ho se sebetse
Scalability e bolela palo ea li-petabyte tse lekanang sebakeng se le seng sa mabitso. Seo barekisi ba se bolelang ke scalability e bonolo, seo ba sa se bueng ke hore ha ba ntse ba eketseha, litsamaiso tse kholo tsa monolithic li fetoha tse fokolang, tse rarahaneng, tse sa tsitsang le tse theko e boima.
Metric e ncha ea scalability ke palo ea libaka tsa mabitso kapa bareki bao u ka ba sebeletsang. Metric e nkiloe ka ho toba ho li-hyperscaler, moo li-block tsa mohaho oa polokelo li leng nyenyane empa li lekana ho li-unit tsa libilione. Ka kakaretso, ena ke metric ea leru.
Ha li-block tsa moaho li le nyane, ho bonolo ho li ntlafatsa bakeng sa ts'ireletso, taolo ea phihlello, taolo ea maano, taolo ea potoloho ea bophelo, le lintlafatso tse sa sitiseng. 'Me qetellong etsa bonnete ba tlhahiso. Boholo ba mohaho oa mohaho ke ts'ebetso ea ho laola sebaka sa ho hlōleha, e leng kamoo mekhoa e tsitsitseng haholo e hahiloeng kateng.
Multi-tenancy e na le litšobotsi tse ngata. Leha boemo bo bua ka mokhoa oo mekhatlo e fanang ka phihlello ea data le lits'ebetso, e boetse e bua ka lits'ebetso ka botsona le mabaka a ho li arola ho tse ling.
Litšobotsi tsa mokhoa oa sejoale-joale oa bareki ba bangata:
- Ka nako e khuts'oane, palo ea bareki e ka hola ho tloha ho makholo a 'maloa ho isa ho limilione tse' maloa.
- Bareki ba arohane ka ho feletseng ho ba bang. Sena se ba lumella ho tsamaisa mefuta e fapaneng ea software e tšoanang le ho boloka lintho tse nang le litlhophiso tse fapaneng, tumello, likarolo, ts'ireletso le maemo a tlhokomelo. Sena sea hlokahala ha o hokela ho li-server tse ncha, lintlafatso le libaka.
- Polokelo ke elastically scalable, lisebelisoa li fanoa ka tlhokahalo.
- Ts'ebetso e 'ngoe le e' ngoe e laoloa ke API 'me e iketsetsa ntle le ho kenella ha motho.
- Software e ka kenngoa ka har'a lijana 'me ea sebelisa mekhoa e tloaelehileng ea liletsa tse kang Kubernetes.
S3 e lumellana
Amazon S3 API ke tekanyetso ea de facto bakeng sa polokelo ea ntho. Morekisi e mong le e mong oa sesebelisoa sa polokelo ea lintho o re o lumellana le eona. Ho lumellana le S3 ke binary: ebang e kentsoe tšebetsong ka botlalo kapa ha ho joalo.
Ha e le hantle, ho na le liketsahalo tse makholo kapa tse likete moo ntho e sa tsamaeeng hantle ha u sebelisa polokelo ea ntho. Haholo-holo ho tsoa ho bafani ba software le litšebeletso tsa thepa. Linyeoe tsa eona tse ka sehloohong tsa ts'ebeliso ke ho boloka li-archiving kapa li-backups, kahoo ho na le mabaka a fokolang a ho letsetsa API, linyeoe tsa tšebeliso li tšoana.
Software e bulehileng e na le melemo e mengata. E akaretsa maemo a mangata, ho latela boholo le mefuta e fapaneng ea lits'ebetso, lits'ebetso tsa ts'ebetso, le meralo ea lisebelisoa.
Sena sohle se bohlokoa bakeng sa bahlahisi ba ts'ebeliso, ka hona ho bohlokoa ho leka ts'ebeliso le bafani ba polokelo. Mohloli o bulehileng o nolofalletsa ts'ebetso - ho bonolo ho utloisisa hore na ke sethala sefe se loketseng kopo ea hau. Mofani a ka sebelisoa e le ntlha e le 'ngoe ea ho kena polokelong, ho bolelang hore e tla finyella litlhoko tsa hau.
Mohloli o bulehileng o bolela: lits'ebetso ha li tlameletsoe ho morekisi mme li hlakile haholoanyane. Sena se tiisa bophelo ba nako e telele ea kopo.
Le lintlha tse ling tse 'maloa mabapi le mohloli o bulehileng le S3.
Haeba o sebelisa ts'ebeliso e kholo ea data, S3 KHETHA e ntlafatsa ts'ebetso le katleho ka tatellano ea boholo. E etsa sena ka ho sebelisa SQL ho fumana feela lintho tseo u li hlokang polokelong.
Ntlha ea bohlokoa ke ts'ehetso bakeng sa litsebiso tsa bakete. Litsebiso tsa Bucket li thusa komporo e se nang seva, e leng karolo ea bohlokoa ea meralo efe kapa efe ea microservice e fanoang e le ts'ebeletso. Ha ho nahanoa hore polokelo ea ntho e sebetsa hantle ho boloka leru, bokhoni bona bo fetoha ba bohlokoa ha polokelo ea ntho e sebelisoa ke lits'ebetso tse thehiloeng marung.
Qetellong, ts'ebetsong ea S3 e tlameha ho tšehetsa li-API tsa Amazon S3 server-side encryption: SSE-C, SSE-S3, SSE-KMS. Ho betere le ho feta, S3 e ts'ehetsa ts'ireletso ea tamper e sireletsehileng e le kannete.
Karabo ea ho hloleha
Metric eo hangata e hlokomolohuoang ke kamoo sistimi e sebetsanang le liphoso. Ho hloleha ho etsahala ka mabaka a fapaneng, 'me polokelo ea lintho e tlameha ho li sebetsana kaofela.
Ka mohlala, ho na le ntlha e le 'ngoe ea ho hlōleha, metric ea sena ke zero.
Ka bomalimabe, litsamaiso tse ngata tsa polokelo ea lintho li sebelisa li-node tse khethehileng tse lokelang ho lumelloa hore sehlopha se sebetse hantle. Tsena li kenyelletsa li-node tsa mabitso kapa li-server tsa metadata - sena se baka ntlha e le 'ngoe ea ho hloleha.
Esita le moo ho nang le lintlha tse ngata tsa ho hlōleha, bokhoni ba ho mamella ho hlōleha ha tlokotsi ke ba bohlokoa. Li-disk li hloleha, li-server li hloleha. Ntho ea bohlokoa ke ho theha software e etselitsoeng ho sebetsana le ho hlōleha e le boemo bo tloaelehileng. Haeba disk kapa node e hlōleha, software e joalo e tla tsoela pele ho sebetsa ntle le liphetoho.
Tšireletso e hahiloeng khahlanong le ho tlosoa ha data le ho senyeha ha data ho tiisa hore u ka lahleheloa ke li-disk kapa li-node tse ngata kaha u na le li-parity blocks-hangata halofo ea li-disks. Ke ka nako eo feela software e tla sitoa ho khutlisa data.
Ho hloleha ha hoa lekoa ka tlas'a mojaro, empa tlhahlobo e joalo e tlama. Ho etsisa ho hloleha ha mojaro ho tla bonts'a kakaretso ea litšenyehelo tse entsoeng ka mor'a ho hlōleha.
Ho lumellana
Lintlha tse tsitsitseng tsa 100% li boetse li bitsoa consistency e tiileng. Consistency ke karolo ea bohlokoa ea sistimi efe kapa efe ea polokelo, empa ho tsitsa ho matla ha hoa tloaeleha. Ka mohlala, Amazon S3 ListObject ha e tsitsane ka tieo, e lumellana feela qetellong.
Ho boleloa eng ka ho tsitsa ho tiileng? Bakeng sa lits'ebetso tsohle tse latelang ts'ebetso e netefalitsoeng ea PUT, tse latelang li tlameha ho etsahala:
- Boleng bo ntlafalitsoeng bo bonahala ha u bala node efe kapa efe.
- Ntlafatso e sirelelitsoe khahlano le ho hloleha ha node.
Sena se bolela hore haeba u hula polaka bohareng ba ho rekota, ha ho letho le tla lahleha. Sistimi ha e khutlise data e senyehileng kapa e siiloeng ke nako. Ena ke bar e phahameng e bohlokoa maemong a mangata, ho tloha lits'ebetsong tsa transaction ho ea ho bekapo le ho hlaphoheloa.
fihlela qeto e
Tsena ke lintlha tse ncha tsa polokelo ea lintho tse bonts'ang mekhoa ea ts'ebeliso mekhatlong ea kajeno, moo ts'ebetso, botsitso, scalability, li-fault domains le ts'ebelisano ea S3 e leng litšiea tsa ho aha lits'ebetso tsa maru le litlhahlobo tse kholo tsa data. Ke khothaletsa ho sebelisa lethathamo lena ho phaella ho theko ha u haha li-stacks tsa morao-rao tsa data.
Mabapi le polokelo ea ntho ea Mail.ru Cloud Solutions: .
Ke eng hape eo u ka e balang:
- .
- .
- .
Source: www.habr.com