TL; DR: Ndị otu Bloomberg Nchekwa Injinia mepụtara nchekwa igwe ojii maka ojiji nke ime nke na-anaghị egbochi akụrụngwa ma nwee ike iguzogide ibu dị arọ nke mgbanwe azụmaahịa n'oge ọrịa.
Mattow Leonard, mgbe ọ na-ekwu maka ọrụ ya dị ka onye njikwa teknụzụ na otu Bloomberg Storage Engineering, na-ejikarị okwu ndị a "ihe ịma aka" na "ihe ọchị." Ihe ịma aka ndị a na-ebilite site na nnukwu nchekwa nchekwa, site na usoro SAN dabere na NVMe kachasị ọhụrụ iji mepee ebe nchekwa akọwapụtara ngwanrọ na DevOps. Nke a bụ ebe “ihe ọchị” na-amalite (lee avatar m na Habré, ihe ruru. onye ntụgharị okwu).
Leonard na ndị otu ya nke ndị ọrụ 25 na-elekọta ihe karịrị 100 petabytes nke ikike na igwe ojii dị n'ime maka ndị injinia 6000 na-emepe emepe ngwa maka Bloomberg Terminal, teknụzụ nke mere Michael Bloomberg onye ijeri. Otu a na-echepụta, na-ewu ma na-edobe usoro nchekwa maka Bloomberg Engineering.
Dị ka ọrụ IT ndị ọzọ, 2020 bụ afọ pụrụ iche maka ndị otu nchekwa nchekwa nchekwa ka COVID-19 manyere ha ịrụ ọrụ n'ime ime. Leonard kwuru na oria ojoo a emetụtala “ndị otu ya jikọtara ọnụ” na ọha mmadụ ka ewepụrụ mmekọrịta ihu na ihu, mana ndị ọrụ emezigharịrị ngwa ngwa iji si n'ụlọ rụọ ọrụ na laptọọpụ na nnọkọ vidiyo.
N'ụzọ dị ịtụnanya, achọrọ m ịsị na nke a emeghị ka ihe ka njọ. Enwere obere oge mmegharị - ọ bụghị onye ọ bụla dị njikere ịrụ ọrụ site n'ụlọ. Mgbe otu izu ma ọ bụ abụọ gachara, onye ọ bụla ghọtara nke a. Anyị nwere ike ịchọta ụzọ anyị ga-esi na-arụsi ọrụ ike, zụta na kwalite ngwá ọrụ, na ịbawanye ego iji kwado ụlọ ọrụ n'oge ndị a. Anyị aghaghị ịmepụta ihe, ma anyị emerụghị ahụ́
Ihe ịma aka kasịnụ nwere ike bute ọnụ ọgụgụ kasị elu nke COVID-19. Nke a bụ n'ihi ahịa ahịa na-agbanwe agbanwe n'ihi nchegbu gbasara mmetụta ọrịa na-efe efe na-emetụta akụ na ụba ụwa. Ọnụ ọgụgụ data na-abanye na ọdụ Bloomberg site na ahịa isi obodo ụwa fọrọ nke nta ka ọ bụrụ okpukpu abụọ, na-eru ozi ijeri 240 na ụbọchị ụfọdụ na ngwụsị March. Nke a bụ ule siri ike nke sistemu nchekwa.
Mgbe ị were okpukpu abụọ ihe nchekwa gị chọrọ n'otu ụbọchị, ọ na-emepụta nsogbu ndị na-atọ ụtọ. Anyị nwere ike imeri nke a ma hụ na e nyere ndị otu mmepe ngwa ohere na arụmọrụ ha chọrọ. Ọtụtụ n'ime ihe ndị a metụtara otu anyị si eche maka sistemụ nchekwa. Taa, anyị anaghị eke ihe ọ bụla. Anyị anaghị asị, "Anyị na-eji ABC, yabụ anyị ga-ewu akụrụngwa maka ABC." Anyị na ndị otu anyị na-eme ihe anyị na-akpọ "mmefu ego data" iji tụọ amụma ojiji, nyochaa usoro ojiji na arụmọrụ, yana anyị na-elekwa anya na nchekwa. Ụdị atụmatụ a, iche echiche, na ịdị uchu n'ụzọ kwesịrị ekwesị na-enye anyị ohere ime ihe siri ike na ịwa ahụ na-agbajighị ọsụsọ. N’ezie, ahụ́ nọ na-ama m, ma ahụ́ ruru m ala ịnọ n’ọnọdụ m.
Leonard na SearchStorage kwurịtara nke ọma n'oge na-adịbeghị anya gbasara ijikwa nchekwa maka azụmahịa ndị na-ebute data. Ọ tụlere ihe ọ ga-ewe iji nye ngwọta nchekwa igwe ojii nkeonwe, yana ikike ịnye ndị ọrụ ya atụmatụ AWS ka ọ na-edobe data ọ bụla na ebe data Bloomberg.
Ọ bụrụ na ọrịa anaghịzi adị, kedu ihe isi ike ndị injinia Bloomberg nwere na ijikwa nchekwa?
Anyị nwere ọtụtụ mkpa, a na-adọka anyị n'ụzọ dị iche iche. Yabụ na anyị kwesịrị ịnye ọtụtụ ụdị ngwaahịa dị iche iche na ọkwa SLA dị iche iche iji nyere ndị mmepe ngwa anyị aka ilekwasị anya na ọrụ ha kama ichegbu onwe ya maka nchekwa ahụ n'onwe ya.
Kedu atụmatụ ị na-agbaso maka nke a?
Akụkụ nke ihe anyị na-agbalị ime bụ ịkwalite arụmọrụ nchekwa. Chee echiche banyere ụdị AWS ebe onye injinia mmepe na-abanye, pịa bọtịnụ, wee "pịa" na-enweta ụdị nchekwa dị mma iji dozie nsogbu ya.
Kedu ka akụrụngwa nchekwa gị dị?
N'ihi na anyị nwere gburugburu ebe obibi dị iche iche na ọtụtụ ndị nrụpụta dị iche iche, anyị enweghị ike ịnye otu ngwaahịa. Anyị nwere ihe, faịlụ na ngọngọ nchekwa. Ndị a bụ ngwaahịa dị iche iche ma anyị na-enye ụdị teknụzụ dị iche iche iji wepụta ha. Maka ngọngọ anyị na-eji SAN. Anyị nwekwara SDS, nke na-enye nhọrọ nchekwa ngọngọ ọzọ nwere ụdị ọrụ dị iche iche chọrọ. Maka faịlụ anyị na-eji NFS. A na-ejikwa SDS maka nchekwa ihe. Akụkụ ngọngọ na ihe na-etolite igwe ojii nkeonwe maka ịgbakọ na nchekwa.
Yabụ na ị naghị eji nchekwa igwe ojii ọhaneze?
Nke ahụ dị mma. Ụfọdụ otu mmepe nwere ikike iji igwe ojii. Ma n'ihi ọdịdị nke azụmahịa anyị, anyị na-ahọrọ inwekwu ịchịkwa ihe ndị na-ahapụ mgbidi anyị. Yabụ ee, anyị nwere igwe ojii nke anyị na-achịkwa. Nke a bụ akụrụngwa dị na ebe data anyị n'okpuru njikwa anyị.
Na ebe data anyị, anyị na-ahọrọ atụmatụ ọtụtụ ndị na-ere ahịa. Ha bụ ndị na-ebubata ngwaahịa buru ibu, mana anyị agaghị ekwu onye ọ bụla (ọ bụ amụma Bloomberg ịghara ịkwado onye na-ebubata ya, ihe ruru. onye ntụgharị okwu).
Ị na-eji akụrụngwa hyperconverged wuo igwe ojii nkeonwe gị?
Mba. Anyị na Bloomberg na-ahọrọ ntụzịaka ebe anyị na-agaghị aga na hyperconvergence. Anyị na-anwa ikpochapụ mkpokọta na nchekwa ka anyị nwee ike tụọ ha n'onwe ha. Ntuziaka anyị na-abanye, karịsịa na igwe ojii anyị, bụ ka anyị nwee ike ikewapụ ihe abụọ ahụ. Na ihe niile n'ihi na ụfọdụ ihe na mba anyị chọrọ kpụ ọkụ n'ọnụ mgbako, ebe ndị ọzọ chọrọ nchekwa. Ọ bụrụ n'ịkọba ha n'otu n'otu, ị ga-atụfu akụrụngwa, n'agbanyeghị ego, ma ọ bụ ohere na ebe data, ma ọ bụ site n'ịzụta ikike ị na-achọghị. Ọ bụ ya mere anyị ji nwee mmasị inwe njikọ dị n'etiti ụlọ ọrụ abụọ a, mana mee ka ha bụrụ usoro dị iche iche na ndị otu dị iche iche jikwaa ha.
Kedu ihe mgbochi a ga-emerịrị iji wuo ígwé ojii nkeonwe?
Nsogbu nke ọnụ ọgụgụ. Dị ka ọ dị n'ọtụtụ ihe, ekwensu nọ na nkọwapụta. Mgbe ị na-eche banyere otú ihe ndị a si arụ ọrụ, otu esi eme ka ha na-agbanwe agbanwe, otu esi edozi ibu ọrụ, otu ị na-esi ekwurịta okwu na ìgwè ndị na-ahụ maka anụ ahụ, ihe na-adọrọ mmasị. Ihe ịma aka bụ ịchọta ụzọ isi mee ka ihe niile bụrụ ngwaahịa na-akwado ma na-akwado nke ndị na-emepụta ngwa anyị ga-achọ iji, na-enwe ike ime ka atụmatụ ahụ dịkwuo mma mgbe ị na-anọ na njedebe nke ihe igwe ojii na-eme. Na kwa ikpokọta ya niile ọnụ ka ọ na-aga n'ihu na-arụ ọrụ. Nke a bụ isi nsogbu anyị - anyị na-arụ ọrụ n'ofe mpaghara azụmahịa niile, na-agbalị imeju mkpa niile, mana anaghị eleghara mkpa ndị ọzọ anya.
Ị chere na ịchọrọ njirimara kachasị ọhụrụ dị na AWS na igwe ojii ndị ọzọ?
Eziokwu kacha atọ ụtọ banyere S3 bụ na ụkpụrụ nke ndụ na-agbanwe mgbe niile, a na-agbakwunye atụmatụ ọhụrụ mgbe niile. Ọ dị ka ihe egwuregwu ụmụaka ọhụrụ. Ọ bụrụ na mmadụ ahụ ihe ọhụrụ na ntọhapụ ọhụrụ, ha chọrọ ya. Ọ bụghị atụmatụ AWS niile dị na gburugburu ebe obibi anyị, ya mere ọ dị mkpa ma dị ụtọ ịmara ihe ga-enyere ndị mmepe aka na otu esi enweta ya n'ime ụlọ.
Kedu akụrụngwa nchekwa ị na-eji?
Anyị na-eji akụrụngwa kachasị ọhụrụ. Igwe ojii dị n'ime anyị dabere kpamkpam na NVMe Flash, nke na-eme ka sistemụ ndị a dị ike. Ọ na-eme ka ndụ anyị dị ntakịrị mfe, ọ bụkwa ihe mara mma maka ndị mmepe anyị n'ihi na ha ekwesịghị ichegbu onwe ha maka ịrụ ọrụ nchekwa.
Kedu ihe ị na-eji nchekwa ihe maka?
Anyị nwere ndị mmepe 6000 na-arụ ọrụ akụrụngwa, ha adịghị n'otu n'otu n'otu ikpe. Nhọrọ ọ bụla ị nwere ike iche, ikekwe anyị nwere ya na nchekwa ihe. Ụfọdụ otu na-eji ya maka nchekwa ebe nchekwa oyi, ụfọdụ maka ịnyefe data, yana ndị ọzọ na-eji ya maka ngwa azụmahịa. Okwu ikpe ndị a niile chọrọ ọkwa SLA dị iche iche, yabụ ị nwere ike ịhụ, anyị nwere ụdị okporo ụzọ dị iche iche, ụdị mkpa ọ bụla maka ndị ọrụ dị iche iche nke akụrụngwa anyị. Nke a abụghị ihe eji eme otu ihe na-agba ọsọ n'elu nchekwa anyị ọ bụla, nke doro anya na-eme ka ihe dị mgbagwoju anya.
Kedu oke ọrụ Kubernetes na arịa na-arụ maka gị, kedu ka nke ahụ si emetụta nchekwa?
Anyị na-akwalite nrụpụta nchekwa iji mepụta mmetụta nke igwe ojii, echiche nke ihe-dị ka ọrụ, ebe enwere bọtịnụ maka ndị mmepe iji mee ngwa ngwa ọrụ ha wee wepụ akụrụngwa n'ụzọ.
Onye nchịkọta akụkọ n.b.: Ọktoba 15, 2020 ga-adị njikere . Ị ga-amụta nkà na ụzụ nchekwa netwọk Ceph iji mee ihe na ọrụ gị iji melite ntachi obi.
Anyị nwere otu atọ, nke mbụ bụ nchekwa API otu. Ha na-eme ohere mmemme, njedebe njedebe, na usoro arụrụ arụrụ arụ ọrụ maka ndị ahịa mmepe ngwa na Bloomberg. Nke a bụ otu ndị mmepe webụ zuru oke, ha na-eji node.js, Python, teknụzụ mepere emepe, dị ka Apache Airflow, yabụ ha na-amụ njide na ikike ime ihe.
Anyị nwekwara otu ọrụ aka abụọ na-ebugharị ibe n'ibe na bytes n'ezie. Ha na-emetụta ngwa ngwa ngwa ngwa. Anyị nwere ọtụtụ akụrụngwa, na otu ndị a anaghị eji virtualization na containers.
Anyị na-agbalị ịnọgide na-eme ihe na-eme na ụlọ ọrụ ahụ, na-amụ ndị ọkwọ ụgbọala Kubernetes CSI, ma na-arụkọ ọrụ ọnụ na otu ndị na-emejuputa Kubernetes na Bloomberg iji chọpụta ma anyị nwere ike ime ka nchekwa Kubernetes na-arụ ọrụ na teknụzụ anyị nwere, ma anyị nwere. ọ na-arụ ọrụ. Anyị na-eji SDS iji kwado Kubernetes ejikọrọ na nchekwa na-adịgide adịgide. Anyị emepụtala teknụzụ a nke ọma, mkparịta ụka na-aga n'ihu n'etiti otu abụọ a gbasara otu anyị nwere ike isi mee ka nke a dịrị onye ọ bụla ọzọ na Bloomberg. Anyị egosila na nke a ga-ekwe omume.
Kedu ngwa ọzọ mepere emepe ị na-eji, ọkachasị maka nchekwa?
Anyị na-eji Apache Airflow, HAProxy belata okporo ụzọ ngwa. Anyị na-ejikwa Ceph, ikpo okwu maka SDS. Site na ya, ị nwere ike ịnwe otu sistemụ maka iwu, mana nye ndị ahịa ọtụtụ ohere. Otu n'ime nyiwe nke ọma na-agba na OpenStack - anyị na ndị otu a na-arụkọ ọrụ ọnụ. Anyị nwere ikpo okwu mepere emepe nke na-eji ikpo okwu SDS mepere emepe maka nchekwa. Ọ na-atọ ọchị.
Kedu teknụzụ nchekwa ị na-atụle maka afọ abụọ ma ọ bụ atọ na-abịa?
Anyị na-eleba anya mgbe niile ihe ọhụrụ ndị ọzọ dị mma na-eme na ụlọ ọrụ nchekwa. Nke a bụ akụkụ nke ọrụ anyị, ọ bụghị "nke a bụ SAN gị, jikwaa ebe a, ebe a bụ NFS gị, jikwaa ebe ahụ." Anyị na-agbalị ka anyị na ndị ahịa anyị kparịta ụka, ya bụ. site n'aka ndị mmepe ngwa anyị. Anyị na-arụkọ ọrụ ọnụ iji ghọta nsogbu ha na-achọ idozi yana otu ọ ga-esi metụta ndị ahịa Bloomberg dị na mpụga - ụlọ akụ na ndị ọzọ na-eji ngwanrọ anyị. Ma mgbe ahụ, anyị na-alaghachi na ụwa nke nchekwa data iji chọta ohere iji nyere ha aka imezu ebumnuche ha. Kedu otu anyị nwere ike isi nyere ha aka ịchọta teknụzụ nchekwa ziri ezi dabara SLA ha ma ọ bụ ihe ha na-achọ ime? N'ihi na anyị nwere ọtụtụ ndị injinia na-eme ihe dị mma, ọ dịghị mgbe ọ na-agwụ ike.
Anyị na-eleba anya ugbu a ụzọ isi melite arụmọrụ maka SDS nke nwere ike ịgba ọsọ na sava ebumnuche izugbe. Ya mere, anyị na-arụ ọrụ na NVMe n'elu TCP, nke a bụ ihe na-adọrọ mmasị ma dị mma, otu n'ime ọtụtụ. Anyị na-arụkwa ọrụ na ndị isi na ụlọ ọrụ na ụfọdụ ndị na-enye ndị dị ugbu a iji chọpụta ihe ha na-enye na ihe arụmọrụ ga-abụ, ma anyị nwere ike ịmalite iji ya na mmepụta na ụlọ ọrụ. Nke a na-emepe ọhụụ ọhụrụ na-enwetabeghị mbụ.
Obere enyemaka na PS
PS Ọ bụrụ na m nwere ike, ọ ga-amasị m ichetara gị na a ga-eme Septemba 28-30 , maka ndị na-amaghị Kubernetes, mana chọrọ ịmata ya ma malite ịrụ ọrụ na ya.
isi: www.habr.com