TL; DR: I hangaia e te roopu Bloomberg Storage Engineering te rokiroki kapua mo te whakamahinga o roto e kore e whakararu i nga hanganga me te kaha ki te tu atu i te taumaha o te tauhokohoko i te wa o te mate urutaru.
Ko Mattew Leonard, i te wa e korero ana mo tana mahi hei kaiwhakahaere hangarau i te roopu Bloomberg Storage Engineering, he maha nga kupu "whakawero" me te "ngahau." Ko nga wero ka puta mai i te whanuitanga o te rokiroki, mai i nga kohinga SAN e ahu mai ana i te NVMe hou ki te whakatuwhera i nga punaha-whakaahua-rorohiko rokiroki i DevOps. Koinei te waahi ka timata te "ngahau" (tirohia taku avatar i runga i te Habré, āhua. kaiwhakamaori).
Ko Leonard me tana roopu o nga hoa mahi 25 neke atu i te 100 petabytes te kaha me te kapua o roto mo nga miihini 6000 e whakawhanake ana i nga tono mo Bloomberg Terminal, te hangarau i riro ai a Michael Bloomberg hei piriona. Ka hoahoa, ka hanga me te pupuri i nga punaha rokiroki mo te Hangarau Bloomberg.
Pērā i era atu o te umanga IT, he tau rerekee te 2020 mo nga mema o te roopu Rokiroki Rokiroki na te COVID-19 i akiaki i a raatau ki te mahi mamao. I kii a Leonard kua pa te mate urutomo ki tana "tiima piripono" i te taha hapori i te wa i whakakorehia ai nga taunekeneke kanohi ki te kanohi, engari i tere tere nga kaimahi ki te mahi mai i te kaainga ki runga rorohiko me nga huihuinga ataata.
He mea whakamiharo, e hiahia ana ahau ki te kii kaore tenei i tino kino. He wa poto mo te urutau - kaore nga tangata katoa i reri ki te mahi mai i te kainga. I muri i te wiki, e rua ranei ka mohio te katoa ki tenei. I taea e matou te rapu huarahi ki te noho pukumahi, ki te hoko me te whakapai ake i nga taputapu, me te whakapiki i nga utu hei tautoko i te kamupene i enei wa. Me mahi auaha matou, engari kaore matou i whara
Ko te wero nui pea i mua i te tihi o COVID-19. I puta tenei i te tauhokohoko o te maakete na te awangawanga mo te paanga o te mate uruta ki te ohanga o te ao. Ko te nui o nga raraunga e rere ana ki roto i nga waahanga o Bloomberg mai i nga maakete whakapaipai o te ao kua tata ki te rua, ka eke ki te 240 piriona nga korero mo etahi ra i te mutunga o Maehe. He whakamatautau nui tenei mo nga punaha rokiroki.
Ina whaaruatia e koe nga whakaritenga rokiroki i roto i te ra kotahi, ka puta nga raru whakamere. I taea e matou te wikitoria i tenei me te whakarite kia whakawhiwhia ki nga roopu whanaketanga tono te waahi me nga mahi e hiahiatia ana e ratou. Ko te nuinga o enei e pa ana ki te pehea o taatau whakaaro mo nga punaha rokiroki. I tenei ra kaore matou e hanga i tetahi mea. Kaore matou e kii, "Ka whakamahi matou i te ABC, no reira ka hangaia e matou nga hanganga mo ABC." Ka mahia e matou ko te "putea raraunga" me o matou roopu ki te matapae i te whakamahinga, te tātari i te whakamahinga me nga ia mahi, me te titiro ano hoki ki te haumarutanga. Ko tenei momo whakamahere, whakaaro, me nga tikanga e tika ana kia kaha taatau ki te mahi kaha ki nga ngaru me te kore e pakaru te werawera. Ko te tikanga, i mataku ahau, engari i pai ahau ki te noho ki taku waahi.
I korero a Leonard ki a SearchStorage i nga korero mo te whakahaere rokiroki mo nga pakihi e peia ana e nga raraunga. I korerohia e ia he aha te mea hei tuku i tetahi otinga rokiroki kapua motuhake, me te kaha ki te whakarato i nga ahuatanga AWS ki ona kaiwhakamahi i te wa e pupuri ana i nga raraunga ki nga pokapū raraunga Bloomberg.
Mena kua kore he mate urutaru, he aha nga uaua o nga miihini a Bloomberg ki te whakahaere rokiroki?
He maha o matou hiahia, ka pakaru noa matou ki nga huarahi rereke. Na me whakarato tatou i nga momo hua maha ki nga taumata SLA rereke hei awhina i a tatou kaiwhakawhanake tono ki te aro ki a raatau mahi, kaua ki te awangawanga mo te rokiroki ake.
A he aha te rautaki ka whai koe mo tenei?
Ko tetahi waahanga o taatau e ngana ana ki te mahi ko te whakapai ake i nga mahi rokiroki. Whakaarohia te tauira AWS ka kuhu mai tetahi miihini whanaketanga, ka pehi i te paatene, ka "paohia" ka whiwhi i te momo rokiroki tika hei whakaoti i tana raru.
He aha te ahua o to hanganga rokiroki?
Na te mea he tino rauwiringa kaiao me te maha o nga kaiwhakawhanake, kaore e taea e taatau te tuku hua kotahi. Kei a matou te rokiroki ahanoa, konae me te paraka. He hua rereke enei ka tukuna e matou nga momo hangarau rereke hei tuku. Mo te poraka ka whakamahia e matou te SAN. Kei a matou ano te SDS, e whakarato ana i tetahi atu waahanga rokiroki poraka me te huinga rereke o nga whakaritenga mahi. Mo nga konae ka whakamahia e matou te NFS. Ka whakamahia hoki te SDS mo te rokiroki ahanoa. Ko nga waahanga poraka me nga mea hanga he kapua motuhake o roto mo te rorohiko me te rokiroki.
No reira kaore koe e whakamahi i te rokiroki kapua whanui?
Ka tika. Ko etahi o nga roopu whanaketanga he whakaaetanga ki te whakamahi i nga kapua whanui. Engari na te ahua o a maatau pakihi, he pai ake ta matou ki te whai mana ake mo nga mea ka wehe atu i o maatau pakitara. No reira ae, kei a tatou ano o tatou kapua kei raro i a tatou te mana whakahaere. He taputapu tenei kei roto i to maatau pokapū raraunga i raro i ta maatau whakahaere.
I o maatau pokapū raraunga, he pai ake taatau ki te rautaki kaihoko maha. He kaiwhakarato nui ratou, engari kaore matou e kii ko wai tonu (ko te kaupapa here a Bloomberg kia kaua e tautoko i tetahi kaiwhakarato, āhua. kaiwhakamaori).
Kei te whakamahi koe i nga hanganga hyperconverged ki te hanga i to kapua motuhake?
Kao. Ko matou i Bloomberg kei te whiriwhiri i tetahi huarahi kaore matou e neke ki te hyperconvergence. E ngana ana matou ki te wetewete i te rorohiko mai i te rokiroki kia taea ai e matou te awhatatia takitahi. Ko te huarahi e nuku atu nei tatou, ina koa me to tatou kapua, kia taea e tatou te wehe i aua hinonga e rua. Na te mea ko etahi o nga mea o to tatou whenua e hiahia ana ki nga tatauranga kaha, ko etahi e hiahia ana ki te rokiroki. Mena ka whakatauritehia e koe, ka ngaro koe i nga rauemi, ahakoa he moni, he waahi ranei i roto i nga pokapū raraunga, ma te hoko kaha kaore koe e hiahia. Koia te take i pai ai matou ki te whai atanga noa i waenga i nga hinonga e rua, engari kia tino rereke nga punaha me te whakahaere e nga roopu rereke.
He aha nga raruraru me hinga ki te hanga i tetahi kapua motuhake?
Te raruraru o te tauine. Ka rite ki te nuinga o nga mea, ko te rewera kei roto i nga korero. Ka whakaaro koe ki te mahi o enei mea, me pehea te whakakaha, me pehea te hapai i nga kawenga whakahaere, me pehea koe e korero ai ki nga roopu rawa tinana, ka pai ake nga mea. Ko te wero ko te kimi huarahi ki te hanga i nga mea katoa hei hua tauineine me te tautoko e hiahia ana o tatou kaiwhakawhanake tono ki te whakamahi, ka taea te whakarangatira i te huinga waahanga i te wa e noho tonu ana ki nga mahi a te kapua whanui. Me te whakakotahi ano hoki kia haere tonu te mahi. Ko ta matou tino raruraru tenei - ka mahi matou puta noa i nga waahi katoa o te pakihi, e ngana ana ki te whakatutuki i nga hiahia katoa, engari kaua e wareware ki etahi atu hiahia.
Ki to whakaaro kei te hiahia koe ki nga ahuatanga hou e waatea ana i te AWS me etahi atu kapua whanui?
Ko te mea tino ngahau mo te S3 ko te huri haere tonu te taumata o te noho, kei te taapirihia nga ahuatanga hou. He rite ki te taakaro hou. Mena ka kite tetahi i tetahi ahuatanga hou i roto i te tukunga hou, ka hiahia ia. Kaore nga ahuatanga AWS katoa e pa ana ki to tatou taiao, no reira he mea nui, he mea whakamere ki te mohio he aha nga mea ka awhina i nga kaiwhakawhanake me pehea te whakauru i roto i te whare.
He aha nga taputapu rokiroki e whakamahia ana e koe?
Ka whakamahia e matou nga taputapu hou. Ko to tatou kapua o roto kua tino hangai ki runga i te NVMe Flash, e tino kaha ana enei punaha. He maamaa ake to maatau oranga, he ahua pai hoki mo o maatau kaiwhakawhanake na te mea kaore ratou e awangawanga mo te mahi rokiroki.
He aha te mea ka whakamahia e koe te rokiroki ahanoa?
E 6000 a matou kaiwhakawhanake e mahi ana i nga hanganga, kaore i te whakakotahihia e tetahi keehi whakamahi. Ko nga whiringa ka taea e koe te whakaaro, tera pea kei roto i te rokiroki taonga. Ko etahi o nga roopu e whakamahi ana mo te rokiroki purongo makariri, etahi mo te whakawhiti raraunga, me etahi atu e whakamahi ana mo nga tono hokohoko. Ko enei keehi whakamahi katoa e hiahia ana ki nga taumata rereke o te SLA, kia rite ki taau e kite ana, he rereke nga momo waka, nga momo hiahia katoa mo nga kaiwhakamahi rereke o o maatau hanganga. Ehara tenei i te keehi whakamahi riterite e rere ana i runga ake o tetahi o a maatau rokiroki, na te mea he uaua ake nga mahi.
He pehea te nui o te mahi a Kubernetes me nga ipu ki a koe, me pehea te pa ki te rokiroki?
Kei te turaki matou i nga hua rokiroki ki te hanga i te ahua o te kapua, te ahua o tetahi mea-hei-ratonga, kei reira he paatene mo nga kaihanga ki te whakatere i o raatau mahi me te tango i nga hanganga i te huarahi.
Etita n.b.: Oketopa 15, 2020 ka rite . Ka ako koe i te hangarau rokiroki whatunga Ceph hei whakamahi i roto i o kaupapa ki te whakapai ake i te aro ki te he.
E toru nga roopu, ko te tuatahi ko te roopu API rokiroki. Ka uru atu ratou ki te kaupapa, nga tohu mutunga, me nga rerengamahi kua tautuhia i mua mo nga kaihoko whanaketanga taupānga i Bloomberg. Ko te roopu tenei o nga kaiwhakawhanake paetukutuku tuuturu, ka whakamahia e ratou te node.js, python, hangarau puna tuwhera, penei i te Apache Airflow, na reira ka ako ratou i te whakaurunga me te mariko.
E rua hoki a matou roopu hangarau e neke ana nga moka me nga paita. He pai ake te hono atu ki nga taputapu. He maha a matou taputapu, kaore enei roopu e whakamahi mariko me nga ipu.
E ngana ana matou ki te whai tonu i nga mahi kei roto i te umanga, te ako i nga taraiwa Kubernetes CSI, me te mahi tahi me te roopu e whakatinana ana i nga Kubernetes i Bloomberg ki te aromatawai mena ka taea e matou te mahi rokiroki Kubernetes kia rite tonu ki nga hangarau kei a matou, kei a matou ano. kei te mahi. Ka whakamahi matou i te SDS hei tautoko i nga Kubernetes e hono ana ki te rokiroki pumau. Kua angitu matou ki te whakawhanake i tenei hangarau, a kei te haere tonu nga korerorero i waenga i nga roopu e rua mo te pehea e taea ai e matou te waatea tenei ki nga tangata katoa i Bloomberg. Kua whakaatuhia e matou ka taea tenei.
He aha etahi atu rorohiko tuwhera ka whakamahia e koe, ina koa mo te rokiroki?
Ka whakamahi matou i te Apache Airflow, HAProxy ki te whakawhāiti i te hokohoko tono. Ka whakamahia ano e matou a Ceph, he papa mo te SDS. Ma tenei, ka taea e koe tetahi punaha mo nga whakahau, engari he maha nga atanga ki nga kaihoko. Ko tetahi o nga papaaho mariko kei runga OpenStack - ka mahi tahi matou me tenei roopu. Kei a matou he papahanga mariko puna tuwhera e whakamahi ana i te punaha SDS puna tuwhera mo te rokiroki. He katakata.
He aha nga hangarau rokiroki e whakaaro ana koe mo nga tau e rua ki te toru e whai ake nei?
Kei te titiro tonu matou ki etahi atu mea hou e tupu ana i roto i te umanga rokiroki. He waahanga tenei o ta maatau mahi, ehara i te mea "kei to SAN, whakahaere i konei, kei konei to NFS, whakahaere ki reira." Ka ngana matou ki te korero ki o taatau kiritaki, i.e. na o tatou kaihanga tono. Ka mahi tahi matou ki te mohio he aha nga raruraru e ngana ana ratou ki te whakaoti me te pehea e pa ai ki o taatau kiritaki o waho o Bloomberg - nga peeke me etahi atu e whakamahi ana i a maatau rorohiko. Na ka hoki ano tatou ki te ao rokiroki raraunga ki te rapu huarahi hei awhina i a raatau ki te whakatutuki i ta raatau whainga. Me pehea e taea ai e tatou te awhina i a raatau ki te kimi i te hangarau rokiroki tika e pai ana ki a raatau SLA, ki ta raatau e ngana ana ki te mahi? Na te mea he maha nga miihini e mahi ana i nga mahi hauhautanga, e kore rawa e hoha.
I tenei wa kei te titiro matou ki nga huarahi hei whakapai ake i nga mahi mo te SDS ka taea pea te whakahaere i runga i nga tūmau kaupapa whanui. Na kei te mahi matou i runga i te NVMe i runga i te TCP, he kaupapa whakamere me te hauhautanga tenei, tetahi o te maha. Kei te mahi tahi ano matou me nga tangata matua o te umanga me etahi o nga kaiwhakarato o naianei ki te rapu he aha ta ratou e tuku ana me te aha te tino mahi, mena ka tiimata taatau ki te whakamahi i roto i nga mahi whakaputa i roto i te kamupene. Ma tenei ka whakatuwhera i nga waahi hou kaore i te waatea i mua.
He awhina iti i roto i te PS
PS Mena ka taea, ka whakamaumahara ahau ka tu te 28-30 o Hepetema , mo te hunga kaore i te mohio ki nga Kubernetes, engari e hiahia ana ki te mohio ki a ia ka timata ki te mahi ki a ia.
Source: will.com