Aku; DR: Ua hoʻokumu ka hui ʻo Bloomberg Storage Engineering i ka mālama ʻana i ke ao no ka hoʻohana kūloko ʻaʻole e hoʻopilikia i nā ʻōnaehana a hiki ke kū i ka ukana kaumaha o ke kālepa volatility i ka wā maʻi maʻi.
ʻO Mattew Leonard, i ka wā e kamaʻilio ai e pili ana i kāna hana ma ke ʻano he luna ʻenehana ma ka hui ʻo Bloomberg Storage Engineering, hoʻohana pinepine i nā huaʻōlelo "paʻakikī" a "leʻaleʻa." Ke kū nei nā pilikia mai ka laulā o ka waiho ʻana, mai ka NVMe-based SAN arrays e wehe i kahi waihona i wehewehe ʻia e ka polokalamu ma DevOps. ʻO kēia kahi e hoʻomaka ai ka "leʻaleʻa" (e ʻike i kaʻu avatar ma Habré, kokoke. mea unuhi).
ʻO Leonard a me kāna hui o nā hoa hana he 25 ke kiaʻi ʻoi aku ma mua o 100 petabytes o ka mana a me kahi ao kūloko no 6000 mau ʻenekini e hoʻomohala ana i nā noi no Bloomberg Terminal, ka ʻenehana i hoʻolilo iā Michael Bloomberg i billionaire. Hoʻolālā, kūkulu a mālama ka hui i nā ʻōnaehana mālama no Bloomberg Engineering.
E like me ke koena o ka ʻoihana IT, he makahiki maʻamau ʻo 2020 no nā lālā o ka hui Storage Engineering ʻoiai ua koi ʻo COVID-19 iā lākou e hana mamao. Ua ʻōlelo ʻo Leonard ua hoʻopilikia ka maʻi maʻi i kāna "hui hui" i ka wā i hoʻopau ʻia ai ka launa pū ʻana me ke alo, akā ua hoʻololi koke nā limahana i ka hana ʻana mai ka home ma nā kamepiula a me nā hālāwai kūkā wikiō.
ʻO ka mea kupaianaha, makemake wau e ʻōlelo ʻaʻole kēia i hoʻopilikia i nā mea. He manawa hoʻololi pōkole - ʻaʻole mākaukau nā mea a pau e hana mai ka home. Ma hope o hoʻokahi pule a ʻelua paha, hoʻomaopopo nā kānaka a pau i kēia. Ua hiki iā mākou ke ʻimi i nā ala e hoʻomau ai iā mākou iho, kūʻai a hoʻomaikaʻi i nā lako, a hoʻonui i nā kumukūʻai e kākoʻo i ka ʻoihana i kēia mau manawa. Pono mākou e noʻonoʻo, akā ʻaʻole mākou i ʻeha
ʻO ka paʻakikī nui paha i mua i ka piko o COVID-19. ʻO kēia ma muli o ke kālepa mākeke ma muli o nā hopohopo e pili ana i ka hopena o ka maʻi maʻi i ka hoʻokele honua. ʻO ka nui o ka ʻikepili e kahe ana i loko o Bloomberg mai nā mākeke kapikala honua kokoke i pālua ʻia, a hiki i 240 biliona mau ʻāpana o ka ʻike i kekahi mau lā i ka hopena o Malaki. He ho'āʻo koʻikoʻi kēia o nā ʻōnaehana mālama.
Ke pāpālua koke ʻoe i kāu mau pono mālama i ka lā hoʻokahi, hana ia i nā pilikia hoihoi. Ua hiki iā mākou ke lanakila i kēia a hōʻoia i ka hāʻawi ʻia ʻana o nā hui hoʻomohala noi i ka manawa a me ka hana e pono ai lākou. ʻO ka hapa nui o kēia e pili ana i ko mākou manaʻo e pili ana i nā ʻōnaehana mālama. I kēia lā ʻaʻole mākou e hana i kekahi mea. ʻAʻole mākou e ʻōlelo, "Hoʻohana mākou iā ABC, no laila e kūkulu mākou i ka ʻōnaehana no ABC." Hana mākou i ka mea a mākou i kapa ai ʻo "data budgeting" me kā mākou mau hui e wānana i ka hoʻohana ʻana, ka nānā ʻana i ka hoʻohana ʻana a me nā ʻano hana, a nānā pū mākou i ka palekana. ʻO kēia ʻano o ka hoʻolālā, ka noʻonoʻo, a me ka hoʻomaʻamaʻa kūpono e hiki ai iā mākou ke hana i nā hana koʻikoʻi i nā piʻi me ka ʻole o ka uha ʻana i ka hou. ʻOiaʻiʻo, hopohopo wau, akā ua ʻoluʻolu wau i ka noho ʻana ma koʻu wahi.
Ua kamaʻilio hou ʻo Leonard me SearchStorage i nā kikoʻī e pili ana i ka mālama ʻana i ka mālama ʻana i nā ʻoihana ʻikepili. Ua kūkākūkā ʻo ia i ka mea e pono ai ke hāʻawi aku i kahi hoʻonā mālama kapuaʻi pilikino, me ka hiki ke hāʻawi i nā hiʻohiʻona AWS i kāna mea hoʻohana ʻoiai e mālama ana i kekahi ʻikepili i nā kikowaena data Bloomberg.
Inā ʻaʻohe maʻi maʻi, he aha nā pilikia e loaʻa ai i nā ʻenekini Bloomberg me ka mālama ʻana i ka mālama?
Nui ko mākou pono, haehae wale mākou i nā ʻaoʻao like ʻole. No laila pono mākou e hāʻawi i nā ʻano huahana like ʻole ma nā pae SLA like ʻole e kōkua i kā mākou mea hoʻomohala noi e nānā i kā lākou mau hana ma mua o ka hopohopo e pili ana i ka waiho ʻana.
A he aha kāu e hahai ai no kēia?
ʻO kahi ʻāpana o kā mākou e hoʻāʻo nei e hoʻomaikaʻi i ka hana mālama. E noʻonoʻo i ke kumu hoʻohālike AWS kahi e hele ai kahi ʻenekini hoʻomohala, kaomi i kahi pihi, a laila "kaomi" e loaʻa i ke ʻano waihona kūpono e hoʻoponopono ai i kona pilikia.
He aha ke ʻano o kāu ʻoihana waihona?
No ka mea he ʻokoʻa loa kā mākou kaiaola a me nā mea hoʻomohala like ʻole, ʻaʻole hiki iā mākou ke hāʻawi i hoʻokahi huahana. Loaʻa iā mākou kahi mea, faila a me ka waiho poloka. He mau huahana like ʻole kēia a hāʻawi mākou i nā ʻano ʻenehana like ʻole e hoʻopuka iā lākou. No ka poloka, hoʻohana mākou i SAN. Loaʻa iā mākou ka SDS, kahi e hāʻawi ai i kahi koho mālama poloka me kahi ʻokoʻa o nā koi hana. No nā faila hoʻohana mākou i ka NFS. Hoʻohana pū ʻia ʻo SDS no ka mālama ʻana i nā mea. Hoʻokumu ka poloka a me nā ʻāpana i kahi ao pilikino i loko no ka hoʻopili ʻana a me ka mālama ʻana.
No laila, ʻaʻole ʻoe e hoʻohana i ka waihona kapuaʻi lehulehu?
Pololei kēnā. Ua ʻae ʻia kekahi mau hui hoʻomohala e hoʻohana i nā ao ākea. Akā, ma muli o ke ʻano o kā mākou ʻoihana, makemake mākou e loaʻa ka mana o nā mea e haʻalele i ko mākou mau pā. No laila ʻae, loaʻa iā mākou nā ao ponoʻī ma lalo o ko mākou mana. ʻO kēia nā lako i loaʻa i kā mākou kikowaena data ma lalo o kā mākou hoʻokele.
Ma kā mākou mau kikowaena ʻikepili, makemake mākou i kahi hoʻolālā multi-vendor. He mau mea hoʻolako nui lākou, akā ʻaʻole mākou e ʻōlelo ʻo wai pololei (ʻo ia ke kulekele ʻo Bloomberg ʻaʻole e kākoʻo i kekahi mea hoʻolako, kokoke. mea unuhi).
Ke hoʻohana nei ʻoe i ka ʻōnaehana hyperconverged e kūkulu i kāu ao pilikino?
ʻAʻole. Ke koho nei mākou ma Bloomberg i kahi kuhikuhi kahi e neʻe ʻole ai mākou i ka hyperconvergence. Ke hoʻāʻo nei mākou e hoʻokaʻawale i ka helu mai ka waiho ʻana i hiki iā mākou ke hoʻonui iā lākou ma ke kaʻawale. ʻO ke ala a mākou e neʻe nei, ʻoi aku me kā mākou ao, hiki iā mākou ke hoʻokaʻawale i kēlā mau mea ʻelua. A ʻo nā mea āpau no ka mea e koi ana kekahi mau mea i ko mākou ʻāina i ka helu koʻikoʻi, aʻo nā mea ʻē aʻe e koi i ka mālama. Inā hoʻohālikelike ʻoe iā lākou, e nalowale ana ʻoe i nā kumuwaiwai, ʻaʻohe kālā, a i ʻole ka hakahaka ma nā kikowaena data, a i ʻole ma ke kūʻai ʻana i ka mana āu e pono ʻole ai. ʻO ia ke kumu e makemake ai mākou e loaʻa kahi pilina maʻamau ma waena o nā hui ʻelua, akā e hoʻolilo iā lākou i ʻōnaehana ʻokoʻa loa a mālama ʻia e nā hui like ʻole.
He aha nā pilikia e pono e hoʻokō ʻia e kūkulu i kahi ao pilikino?
Pilikia o ka unahi. E like me ka nui o nā mea, aia ka diabolo i nā kikoʻī. Ke noʻonoʻo ʻoe pehea e hana ai kēia mau mea, pehea e hoʻoikaika ai iā lākou, pehea e mālama ai i ka ukana hana, pehea ʻoe e kamaʻilio ai me nā hui waiwai kino, lilo nā mea i mea hoihoi. ʻO ka paʻakikī ka loaʻa ʻana o ke ala e hana ai i nā mea āpau i mea hiki ke hoʻohana ʻia a kākoʻo ʻia e makemake ai kā mākou mea hoʻomohala noi e hoʻohana, hiki ke hoʻonui i ka hiʻohiʻona i hoʻonohonoho ʻia i ka wā e noho ana ma ka ʻoki ʻoki o ka hana a ke ao lehulehu. A e hoʻohui pū i nā mea a pau i hoʻomau i ka hana. ʻO kā mākou pilikia nui kēia - ke hana nei mākou ma nā wahi āpau o ka ʻoihana, e hoʻāʻo ana e hoʻokō i nā pono āpau, akā ʻaʻole e haʻalele i nā pono ʻē aʻe.
Manaʻo ʻoe makemake ʻoe i nā hiʻohiʻona hou loa i loaʻa ma AWS a me nā ao ākea ʻē aʻe?
ʻO ka mea leʻaleʻa loa e pili ana iā S3, ʻo ia ka loli mau o ke ʻano o ke ola, hoʻohui mau ʻia nā hiʻohiʻona hou. Ua like ia me kahi mea pāʻani hou. Inā ʻike kekahi i kahi hiʻohiʻona hou i kahi hoʻokuʻu hou, makemake lākou. ʻAʻole pili nā hiʻohiʻona AWS āpau i ko mākou kaiapuni, no laila he mea nui a hoihoi hoʻi e ʻike i nā mea e kōkua ai i nā mea hoʻomohala a pehea e loaʻa ai i loko o ka hale.
He aha nā mea mālama mālama āu e hoʻohana ai?
Hoʻohana mākou i nā mea hana hou loa. Hoʻokumu piha ʻia kā mākou ao kūloko i ka NVMe Flash, ka mea e ikaika loa ai kēia mau ʻōnaehana. He mea maʻalahi kēia i ko mākou ola, a he hiʻohiʻona maikaʻi hoʻi ia no kā mākou mea hoʻomohala no ka mea ʻaʻole lākou hopohopo e pili ana i ka hana mālama.
He aha kāu e hoʻohana ai i kahi waihona mea?
Loaʻa iā mākou nā mea hoʻomohala 6000 e hana ana i ka ʻoihana, ʻaʻole lākou i hui pū ʻia e kekahi hihia hoʻohana. ʻO kēlā me kēia koho āu e noʻonoʻo ai, loaʻa paha iā mākou i ka waihona mea. Hoʻohana kekahi mau pūʻulu no ka mālama ʻana i ka waihona anuanu, kekahi no ka hoʻoili ʻana i ka ʻikepili, a me nā mea ʻē aʻe e hoʻohana ia no nā noi transactional. Pono kēia mau hihia hoʻohana āpau i nā pae like ʻole o ka SLA, no laila e like me kāu e ʻike ai, loaʻa iā mākou nā ʻano kaʻa like ʻole, nā ʻano pono āpau no nā mea hoʻohana like ʻole o kā mākou ʻoihana. ʻAʻole kēia he hihia hoʻohana homogeneous e holo ana ma luna o kekahi o kā mākou waihona, ʻo ia ka mea e ʻoi aku ka paʻakikī o nā mea.
Pehea ka nui o nā Kubernetes a me nā ipu no ʻoe, a pehea ka hopena o ka mālama ʻana?
Ke koi nei mākou i ka huahana mālama e hana i ke ʻano o ke ao, kahi manaʻo o kahi mea-as-a-lawelawe, aia kahi pihi no nā mea hoʻomohala e hoʻolalelale i kā lākou hana a hoʻoneʻe i nā ʻoihana ma ke ala.
NB a ka Lunahooponopono: ʻOkakopa 15, 2020 e mākaukau . E aʻo ʻoe i ka ʻenehana mālama mālama pūnaewele Ceph e hoʻohana i kāu mau papahana e hoʻomaikaʻi i ka hoʻomanawanui hewa.
Loaʻa iā mākou ʻekolu mau pūʻulu, ʻo ka mea mua ka pūʻulu API mālama. Hana lākou i ke komo polokalamu, nā hopena, a me nā kahe hana i koho mua ʻia no nā mea kūʻai aku hoʻomohala app ma Bloomberg. He hui kēia o nā mea hoʻomohala pūnaewele piha, hoʻohana lākou i ka node.js, python, nā ʻenehana open source, e like me Apache Airflow, no laila ke aʻo nei lākou i ka containerization a me ka virtualization.
Loaʻa iā mākou ʻelua mau hui loea e neʻe maoli i nā bits a me nā bytes. Ua pili pono lākou i nā mea hana. He nui kā mākou lako, a ʻaʻole hoʻohana kēia mau hui i ka virtualization a me nā ipu.
Ke hoʻāʻo nei mākou e hoʻomau i nā mea e hana nei i ka ʻoihana, ke aʻo ʻana i nā mea hoʻokele Kubernetes CSI, a me ka hana pū ʻana me ka hui e hoʻokō nei i nā Kubernetes ma Bloomberg e loiloi inā hiki iā mākou ke hana i ka mālama ʻana o Kubernetes me nā ʻenehana i loaʻa iā mākou, a ua loaʻa iā mākou. e hana ana. Hoʻohana mākou i ka SDS no ke kākoʻo ʻana i nā Kubernetes i hoʻopili ʻia i ka mālama hoʻomau. Ua hoʻomohala maikaʻi mākou i kēia ʻenehana, a ke hoʻomau nei nā kūkākūkā ma waena o nā hui ʻelua e pili ana i ka hiki iā mākou ke hoʻolako i kēia i nā poʻe ʻē aʻe ma Bloomberg. Ua hōʻike mākou he hiki loa kēia.
He aha nā polokalamu open source āu e hoʻohana ai, no ka mālama ʻana?
Hoʻohana mākou iā Apache Airflow, HAProxy e kaupalena i ke kaʻa noi. Hoʻohana pū mākou iā Ceph, kahi kahua no SDS. Me ia, hiki iā ʻoe ke loaʻa i hoʻokahi ʻōnaehana no nā kauoha, akā hāʻawi i nā kikowaena lehulehu i nā mea kūʻai aku. Ke holo nei kekahi o nā paepae virtualization ma OpenStack - hana pū mākou me kēia hui. Loaʻa iā mākou kahi kahua hoʻonaʻauao punahele e hoʻohana ana i ke kahua SDS open source no ka mālama ʻana. He ʻakaʻaka.
He aha nā ʻenehana mālama mālama āu e noʻonoʻo nei no nā makahiki ʻelua a ʻekolu paha?
Ke nānā mau nei mākou i nā mea hou ʻē aʻe e kū nei ma ka ʻoihana mālama. He ʻāpana kēia o kā mākou hana, ʻaʻole ia "eia kāu SAN, hoʻokele ma ʻaneʻi, a eia kāu NFS, hoʻokele ma laila." Ho'āʻo mākou e kamaʻilio me kā mākou mea kūʻai aku, ʻo ia. e kā mākou mea hoʻomohala noi. Hana pū mākou e hoʻomaopopo i nā pilikia a lākou e hoʻāʻo nei e hoʻoponopono a pehea e hopena ai i kā mākou mea kūʻai mai Bloomberg waho - nā panakō a me nā mea ʻē aʻe e hoʻohana nei i kā mākou polokalamu. A laila hoʻi mākou i ka honua o ka mālama ʻana i ka ʻikepili e ʻimi i nā manawa e kōkua iā lākou e hoʻokō i kā lākou pahuhopu. Pehea e hiki ai iā mākou ke kōkua iā lākou e ʻimi i ka ʻenehana mālama pono e kūpono i kā lākou SLA a i ʻole ka mea a lākou e hoʻāʻo nei e hana? No ka mea he nui nā ʻenekinia mākou e hana nei i nā mea ʻoluʻolu, ʻaʻole ia e hōʻoluʻolu.
Ke ʻimi nei mākou i kēia manawa i nā ala e hoʻomaikaʻi ai i ka hana no SDS i hiki ke holo ma nā kikowaena kumu nui. No laila, ke hana nei mākou ma NVMe ma luna o TCP, he hana hoihoi loa kēia, ʻo ia kekahi o nā mea he nui. Ke hana pū nei mākou me nā poʻe koʻikoʻi o ka ʻoihana a me kekahi o nā mea hoʻolako i kēia manawa e ʻike i ka mea a lākou e hāʻawi ai a me ke ʻano o ka hana maoli, inā hiki iā mākou ke hoʻomaka e hoʻohana ia mea i ka hana ʻana i ka hui. Hāʻawi kēia i nā ʻike hou i ʻike ʻole ʻia ma mua.
He kōkua iki ma PS
PS Inā hiki iaʻu, makemake wau e hoʻomanaʻo iā ʻoe e mālama ʻia ʻo Kepakemapa 28-30 , no ka poʻe ʻike ʻole iā Kubernetes, akā makemake lākou e kamaʻāina me ia a hoʻomaka e hana pū me ia.
Source: www.habr.com