TL; AMA: O le vaega o le Bloomberg Storage Engineering na faia le teuina o ao mo le faʻaogaina i totonu e le faʻalavelaveina ai atinaʻe ma mafai ona tatalia le mamafa o fefaʻatauaiga i le taimi o le faʻamaʻi.
Mattew Leonard, pe a talanoa e uiga i lana galuega o se pule faʻapitoa i le Bloomberg Storage Engineering team, e masani ona faʻaaogaina upu "luʻitau" ma le "malie." O luʻitau e tulaʻi mai i le lautele o le teuina, mai le NVMe-based SAN arrays e tatala ai punaoa faʻapipiʻi faʻapipiʻi i DevOps. O iinei e amata ai le "fiafia" (tagai i laʻu avatar i luga o Habré, tusa. faaliliu).
O Leonard ma lana 'au o le 25 paaga latou te vaavaaia le sili atu i le 100 petabytes o le gafatia ma se ao totonu mo le 6000 inisinia o loʻo atiaʻe talosaga mo Bloomberg Terminal, le tekinolosi na avea ai Michael Bloomberg ma piliona. O le 'au e mamanuina, fausia ma tausia faiga teu oloa mo Bloomberg Engineering.
E pei o le isi vaega o le IT, 2020 o se tausaga e le masani ai mo sui o le Storage Engineering team ona o le COVID-19 na faamalosia i latou e galulue mamao. Na taʻua e Leonard, o le faʻamaʻi na aʻafia ai lana "au fuʻa" i le va fealoai a o faʻaumatia fegalegaleaiga faʻafesagaʻi, ae na vave ona fetuutuunai le aufaigaluega i le faigaluega mai le fale i luga o komepiuta feaveaʻi ma ata vitio.
O le mea e ofo ai, ou te fia fai atu e leʻi faʻaleagaina ai mea. Sa i ai se taimi puupuu fetuutuunai - e le o tagata uma sa sauni e galulue mai le fale. Ina ua mavae se vaiaso pe lua na malamalama tagata uma i lenei mea. Sa mafai ona matou sailia ni auala e pisi ai i matou, faʻatau ma faʻaleleia meafaigaluega, ma faʻateleina tau e lagolago ai le kamupani i nei taimi. Sa tatau ona matou fatufatuai, ae matou te lei afaina
Ole lu'itau tele atonu na muamua ile tumutumu ole COVID-19. Na mafua lenei mea ona o fefaʻatauaʻiga tau maketi ona o atugaluga e uiga i aʻafiaga o faʻamaʻi i le tamaoaiga o le lalolagi. Ole tele o faʻamaumauga o loʻo tafe atu i totonu ole Bloomberg terminals mai maketi tetele o le lalolagi na toetoe a faʻaluaina, e oʻo atu i le 240 piliona faʻamatalaga i nisi aso i le faaiuga o Mati. Ole su'ega ogaoga lea ole faiga e teu ai.
A e fa'aluaina vave au mea e mana'omia i le aso e tasi, e tupu ai fa'afitauli mata'ina. Na mafai ona matou manumalo i lenei mea ma faʻamautinoa na tuʻuina atu i le au atinaʻe talosaga le avanoa ma le faʻatinoga latou te manaʻomia. O le tele o nei mea e fa'atatau i le auala tatou te mafaufau ai e uiga i faiga teu oloa. O aso nei tatou te le o faia se mea. Matou te le fai atu, "Matou te faʻaaogaina ABC, o lea matou te fausia ai le atinaʻe mo ABC." Matou te faia le mea matou te taʻua o le "data budgeting" ma a matou 'au e vaʻai ai le faʻaaogaina, auʻiliʻili le faʻaogaina ma faiga faʻatinoga, ma matou vaʻavaʻai foi i le saogalemu. O lenei ituaiga o fuafuaga, mafaufauga, ma le filiga faʻapitoa faʻapitoa e mafai ai ona tatou faia ni gaioiga faʻamalosi i luga o faʻalavelave e aunoa ma le gau o le afu. Ioe, sa ou popole, ae sa ou lagona le toafimalie i lo'u tulaga.
Na talanoa talu ai nei Leonard ma SearchStorage i auiliiliga e uiga i le puleaina o le teuina mo pisinisi faʻatautaia faʻamatalaga. Na ia talanoaina le mea e manaʻomia e ofoina atu ai se faʻamaumauga tuʻufaʻatasiga e teu ai le ao, faatasi ai ma le mafai ona tuʻuina atu faʻamatalaga AWS i ona tagata faʻaoga aʻo teuina soʻo se faʻamatalaga i totonu o nofoaga autu o faʻamatalaga Bloomberg.
Afai e le toe i ai se faʻamaʻi, o a faʻafitauli o loʻo i ai i le au inisinia Bloomberg i le puleaina o le teuina?
E tele o tatou mana'oga, ua na'o le saeia i itu eseese. O lea e manaʻomia ai le tuʻuina atu o le tele o ituaiga o oloa i tulaga eseese o le SLA e fesoasoani ai i le au atinaʻe talosaga e taulaʻi atu i a latou galuega nai lo le popole i le teuina lava ia.
Ma o le a le fuafuaga e te mulimuli ai mo lenei mea?
O se vaega o mea o loʻo matou taumafai e fai o le faʻaleleia o le faʻatinoga o le teuina. Mafaufau i le faʻataʻitaʻiga AWS lea e savali ai se inisinia atinaʻe, oomi se ki, ona "kiliki" faʻapitoa e maua ai le ituaiga teuina saʻo e foia ai lona faafitauli.
E faape'ī foliga o au mea e teu ai?
Ona o lo'o i ai a matou fa'alapotopotoga fa'anatura ma le tele o atina'e eseese, e le mafai ona matou ofoina atu se oloa e tasi. E iai a matou mea, faila ma poloka le teuina. O oloa eseese ia ma matou ofoina atu ituaiga eseese o tekinolosi e momoli ai. Mo poloka matou te faʻaaogaina SAN. E iai foʻi a matou SDS, lea e tuʻuina atu ai se isi poloka poloka e teu ai ma se seti eseʻesega o manaʻoga faʻatinoga. Mo faila matou te faʻaogaina le NFS. E fa'aoga fo'i le SDS mo le teuina o mea. O vaega poloka ma mea faitino e fausia ai se ao patino i totonu mo le komepiuta ma le teuina.
E te le fa'aogaina la le teuina o ao lautele?
E mo'i lava oe. O nisi au atina'e e iai le fa'atagaga e fa'aoga ai ao lautele. Ae ona o le natura o la matou pisinisi, matou te manaʻo e sili atu le puleaina o mea e alu ese mai o matou puipui. Ioe ioe, e iai a tatou lava ao o loʻo i lalo o la tatou pule. O meafaigaluega ia o loʻo i totonu o la matou nofoaga autu o faʻamatalaga i lalo o la matou pulega.
I totonu o matou nofoaga autu o faʻamatalaga, matou te manaʻo i se fuafuaga faʻatau-tele. O i latou o faʻatau oloa tetele, ae matou te le taʻuina atu poʻo ai tonu (o le faiga faʻavae a Bloomberg e le faʻatagaina soʻo se faʻatau, tusa. faaliliu).
O e fa'aogaina le hyperconverged infrastructure e fausia ai lau ao patino?
Leai. O matou i Bloomberg o loʻo filifilia se itu matou te le o agai atu i le hyperconvergence. O lo'o matou taumafai e fa'ate'a le fa'aputuga mai le teuina ina ia mafai ai ona matou fua fa'atasi. O le itu o loʻo tatou agaʻi i ai, aemaise lava i la tatou ao, e mo i tatou ina ia mafai ona vavaeeseina na vaega e lua. Ma o mea uma ona o nisi mea i lo tatou atunuʻu e manaʻomia ai faʻatusatusaga malosi, ae o isi e manaʻomia le teuina. Afai e te fuaina tutusa, o le ae leiloa punaoa, tusa lava pe tupe, poʻo avanoa i nofoaga autu o faʻamatalaga, poʻo le faʻatauina o le gafatia e te le manaʻomia. O le mafuaaga lena matou te fiafia ai e fai se fesoʻotaʻiga masani i le va o faʻalapotopotoga e lua, ae fai ia latou faiga e matua ese lava ma pulea e 'au eseese.
O a ni fa'alavelave e tatau ona fo'ia e fausia ai se ao patino?
Fa'afitauli ole fua. E pei o le tele o mea, o le tiapolo o loʻo i totonu o faʻamatalaga. A e mafaufau pe faʻapefea ona galue nei mea, faʻafefea ona faʻamalosia, faʻafefea ona taulimaina le avega faʻagaioiga, faʻafefea ona e fesoʻotaʻi ma au aseta faaletino, o mea e fai si manaia. O le luʻitau o le suʻeina lea o se auala e fai ai mea uma o se oloa faʻalauteleina ma lagolagoina e manaʻo a tatou tagata faʻapipiʻi talosaga e faʻaoga, mafai ona faʻatamaoaigaina le seti seti aʻo tumau i luga o le pito o mea o loʻo faia e le ao lautele. Ma ia aumaia faatasi uma ina ia faaauau pea ona galue. Ole matou fa'afitauli tele lea - matou te galulue i vaega uma o le pisinisi, taumafai e fa'amalieina mana'oga uma, ae le o le amana'iaina o isi mana'oga.
E te manatu e te manaʻomia mea fou e maua ile AWS ma isi ao lautele?
O le mea sili ona malie e uiga i le S3 o le tulaga o le olaga o loʻo suia pea, faʻaopoopoina foliga fou. E pei o se meataalo fou. Afai e vaʻaia e se tasi se foliga fou i se faʻasalalauga fou, latou te mananaʻo i ai. E le o fa'aoga uma a le AWS e fa'atatau i lo tatou si'osi'omaga, o lea e taua ma manaia le iloa po'o le a le mea o le a fesoasoani i tagata atia'e ma pe fa'apefea ona maua i totonu o le fale.
O a mea e teu ai mea e te fa'aogaina?
Matou te faʻaaogaina meafaigaluega fou. O lo tatou ao totonu e faʻavae atoa ile NVMe Flash, lea e faʻamalosia ai nei faiga. E faafaigofie ai o tatou olaga, ma o se mea manaia foi mo a tatou atinaʻe aua latou te le tau popole i le teuina o gaioiga.
O le a le mea e te fa'aogaina ai mea e teu ai mea?
E 6000 a matou atinaʻe o loʻo galulue i atinaʻe tetele, latou te le faʻatasia e se tasi faʻaoga faʻaoga. Soo se filifiliga e mafai ona e mafaufau i ai, masalo o loʻo i ai i totonu o mea e teu ai mea. O nisi 'au latou te fa'aaogaina mo le teuina o fa'amaumauga malulu, o nisi mo le fa'aliliuina o fa'amaumauga, ma isi e fa'aaogaina mo talosaga fa'atau. O nei faʻaoga uma e manaʻomia ai tulaga eseese o le SLA, e pei ona e vaʻaia, e eseese ituaiga o fefaʻatauaʻiga, ituaiga uma o manaʻoga mo tagata faʻaoga eseese o tatou atinaʻe. E le'o se fa'aoga tutusa lea o lo'o fa'aogaina i luga o so'o se mea e teu ai, lea e mautinoa lava e fa'alavelave ai mea.
O le a le tele o le sao o Kubernetes ma koneteina mo oe, ae faʻafefea ona aʻafia le teuina?
O loʻo matou tuleia le gaosiga o mea e teu ai e fatu ai se lagona o le ao, o se lagona o se mea-o-se-auʻaunaga, lea o loʻo i ai se ki mo tagata atiaʻe e faʻavaveina a latou vaʻa ma aveese mea tetele i luga o le ala.
Fa'atonu NB: Oketopa 15, 2020 o le a sauni . O le ae aʻoaʻoina le Ceph network storage technology e faʻaoga i au poloketi e faʻaleleia ai le faapalepale o sese.
E tolu a matou 'au, o le muamua o le teuina o le 'au API. Latou te faia le avanoa faʻapolokalame, faʻaiʻuga, ma faʻasologa o galuega mo tagata faʻatau atinaʻe i Bloomberg. Ole 'au lea ole fa'aputuga 'upega tafa'ilagi, latou te fa'aogaina le node.js, python, matala fa'atekonolosi, pei ole Apache Airflow, o lea latou te su'esu'e ai le fa'aogaina ma le virtualization.
E iai fo'i a matou 'au fa'atekinisi e lua e fa'asolo moni lava vaega ma paita. E sili atu ona fesoʻotaʻi saʻo i meafaigaluega. E tele a matou mea faigaluega, ma o nei 'au e le faʻaogaina le virtualization ma containers.
O loʻo matou taumafai e faʻaauau mea o loʻo tupu i totonu o le alamanuia, suʻesuʻeina le Kubernetes CSI avetaʻavale, ma galulue vavalalata ma le 'au o loʻo faʻatinoina Kubernetes i Bloomberg e iloilo pe mafai ona matou faʻaogaina le teuina o Kubernetes i taimi uma ma tekinolosi ua matou maua, ma ua matou maua. e galue . Matou te fa'aogaina le SDS e lagolago ai Kubernetes e feso'ota'i ma le teuina faifai pea. Ua manuia le matou atina'eina o lenei tekinolosi, ma o lo'o fa'aauau pea talanoaga i le va o 'au e lua e uiga i le auala e mafai ai ona matou fa'aavanoaina lenei mea i isi tagata uma i Bloomberg. Ua matou faʻaalia e matua mafai lava.
O le a le isi polokalame faʻapipiʻi tatala e te faʻaogaina, aemaise lava mo le teuina?
Matou te faʻaogaina le Apache Airflow, HAProxy e faʻatapulaʻa ai fefaʻatauaiga o talosaga. Matou te faʻaaogaina foi Ceph, o se faʻavae mo SDS. Faatasi ai ma ia, e mafai ona e maua se tasi faiga mo poloaiga, ae tuʻuina atu le tele o fesoʻotaʻiga i tagata faʻatau. O se tasi o faʻasalalauga faʻapitoa e taʻavale i luga o OpenStack - matou te galulue vavalalata ma lenei 'au. E i ai a matou faʻamatalaga faʻapitoa faʻapitoa e faʻaogaina ai le faʻaogaina o le SDS platform mo le teuina. E malie.
O a tekinolosi teu o lo'o e mafaufau i ai mo le isi lua i le tolu tausaga?
Matou te vaʻavaʻai pea i isi mea fou fou o loʻo tutupu i totonu o fale teu oloa. O se vaega lea o la matou galuega, e le o le "lea o lau SAN, pulea iinei, ma o lau NFS lea, pulea iina." Matou te taumafai e fesoʻotaʻi ma a matou tagata faʻatau, i.e. e a matou tagata atiaeina talosaga. Matou te galulue faʻatasi e malamalama i faʻafitauli o loʻo latou taumafai e foia ma pe faʻafefea ona aʻafia ai a matou tagata faʻatau mai fafo Bloomberg - o faletupe ma isi o loʻo faʻaogaina a matou polokalama. Ona tatou toe foʻi lea i le lalolagi o le teuina o faʻamaumauga e suʻe avanoa e fesoasoani ai ia i latou e ausia a latou sini. E fa'apefea ona tatou fesoasoani ia i latou e su'e le tekonolosi sa'o e teu ai e fetaui ma a latou SLA po'o mea o lo'o latou taumafai e fai? Ona o le tele o a tatou inisinia o loʻo faia mea manaia, e le faʻafefe.
O lo'o matou va'ava'ai nei i auala e fa'aleleia atili ai le fa'atinoga mo SDS e ono fa'agasolo i luga o 'au'aunaga lautele. O lea o loʻo matou galulue i le NVMe i luga o le TCP, o se fuafuaga sili ona manaia ma manaia, o se tasi o le tele. O loʻo matou galulue faʻatasi ma tagata autu i totonu o le alamanuia ma nisi o faʻatau oloa o loʻo i ai nei e suʻe mea latou te ofoina atu ma pe o le a le faʻatinoga moni, pe mafai ona matou amata faʻaaogaina i le gaosiga i totonu o le kamupani. Ole mea lea e tatala ai va'aiga fou e le'i maua muamua.
Se fesoasoani itiiti ile PS
PS Afai ou te mafaia, ou te fia faamanatu atu o le a faia ia Setema 28-30 , mo i latou e le iloa Kubernetes, ae fia faamasani i ai ma amata galue ai.
puna: www.habr.com
