TL; DR: Bloomberg Storage Engineering teymið bjó til skýjageymslu fyrir innri notkun sem truflar ekki innviði og þolir mikið álag af sveiflum í viðskiptum meðan á heimsfaraldri stendur.
Þegar Mattew Leonard talar um starf sitt sem tæknistjóri hjá Bloomberg Storage Engineering teyminu, notar hann oft orðin „krefjandi“ og „skemmtilegt“. Áskoranirnar stafa af hinu breiðu umfangi geymslu, frá nýjustu NVMe-undirstaða SAN fylki til opins hugbúnaðar skilgreindrar geymslu í DevOps. Þetta er þar sem „gamanið“ byrjar (sjá avatar minn á Habré, ca. þýðandi).
Leonard og 25 samstarfsmenn hans hafa umsjón með meira en 100 petabætum af afkastagetu og innra skýi fyrir 6000 verkfræðinga sem þróa forrit fyrir Bloomberg Terminal, tæknina sem gerði Michael Bloomberg að milljarðamæringi. Teymið hannar, smíðar og viðheldur geymslukerfum fyrir Bloomberg Engineering.
Eins og restin af upplýsingatæknistarfinu var árið 2020 óvenjulegt ár fyrir meðlimi geymsluverkfræðiteymis þar sem COVID-19 neyddi þá til að vinna í fjarvinnu. Leonard sagði að heimsfaraldurinn hefði haft áhrif á „þétt teymi“ hans félagslega þar sem augliti til auglitis samskipti voru eytt, en starfsfólk hafði aðlagast mjög fljótt að því að vinna heiman frá á fartölvum og myndfundum.
Ótrúlega vill ég segja að þetta hafi ekki gert illt verra. Það var stuttur aðlögunartími - það voru ekki allir tilbúnir að vinna heima. Eftir viku eða tvær skildu allir þetta. Okkur tókst að finna leiðir til að halda okkur uppteknum, kaupa og uppfæra búnað og auka kostnað til að styðja fyrirtækið á þessum tímum. Við þurftum að vera skapandi, en við urðum ekki særðir
Stærsta áskorunin gæti hafa verið fyrir hámarki COVID-19. Þetta var vegna sveiflukenndra markaðsviðskipta vegna áhyggjur af áhrifum heimsfaraldursins á hagkerfi heimsins. Magn gagna sem streymdi inn í Bloomberg útstöðvar frá alþjóðlegum fjármagnsmörkuðum næstum tvöfaldaðist og náði 240 milljörðum upplýsinga suma daga í lok mars. Þetta er alvarlegt próf á geymslukerfum.
Þegar þú tvöfaldar samstundis geymsluþörf þína á einum degi skapar það áhugaverð vandamál. Okkur tókst að sigrast á þessu og tryggja að þróunarteymi forrita fengju það rými og frammistöðu sem þau þurftu. Mest af þessu hefur að gera með hvernig við hugsum um geymslukerfi. Í dag erum við ekki að búa til neitt. Við segjum ekki: "Við notum ABC, svo við munum byggja upp innviði fyrir ABC." Við gerum það sem við köllum "gagnafjárhagsáætlun" með teymunum okkar til að spá fyrir um notkun, greina notkun og frammistöðuþróun og við skoðum líka öryggi. Þessi tegund af áætlanagerð, hugsun og aðferðafræðilega áreiðanleikakönnun gerir okkur kleift að grípa til róttækra aðgerða á uppsveiflu án þess að svitna. Auðvitað var ég kvíðin en mér fannst þægilegt að vera á mínum stað.
Leonard ræddi nýlega við SearchStorage ítarlega um stjórnun geymslu fyrir gagnadrifin fyrirtæki. Hann ræddi hvað þyrfti til að bjóða upp á einkaskýjageymslulausn, með getu til að veita notendum sínum AWS eiginleika en geyma gögn í Bloomberg gagnaverum.
Ef það er ekki lengur heimsfaraldur, hvaða erfiðleika eiga verkfræðingar Bloomberg við stjórnun geymslu?
Við höfum margar þarfir, við erum einfaldlega rifin í mismunandi áttir. Þannig að við þurfum að útvega margar mismunandi tegundir af vörum á mismunandi SLA stigum til að hjálpa forriturum okkar að einbeita sér að verkefnum sínum í stað þess að hafa áhyggjur af geymslunni sjálfri.
Og hvaða stefnu fylgir þú í þessu?
Hluti af því sem við erum að reyna að gera er að bæta geymsluafköst. Hugsaðu um AWS líkanið þar sem þróunarverkfræðingur gengur inn, ýtir á hnapp og „smellur“ fær á töfrandi hátt réttu geymslutegundina til að leysa vandamálið sitt.
Hvernig lítur geymsluuppbyggingin þín út?
Þar sem við erum með mjög fjölbreytt vistkerfi og marga mismunandi þróunaraðila getum við ekki boðið eina vöru. Við höfum hlut-, skrá- og blokkageymslu. Þetta eru mismunandi vörur og við bjóðum upp á mismunandi gerðir af tækni til að afhenda þær. Fyrir blokk notum við SAN. Við erum líka með SDS, sem býður upp á annan blokkageymsluvalkost með mismunandi frammistöðukröfum. Fyrir skrár notum við NFS. SDS er einnig notað til að geyma hluti. Kubburinn og hlutarnir mynda innra einkaský fyrir tölvur og geymslu.
Svo þú notar ekki almenningsskýjageymslu?
Það er rétt. Sum þróunarteymi hafa leyfi til að nota opinber ský. En vegna eðlis viðskipta okkar kjósum við að hafa meiri stjórn á hlutunum sem fara frá veggjum okkar. Svo já, við höfum okkar eigin ský sem eru undir okkar stjórn. Þetta er búnaður sem staðsettur er í gagnaverinu okkar undir okkar stjórn.
Í gagnaverum okkar kjósum við stefnu með mörgum söluaðilum. Þeir eru stórir birgjar, en við munum ekki segja hverjir nákvæmlega (það er stefna Bloomberg að styðja ekki neinn birgi, ca. þýðandi).
Ertu að nota hyperconverged innviði til að byggja upp einkaskýið þitt?
Nei. Við hjá Bloomberg erum að velja stefnu þar sem við förum ekki í átt að ofsamruna. Við erum að reyna að aftengja tölvu frá geymslu svo við getum skalað þær sjálfstætt. Stefnan sem við erum að fara í, sérstaklega með skýið okkar, er að við getum aðskilið þessar tvær einingar. Og allt vegna þess að sumir hlutir í okkar landi krefjast mikillar útreikninga, á meðan aðrir þurfa geymslu. Ef þú stækkar þær jafnt og þétt muntu tapa auðlindum, sama peningum, eða plássi í gagnaverum, eða með því að kaupa getu sem þú þarft ekki. Þess vegna viljum við hafa sameiginlegt viðmót á milli þessara tveggja eininga, en hafa þau algjörlega ólík kerfi og stjórnað af mismunandi teymum.
Hvaða hindranir þarf að yfirstíga til að byggja upp einkaský?
Stærðarvandamál. Eins og með flesta hluti er djöfullinn í smáatriðunum. Þegar þú hugsar um hvernig þessir hlutir virka, hvernig á að gera þá seigla, hvernig á að takast á við rekstrarálagið, hvernig þú hefur samskipti við líkamlega eignateymi, þá verða hlutirnir svolítið áhugaverðir. Áskorunin er að finna leið til að gera allt að skalanlegu og styðjandi vöru sem forritarar okkar myndu vilja nota, að geta auðgað eiginleikasettið á meðan þeir eru í fremstu röð í því sem almenningsskýið er að gera. Og líka að koma þessu öllu saman þannig að það haldi áfram að virka. Þetta er okkar helsta vandamál - við vinnum á öllum sviðum fyrirtækisins, reynum að fullnægja öllum þörfum, en hunsum ekki aðrar þarfir.
Heldurðu að þú þurfir nýjustu eiginleikana sem til eru í AWS og öðrum opinberum skýjum?
Það skemmtilegasta við S3 er að lífskjör eru stöðugt að breytast, það er alltaf verið að bæta við nýjum eiginleikum. Þetta er eins og nýtt leikfang. Ef einhver sér nýjan eiginleika í nýrri útgáfu vill hann það. Ekki eiga allir AWS eiginleikar við í umhverfi okkar, svo það er mikilvægt og áhugavert að vita hvað mun hjálpa forriturum og hvernig á að fá það innanhúss.
Hvaða geymslubúnað notar þú?
Við notum nýjasta búnaðinn. Innra skýið okkar er algjörlega byggt á NVMe Flash, sem gerir þessi kerfi mjög öflug. Það gerir líf okkar aðeins auðveldara, og það er líka góður eiginleiki fyrir þróunaraðila okkar vegna þess að þeir þurfa ekki að hafa áhyggjur af afköstum geymslu.
Í hvað notar þú hlutgeymslu?
Við erum með 6000 þróunaraðila sem vinna að innviðum, þeir eru ekki sameinaðir um eitthvert notkunartilvik. Hvaða valmöguleika sem þér dettur í hug, við höfum hann líklega í geymsluplássi. Sum teymi nota það til kaldrar geymslu, sum til gagnaflutnings og önnur sem nota það fyrir viðskiptaforrit. Öll þessi notkunartilvik krefjast mismunandi stigs SLA, þannig að eins og þú sérð höfum við mismunandi tegundir af umferð, alls kyns þarfir fyrir mismunandi notendur innviða okkar. Þetta er ekki einsleitt notkunarmál sem keyrir ofan á neina geymslu okkar, sem augljóslega gerir hlutina flóknari.
Hversu stóru hlutverki gegna Kubernetes og ílát fyrir þig og hvaða áhrif hefur það á geymslu?
Við erum að þrýsta á framleiðni geymslu til að skapa tilfinningu fyrir skýi, tilfinningu fyrir eitthvað-sem-þjónustu, þar sem það er hnappur fyrir þróunaraðila til að flýta fyrir iðn sinni og fjarlægja innviði í leiðinni.
Athugið ritstjóra: 15. október 2020 verður tilbúinn . Þú munt læra Ceph netgeymslutækni til að nota í verkefnum þínum til að bæta bilanaþol.
Við erum með þrjú teymi, það fyrsta er geymslu API teymið. Þeir búa til forritaðan aðgang, endapunkta og fyrirfram skilgreind verkflæði fyrir viðskiptavini forritaþróunar hjá Bloomberg. Þetta er hópur af fullum stafla vefhönnuða, þeir nota node.js, python, opinn uppspretta tækni, eins og Apache Airflow, svo þeir rannsaka gámavæðingu og sýndarvæðingu.
Við erum líka með tvö tækniteymi sem í raun flytja bita og bæti. Þau tengjast búnaðinum beint. Við erum með mikinn búnað og þessi teymi nota ekki sýndarvæðingu og gáma.
Við erum að reyna að fylgjast með því sem er að gerast í greininni, rannsaka Kubernetes CSI reklana og vinna einnig náið með teyminu sem innleiðir Kubernetes hjá Bloomberg til að meta hvort við getum látið Kubernetes geymsluna virka í samræmi við þá tækni sem við höfum, og við höfum það virkar. Við notum SDS til að styðja við Kubernetes tengda viðvarandi geymslu. Okkur hefur tekist að þróa þessa tækni og viðræður halda áfram á milli liðanna tveggja um hvernig við getum gert þetta aðgengilegt öllum öðrum hjá Bloomberg. Við höfum sýnt að þetta er alveg mögulegt.
Hvaða annan opinn hugbúnað notar þú, sérstaklega fyrir geymslu?
Við notum Apache Airflow, HAProxy til að takmarka umferð forrita. Við notum líka Ceph, vettvang fyrir SDS. Með því geturðu haft eitt kerfi fyrir skipanir, en boðið upp á mörg viðmót fyrir viðskiptavini. Einn af sýndarvæðingarpöllunum keyrir á OpenStack - við vinnum náið með þessu teymi. Við erum með opinn uppspretta sýndarvæðingarvettvang sem notar opinn uppspretta SDS vettvang fyrir geymslu. Það er fyndið.
Hvaða geymslutækni ertu að íhuga næstu tvö til þrjú árin?
Við erum alltaf að skoða aðra flotta nýja hluti sem gerast í geymsluiðnaðinum. Þetta er hluti af vinnu okkar, það er ekki „hér er SAN þitt, stjórnaðu hér, og hér er NFS þitt, stjórnaðu þar. Við reynum að hafa samskipti við viðskiptavini okkar, þ.e. af forritara okkar. Við vinnum saman að því að skilja hvaða vandamál þeir eru að reyna að leysa og hvernig það mun hafa áhrif á ytri viðskiptavini Bloomberg - bankana og aðra sem nota hugbúnaðinn okkar. Og svo förum við aftur inn í heim gagnageymslu til að finna tækifæri til að hjálpa þeim að ná markmiði sínu. Hvernig getum við hjálpað þeim að finna réttu geymslutæknina sem passar SLA þeirra eða það sem þeir eru að reyna að gera? Vegna þess að við höfum svo marga verkfræðinga að gera flotta hluti, verður það aldrei leiðinlegt.
Við erum núna að skoða leiðir til að bæta árangur fyrir SDS sem gæti hugsanlega keyrt á almennum netþjónum. Svo við erum að vinna að NVMe yfir TCP, þetta er mjög áhugavert og flott framtak, eitt af mörgum. Við erum líka að vinna með lykilfólki í greininni og nokkrum af þeim birgjum sem fyrir eru til að komast að því hvað þeir bjóða upp á og hver raunveruleg afkoma verður, hvort við getum farið að nota það í framleiðslu í fyrirtækinu. Þetta opnar nýjan sjóndeildarhring sem áður var ekki aðgengilegur.
Smá hjálp í PS
PS Ef ég má þá vil ég minna á að 28.-30. september verður haldinn , fyrir þá sem ekki þekkja Kubernetes, en vilja kynnast því og byrja að vinna með það.
Heimild: www.habr.com