TL; DR: Chruthaich sgioba Innleadaireachd Stòraidh Bloomberg stòradh neòil airson cleachdadh a-staigh nach cuir bacadh air bun-structar agus a sheasas an luchd trom de neo-sheasmhachd malairt rè a’ ghalair lèir-sgaoilte.
Bidh Mattew Leonard, nuair a bhios e a’ bruidhinn mun obair aige mar mhanaidsear teignigeach air sgioba Bloomberg Storage Engineering, gu tric a’ cleachdadh nam faclan “dùbhlanach” agus “spòrsail”. Tha na dùbhlain ag èirigh bhon raon fharsaing de stòradh, bho na h-arrays SAN as ùire stèidhichte air NVMe gu stòradh stòr fosgailte air a mhìneachadh le bathar-bog ann an DevOps. Seo far a bheil an “spòrs” a’ tòiseachadh (faic an avatar agam air Habré, mu thuairmeas. eadar-theangair).
Bidh Leonard agus an sgioba aige de 25 co-oibrichean a’ cumail sùil air còrr air 100 petabytes de chomas agus sgòth a-staigh airson 6000 innleadair a’ leasachadh thagraidhean airson Bloomberg Terminal, an teicneòlas a rinn Mìcheal Bloomberg na bhilleanair. Bidh an sgioba a’ dealbhadh, a’ togail agus a’ cumail suas siostaman stòraidh airson Bloomberg Engineering.
Coltach ris a’ chòrr de phroifeasan IT, b’ e bliadhna neo-àbhaisteach a bh’ ann an 2020 do bhuill den sgioba Innleadaireachd Stòraidh leis gun tug COVID-19 orra a bhith ag obair air astar. Thuirt Leonard gun robh an galar sgaoilte air buaidh a thoirt air an “sgioba teann” aige gu sòisealta leis gun deach cuir às do eadar-obrachaidhean aghaidh-ri-aghaidh, ach bha luchd-obrach air atharrachadh gu math luath gu bhith ag obair bhon taigh air coimpiutairean-uchd agus co-labhairtean bhidio.
Gu h-iongantach, tha mi airson a ràdh nach do rinn seo cùisean na bu mhiosa. Bha ùine atharrachaidh ghoirid ann - cha robh a h-uile duine deiseil airson obair bhon taigh. Às deidh seachdain no dhà thuig a h-uile duine seo. Bha e comasach dhuinn dòighean a lorg gus sinn fhèin a chumail trang, uidheamachd a cheannach agus ùrachadh, agus cosgaisean àrdachadh gus taic a thoirt don chompanaidh aig na h-amannan sin. Bha againn ri bhith cruthachail, ach cha robh sinn air ar goirteachadh
Is dòcha gu robh an dùbhlan as motha ron ìre as àirde de COVID-19. Bha seo mar thoradh air malairt luaineach sa mhargaidh air sgàth draghan mu bhuaidh a’ ghalair lèir-sgaoilte air eaconamaidh na cruinne. Cha mhòr nach do dhùblaich an àireamh de dhàta a bha a’ sruthadh a-steach do chrìochan Bloomberg bho mhargaidhean calpa na cruinne, a’ ruighinn 240 billean pìos fiosrachaidh air cuid de làithean aig deireadh a’ Mhàirt. Is e fìor dheuchainn a tha seo air siostaman stòraidh.
Nuair a dhùblaicheas tu na feumalachdan stòraidh agad sa bhad ann an aon latha, cruthaichidh e duilgheadasan inntinneach. B’ urrainn dhuinn faighinn seachad air seo agus dèanamh cinnteach gun d’ fhuair sgiobaidhean leasachaidh tagradh an àite agus an coileanadh a bha a dhìth orra. Tha a’ mhòr-chuid de seo co-cheangailte ri mar a bhios sinn a’ smaoineachadh air siostaman stòraidh. An-diugh chan eil sinn a 'cruthachadh rud sam bith. Chan eil sinn ag ràdh, "Bidh sinn a 'cleachdadh ABC, agus mar sin togaidh sinn am bun-structair airson ABC." Bidh sinn a’ dèanamh rud ris an can sinn “buidseatadh dàta” leis na sgiobaidhean againn gus cleachdadh a ro-innse, cleachdadh agus gluasadan coileanaidh a sgrùdadh, agus bidh sinn cuideachd a’ coimhead air tèarainteachd. Tha an seòrsa seo de phlanadh, smaoineachadh, agus dìcheall iomchaidh dòigh-obrach a’ toirt cothrom dhuinn gnìomh mòr a ghabhail air sreapadairean gun a bhith a’ briseadh fallas. Gu dearbh, bha mi iomagaineach, ach bha mi a’ faireachdainn comhfhurtail a bhith nam àite.
Bhruidhinn Leonard gu mionaideach ri SearchStorage o chionn ghoirid mu bhith a’ riaghladh stòradh airson gnìomhachasan a tha air an stiùireadh le dàta. Bheachdaich e air na bheireadh e gus fuasgladh stòraidh sgòthan prìobhaideach a thabhann, le comas feartan AWS a thoirt don luchd-cleachdaidh aige fhad ‘s a chumas iad dàta sam bith ann an ionadan dàta Bloomberg.
Mura h-eil galar lèir-sgaoilte ann tuilleadh, dè na duilgheadasan a th’ aig innleadairean Bloomberg ann a bhith a’ riaghladh stòradh?
Tha mòran fheumalachdan againn, tha sinn dìreach air ar reubadh ann an diofar stiùiridhean. Mar sin feumaidh sinn iomadh seòrsa de thoraidhean a thoirt seachad aig diofar ìrean SLA gus ar luchd-leasachaidh tagraidh a chuideachadh gus fòcas a chuir air na gnìomhan aca an àite a bhith draghail mun stòradh fhèin.
Agus dè an ro-innleachd a tha thu a’ leantainn airson seo?
Is e pàirt de na tha sinn a’ feuchainn ri dhèanamh coileanadh stòraidh a leasachadh. Smaoinich air a’ mhodail AWS far am bi innleadair leasachaidh a’ coiseachd a-steach, a’ putadh putan, agus an uairsin a’ “cliogadh” gu draoidheil a’ faighinn an seòrsa stòraidh ceart gus an duilgheadas aige fhuasgladh.
Cò ris a tha am bun-structar stòraidh agad coltach?
Leis gu bheil eag-shiostam glè eadar-mheasgte againn agus mòran de luchd-leasachaidh eadar-dhealaichte, chan urrainn dhuinn aon toradh a thabhann. Tha stuth, faidhle agus stòradh bacaidh againn. Tha iad sin nan diofar thoraidhean agus bidh sinn a’ tabhann diofar sheòrsaichean de theicneòlasan airson an lìbhrigeadh. Airson bloc bidh sinn a’ cleachdadh SAN. Tha SDS againn cuideachd, a bheir seachad roghainn stòraidh bloc eile le seata eadar-dhealaichte de riatanasan coileanaidh. Airson faidhlichean bidh sinn a 'cleachdadh NFS. Tha SDS cuideachd air a chleachdadh airson stòradh stuthan. Tha na pàirtean bloca agus stuthan mar sgòth prìobhaideach a-staigh airson coimpiutaireachd agus stòradh.
Mar sin nach cleachd thu stòradh neòil poblach?
Tha sin ceart. Tha cead aig cuid de sgiobaidhean leasachaidh sgòthan poblach a chleachdadh. Ach air sgàth nàdar a’ ghnìomhachais againn, is fheàrr leinn barrachd smachd a bhith againn air na rudan a tha a’ fàgail ar ballachan. Mar sin tha, tha na neòil againn fhìn a tha fo ar smachd. Is e seo uidheamachd a tha suidhichte san ionad dàta againn a tha fo ar riaghladh.
Anns na h-ionadan dàta againn, is fheàrr leinn ro-innleachd ioma-reiceadair. Tha iad nan solaraichean mòra, ach cha bhith sinn ag ràdh cò dìreach (tha e na phoileasaidh aig Bloomberg gun a bhith a’ toirt taic do sholaraiche sam bith, mu thuairmeas. eadar-theangair).
A bheil thu a’ cleachdadh bun-structair hyperconverged gus do sgòth prìobhaideach a thogail?
Chan eil. Tha sinne aig Bloomberg a’ taghadh slighe far nach eil sinn a’ gluasad a dh’ionnsaigh hyperconvergence. Tha sinn a’ feuchainn ri àireamhachadh a dhì-cheangal bho stòradh gus an urrainn dhuinn an sgèile gu neo-eisimeileach. Is e an taobh anns a bheil sinn a’ gluasad, gu sònraichte leis an sgòth againn, gum bi e comasach dhuinn an dà bhuidheann sin a sgaradh. Agus a h-uile càil leis gu bheil feum aig cuid de rudan san dùthaich againn air àireamhachadh dian, agus cuid eile a’ feumachdainn stòradh. Ma sgèileas tu iad gu cothromach, caillidh tu goireasan, ge bith airgead, no àite ann an ionadan dàta, no le bhith a’ ceannach comas nach fheum thu. Sin as coireach gum bu toil leinn eadar-aghaidh cumanta a bhith againn eadar an dà bhuidheann, ach gum bi iad nan siostaman gu tur eadar-dhealaichte agus air an riaghladh le diofar sgiobaidhean.
Dè na cnapan-starra a dh’ fheumar faighinn seachad air gus sgòth prìobhaideach a thogail?
Trioblaid meud. Coltach ris a’ mhòr-chuid de rudan, tha an diabhal anns na mion-fhiosrachadh. Nuair a smaoinicheas tu air mar a tha na rudan sin ag obair, mar a nì thu tapaidh orra, mar a làimhsicheas tu an luchd obrachaidh, mar a nì thu conaltradh leis na sgiobaidhean so-mhaoin corporra, bidh cùisean a’ fàs beagan inntinneach. Is e an dùbhlan dòigh a lorg gus a h-uile dad a dhèanamh na thoradh scalable agus taiceil a bhiodh luchd-leasachaidh an tagraidh againn airson a chleachdadh, a bhith comasach air beairteas a thoirt don t-seata feart fhad ‘s a tha iad a’ fuireach aig fìor thoiseach na tha an sgòth poblach a ’dèanamh. Agus cuideachd airson a h-uile càil a thoirt còmhla gus am bi e fhathast ag obair. Is e seo ar prìomh dhuilgheadas - bidh sinn ag obair thar gach raon den ghnìomhachas, a’ feuchainn ri feumalachdan a shàsachadh, ach gun a bhith a’ seachnadh feumalachdan eile.
A bheil thu a’ smaoineachadh gu bheil feum agad air na feartan as ùire a tha rim faighinn ann an AWS agus sgòthan poblach eile?
Is e an fhìrinn as spòrsail mu AS3 gu bheil an ìre-beatha a’ sìor atharrachadh, gu bheil feartan ùra gan cur ris an-còmhnaidh. Tha e coltach ri dèideag ùr. Ma chì cuideigin feart ùr ann am brath ùr, tha iad ga iarraidh. Chan eil a h-uile feart AWS buntainneach san àrainneachd againn, agus mar sin tha e cudromach agus inntinneach fios a bhith agad dè a chuidicheas luchd-leasachaidh agus mar a gheibh thu e a-staigh.
Dè an uidheamachd stòraidh a bhios tu a’ cleachdadh?
Bidh sinn a’ cleachdadh an uidheamachd as ùire. Tha an sgòth a-staigh againn gu tur stèidhichte air NVMe Flash, a tha a’ dèanamh nan siostaman sin glè chumhachdach. Bidh e a’ dèanamh ar beatha beagan nas fhasa, agus tha e cuideachd na fheart snog don luchd-leasachaidh againn leis nach fheum iad a bhith draghail mu choileanadh stòraidh.
Carson a chleachdas tu stòradh stuthan?
Tha luchd-leasachaidh 6000 againn ag obair air bun-structar, chan eil iad aonaichte le cùis cleachdaidh sam bith. Roghainn sam bith as urrainn dhut smaoineachadh, is dòcha gu bheil e againn ann an stòradh stuthan. Bidh cuid de sgiobaidhean ga chleachdadh airson stòradh fuar tasglann, cuid airson gluasad dàta, agus cuid eile a bhios ga chleachdadh airson tagraidhean malairt. Feumaidh na cùisean cleachdaidh sin uile diofar ìrean de SLA, agus mar a chì thu, tha diofar sheòrsaichean trafaic againn, a h-uile seòrsa feum airson diofar luchd-cleachdaidh ar bun-structair. Chan e cùis cleachdaidh aon-ghnèitheach a tha seo a tha a’ ruith a bharrachd air gin den stòradh againn, a tha gu follaiseach a’ dèanamh cùisean nas iom-fhillte.
Dè cho mòr sa tha pàirt aig Kubernetes agus soithichean dhut, agus ciamar a bheir sin buaidh air stòradh?
Tha sinn a’ putadh cinneasachd stòraidh gus faireachdainn de sgòth a chruthachadh, mothachadh air rudeigin mar sheirbheis, far a bheil putan ann airson luchd-leasachaidh an cuid ciùird a luathachadh agus bun-structar a thoirt air falbh air an t-slighe.
Neach-deasachaidh n.b.: Bidh 15 Dàmhair, 2020 deiseil . Ionnsaichidh tu teicneòlas stòraidh lìonra Ceph airson a chleachdadh anns na pròiseactan agad gus fulangas sgàinidhean a leasachadh.
Tha trì sgiobaidhean againn, is e a’ chiad fhear an sgioba API stòraidh. Bidh iad a’ dèanamh ruigsinneachd prògramaidh, puingean crìochnachaidh, agus sruthan obrach ro-mhìnichte airson teachdaichean leasachadh app aig Bloomberg. Is e seo sgioba de luchd-leasachaidh lìn làn stac, bidh iad a’ cleachdadh node.js, python, teicneòlasan stòr fosgailte, leithid Apache Airflow, gus am bi iad a’ sgrùdadh containerization agus virtualization.
Tha dà sgioba teignigeach againn cuideachd a bhios a’ gluasad nam pìosan is na bytes. Tha iad nas dlùithe co-cheangailte ris an uidheamachd. Tha tòrr uidheamachd againn, agus cha bhith na sgiobaidhean sin a’ cleachdadh virtualization agus soithichean.
Tha sinn a’ feuchainn ri cumail suas ris na tha a’ tachairt sa ghnìomhachas, a’ sgrùdadh draibhearan Kubernetes CSI, agus cuideachd ag obair gu dlùth leis an sgioba a tha a’ buileachadh Kubernetes aig Bloomberg gus measadh a dhèanamh an urrainn dhuinn toirt air stòradh Kubernetes obrachadh gu cunbhalach leis na teicneòlasan a th’ againn, agus tha sinn air. tha e ag obair. Bidh sinn a’ cleachdadh SDS gus taic a thoirt do Kubernetes ceangailte ri stòradh leantainneach. Tha sinn air an teicneòlas seo a leasachadh gu soirbheachail, agus tha còmhraidhean a’ leantainn eadar an dà sgioba mu mar as urrainn dhuinn seo a thoirt don h-uile duine eile aig Bloomberg. Tha sinn air sealltainn gu bheil seo gu math comasach.
Dè am bathar-bog stòr fosgailte eile a bhios tu a’ cleachdadh, gu sònraichte airson stòradh?
Bidh sinn a’ cleachdadh Apache Airflow, HAProxy gus trafaic tagraidh a chuingealachadh. Bidh sinn cuideachd a’ cleachdadh Ceph, àrd-ùrlar airson SDS. Leis, faodaidh aon shiostam a bhith agad airson òrdughan, ach thoir seachad grunn eadar-aghaidh do luchd-dèiligidh. Tha aon de na h-àrd-ùrlaran virtualization a 'ruith air OpenStack - bidh sinn ag obair gu dlùth leis an sgioba seo. Tha àrd-ùrlar virtualization stòr fosgailte againn a bhios a’ cleachdadh an àrd-ùrlar stòr fosgailte SDS airson stòradh. Tha e èibhinn.
Dè na teicneòlasan stòraidh air a bheil thu a’ beachdachadh airson an ath dhà no trì bliadhna?
Tha sinn an-còmhnaidh a’ coimhead a-steach do rudan ùra fionnar eile a tha a’ tachairt anns a’ ghnìomhachas stòraidh. Tha seo mar phàirt den obair againn, chan e “seo an SAN agad, stiùir an seo, agus seo an NFS agad, stiùir an sin.” Bidh sinn a’ feuchainn ri conaltradh le ar teachdaichean, i.e. le luchd-leasachaidh an aplacaid againn. Bidh sinn ag obair còmhla gus tuigsinn dè na duilgheadasan a tha iad a’ feuchainn ri fhuasgladh agus mar a bheir e buaidh air ar teachdaichean Bloomberg taobh a-muigh - na bancaichean agus feadhainn eile a bhios a’ cleachdadh ar bathar-bog. Agus an uairsin thèid sinn air ais gu saoghal stòradh dàta gus cothroman a lorg a chuidicheas iad gus an amas a choileanadh. Ciamar as urrainn dhuinn an cuideachadh gus an teicneòlas stòraidh ceart a lorg a fhreagras air an SLA aca no na tha iad a’ feuchainn ri dhèanamh? Leis gu bheil uimhir de innleadairean againn a’ dèanamh rudan fionnar, cha bhith e a-riamh sgìth.
Tha sinn an-dràsta a’ coimhead ri dòighean gus coileanadh a leasachadh airson SDS a dh’ fhaodadh ruith air frithealaichean adhbhar coitcheann. Mar sin tha sinn ag obair air NVMe thairis air TCP, is e iomairt gu math inntinneach agus fionnar a tha seo, aon de mhòran. Tha sinn cuideachd ag obair le prìomh dhaoine sa ghnìomhachas agus cuid de na solaraichean gnàthach gus faighinn a-mach dè a tha iad a’ tabhann agus dè an fhìor choileanadh a bhios ann, an urrainn dhuinn tòiseachadh air a chleachdadh ann an cinneasachadh sa chompanaidh. Bidh seo a’ fosgladh sealladh ùr nach robh ruigsinneach roimhe.
Beagan cuideachaidh ann am PS
PS Mas urrainn dhomh, bu mhath leam do chuimhneachadh gun tèid 28-30 Sultain a chumail , dhaibhsan nach eil eòlach air Kubernetes, ach a tha airson eòlas fhaighinn air agus tòiseachadh ag obair leis.
Source: www.habr.com