TL; DR: Creodd tîm Peirianneg Storio Bloomberg storfa cwmwl ar gyfer defnydd mewnol nad yw'n ymyrryd â seilwaith ac a all wrthsefyll y llwyth trwm o anweddolrwydd masnachu yn ystod y pandemig.
Mae Mattew Leonard, wrth siarad am ei waith fel rheolwr technegol ar dîm Peirianneg Storio Bloomberg, yn aml yn defnyddio’r geiriau “heriol” a “hwyl.” Mae'r heriau'n codi o gwmpas eang y storfa, o'r araeau SAN diweddaraf yn seiliedig ar NVMe i storfa ffynhonnell agored a ddiffinnir gan feddalwedd yn DevOps. Dyma lle mae'r “hwyl” yn dechrau (gweler fy avatar ar Habré, tua. cyfieithydd).
Mae Leonard a'i dîm o 25 o gydweithwyr yn goruchwylio mwy na 100 petabytes o gapasiti a chwmwl mewnol ar gyfer 6000 o beirianwyr sy'n datblygu cymwysiadau ar gyfer Bloomberg Terminal, y dechnoleg a wnaeth Michael Bloomberg yn biliwnydd. Mae'r tîm yn dylunio, adeiladu a chynnal systemau storio ar gyfer Bloomberg Engineering.
Fel gweddill y proffesiwn TG, roedd 2020 yn flwyddyn anarferol i aelodau'r tîm Peirianneg Storio wrth i COVID-19 eu gorfodi i weithio o bell. Dywedodd Leonard fod y pandemig wedi effeithio ar ei “dîm tynn” yn gymdeithasol wrth i ryngweithio wyneb yn wyneb gael ei ddileu, ond roedd staff wedi addasu’n gyflym iawn i weithio gartref ar liniaduron a fideo-gynadledda.
Yn rhyfeddol, rwyf am ddweud na wnaeth hyn waethygu pethau. Bu cyfnod addasu byr - nid oedd pawb yn barod i weithio gartref. Ar ôl wythnos neu ddwy roedd pawb yn deall hyn. Roeddem yn gallu dod o hyd i ffyrdd o gadw ein hunain yn brysur, prynu ac uwchraddio offer, a chynyddu costau i gefnogi'r cwmni yn ystod yr amseroedd hyn. Roedd yn rhaid i ni fod yn greadigol, ond ni chawsom ein brifo
Mae’n bosibl bod yr her fwyaf wedi dyddio cyn uchafbwynt COVID-19. Roedd hyn oherwydd masnachu cyfnewidiol yn y farchnad oherwydd pryderon am effaith y pandemig ar yr economi fyd-eang. Bu bron i faint o ddata sy'n llifo i derfynellau Bloomberg o farchnadoedd cyfalaf byd-eang ddyblu, gan gyrraedd 240 biliwn o ddarnau o wybodaeth ar rai dyddiau ddiwedd mis Mawrth. Mae hwn yn brawf difrifol o systemau storio.
Pan fyddwch chi'n dyblu'ch gofynion storio ar unwaith mewn un diwrnod, mae'n creu problemau diddorol. Roeddem yn gallu goresgyn hyn a sicrhau bod timau datblygu ceisiadau yn cael y gofod a'r perfformiad yr oedd eu hangen arnynt. Mae'r rhan fwyaf o hyn yn ymwneud â sut rydyn ni'n meddwl am systemau storio. Heddiw nid ydym yn creu unrhyw beth. Nid ydym yn dweud, "Rydym yn defnyddio ABC, felly byddwn yn adeiladu'r seilwaith ar gyfer ABC." Rydyn ni'n gwneud yr hyn rydyn ni'n ei alw'n "gyllido data" gyda'n timau i ragweld defnydd, dadansoddi tueddiadau defnydd a pherfformiad, ac rydyn ni hefyd yn edrych ar ddiogelwch. Mae'r math hwn o gynllunio, meddwl, a diwydrwydd dyladwy trefnus yn ein galluogi i gymryd camau llym ar ymchwyddiadau heb dorri chwys. Wrth gwrs, roeddwn i'n nerfus, ond roeddwn i'n teimlo'n gyfforddus bod yn fy lle.
Yn ddiweddar, siaradodd Leonard â SearchStorage yn fanwl am reoli storio ar gyfer busnesau sy'n cael eu gyrru gan ddata. Trafododd yr hyn y byddai'n ei gymryd i gynnig datrysiad storio cwmwl preifat, gyda'r gallu i ddarparu nodweddion AWS i'w ddefnyddwyr wrth gadw unrhyw ddata yng nghanolfannau data Bloomberg.
Os nad oes pandemig bellach, pa anawsterau sydd gan beirianwyr Bloomberg wrth reoli storfa?
Mae gennym lawer o anghenion, yn syml, rydym yn cael ein rhwygo i wahanol gyfeiriadau. Felly mae angen inni ddarparu llawer o wahanol fathau o gynhyrchion ar wahanol lefelau CLG i helpu ein datblygwyr cymwysiadau i ganolbwyntio ar eu tasgau yn lle poeni am y storfa ei hun.
A pha strategaeth ydych chi'n ei dilyn ar gyfer hyn?
Rhan o'r hyn yr ydym yn ceisio ei wneud yw gwella perfformiad storio. Meddyliwch am fodel AWS lle mae peiriannydd datblygu yn cerdded i mewn, yn pwyso botwm, ac yna “cliciwch” yn hudol yn cael y math storio cywir i ddatrys ei broblem.
Sut olwg sydd ar eich seilwaith storio?
Oherwydd bod gennym ni ecosystem amrywiol iawn a llawer o ddatblygwyr gwahanol, ni allwn gynnig un cynnyrch. Mae gennym storfa gwrthrychau, ffeiliau a blociau. Mae'r rhain yn gynhyrchion gwahanol ac rydym yn cynnig gwahanol fathau o dechnolegau i'w cyflwyno. Ar gyfer bloc rydym yn defnyddio SAN. Mae gennym hefyd SDS, sy'n darparu opsiwn storio bloc arall gyda set wahanol o ofynion perfformiad. Ar gyfer ffeiliau rydym yn defnyddio NFS. Defnyddir SDS hefyd ar gyfer storio gwrthrychau. Mae'r rhannau bloc a gwrthrych yn ffurfio cwmwl preifat mewnol ar gyfer cyfrifiadura a storio.
Felly nid ydych chi'n defnyddio storfa cwmwl cyhoeddus?
Mae hynny'n iawn. Mae gan rai timau datblygu ganiatâd i ddefnyddio cymylau cyhoeddus. Ond oherwydd natur ein busnes, mae’n well gennym ni gael mwy o reolaeth dros y pethau sy’n gadael ein muriau. Felly oes, mae gennym ni ein cymylau ein hunain sydd o dan ein rheolaeth. Offer yw hwn sydd wedi'i leoli yn ein canolfan ddata o dan ein rheolaeth.
Yn ein canolfannau data, mae'n well gennym strategaeth aml-werthwr. Maent yn gyflenwyr mawr, ond ni fyddwn yn dweud pwy yn union (mae'n bolisi gan Bloomberg i beidio â chymeradwyo unrhyw gyflenwr, tua. cyfieithydd).
A ydych chi'n defnyddio seilwaith hypergydgyfeiriol i adeiladu'ch cwmwl preifat?
Nac ydw. Rydym ni yn Bloomberg yn dewis cyfeiriad lle nad ydym yn symud tuag at or-gydgyfeirio. Rydyn ni'n ceisio datgysylltu cyfrifiaduron o'r storfa er mwyn i ni allu eu graddio'n annibynnol. Y cyfeiriad rydyn ni'n symud iddo, yn enwedig gyda'n cwmwl, yw i ni allu gwahanu'r ddau endid hynny. Ac i gyd oherwydd bod angen cyfrifiadau dwys ar rai pethau yn ein gwlad, tra bod angen storio eraill. Os byddwch yn eu graddio’n gyfartal, byddwch yn colli adnoddau, ni waeth arian, neu ofod mewn canolfannau data, neu drwy brynu capasiti nad oes ei angen arnoch. Dyna pam rydyn ni'n hoffi cael rhyngwyneb cyffredin rhwng y ddau endid, ond eu cael yn systemau hollol wahanol ac yn cael eu rheoli gan dimau gwahanol.
Pa rwystrau sy'n rhaid eu goresgyn i adeiladu cwmwl preifat?
Problem maint. Fel gyda'r rhan fwyaf o bethau, mae'r diafol yn y manylion. Pan fyddwch chi'n meddwl sut mae'r pethau hyn yn gweithio, sut i'w gwneud yn wydn, sut i drin y llwyth gweithredol, sut rydych chi'n cyfathrebu â'r timau asedau corfforol, mae pethau'n mynd ychydig yn ddiddorol. Yr her yw dod o hyd i ffordd o wneud popeth yn gynnyrch graddadwy a chefnogol y byddai ein datblygwyr cymwysiadau am ei ddefnyddio, gan allu cyfoethogi'r set nodwedd wrth aros ar flaen y gad o ran yr hyn y mae'r cwmwl cyhoeddus yn ei wneud. A hefyd i ddod â'r cyfan at ei gilydd fel ei fod yn parhau i weithio. Dyma ein prif broblem - rydym yn gweithio ar draws pob maes o'r busnes, yn ceisio bodloni pob angen, ond nid yn anwybyddu anghenion eraill.
Ydych chi'n meddwl bod angen y nodweddion diweddaraf sydd ar gael yn AWS a chymylau cyhoeddus eraill?
Y ffaith fwyaf hwyliog am S3 yw bod safon byw yn newid yn gyson, mae nodweddion newydd bob amser yn cael eu hychwanegu. Mae fel tegan newydd. Os bydd rhywun yn gweld nodwedd newydd mewn datganiad newydd, maen nhw ei eisiau. Nid yw holl nodweddion AWS yn berthnasol yn ein hamgylchedd, felly mae'n bwysig ac yn ddiddorol gwybod beth fydd yn helpu datblygwyr a sut i'w gael yn fewnol.
Pa offer storio ydych chi'n ei ddefnyddio?
Rydym yn defnyddio'r offer diweddaraf. Mae ein cwmwl mewnol wedi'i seilio'n llwyr ar NVMe Flash, sy'n gwneud y systemau hyn yn bwerus iawn. Mae'n gwneud ein bywydau ychydig yn haws, ac mae hefyd yn nodwedd braf i'n datblygwyr oherwydd nid oes rhaid iddynt boeni am berfformiad storio.
Ar gyfer beth ydych chi'n defnyddio storio gwrthrychau?
Mae gennym 6000 o ddatblygwyr yn gweithio ar seilwaith, nid ydynt wedi’u huno gan unrhyw achos un defnydd. Unrhyw opsiwn y gallwch chi feddwl amdano, mae'n debyg ei fod gennym ni mewn storfa gwrthrychau. Mae rhai timau yn ei ddefnyddio ar gyfer storio archifol oer, rhai ar gyfer trosglwyddo data, ac eraill sy'n ei ddefnyddio ar gyfer cymwysiadau trafodion. Mae pob un o'r achosion defnydd hyn yn gofyn am wahanol lefelau o CLG, felly fel y gwelwch, mae gennym wahanol fathau o draffig, pob math o anghenion ar gyfer gwahanol ddefnyddwyr ein seilwaith. Nid yw hwn yn achos defnydd homogenaidd sy'n rhedeg ar ben unrhyw un o'n storfa, sy'n amlwg yn gwneud pethau'n fwy cymhleth.
Pa mor fawr yw rôl Kubernetes a chynwysyddion i chi, a sut mae hynny'n effeithio ar storio?
Rydym yn gwthio cynhyrchiant storio i greu ymdeimlad o gwmwl, ymdeimlad o rywbeth-fel-gwasanaeth, lle mae botwm i ddatblygwyr gyflymu eu crefft a chael gwared ar seilwaith ar hyd y ffordd.
Golygydd n.b.: Bydd Hydref 15, 2020 yn barod . Byddwch yn dysgu technoleg storio rhwydwaith Ceph i'w defnyddio yn eich prosiectau i wella goddefgarwch namau.
Mae gennym dri thîm, y cyntaf yw'r tîm API storio. Maent yn gwneud mynediad rhaglennol, pwyntiau terfyn, a llifoedd gwaith wedi'u diffinio ymlaen llaw ar gyfer cleientiaid datblygu apiau yn Bloomberg. Mae hwn yn dîm o ddatblygwyr gwe stack llawn, maent yn defnyddio node.js, python, technolegau ffynhonnell agored, megis Apache Airflow, felly maent yn astudio cynhwysydd a rhithwiroli.
Mae gennym hefyd ddau dîm technegol sy'n symud y darnau a'r beit mewn gwirionedd. Maent yn ymwneud yn fwy uniongyrchol â'r offer. Mae gennym lawer o offer, ac nid yw'r timau hyn yn defnyddio rhithwiroli a chynwysyddion.
Rydym yn ceisio cadw i fyny â'r hyn sy'n digwydd yn y diwydiant, gan astudio gyrwyr CSI Kubernetes, a hefyd yn gweithio'n agos gyda'r tîm sy'n gweithredu Kubernetes yn Bloomberg i asesu a allwn wneud i storfa Kubernetes weithio'n gyson â'r technolegau sydd gennym, ac mae gennym ni. mae'n gweithio. Rydym yn defnyddio SDS i gefnogi Kubernetes sy'n gysylltiedig â storio parhaus. Rydym wedi datblygu’r dechnoleg hon yn llwyddiannus, ac mae trafodaethau’n parhau rhwng y ddau dîm ynghylch sut y gallwn sicrhau bod hon ar gael i bawb arall yn Bloomberg. Rydym wedi dangos bod hyn yn eithaf posibl.
Pa feddalwedd ffynhonnell agored arall ydych chi'n ei ddefnyddio, yn enwedig ar gyfer storio?
Rydym yn defnyddio Apache Airflow, HAProxy i gyfyngu ar draffig cais. Rydym hefyd yn defnyddio Ceph, llwyfan ar gyfer SDS. Ag ef, gallwch gael un system ar gyfer gorchmynion, ond darparu rhyngwynebau lluosog i gleientiaid. Mae un o'r llwyfannau rhithwiroli yn rhedeg ar OpenStack - rydym yn gweithio'n agos gyda'r tîm hwn. Mae gennym lwyfan rhithwiroli ffynhonnell agored sy'n defnyddio'r platfform SDS ffynhonnell agored ar gyfer storio. Mae'n ddoniol.
Pa dechnolegau storio ydych chi'n eu hystyried ar gyfer y ddwy i dair blynedd nesaf?
Rydyn ni bob amser yn edrych i mewn i bethau newydd cŵl eraill sy'n digwydd yn y diwydiant storio. Mae hyn yn rhan o'n gwaith, nid "dyma eich SAN, rheoli yma, a dyma eich NFS, rheoli yno." Rydym yn ceisio cyfathrebu â'n cleientiaid, h.y. gan ein datblygwyr cymwysiadau. Rydym yn gweithio gyda'n gilydd i ddeall pa broblemau y maent yn ceisio eu datrys a sut y bydd yn effeithio ar ein cleientiaid Bloomberg allanol - y banciau ac eraill sy'n defnyddio ein meddalwedd. Ac yna awn yn ôl i fyd storio data i ddod o hyd i gyfleoedd i'w helpu i gyflawni eu nod. Sut allwn ni eu helpu i ddod o hyd i'r dechnoleg storio gywir sy'n cyd-fynd â'u CLG neu beth maen nhw'n ceisio ei wneud? Gan fod gennym gymaint o beirianwyr yn gwneud pethau cŵl, nid yw byth yn mynd yn ddiflas.
Ar hyn o bryd rydym yn edrych ar ffyrdd o wella perfformiad ar gyfer SDS a allai o bosibl redeg ar weinyddion pwrpas cyffredinol. Felly rydyn ni'n gweithio ar NVMe dros TCP, mae hon yn fenter ddiddorol ac oer iawn, un o lawer. Rydym hefyd yn gweithio gyda phobl allweddol yn y diwydiant a rhai o'r cyflenwyr presennol i ddarganfod beth maen nhw'n ei gynnig a beth fydd y perfformiad gwirioneddol, a allwn ni ddechrau ei ddefnyddio wrth gynhyrchu yn y cwmni. Mae hyn yn agor gorwelion newydd nad oedd yn hygyrch o'r blaen.
Ychydig o help yn PS
ON Os caf, hoffwn eich atgoffa y cynhelir Medi 28-30 , i'r rhai nad ydynt yn adnabod Kubernetes, ond sydd am ddod yn gyfarwydd ag ef a dechrau gweithio gydag ef.
Ffynhonnell: hab.com