TL; DR: Sehlopha sa Bloomberg Storage Engineering se thehile polokelo ea leru bakeng sa ts'ebeliso ea kahare e sa sitisoeng le meaho mme e ka mamella boima bo boima ba ho se tsitse ha khoebo nakong ea seoa.
Mattew Leonard, ha a bua ka mosebetsi oa hae e le molaoli oa botekgeniki sehlopheng sa Bloomberg Storage Engineering, hangata o sebelisa mantsoe “phephetso” le “monate.” Liqholotso li hlaha ho tloha sebakeng se pharaletseng sa polokelo, ho tloha mefuteng ea morao-rao ea SAN e thehiloeng ho NVMe ho bula polokelo e hlalositsoeng ke software ho DevOps. Mona ke moo "monate" o qalang (sheba avatar ea ka ho Habré, hoo e ka bang. mofetoleli).
Leonard le sehlopha sa hae sa basebetsi-'moho le eena ba 25 ba okametse li-petabyte tse fetang 100 tsa bokhoni le leru la ka hare bakeng sa lienjiniere tse 6000 tse hlahisang likopo tsa Bloomberg Terminal, theknoloji e entseng Michael Bloomberg bilione. Sehlopha se rala, se haha le ho hlokomela litsamaiso tsa polokelo bakeng sa Boenjiniere ba Bloomberg.
Joalo ka mosebetsi o mong oa IT, 2020 e ne e le selemo se sa tloaelehang ho litho tsa sehlopha sa Boenjiniere ba polokelo kaha COVID-19 e ba qobella ho sebetsa hole. Leonard o re seoa sena se amme "sehlopha sa hae se momahaneng" sechabeng ha litšebelisano tsa sefahleho li ne li felisoa, empa basebetsi ba ikamahanya le maemo ka potlako ho sebetsa ba le hae ka lilaptop le seboka sa video.
Ho makatsang ke hore ke batla ho bolela hore sena ha sea ka sa mpefatsa lintho le ho feta. Ho bile le nako e khuts'oane ea ho ikamahanya le maemo - ha se bohle ba neng ba itokiselitse ho sebetsa ba le hae. Ka mor'a beke kapa tse peli bohle ba utloisisa sena. Re khonne ho fumana litsela tsa ho ipoloka re tšoarehile, ho reka le ho ntlafatsa lisebelisoa, le ho eketsa litšenyehelo ho tšehetsa k'hamphani ka linako tsena. Re ile ra tlameha ho ba le boqapi, empa ha rea ka ra tsoa kotsi
Phephetso e kholo e kanna ea ba pele ho tlhoro ea COVID-19. Sena se bakiloe ke khoebo e sa tsitsang ea 'maraka ka lebaka la matšoenyeho mabapi le phello ea seoa sena moruong oa lefatše. Bophahamo ba data bo phallelang liteisheneng tsa Bloomberg ho tsoa mebarakeng ea lichelete tsa lefats'e bo batlile bo imenne habeli, bo fihla ho likotoana tsa tlhahisoleseling tse limilione tse likete tse 240 ka matsatsi a mang mafelong a Hlakubele. Ena ke teko e tebileng ea litsamaiso tsa polokelo.
Ha hang-hang u eketsa litlhoko tsa hau tsa polokelo habeli ka letsatsi le le leng, ho baka mathata a khahlisang. Re khonne ho hlola sena mme ra netefatsa hore lihlopha tsa ntlafatso ea likopo li fuoa sebaka le ts'ebetso eo li e hlokang. Boholo ba sena bo amana le tsela eo re nahanang ka eona ka mekhoa ea polokelo. Kajeno ha re bōpe letho. Ha re re, "Re sebelisa ABC, kahoo re tla haha lisebelisoa tsa ABC." Re etsa seo re se bitsang "data budgeting" le lihlopha tsa rona ho lepa tšebeliso, ho sekaseka ts'ebeliso le mekhoa ea ts'ebetso, hape re sheba ts'ireletso. Mofuta ona oa ho rera, ho nahana le ho ba hlokolosi ka mokhoa o nepahetseng ho re lumella ho nka khato e matla ha re ntse re tsamaea ntle le ho fufuleloa. Ke ’nete hore ke ne ke tšohile, empa ke ne ke ikutloa ke phutholohile ho ba sebakeng sa ka.
Haufinyane Leonard o buile le SearchStorage ka botlalo mabapi le ho laola polokelo ea likhoebo tse tsamaisoang ke data. O buile ka hore na ho tla nka eng ho fana ka tharollo ea polokelo ea leru ea poraefete, e nang le bokhoni ba ho fana ka likarolo tsa AWS ho basebelisi ba eona ha u ntse u boloka data efe kapa efe litsing tsa data tsa Bloomberg.
Haeba ha ho sa na seoa, ke mathata afe ao baenjiniere ba Bloomberg ba nang le ona ka ho laola polokelo?
Re na le litlhoko tse ngata, re arotsoe ka mahlakoreng a fapaneng. Kahoo re hloka ho fana ka mefuta e mengata e fapaneng ea lihlahisoa maemong a fapaneng a SLA ho thusa baetsi ba lisebelisoa tsa rona ho tsepamisa maikutlo mesebetsing ea bona ho fapana le ho tšoenyeha ka polokelo ka boeona.
Hona u latela leano lefe bakeng sa see?
Karolo ea seo re lekang ho se etsa ke ho ntlafatsa ts'ebetso ea polokelo. Nahana ka mohlala oa AWS moo moenjiniere oa ntlafatso a kenang teng, a tobetsa konopo, ebe o "tobetsa" ka boselamose ho fumana mofuta o nepahetseng oa polokelo ho rarolla bothata ba hae.
Lisebelisoa tsa hau tsa polokelo li shebahala joang?
Hobane re na le tikoloho e fapaneng haholo le bahlahisi ba bangata ba fapaneng, re ke ke ra fana ka sehlahisoa se le seng. Re na le ntho, faele le polokelo ea block. Tsena ke lihlahisoa tse fapaneng 'me re fana ka mefuta e fapaneng ea mahlale ho li tsamaisa. Bakeng sa boloko re sebelisa SAN. Re boetse re na le SDS, e fanang ka khetho e 'ngoe ea ho boloka li-block tse nang le litlhoko tse fapaneng tsa ts'ebetso. Bakeng sa lifaele re sebelisa NFS. SDS e boetse e sebelisetsoa ho boloka ntho. Li-block le likarolo tsa ntho li theha leru la poraefete la kahare bakeng sa komporo le polokelo.
Kahoo ha u sebelise polokelo ea leru ea sechaba?
Ee ho joalo. Lihlopha tse ling tsa nts'etsopele li na le tumello ea ho sebelisa maru a sechaba. Empa ka lebaka la mofuta oa khoebo ea rona, re khetha ho ba le taolo e eketsehileng holim'a lintho tse siea marako a rona. Kahoo e, re na le maru a rona a tlas'a taolo ea rona. Sena ke lisebelisoa tse fumanehang setsing sa rona sa data tlasa taolo ea rona.
Litsing tsa rona tsa data, re khetha leano la barekisi ba bangata. Ke barekisi ba bangata, empa re ke ke ra bolela hore na hantle-ntle ke mang (ke leano la Bloomberg ho se lumelle mofani ofe kapa ofe, hoo e ka bang. mofetoleli).
Na u sebelisa lisebelisoa tsa hyperconverged ho haha leru la hau la lekunutu?
Che. Rona ba Bloomberg re khetha tsela moo re sa feteleng ho hyperconvergence. Re leka ho kopanya compute ho tloha polokelong hore re tsebe ho e lekanya ka boikemelo. Tsela eo re tsamaeang ho eona, haholo-holo ka leru la rona, ke hore re tsebe ho arola likarolo tseo tse peli. 'Me tsohle hobane lintho tse ling naheng ea rona li hloka lipalo tse matla, ha tse ling li hloka polokelo. Haeba u li lekanya ka ho lekana, u tla lahleheloa ke lisebelisoa, ho sa tsotellehe chelete, kapa sebaka libakeng tsa data, kapa ka ho reka bokhoni boo u sa bo hlokeng. Ke ka lebaka leo re ratang ho ba le khokahano e tšoanang lipakeng tsa mekhatlo e 'meli, empa e be litsamaiso tse fapaneng ka ho felletseng le tse laoloang ke lihlopha tse fapaneng.
Ke litšitiso life tse lokelang ho hlōloa ho haha leru la poraefete?
Bothata ba sekala. Joalo ka lintho tse ngata, diabolosi o ka lintlha. Ha u nahana ka hore na lintho tsena li sebetsa joang, mokhoa oa ho li etsa hore li be matla, mokhoa oa ho sebetsana le mojaro oa ts'ebetso, mokhoa oa ho buisana le lihlopha tsa thepa ea 'mele, lintho li thahasellisa hanyenyane. Phephetso ke ho fumana mokhoa oa ho etsa hore ntho e 'ngoe le e 'ngoe e be sehlahisoa se ka senyehang le se ka tšeptjoang seo baetsi ba lisebelisoa tsa rona ba ka batlang ho se sebelisa, ho khona ho ntlafatsa sebopeho se behiloeng ha re ntse re le mothating oa seo leru la sechaba le se etsang. Le ho e kopanya kaofela e le hore e tsoele pele ho sebetsa. Ena ke bothata ba rona bo ka sehloohong - re sebetsa libakeng tsohle tsa khoebo, re leka ho khotsofatsa litlhoko tsohle, empa re sa hlokomolohe litlhoko tse ling.
Na u nahana hore u hloka likarolo tsa morao-rao tse fumanehang ho AWS le maru a mang a sechaba?
Taba e monate ka ho fetisisa ka S3 ke hore maemo a bophelo a lula a fetoha, likarolo tse ncha li lula li eketsoa. E tšoana le toy e ncha. Haeba motho a bona karolo e ncha tokollong e ncha, oa e batla. Ha se likarolo tsohle tsa AWS tse sebetsang tikolohong ea rona, kahoo ho bohlokoa ebile hoa thahasellisa ho tseba hore na ke eng e tla thusa bahlahisi le hore na ba ka e fumana joang ka tlung.
U sebelisa lisebelisoa life tsa polokelo?
Re sebelisa lisebelisoa tsa morao-rao. Leru la rona la ka hare le thehiloe ka ho feletseng ho NVMe Flash, e etsang hore litsamaiso tsena li be matla haholo. E etsa hore bophelo ba rona bo be bobebe, hape ke karolo e ntle ho bahlahisi ba rona hobane ha ba na ho tšoenyeha ka ts'ebetso ea polokelo.
U sebelisa polokelo ea lintho bakeng sa eng?
Re na le bahlahisi ba 6000 ba sebetsang ho tsa meaho, ha ba kopane ke ts'ebeliso e le 'ngoe. Khetho efe kapa efe eo u ka e nahanang, mohlomong re na le eona polokelong ea ntho. Lihlopha tse ling li e sebelisa bakeng sa polokelo e batang ea polokelo, tse ling bakeng sa phetisetso ea data, 'me tse ling li e sebelisetsa lits'ebetso tsa transaction. Linyeoe tsena kaofela tsa ts'ebeliso li hloka maemo a fapaneng a SLA, joalo ka ha u bona, re na le mefuta e fapaneng ea sephethephethe, litlhoko tsa mefuta eohle bakeng sa basebelisi ba fapaneng ba lisebelisoa tsa rona. Sena ha se ts'ebeliso e ts'oanang e sebetsang ka holim'a leha e le efe ea polokelo ea rona, eo ka ho hlakileng e etsang hore lintho li be thata haholoanyane.
Kubernetes le lijana li na le karolo e kae ho uena, 'me seo se ama polokelo joang?
Re ntse re hatella tlhahiso ea polokelo ho theha maikutlo a maru, maikutlo a ho hong-as-a-service, moo ho nang le konopo ea bahlahisi ho potlakisa mosebetsi oa bona oa matsoho le ho tlosa lisebelisoa tsa motheo tseleng.
NB ea mohlophisi: La 15 Mphalane 2020 e tla be e lokile . U tla ithuta theknoloji ea polokelo ea marang-rang ea Ceph eo u ka e sebelisang mererong ea hau ho ntlafatsa mamello ea liphoso.
Re na le lihlopha tse tharo, ea pele ke sehlopha sa polokelo ea API. Ba etsa phihlello ea mananeo, li-endpoints, le li-workflows tse boletsoeng esale pele bakeng sa bareki ba nts'etsopele ea lits'ebetso ho Bloomberg. Ena ke sehlopha sa baetsi ba marang-rang ba marang-rang ba felletseng, ba sebelisa li-node.js, python, mahlale a bulehileng a mohloli, joalo ka Apache Airflow, ka hona ba ithuta ka li-containation le virtualization.
Hape re na le lihlopha tse peli tsa tekheniki tse tsamaisang li-bits le li-byte. Li amana ka ho toba le lisebelisoa. Re na le lisebelisoa tse ngata, 'me lihlopha tsena ha li sebelise virtualization le lijana.
Re leka ho tsamaisana le se etsahalang indastering, re ithuta ka bakhanni ba Kubernetes CSI, hape re sebetsa haufi-ufi le sehlopha se sebelisang Kubernetes Bloomberg ho lekola hore na re ka etsa hore polokelo ea Kubernetes e sebetse ka mokhoa o ts'oanang le mahlale ao re nang le ona, 'me re na le. ea sebetsa. Re sebelisa SDS ho ts'ehetsa Kubernetes e hokahaneng le polokelo e tsitsitseng. Re atlehile ho ntlafatsa theknoloji ena, 'me lipuisano li ntse li tsoela pele pakeng tsa lihlopha tsena tse peli mabapi le hore na re ka etsa hore sena se fumanehe ho bohle ba Bloomberg. Re bontšitse hore sena se ka khoneha.
Ke software efe e 'ngoe e bulehileng eo u e sebelisang, haholo bakeng sa polokelo?
Re sebelisa Apache Airflow, HAProxy ho fokotsa sephethephethe sa kopo. Re boetse re sebelisa Ceph, sethala sa SDS. Ka eona, o ka ba le sistimi e le 'ngoe bakeng sa litaelo, empa fana ka li-interfaces tse ngata ho bareki. E 'ngoe ea li-platform tsa virtualization e sebetsa ho OpenStack - re sebetsa haufi-ufi le sehlopha sena. Re na le sethala se bulehileng sa virtualization se sebelisang sethala sa SDS se bulehileng bakeng sa polokelo. Hoa qabola.
Ke mekhoa efe ea polokelo eo u nahanang ka eona bakeng sa lilemo tse peli ho isa ho tse tharo tse tlang?
Re lula re shebile lintho tse ling tse monate tse etsahalang indastering ea polokelo. Ena ke karolo ea mosebetsi oa rona, ha se "SAN ea hau ke ena, laola mona, 'me NFS ea hau ke ena, laola moo." Re leka ho buisana le bareki ba rona, i.e. ka baetsi ba lisebelisoa tsa rona. Re sebetsa 'moho ho utloisisa mathata ao ba lekang ho a rarolla le hore na a tla ama bareki ba rona ba kantle ba Bloomberg joang - libanka le tse ling tse sebelisang software ea rona. Ebe re khutlela lefats'eng la polokelo ea data ho fumana menyetla ea ho ba thusa ho fihlela sepheo sa bona. Re ka ba thusa joang ho fumana theknoloji e nepahetseng ea polokelo e lekanang SLA ea bona kapa seo ba lekang ho se etsa? Hobane re na le lienjineri tse ngata tse etsang lintho tse ntle, ha ho mohla e tenang.
Hajoale re ntse re batla mekhoa ea ho ntlafatsa ts'ebetso ea SDS e ka sebetsang ho li-server tsa sepheo se akaretsang. Kahoo re sebetsa ho NVMe holim'a TCP, ona ke mohato o khahlisang haholo ebile o monate, o mong oa a mangata. Re boetse re sebetsa le batho ba bohlokoa indastering le ba bang ba bafani ba thepa ba teng ho fumana hore na ba fana ka eng le hore na ts'ebetso ea sebele e tla ba efe, hore na re ka qala ho e sebelisa tlhahiso ea k'hamphani. Sena se bula menyetla e mecha e neng e sa fumanehe pele.
Thuso e nyane ho PS
PS Haeba nka khona, ke rata ho u hopotsa hore September 28-30 e tla tšoaroa , bakeng sa ba sa tsebeng Kubernetes, empa ba batla ho tloaelana le eona le ho qala ho sebetsa le eona.
Source: www.habr.com