TL; DR: Tim Téknik Panyimpenan Bloomberg nyiptakeun panyimpen awan pikeun panggunaan internal anu henteu ngaganggu infrastruktur sareng tiasa nahan beban beurat volatilitas dagang salami pandémik.
Mattew Leonard, nalika nyarioskeun padamelanna salaku manajer téknis dina tim Téknik Panyimpenan Bloomberg, sering nganggo kecap "nangtang" sareng "senang". Tantanganna timbul tina wengkuan panyimpen anu lega, tina susunan SAN basis NVMe panganyarna pikeun muka panyimpenan anu didefinisikeun ku parangkat lunak dina DevOps. Ieu dimana "senang" dimimitian (tingali avatar kuring dina Habré, kira-kira. penerjemah).
Leonard jeung tim nya 25 kolega ngawasan leuwih ti 100 petabytes kapasitas na awan internal pikeun 6000 insinyur ngamekarkeun aplikasi pikeun Terminal Bloomberg, téhnologi nu dijieun Michael Bloomberg a billionaire. Tim ngarancang, ngawangun sareng ngajaga sistem panyimpen pikeun Téknik Bloomberg.
Sapertos sesa profési IT, 2020 mangrupikeun taun anu teu biasa pikeun anggota tim Téknik Panyimpen nalika COVID-19 maksa aranjeunna damel jarak jauh. Leonard nyatakeun yén pandémik parantos mangaruhan "tim rajutan" na sacara sosial nalika interaksi tatap muka dileungitkeun, tapi staf parantos gancang adaptasi pikeun damel ti bumi dina laptop sareng konperénsi pidéo.
Amazingly, abdi hoyong disebutkeun yen ieu teu nyieun kaayaan goréng. Aya waktos adaptasi anu pondok - henteu sadayana siap damel ti bumi. Saatos saminggu atanapi dua sadayana ngartos ieu. Kami tiasa mendakan cara pikeun tetep sibuk, mésér sareng ningkatkeun alat, sareng ningkatkeun biaya pikeun ngadukung perusahaan salami waktos ieu. Urang kedah janten kreatif, tapi urang henteu cilaka
Tangtangan anu paling ageung sigana parantos sateuacanna puncak COVID-19. Ieu alatan dagang pasar volatile alatan kasalempang dampak pandémik kana ékonomi global. Volume data ngalir kana terminal Bloomberg ti pasar modal global ampir dua kali, ngahontal 240 miliar potongan informasi dina sababaraha poé dina ahir Maret. Ieu mangrupikeun tés serius pikeun sistem panyimpen.
Nalika anjeun langsung ngagandakeun syarat panyimpenan anjeun dina hiji dinten, éta nyiptakeun masalah anu pikaresepeun. Kami tiasa ngatasi ieu sareng mastikeun yén tim pangembangan aplikasi dipasihan rohangan sareng kinerja anu diperyogikeun. Kaseueuran ieu aya hubunganana sareng kumaha urang mikir ngeunaan sistem panyimpen. Dinten ieu kami henteu nyiptakeun nanaon. Kami henteu nyarios, "Kami nganggo ABC, janten kami bakal ngawangun infrastruktur pikeun ABC." Kami ngalakukeun naon anu kami sebut "penganggaran data" sareng tim kami pikeun ngaramal pamakean, nganalisa tren pamakean sareng kinerja, sareng kami ogé ningali kaamanan. Jenis perencanaan, pamikiran, sareng karajinan anu metodis ieu ngamungkinkeun urang nyandak tindakan drastis dina lonjakan tanpa ngejat. Tangtu, kuring gugup, tapi kuring ngarasa nyaman di tempat kuring.
Leonard nembe nyarios sareng SearchStorage sacara rinci ngeunaan ngokolakeun panyimpen pikeun usaha anu didorong ku data. Anjeunna ngabahas naon anu diperyogikeun pikeun nawiskeun solusi panyimpen awan pribadi, kalayan kamampuan pikeun nyayogikeun fitur AWS ka pangguna bari tetep data dina pusat data Bloomberg.
Upami teu aya deui pandémik, naon kasusah insinyur Bloomberg dina ngatur panyimpenan?
Urang kudu loba kaperluan, urang ngan torn arah béda. Janten urang kedah nyayogikeun seueur jinis produk dina tingkat SLA anu béda pikeun ngabantosan pamekar aplikasi urang fokus kana tugasna tibatan hariwang ngeunaan panyimpen éta.
Sareng strategi naon anu anjeun tuturkeun pikeun ieu?
Bagian tina naon anu urang coba laksanakeun nyaéta ningkatkeun kinerja panyimpenan. Pikirkeun modél AWS dimana insinyur pamekaran asup, pencét tombol, teras "klik" sacara gaib kéngingkeun jinis panyimpen anu pas pikeun ngabéréskeun masalahna.
Naon rupa infrastruktur panyimpenan anjeun?
Kusabab kami gaduh ékosistem anu rupa-rupa sareng seueur pamekar anu béda, kami henteu tiasa nawiskeun produk tunggal. Kami ngagaduhan obyék, file sareng panyimpen blok. Ieu mangrupikeun produk anu béda sareng kami nawiskeun sababaraha jinis téknologi pikeun nganteurkeunana. Pikeun blok kami nganggo SAN. Urang ogé boga SDS, nu nyadiakeun pilihan gudang block sejen kalawan set béda tina syarat kinerja. Pikeun file kami nganggo NFS. SDS ogé dipaké pikeun neundeun objék. Bagian blok sareng objék ngabentuk awan pribadi internal pikeun komputasi sareng neundeun.
Janten anjeun henteu nganggo panyimpenan awan umum?
Éta leres. Sababaraha tim pamekaran ngagaduhan idin pikeun nganggo awan umum. Tapi kusabab sipat bisnis urang, urang leuwih resep boga kontrol leuwih kana hal anu ninggalkeun tembok urang. Janten enya, urang gaduh awan sorangan anu aya dina kontrol urang. Ieu mangrupikeun alat anu aya di pusat data kami di handapeun manajemén kami.
Dina puseur data urang, urang resep strategi multi-vendor. Aranjeunna mangrupikeun panyalur ageung, tapi kami moal nyarios saha persisna (éta kabijakan Bloomberg pikeun henteu ngesahkeun panyadia naon waé, kira-kira. penerjemah).
Naha anjeun nganggo infrastruktur hyperconverged pikeun ngawangun awan pribadi anjeun?
No. Kami di Bloomberg milih arah dimana urang henteu nuju ka hiperkonvergénsi. Kami nyobian ngasingkeun komputasi tina panyimpenan supados urang tiasa skala sacara mandiri. Arah anu urang nuju, khususna sareng awan urang, nyaéta pikeun urang tiasa misahkeun dua éntitas éta. Sareng sadaya sabab sababaraha hal di nagara urang peryogi itungan anu intensif, sedengkeun anu sanésna peryogi panyimpen. Lamun skala aranjeunna merata, anjeun bakal leungit sumberdaya, euweuh urusan duit, atawa spasi dina puseur data, atawa ku meuli kapasitas nu teu butuh. Éta pisan sababna naha urang resep boga panganteur umum antara dua éntitas, tapi boga aranjeunna sistem sagemblengna béda jeung dikelola ku tim béda.
Naon halangan anu kedah diatasi pikeun ngawangun awan pribadi?
Masalah skala. Sapertos seueur hal, Iblis aya dina detil. Nalika anjeun mikirkeun kumaha hal-hal ieu jalan, kumaha carana ngajantenkeun aranjeunna tahan banting, kumaha nanganan beban operasional, kumaha anjeun komunikasi sareng tim aset fisik, hal-hal janten sakedik pikaresepeun. Tangtanganna nyaéta pikeun milari jalan pikeun ngajantenkeun sadayana produk anu tiasa skala sareng tiasa dirojong anu hoyong dianggo ku pamekar aplikasi urang, tiasa ngabeungharan set fitur bari tetep dina ujung motong naon anu dilakukeun ku awan umum. Sareng ogé pikeun ngahijikeun sadayana supados teras tiasa dianggo. Ieu mangrupikeun masalah utama urang - urang damel di sadaya daérah bisnis, nyobian nyugemakeun sadaya kabutuhan, tapi henteu malire kabutuhan sanés.
Naha anjeun pikir anjeun peryogi fitur panganyarna anu sayogi dina AWS sareng awan umum anu sanés?
Kanyataan anu paling pikaresepeun ngeunaan S3 nyaéta standar hirup anu terus-terusan robih, fitur-fitur anyar sok ditambahan. Ieu kawas kaulinan anyar. Upami aya anu ningali fitur énggal dina rilis énggal, aranjeunna hoyong éta. Henteu sadayana fitur AWS tiasa dianggo di lingkungan urang, janten penting sareng pikaresepeun pikeun terang naon anu bakal ngabantosan pamekar sareng kumaha cara nyandak éta di bumi.
Alat panyimpen naon anu anjeun anggo?
Urang ngagunakeun parabot panganyarna. Awan internal urang sagemblengna dumasar kana NVMe Flash, nu ngajadikeun sistem ieu pohara kuat. Éta ngagampangkeun kahirupan urang, sareng éta ogé mangrupikeun fitur anu saé pikeun pamekar urang sabab henteu kedah hariwang ngeunaan pagelaran panyimpenan.
Naon anu anjeun pake pikeun neundeun obyék?
Kami ngagaduhan 6000 pamekar anu damel dina infrastruktur, aranjeunna henteu dihijikeun ku hiji pasualan. Pilihan naon waé anu anjeun tiasa pikirkeun, sigana urang gaduh dina panyimpenan obyék. Sababaraha tim ngagunakeun éta pikeun neundeun arsip tiis, sababaraha pikeun mindahkeun data, sareng anu sanésna nganggo éta pikeun aplikasi transaksi. Sadaya kasus pamakean ieu ngabutuhkeun tingkat SLA anu béda-béda, ku kituna anjeun tiasa ningali, kami ngagaduhan jinis lalu lintas anu béda-béda, sagala jinis kabutuhan pikeun pangguna anu béda tina infrastruktur kami. Ieu sanés kasus pamakean homogén anu dijalankeun dina luhureun gudang kami, anu écés ngajantenkeun hal-hal anu langkung rumit.
Sabaraha ageung peran Kubernetes sareng wadah pikeun anjeun, sareng kumaha pangaruhna kana panyimpenan?
Kami ngadorong produktivitas panyimpen pikeun nyiptakeun rasa méga, rasa hal-sakumaha-jasa, dimana aya tombol pikeun pamekar pikeun ngagancangkeun karajinan sareng ngahapus infrastruktur sapanjang jalan.
Editor urang n.b.: 15 Oktober 2020 bakal siap . Anjeun bakal diajar téknologi panyimpen jaringan Ceph pikeun dianggo dina proyék anjeun pikeun ningkatkeun kasabaran kasalahan.
Kami ngagaduhan tilu tim, anu kahiji nyaéta tim API panyimpenan. Aranjeunna ngadamel aksés programmatic, titik tungtung, sareng alur kerja anu tos siap pikeun klien pamekaran aplikasi di Bloomberg. Ieu tim pamekar web tumpukan pinuh, aranjeunna ngagunakeun node.js, python, téknologi open source, kayaning Apache Airflow, ngarah diajar containerization na virtualization.
Kami ogé gaduh dua tim téknis anu leres-leres mindahkeun bit sareng bait. Éta leuwih langsung patali jeung alat. Kami ngagaduhan seueur alat, sareng tim ieu henteu nganggo virtualisasi sareng wadahna.
Kami nyobian ngiringan naon anu lumangsung di industri, ngulik supir Kubernetes CSI, sareng ogé damel raket sareng tim anu ngalaksanakeun Kubernetes di Bloomberg pikeun meunteun naha urang tiasa ngajantenkeun panyimpen Kubernetes sacara konsisten sareng téknologi anu kami gaduh, sareng kami gaduh éta dianggo. Kami nganggo SDS pikeun ngadukung Kubernetes anu nyambung ka panyimpenan anu terus-terusan. Kami parantos suksés ngembangkeun téknologi ieu, sareng diskusi diteruskeun antara dua tim ngeunaan kumaha urang tiasa nyayogikeun ieu ka sadayana di Bloomberg. Kami geus ditémbongkeun yén ieu téh rada mungkin.
Parangkat lunak open source naon anu anjeun anggo, khususna pikeun neundeun?
Kami nganggo Apache Airflow, HAProxy pikeun ngawatesan lalu lintas aplikasi. Urang ogé ngagunakeun Ceph, platform pikeun SDS. Kalawan eta, anjeun tiasa gaduh hiji sistem pikeun paréntah, tapi nyadiakeun sababaraha interfaces ka klien. Salah sahiji platform virtualisasi dijalankeun dina OpenStack - urang damel raket sareng tim ieu. Kami gaduh platform virtualisasi open source anu ngagunakeun platform SDS open source pikeun neundeun. Éta lucu.
Naon téknologi panyimpen anu anjeun pertimbangkeun pikeun dua dugi ka tilu taun ka hareup?
Kami teras-terasan ningali hal-hal énggal anu sanés dina industri panyimpen. Ieu mangrupikeun bagian tina padamelan urang, sanés "di dieu San anjeun, kelola di dieu, sareng di dieu NFS anjeun, kelola di ditu." Urang coba komunikasi sareng klien kami, i.e. ku pamekar aplikasi urang. Kami damel babarengan pikeun ngartos masalah naon anu aranjeunna badé direngsekeun sareng kumaha éta bakal mangaruhan klien Bloomberg éksternal kami - bank sareng anu sanés anu nganggo parangkat lunak kami. Teras urang balik deui ka dunya panyimpen data pikeun milarian kasempetan pikeun ngabantosan aranjeunna ngahontal tujuanana. Kumaha urang tiasa ngabantosan aranjeunna mendakan téknologi panyimpen anu pas anu cocog sareng SLA atanapi naon anu aranjeunna nyobian? Kusabab urang gaduh seueur insinyur anu ngalakukeun hal-hal anu keren, éta henteu pernah bosen.
Urang ayeuna pilari kana cara pikeun ngaronjatkeun kinerja pikeun SDS nu berpotensi ngajalankeun on server Tujuan umum. Ku kituna urang keur dipake dina NVMe leuwih TCP, ieu inisiatif pisan metot jeung tiis, salah sahiji loba. Urang ogé gawé bareng jalma konci dina industri jeung sababaraha suppliers aya pikeun manggihan naon maranéhna nawiskeun na naon kinerja sabenerna bakal, naha urang bisa ngamimitian migunakeun eta dina produksi di pausahaan. Ieu muka cakrawala anyar anu henteu tiasa diaksés sateuacana.
Bantuan saeutik dina PS
PS Upami tiasa, abdi hoyong ngingetkeun yén 28-30 Séptémber bakal dilaksanakeun , Pikeun maranéhanana anu teu nyaho Kubernetes, tapi hayang meunang acquainted jeung eta tur mimitian gawé bareng eta.
sumber: www.habr.com