TL; DR: Bloomberg Storage Engineering komandası infrastruktura müdaxilə etməyən və pandemiya zamanı ticarət dəyişkənliyinin ağır yükünə tab gətirə bilən daxili istifadə üçün bulud yaddaşı yaratdı.
Metyu Leonard Bloomberg Storage Engineering komandasında texniki menecer kimi işindən danışarkən tez-tez “çətin” və “əyləncəli” sözlərindən istifadə edir. Çətinliklər ən son NVMe əsaslı SAN massivlərindən DevOps-da açıq mənbə proqram təminatı ilə müəyyən edilmiş yaddaşa qədər geniş saxlama sahəsindən yaranır. “Əyləncə” buradan başlayır (Habré-dəki avatarıma baxın, təqribən. tərcüməçi).
Leonard və onun 25 həmkardan ibarət komandası 100 petabaytdan çox tutuma və Michael Bloomberg-i milyarder edən texnologiya olan Bloomberg Terminalı üçün proqramlar hazırlayan 6000 mühəndis üçün daxili buludlara nəzarət edir. Komanda Bloomberg Engineering üçün saxlama sistemlərini layihələndirir, qurur və saxlayır.
İT peşəsinin qalan hissəsi kimi, 2020-ci il Storage Engineering komandasının üzvləri üçün qeyri-adi bir il oldu, çünki COVID-19 onları uzaqdan işləməyə məcbur etdi. Leonard, pandemiyanın onun "sıx bağlanmış komandasına" sosial cəhətdən təsir etdiyini söylədi, çünki üz-üzə qarşılıqlı əlaqə aradan qaldırıldı, lakin işçilər evdən noutbuklarda və video konfransda işləməyə çox tez uyğunlaşdılar.
Təəccüblü şəkildə demək istəyirəm ki, bu, vəziyyəti daha da pisləşdirmədi. Qısa bir uyğunlaşma dövrü var idi - hamı evdən işləməyə hazır deyildi. Bir-iki həftədən sonra hamı bunu başa düşdü. Biz bu dövrlərdə özümüzü məşğul saxlamaq, avadanlıq almaq və təkmilləşdirmək və şirkəti dəstəkləmək üçün xərcləri artırmaq yollarını tapa bildik. Yaradıcılıqla məşğul olmalıydıq, amma incimədik
Ən böyük problem COVID-19-un zirvəsindən əvvəl ola bilər. Buna pandemiyanın qlobal iqtisadiyyata təsiri ilə bağlı narahatlıqlar səbəbindən qeyri-sabit bazar ticarəti səbəb olub. Qlobal kapital bazarlarından Bloomberg terminallarına daxil olan məlumatların həcmi təxminən iki dəfə artaraq mart ayının sonlarında bəzi günlərdə 240 milyard informasiyaya çatdı. Bu saxlama sistemləri üçün ciddi sınaqdır.
Yaddaş tələblərinizi bir gündə iki dəfə artırdığınız zaman bu, maraqlı problemlər yaradır. Biz bunun öhdəsindən gələ bildik və proqram inkişaf komandalarına lazım olan yer və performansın verilməsini təmin edə bildik. Bunların əksəriyyəti saxlama sistemləri haqqında necə düşündüyümüzlə bağlıdır. Bu gün biz heç nə yaratmırıq. Biz demirik ki, “biz ABC-dən istifadə edirik, ona görə də ABC üçün infrastruktur quracağıq”. Biz istifadəni proqnozlaşdırmaq, istifadə və performans tendensiyalarını təhlil etmək üçün komandalarımızla "məlumat büdcəsi" adlandırdığımız işi edirik və həmçinin təhlükəsizliyə baxırıq. Bu tip planlaşdırma, düşünmə və metodik lazımi araşdırma bizə tər tökmədən dalğalanmalarda kəskin tədbirlər görməyə imkan verir. Əlbəttə, əsəbi idim, amma öz yerimdə olmaqda özümü rahat hiss edirdim.
Leonard bu yaxınlarda SearchStorage ilə dataya əsaslanan bizneslər üçün yaddaşın idarə edilməsi haqqında ətraflı danışdı. O, Bloomberg məlumat mərkəzlərində istənilən məlumatı saxlamaqla öz istifadəçilərinə AWS xüsusiyyətləri təqdim etmək imkanı ilə şəxsi bulud saxlama həlli təklif etmək üçün nə lazım olduğunu müzakirə etdi.
Artıq pandemiya yoxdursa, Bloomberg mühəndislərinin saxlama idarəsində hansı çətinlikləri var?
Çoxlu ehtiyaclarımız var, sadəcə olaraq müxtəlif istiqamətlərə cırılmışıq. Beləliklə, biz proqram tərtibatçılarımıza yaddaşın özündən narahat olmaq əvəzinə öz tapşırıqlarına diqqət yetirməkdə kömək etmək üçün müxtəlif SLA səviyyələrində çoxlu müxtəlif növ məhsullar təqdim etməliyik.
Və bunun üçün hansı strategiyanı izləyirsiniz?
Etməyə çalışdığımız işlərin bir hissəsi yaddaş performansını təkmilləşdirməkdir. İnkişaf mühəndisinin içəri girdiyi, düyməni basdığı və sonra “klikləmək” problemini həll etmək üçün sehrli şəkildə düzgün yaddaş növünü əldə etdiyi AWS modelini düşünün.
Saxlama infrastrukturunuz necə görünür?
Çox müxtəlif ekosistemimiz və çoxlu müxtəlif tərtibatçılarımız olduğu üçün tək bir məhsul təklif edə bilmərik. Bizdə obyekt, fayl və blok saxlama var. Bunlar müxtəlif məhsullardır və biz onları çatdırmaq üçün müxtəlif növ texnologiyalar təklif edirik. Blok üçün SAN istifadə edirik. Fərqli performans tələbləri dəsti ilə başqa blok saxlama seçimini təmin edən SDS də var. Fayllar üçün NFS-dən istifadə edirik. SDS həmçinin obyektin saxlanması üçün istifadə olunur. Blok və obyekt hissələri hesablama və saxlama üçün daxili şəxsi bulud təşkil edir.
Yəni ictimai bulud yaddaşından istifadə etmirsiniz?
Düzdür. Bəzi inkişaf qruplarının ictimai buludlardan istifadə etmək icazəsi var. Amma işimizin təbiətinə görə biz divarlarımızı tərk edən şeylərə daha çox nəzarət etməyə üstünlük veririk. Beləliklə, bəli, bizim nəzarətimiz altında olan öz buludlarımız var. Bu, bizim idarəmiz altında olan məlumat mərkəzimizdə yerləşən avadanlıqdır.
Məlumat mərkəzlərimizdə çoxlu təchizatçı strategiyasına üstünlük veririk. Onlar böyük tədarükçülərdir, lakin dəqiq kimin olduğunu deməyəcəyik (Bloomberg-in siyasəti heç bir təchizatçıya dəstək verməməkdir, təqribən. tərcüməçi).
Şəxsi buludunuzu yaratmaq üçün hiper birləşmiş infrastrukturdan istifadə edirsiniz?
Yox. Biz Bloomberg-də hiperkonvergensiyaya doğru getmədiyimiz bir istiqamət seçirik. Hesablamanı yaddaşdan ayırmağa çalışırıq ki, onları müstəqil şəkildə miqyaslandıraq. Hərəkət etdiyimiz istiqamət, xüsusən də buludumuzla, bu iki varlığı ayıra bilməyimiz üçündür. Həm də ona görə ki, ölkəmizdə bəzi şeylər intensiv hesablamalar tələb edir, digərləri isə saxlama tələb edir. Onları bərabər şəkildə miqyaslandırsanız, puldan, məlumat mərkəzlərində yerdən və ya ehtiyacınız olmayan tutumları satın alaraq resurslarınızı itirəcəksiniz. Buna görə də biz iki qurum arasında ümumi interfeysə malik olmağı xoşlayırıq, lakin onların tamamilə fərqli sistemlər olmasını və fərqli komandalar tərəfindən idarə olunmasını istəyirik.
Şəxsi bulud yaratmaq üçün hansı maneələri aşmaq lazımdır?
Miqyas problemi. Əksər işlərdə olduğu kimi, şeytan təfərrüatlardadır. Bu şeylərin necə işlədiyini, onları necə davamlı hala gətirəcəyinizi, əməliyyat yükünü necə idarə edəcəyinizi, fiziki aktiv komandaları ilə necə ünsiyyət quracağınızı düşünəndə işlər bir az maraqlı olur. Çətinlik, ictimai buludun gördüyü işin ən qabaqcıl kənarında qalaraq, xüsusiyyətlər dəstini zənginləşdirə bilməklə, proqram tərtibatçılarımızın istifadə etmək istədikləri hər şeyi genişləndirilə bilən və dəstəklənən məhsula çevirmək üçün bir yol tapmaqdır. Həm də hamısını bir araya gətirmək ki, işləməyə davam etsin. Bu, bizim əsas problemimizdir - biz biznesin bütün sahələrində işləyirik, bütün ehtiyacları ödəməyə çalışırıq, lakin digər ehtiyacları da gözardı etmirik.
Sizcə, AWS və digər ictimai buludlarda mövcud olan ən son xüsusiyyətlərə ehtiyacınız varmı?
S3 ilə bağlı ən əyləncəli fakt odur ki, həyat standartı daim dəyişir, daima yeni funksiyalar əlavə olunur. Təzə oyuncaq kimidir. Kimsə yeni buraxılışda yeni funksiya görürsə, bunu istəyir. Bütün AWS xüsusiyyətləri bizim mühitimizdə tətbiq olunmur, ona görə də tərtibatçılara nəyin kömək edəcəyini və onu evdə necə əldə edəcəyinizi bilmək vacibdir və maraqlıdır.
Hansı saxlama avadanlıqlarından istifadə edirsiniz?
Ən son avadanlıqlardan istifadə edirik. Daxili buludumuz tamamilə NVMe Flash-a əsaslanır və bu sistemləri çox güclü edir. Bu, həyatımızı bir az asanlaşdırır, həm də tərtibatçılarımız üçün gözəl xüsusiyyətdir, çünki onlar yaddaş performansından narahat deyillər.
Obyekt yaddaşını nə üçün istifadə edirsiniz?
İnfrastruktur üzərində işləyən 6000 tərtibatçımız var, onları heç bir istifadə halı birləşdirmir. Düşünə biləcəyiniz hər hansı bir seçim, ehtimal ki, obyekt yaddaşında var. Bəzi komandalar ondan soyuq arxiv saxlama üçün, bəziləri məlumat ötürülməsi üçün, digərləri isə əməliyyat proqramları üçün istifadə edirlər. Bütün bu istifadə halları müxtəlif səviyyələrdə SLA tələb edir, buna görə də gördüyünüz kimi, bizdə müxtəlif trafik növləri, infrastrukturumuzun müxtəlif istifadəçiləri üçün hər cür ehtiyac var. Bu, hər hansı bir anbarımızın üstündə işləyən homojen bir istifadə halı deyil və bu, açıq şəkildə hər şeyi daha mürəkkəb edir.
Kubernetes və konteynerlər sizin üçün nə qədər böyük rol oynayır və bu, yaddaşa necə təsir edir?
Biz bulud hissi, xidmət kimi bir şey hissi yaratmaq üçün saxlama məhsuldarlığını gücləndiririk, burada tərtibatçılar öz sənətlərini sürətləndirmək və yol boyu infrastrukturu silmək üçün düymə var.
Redaktor n.b.: 15 oktyabr 2020-ci il hazır olacaq . Siz xəta dözümlülüyünü yaxşılaşdırmaq üçün layihələrinizdə istifadə etmək üçün Ceph şəbəkə saxlama texnologiyasını öyrənəcəksiniz.
Üç komandamız var, birincisi yaddaş API komandasıdır. Bloomberg-də proqram inkişaf etdirmə müştəriləri üçün proqramatik giriş, son nöqtələr və əvvəlcədən təyin edilmiş iş axınları yaradırlar. Bu, tam stack veb tərtibatçılarından ibarət komandadır, onlar node.js, python, Apache Airflow kimi açıq mənbə texnologiyalarından istifadə edir, ona görə də konteynerləşdirmə və virtuallaşdırmanı öyrənirlər.
Həm də bitləri və baytları hərəkət etdirən iki texniki komandamız var. Onlar daha çox avadanlıqla birbaşa əlaqəlidir. Çoxlu avadanlıqlarımız var və bu komandalar virtuallaşdırma və konteynerlərdən istifadə etmirlər.
Biz sənayedə baş verənlərlə ayaqlaşmağa çalışırıq, Kubernetes CSI sürücülərini öyrənirik, həmçinin Kubernetes yaddaşını əlimizdə olan texnologiyalarla ardıcıl şəkildə işləyə biləcəyimizi qiymətləndirmək üçün Bloomberg-də Kubernetes tətbiq edən komanda ilə sıx əməkdaşlıq edirik. işləyir . Davamlı yaddaşa qoşulmuş Kubernetes-i dəstəkləmək üçün SDS-dən istifadə edirik. Biz bu texnologiyanı uğurla inkişaf etdirdik və bunu Bloomberg-də hər kəs üçün necə əlçatan edə biləcəyimizlə bağlı iki komanda arasında müzakirələr davam edir. Bunun tamamilə mümkün olduğunu göstərdik.
Xüsusilə saxlama üçün başqa hansı açıq mənbə proqram təminatından istifadə edirsiniz?
Tətbiq trafikini məhdudlaşdırmaq üçün Apache Airflow, HAProxy istifadə edirik. SDS üçün platforma olan Ceph də istifadə edirik. Bununla, əmrlər üçün bir sistemə sahib ola bilərsiniz, lakin müştərilərə birdən çox interfeys təqdim edə bilərsiniz. Virtuallaşdırma platformalarından biri OpenStack üzərində işləyir - biz bu komanda ilə sıx əməkdaşlıq edirik. Saxlama üçün açıq mənbə SDS platformasından istifadə edən açıq mənbəli virtuallaşdırma platformamız var. Bu gülməlidir.
Növbəti iki-üç il ərzində hansı saxlama texnologiyalarını nəzərdən keçirirsiniz?
Biz həmişə saxlama sənayesində baş verən digər gözəl yeni şeyləri araşdırırıq. Bu, bizim işimizin bir hissəsidir, “burada SAN-ınız var, burada idarə edin və burada NFS-iniz var, orada idarə edin” deyil. Biz müştərilərimizlə ünsiyyət qurmağa çalışırıq, yəni. proqram tərtibatçılarımız tərəfindən. Onların hansı problemləri həll etməyə çalışdıqlarını və bunun xarici Bloomberg müştərilərimizə - banklar və proqram təminatımızdan istifadə edən digər müştərilərimizə necə təsir edəcəyini anlamaq üçün birlikdə işləyirik. Və sonra biz onlara məqsədlərinə çatmaqda kömək etmək üçün imkanlar tapmaq üçün məlumat saxlama dünyasına qayıdırıq. Onların SLA-larına və ya etməyə çalışdıqlarına uyğun olan düzgün saxlama texnologiyasını tapmaqda onlara necə kömək edə bilərik? Gözəl işlərlə məşğul olan çoxlu mühəndislərimiz olduğundan, bu heç vaxt darıxdırıcı olmur.
Hazırda biz ümumi təyinatlı serverlərdə potensial olaraq işləyə bilən SDS üçün performansı təkmilləşdirməyin yollarını axtarırıq. Beləliklə, biz TCP üzərindən NVMe üzərində işləyirik, bu çox maraqlı və gözəl təşəbbüsdür, çoxlarından biridir. Biz həmçinin sənayenin əsas insanları və bəzi mövcud təchizatçılarla onların nə təklif etdiyini və faktiki performansın nə olacağını, şirkətdə istehsalda istifadə etməyə başlaya biləcəyimizi öyrənmək üçün işləyirik. Bu, əvvəllər əlçatan olmayan yeni üfüqlər açır.
PS-də bir az kömək
P.S. İmkanım olsa, xatırlatmaq istərdim ki, 28-30 sentyabr keçiriləcək , Kubernetes-i tanımayan, lakin onunla tanış olmaq və onunla işləməyə başlamaq istəyənlər üçün.
Mənbə: www.habr.com