Hər gün müxtəlif ölçüdə bizneslərdə hansı proseslərin avtomatlaşdırıla biləcəyi ilə bağlı ideyalar və görüşlər meydana gəlir. Lakin modelin yaradılması üçün çox vaxt sərf edilməklə yanaşı, onun qiymətləndirilməsinə və əldə edilən nəticənin təsadüfi olmadığının yoxlanmasına da vaxta ehtiyac var. Hər hansı bir modeli tətbiq etdikdən sonra, onu monitorinqə almaq və mütəmadi olaraq yoxlamaq vacibdir.
Və bu, hər bir şirkətin keçməli olduğu mərhələlərdir, onun ölçüsündən asılı olmayaraq. Əgər Sberbank-ın miqyasından və miras sistemlərindən danışırıqsa, incə tənzimləmələrin sayı dəfələrlə artır. 2019-cu ilin sonuna qədər Sber-də artıq 2000-dən çox model istifadə edilirdi. Sadəcə modeli hazırlamaq kifayət deyil, sənaye sistemləri ilə inteqrasiya etmək, modellərin qurulması üçün məlumat vitrinləri hazırlamaq və onun işini klasterdə nəzarət altına almaq gərəkdir.
Komandamız Sber.DS platformasını inkişaf etdirir. Bu, maşın öyrənmə məsələlərini həll etməyə, hipotezlərin yoxlanma prosesini sürətləndirməyə, model hazırlama və təsdiq prosesini sadələşdirməyə və modelin iş nəticəsini PROM-də izləməyə imkan tanıyır.
Sizin gözləntilərinizi aldatmamaq üçün əvvəldən demək istəyirəm ki, bu post giriş xarakterlidir, və aşağıda Sber.DS platformasının ümumi iş mexanizmlərindən bəhs ediləcək. Modellərin yaradılmasından tətbiqinə qədərki həyat dövrü ilə bağlı hekayəni ayrı qeyd edəcəyik.
Sber.DS bir neçə komponentdən ibarətdir, bunlardan əsasları kitabxana, inkişaf sistemi və modellərin icrası sistemidir.
Kitabxana, modelin hazırlanması ideyasından tətbiqinə qədərki həyat dövrünü nəzarət altına alır, monitorinqə almaq və istismardan çıxarmaqla. Kitabxananın mümkünlüklərinin çoxu tənzimləyicinin tələblərindən irəli gəlir, məsələn, hesabat və təlimatlandırma və təsdiq nümunələrinin saxlanması. Faktiki olaraq, bu, bütün modellərimizin reyestridir.
İnkişaf sistemi vizual olaraq modellərin və təsdiqləmə metodlarının hazırlanması üçündür. Hazırlanmış modellər ilkin təsdiq prosesindən keçir və öz biznes funksiyalarını yerinə yetirmək üçün icra sisteminə verilir. Eyni zamanda, icra sistemində model, öz işini izləmək məqsədilə müntəzəm olaraq təsdiqləmə metodlarının icrasına hazır ola bilər.
Sistemdə bir neçə növ düyünlər var. Bəzi düyünlər müxtəlif məlumat mənbələrinə qoşulmaq üçün, digərləri isə ilkin məlumatları transformasiya etmək və onların zənginləşdirilməsi (işarələmə) məqsədilə nəzərdə tutulmuşdur. Müxtəlif modellərin qurulması və onların təsdiqi üçün çox sayda düyün mövcuddur. İnkişaf etdirici, istənilən mənbədən məlumatları yükləyə, transformasiya edə, filtr edə, müvəqqəti məlumatları vizuallaşdıra və onları hissələrə bölə bilər.
Platforma artıq layihə sahəsinə yerləşdirilə bilən hazırlıq modulları təklif edir. Bütün əməliyyatlar vizuallaşdırılmış interfeys vasitəsilə həyata keçirilir. Əslində, heç bir kod sətiri yazmadan vəzifəni yerinə yetirmək mümkündür.
İçəriq imkanları kifayət etmədikdə, sistem öz modullarınızı tez bir zamanda yaratma imkanı təqdim edir. Biz inteqrasiya edilmiş inkişaf rejimini yaratmışıq. yeni modullar "sıfırdan" yaradanlar üçün.
Sber.DS memarı mikroservislərə əsaslanır. Mikroservislər nə deməkdir mövzusunda müxtəlif fikirlər var. Bəziləri monolitik kodu hissələrə ayırmağın kifayət etdiyini düşünür, lakin bu halda belə, onlar hələ də eyni verilənlər bazasına daxil olurlar. Bizim mikroservis digər mikroservislə yalnız REST API vasitəsilə əlaqə qurmalıdır. Birbaşa verilənlər bazasına girişi bypass etmək olmaz.
Biz xidmətlərin çox böyük və çevik olmaması üçün çalışırıq: bir nümunə 4-8 gigabaytdan artıq yaddaş istifadə etməməli və yeni nümunələri işə salmaqla sorğuların üfüqi genişlənməsini təmin etməlidir. Hər bir xidmət yalnız REST API vasitəsilə digər xidmətlərlə ünsiyyət qurur (). Xidmət üçün məsul komanda, onu istifadə edən son müştəriyə qədər API-nin geriyə uyğunluğunu qorumaq öhdəliyini daşıyır.
Tətbiqin nüvəsi Java-da Spring Framework istifadə edilərək yazılmışdır. Həll, bulud infrastrukturunda sürətli tətbiq üçün ilkin olaraq dizayn edilmişdir, buna görə tətbiq konteynerləşdirmə sistemindən istifadə edilərək qurulmuşdur (). Platforma mütəmadi inkişaf edir, həm biznes funksionallığını artırmaq (yeni konnektorlar, AutoML əlavə olunur), həm də texnoloji effektivlik baxımından.
Platformamızın "xüsusiyyətlərindən" biri ondan ibarətdir ki, biz vizual interfeysdə hazırlanmış kodu Sberbank-ın hər hansı model icra sistemində işə sala bilirik. Hazırda onların ikisi var: biri Hadoop-da, digər isə OpenShift-də (Docker). Biz bununla dayanmırıq və kodu istənilən infrastrukturda, o cümlədən on-premise və buludda işə salmaq üçün inteqrasiya modulları yaradırıq. Sberbank ekosisteminə effektiv şəkildə daxil olma imkanları ilə bağlı olaraq, biz mövcud icra mühitləri ilə işləməni də dəstəkləməyi planlaşdırırıq. Gələcəkdə - həll esasında istənilən təşkilatın təsir edilən mərkəzində "qutusundan" asanlıqla yerləşdirilə bilər.
Python-u Hadoop-da çalışdıran bir çözümü dəstəkləməyə çalışmış hər kəs bilir ki, hər bir data node-a istifadəçi çevrəsini hazırlayıb çatdırmaqdan daha çox şey lazımdır. Python modullarını istifadə edən çox sayda C/C++ maşın öyrənmə kitabxanası sizi rahat qoymayacaq. Yeniliklər əlavə olunduqda paketlərin yenilənməsini unutmaq lazım deyil, eyni zamanda mövcud model kodları ilə geriyə olan uyğunluğu qorumaq vacibdir.
Bunu necə etməyin bir neçə yanaşması var. Məsələn, bir neçə tez-tez istifadə olunan kitabxanaları əvvəlcədən hazırlayıb PROQ-da tətbiq etmək. Cloudera-nın Hadoop distribütivində buna adətən istifadə olunur. Həmçinin, hazırda Hadoop-da -konteynerlərini çalışdırma imkanı yaranır. Bəzi sadə hallarda kodu paketlə birlikdə gətirmək mümkündür. .
Bank üçüncü tərəf kodunun çalışdırılması məsələsində son dərəcə ciddi yanaşır, buna görə biz maksimum dərəcədə Linux nüvəsinin yeni imkanlarından istifadə edirik, burada izolyasiya olunmuş mühitdə çalışdırılan prosesin, məsələn, şəbəkə və yerli diskə girişini məhdudlaşdırmaq mümkündür, bu da zərərli kodun potensialını əhəmiyyətli dərəcədə azaldır. Hər bir şöbənin məlumat sahələri qorunur və yalnız həmin məlumatların sahibləri üçün əlçatandır. Platforma verir ki, bir sahədən olan məlumatlar yalnız məlumatların yayılması prosesi ilə digər sahəyə keçir, mənbələrə girişdən tutmuş hədəf vitrininə düşməsinə qədər bütün mərhələlərdə nəzarət edilir. Əlavə olaraq, məlum olub ki, bir çox DS mütəxəssisləri mükəmməl riyaziyyat və statistikaya yiyələnib, əla modellər yaradır, lakin böyük verilənlərin transformasiyaları ilə yaxşı tanış deyillər və təlim seçkilərinin hazırlanması üçün bizim data mühəndislərimizdən köməyə ehtiyac duyurlar. Biz həmkarlarımıza kömək etməyə qərar verdik və Spark mühərrikində modellər üçün standart transformasiya və xüsusiyyət hazırlanması üçün rahat modullar yaratdıq. Bu, daha çox vaxtı modellərin inkişafına sərf etməyə və data mühəndislərinin yeni dataset hazırlamasını gözləməyi azaltmağa imkan verəcək.
Bizim komandada müxtəlif sahələrdə bilikləri olan insanlar işləyir: Linux və DevOps, Hadoop və Spark, Java və Spring, Scala və Akka, OpenShift və Kubernetes. Növbəti dəfə model kitabxanası, modelin şirkət daxilində həyat dövrü boyunca necə keçdiyi, necə yoxlanıldığı və tətbiq olunduğu haqqında sizə danışacağıq.
Microsoft Linux-da Defender ATP-nin ictimai versiyasını elan etdi.
Kubernetes-ə LDAP avtorizasiyası əlavə edirik.
Mənbə: habr.com
