د دې په اړه نظرونه او غونډې چې نورې پروسې اتومات کیدی شي هره ورځ د مختلف اندازو سوداګرۍ کې رامینځته کیږي. مګر د دې حقیقت سربیره چې د ماډل رامینځته کولو کې ډیر وخت مصرف کیدی شي ، تاسو اړتیا لرئ دا د ارزونې لپاره مصرف کړئ او وګورئ چې ترلاسه شوې پایله تصادفي نه ده. د تطبیق وروسته، هر ماډل باید وڅیړل شي او په وخت سره معاینه شي.
او دا ټول هغه مرحلې دي چې باید په هر شرکت کې بشپړ شي، پرته له دې چې د هغې اندازې ته پام وکړي. که موږ د Sberbank د پیمانې او میراث په اړه خبرې کوو، د ښیګڼې شمیره د پام وړ وده کوي. د 2019 په پای کې، سبر لا دمخه له 2000 څخه ډیر ماډلونه کارولي دي. یوازې د ماډل رامینځته کول کافي ندي؛ دا اړینه ده چې د صنعتي سیسټمونو سره مدغم شي ، د ماډلونو جوړولو لپاره ډیټا مارټونه رامینځته کړي ، او په کلستر کې د دې عملیاتو کنټرول ډاډمن کړي.
زموږ ټیم د Sber.DS پلیټ فارم ته وده ورکوي. دا تاسو ته اجازه درکوي د ماشین زده کړې ستونزې حل کړئ ، د فرضیې ازموینې پروسې ګړندۍ کړئ ، په اصولو کې د ماډلونو رامینځته کولو او اعتبار کولو پروسه ساده کوي ، او په PROM کې د ماډل پایله هم کنټرولوي.
ستاسو د هیلو د غولولو لپاره، زه غواړم مخکې له مخکې ووایم چې دا پوسټ یو تعارفي دی، او د پیل کولو لپاره، موږ د هغه څه په اړه خبرې کوو چې په اصل کې د Sber.DS پلیټ فارم لاندې دی. موږ به د موډل د ژوند دورې په اړه کیسه په جلا توګه د جوړولو څخه تر پلي کولو پورې ووایو.
Sber.DS د څو برخو څخه جوړه ده، کلیدي یې د کتابتون، پراختیا سیسټم او د ماډل اجرا کولو سیسټم دی.
کتابتون د ماډل ژوند دوره کنټرولوي له هغې شیبې څخه چې د هغې د پراختیا لپاره نظر څرګندیږي تر هغه پورې چې په PROM کې پلي کیږي ، نظارت او له مینځه وړل کیږي. د کتابتون ډیری وړتیاوې د تنظیم کونکي مقرراتو لخوا ترتیب شوي، د بیلګې په توګه، راپور ورکول او د روزنې او اعتبار نمونو ذخیره کول. په حقیقت کې، دا زموږ د ټولو ماډلونو راجستر دی.
د پراختیا سیسټم د ماډلونو او اعتبار تخنیکونو بصری پراختیا لپاره ډیزاین شوی. پرمختللې موډلونه د ابتدايي اعتبار څخه تیریږي او د اجرا کولو سیسټم ته د دوی د سوداګرۍ دندې ترسره کولو لپاره چمتو کیږي. همچنان ، د چلولو سیسټم کې ، ماډل د وخت په تیریدو سره د دې عملیاتو نظارت کولو لپاره د اعتبار تخنیکونو پیل کولو هدف لپاره په مانیټر کې کیښودل کیدی شي.
په سیسټم کې ډیری ډوله نوډونه شتون لري. ځینې یې ډیزاین شوي ترڅو د مختلف ډیټا سرچینو سره وصل شي ، نور د سرچینې ډیټا بدلولو او بډایه کولو لپاره ډیزاین شوي (مارک اپ). د مختلف ماډلونو جوړولو لپاره ډیری نوډونه شتون لري او د دوی اعتبار کولو لپاره نوډونه. پراختیا کونکی کولی شي له هرې سرچینې څخه ډیټا پورته کړي ، بدل کړي ، فلټر کړي ، منځمهاله ډیټا لید کړي او په برخو کې یې مات کړي.
په پلیټ فارم کې چمتو شوي ماډلونه هم شامل دي چې د ډیزاین ساحې ته راښکته او غورځول کیدی شي. ټولې کړنې د لید شوي انٹرفیس په کارولو سره ترسره کیږي. په حقیقت کې، تاسو کولی شئ د کوډ یوې کرښې پرته ستونزه حل کړئ.
که چیرې جوړ شوي وړتیاوې کافي نه وي، سیسټم دا وړتیا ورکوي چې ژر تر ژره خپل ماډلونه جوړ کړي. موږ پر بنسټ یو مدغم پراختیا موډل جوړ کړ د هغو کسانو لپاره چې له سکریچ څخه نوي ماډلونه رامینځته کوي.
د Sber.DS جوړښت په مایکرو خدماتو جوړ شوی. د مایکرو خدماتو په اړه ډیری نظرونه شتون لري. ځینې خلک فکر کوي چې دا کافي ده چې د واحد کوډ په برخو ویشل شي، مګر په ورته وخت کې دوی لاهم ورته ډیټابیس ته ځي. زموږ مایکرو خدمت باید د بل مایکرو خدمت سره یوازې د REST API له لارې اړیکه ونیسي. په مستقیم ډول ډیټابیس ته د لاسرسي لپاره هیڅ حل نشته.
موږ هڅه کوو چې ډاډ ترلاسه کړو چې خدمات خورا لوی او بې کاره نه شي: یو مثال باید له 4-8 ګیګابایټ څخه ډیر RAM ونه مصرف کړي او باید د نوي مثالونو په پیل کولو سره د افقی اندازې غوښتنې وړتیا چمتو کړي. هر خدمت د نورو سره یوازې د REST API له لارې اړیکه نیسي (). د خدمت لپاره مسؤل ټیم اړ دی چې API شاته مطابقت وساتي تر هغه چې وروستی پیرودونکي یې کاروي.
د غوښتنلیک اصلي برخه په جاوا کې د پسرلي چوکاټ په کارولو سره لیکل شوې. حل په پیل کې د بادل زیربنا کې د ګړندي ځای په ځای کولو لپاره ډیزاین شوی و ، نو غوښتنلیک د کانټینر کولو سیسټم په کارولو سره جوړ شوی و. (). پلیټ فارم په دوامداره توګه وده کوي ، دواړه د سوداګرۍ فعالیت زیاتوالي شرایطو کې (نوي نښلونکي ، آټو ایم ایل اضافه کیږي) او د ټیکنالوژیکي موثریت شرایطو کې.
زموږ د پلیټ فارم یوه ځانګړتیا دا ده چې موږ کولی شو د Sberbank ماډل اجرا کولو سیسټم کې په بصری انٹرفیس کې رامینځته شوی کوډ چل کړو. اوس لا دمخه دوه یې شتون لري: یو په هډوپ کې ، بل په اوپن شیفټ (ډوکر). موږ هلته نه ودریږو او په هر زیربنا کې د کوډ چلولو لپاره د ادغام ماډلونه رامینځته کوو ، پشمول آن پریمیس او کلاوډ کې. د سبربینک ایکوسیستم کې د مؤثره ادغام د امکاناتو په اړه، موږ هم پالن لرو چې د اوسني اجرا کولو چاپیریال سره د کار مالتړ وکړو. په راتلونکي کې، حل کولی شي په انعطاف وړ توګه د "بکس څخه بهر" د هرې ادارې په هر منظر کې مدغم شي.
هغه څوک چې کله هم د داسې حل ملاتړ کولو هڅه کړې چې په PROM کې په هډوپ کې پایتون چلوي پوهیږي چې دا هر ډیټانوډ ته د Python کارونکي چاپیریال چمتو کولو او وړاندې کولو لپاره کافي ندي. د ماشین زده کړې لپاره د C/C++ کتابتونونو لوی شمیر چې د Python ماډلونه کاروي تاسو ته به اجازه ورنکړي چې آرام وکړئ. موږ باید په یاد ولرو کله چې نوي کتابتونونه یا سرورونه اضافه کړئ ، پداسې حال کې چې دمخه پلي شوي ماډل کوډ سره شاته مطابقت ساتل.
د دې کولو څرنګوالي لپاره ډیری لارې شتون لري. د مثال په توګه، ډیری کارول شوي کتابتونونه مخکې له مخکې چمتو کړئ او په PROM کې یې پلي کړئ. د Cloudera د هډوپ توزیع کې، دوی معمولا کاروي . همدا اوس په هډوپ کې د چلولو امکان شتون لري - کانټینرونه په ځینو ساده قضیو کې دا ممکنه ده چې کوډ د کڅوړې سره وړاندې کړئ .
بانک د دریمې ډلې کوډ چلولو امنیت خورا جدي نیسي ، نو موږ د لینکس کرنل ډیری نوي ب featuresې رامینځته کوو ، چیرې چې پروسه په جلا چاپیریال کې پرمخ ځي. ، تاسو کولی شئ محدود کړئ ، د مثال په توګه ، شبکې او محلي ډیسک ته لاسرسی ، کوم چې د پام وړ د ناوړه کوډ وړتیا کموي. د هرې څانګې د معلوماتو ساحې خوندي دي او یوازې د دې معلوماتو مالکینو ته د لاسرسي وړ دي. پلیټ فارم ډاډ ترلاسه کوي چې د یوې سیمې ډاټا یوازې د معلوماتو خپرولو پروسې له لارې بلې سیمې ته رسیدلی شي چې سرچینې ته د لاسرسي څخه نیولې تر هدف پلورنځي کې د معلوماتو ځمکې ته رسیدو پورې په ټولو مرحلو کې کنټرول لري.
سږکال موږ پلان لرو چې په هاډوپ کې په Python/R/Java کې لیکل شوي ماډلونو لانچ کولو MVP بشپړ کړو. موږ خپل ځان ته د زده کړې عالي دنده ټاکلې ده چې څنګه په هډوپ کې کوم دودیز چاپیریال پرمخ بوځو ، ترڅو زموږ د پلیټ فارم کارونکي په هیڅ ډول محدود نه کړو.
سربیره پردې، لکه څنګه چې دا معلومه شوه، ډیری DS متخصصین په ریاضیاتو او احصایو کې غوره دي، ښه ماډلونه جوړوي، مګر د لوی ډیټا بدلونونو کې ډیر ښه نه دي، او دوی د روزنې نمونې چمتو کولو لپاره زموږ د ډیټا انجنیرانو مرستې ته اړتیا لري. موږ پریکړه وکړه چې د خپلو همکارانو سره مرسته وکړو او د معیاري بدلون لپاره مناسب ماډلونه جوړ کړو او په سپارک انجن کې د ماډلونو لپاره ځانګړتیاوې چمتو کړو. دا به تاسو ته اجازه درکړي چې د ماډلونو پراختیا لپاره ډیر وخت تیر کړئ او د ډیټا انجینرانو ته انتظار مه کوئ چې نوي ډیټاسیټ چمتو کړي.
موږ خلک په مختلفو برخو کې د پوهې سره کار کوو: لینکس او ډی اوپس، هډوپ او سپارک، جاوا او پسرلی، سکالا او اکا، اوپن شیفټ او کوبرنیټس. بل ځل به موږ د ماډل کتابتون په اړه وغږیږو، دا ماډل څنګه په شرکت کې د ژوند دورې څخه تیریږي، څنګه تایید او پلي کیږي.
سرچینه: www.habr.com