خيالن ۽ گڏجاڻين بابت جيڪي ٻيا عمل پاڻمرادو ٿي سگهن ٿا هر روز مختلف سائزن جي ڪاروبار ۾ پيدا ٿين ٿا. پر انهي حقيقت کان علاوه ته هڪ ماڊل ٺاهڻ تي گهڻو وقت خرچ ڪري سگهجي ٿو، توهان کي ان جي تشخيص ۽ جانچ ڪرڻ تي خرچ ڪرڻو پوندو ته حاصل ڪيل نتيجو بي ترتيب نه آهي. عمل ڪرڻ کان پوء، ڪنهن به ماڊل جي نگراني ۽ وقتي طور تي چڪاس ڪيو وڃي.
۽ اهي سڀئي مرحلا آهن جيڪي ڪنهن به ڪمپني ۾ مڪمل ٿيڻ گهرجن، قطع نظر ان جي سائيز جي. جيڪڏهن اسان Sberbank جي پيماني ۽ ورثي جي باري ۾ ڳالهائي رهيا آهيون، ٺيڪ ٺهڪندڙ جو تعداد تمام گهڻو وڌي ٿو. 2019 جي آخر تائين، Sber اڳ ۾ ئي 2000 کان وڌيڪ ماڊل استعمال ڪري چڪو آهي. اهو صرف هڪ ماڊل کي ترقي ڪرڻ لاء ڪافي ناهي؛ اهو ضروري آهي ته صنعتي سسٽم سان ضم ڪرڻ، ماڊل جي تعمير لاء ڊيٽا مارٽ کي ترقي ڪرڻ، ۽ ڪلستر تي ان جي آپريشن جي ڪنٽرول کي يقيني بڻائي.
اسان جي ٽيم ترقي ڪري رهي آهي Sber.DS پليٽ فارم. اهو توهان کي مشين جي سکيا جا مسئلا حل ڪرڻ جي اجازت ڏئي ٿو، مفروضن کي جانچڻ جي عمل کي تيز ڪري ٿو، اصولن ۾ ماڊل جي ترقي ۽ تصديق جي عمل کي آسان بڻائي ٿو، ۽ PROM ۾ ماڊل جي نتيجن کي پڻ ڪنٽرول ڪري ٿو.
توهان جي اميدن کي دوکو نه ڏيڻ لاء، آئون اڳ ۾ چوڻ چاهيان ٿو ته هي پوسٽ هڪ تعارفي آهي، ۽ ڪٽ جي تحت، شروعات ڪندڙن لاء، اسان ان بابت ڳالهائينداسين، اصول ۾، Sber.DS پليٽ فارم جي هود هيٺ. اسان ماڊل جي زندگي جي چڪر جي باري ۾ ڪهاڻي ٻڌائينداسين تخليق کان عمل ڪرڻ تائين الڳ الڳ.
Sber.DS ڪيترن ئي حصن تي مشتمل آهي، جن ۾ اهم آهن لائبريري، ڊولپمينٽ سسٽم ۽ ماڊل ايگزيڪيوشن سسٽم.
لائبريري ماڊل جي زندگي جي چڪر کي ان وقت کان سنڀاليندي آهي جڏهن کان ان کي ترقي ڪرڻ جو خيال ظاهر ٿئي ٿو جيستائين ان جي PROM، مانيٽرنگ ۽ ڊڪشنري ۾ لاڳو ٿئي. ڪيتريون ئي لائبريريون صلاحيتون ريگيوليٽر جي ضابطن جي ذريعي ترتيب ڏنل آهن، مثال طور، رپورٽنگ ۽ اسٽوريج جي تربيت ۽ تصديق جي نموني. حقيقت ۾، هي اسان جي سڀني ماڊلز جو هڪ رجسٽر آهي.
ڊولپمينٽ سسٽم ماڊلز جي بصري ترقي ۽ تصديق جي ٽيڪنالاجي لاء ٺهيل آهي. ترقي يافته ماڊل ابتدائي تصديق مان گذريا آهن ۽ انهن جي ڪاروباري ڪمن کي انجام ڏيڻ لاءِ عملدرآمد سسٽم کي فراهم ڪيو ويندو آهي. انهي سان گڏ، رن ٽائم سسٽم ۾، ماڊل هڪ مانيٽر تي رکي سگهجي ٿو ان جي آپريشن جي نگراني ڪرڻ لاء وقتي طور تي تصديق جي ٽيڪنڪ کي شروع ڪرڻ جي مقصد لاء.
سسٽم ۾ نوڊس جا ڪيترائي قسم آهن. ڪجھ مختلف ڊيٽا ذريعن سان ڳنڍڻ لاءِ ڊزائين ڪيل آھن، ٻيا ماخذ ڊيٽا کي تبديل ڪرڻ ۽ ان کي (مارڪ اپ) وڌائڻ لاءِ ٺاھيا ويا آھن. مختلف ماڊلز جي تعمير لاءِ ڪيترائي نوڊس آھن ۽ انھن جي تصديق ڪرڻ لاءِ نوڊس. ڊولپر ڪنهن به ذريعن کان ڊيٽا لوڊ ڪري سگهي ٿو، تبديل ڪري، فلٽر ڪري، وچولي ڊيٽا کي ڏسڻ، ۽ ان کي حصن ۾ ورهائي سگھي ٿو.
پليٽ فارم ۾ پڻ تيار ڪيل ماڊل شامل آهن جيڪي ڇڪي سگھجن ٿيون ۽ ڊزائن واري علائقي تي ڇڏيا وڃن. سڀ عمل هڪ visualized انٽرفيس استعمال ڪري پرفارم ڪيو آهي. حقيقت ۾، توهان ڪوڊ جي هڪ قطار کان سواء مسئلو حل ڪري سگهو ٿا.
جيڪڏهن تعمير ٿيل صلاحيتون ڪافي نه آهن، سسٽم توهان جي پنهنجي ماڊل کي جلدي ٺاهڻ جي صلاحيت فراهم ڪري ٿي. اسان جي بنياد تي هڪ مربوط ترقي موڊ ڪيو انهن لاءِ جيڪي شروع کان نوان ماڊل ٺاهي رهيا آهن.
Sber.DS جو فن تعمير مائڪرو سروسز تي ٺهيل آهي. microservices ڇا آهن بابت ڪيترائي رايا آهن. ڪجهه ماڻهن جو خيال آهي ته اهو ڪافي آهي ته monolithic ڪوڊ حصن ۾ ورهائڻ لاء، پر ساڳئي وقت اهي اڃا به ساڳي ڊيٽابيس ڏانهن وڃو. اسان جي microservice کي صرف REST API ذريعي ٻئي microservice سان رابطو ڪرڻ گهرجي. ڊيٽابيس تائين سڌو رسائي حاصل ڪرڻ لاءِ ڪوبه حل ناهي.
اسان ان ڳالهه کي يقيني بڻائڻ جي ڪوشش ڪريون ٿا ته خدمتون تمام وڏيون ۽ بيڪار نه ٿين: هڪ مثال 4-8 گيگا بائيٽ کان وڌيڪ ريم استعمال نه ڪرڻ گهرجي ۽ نئين مثالن کي شروع ڪندي افقي طور تي درخواستن کي ماپ ڪرڻ جي صلاحيت مهيا ڪرڻ گهرجي. هر خدمت ٻين سان رابطو ڪري ٿي صرف REST API (). خدمت جي ذميوار ٽيم جي ضرورت آهي ته API کي پٺتي رکي مطابقت رکي جيستائين آخري ڪلائنٽ جيڪو ان کي استعمال ڪري ٿو.
ايپليڪيشن جو بنيادي اسپرنگ فريم ورڪ استعمال ڪندي جاوا ۾ لکيل آهي. حل شروعاتي طور تي ڪلائوڊ انفراسٽرڪچر ۾ تيزيءَ سان ترتيب ڏيڻ لاءِ تيار ڪيو ويو هو، تنهن ڪري ايپليڪيشن هڪ ڪنٽينرائزيشن سسٽم استعمال ڪندي ٺاهي وئي (). پليٽ فارم مسلسل ترقي ڪري رهيو آهي، ٻنهي جي ڪاروباري ڪارڪردگي وڌائڻ جي لحاظ کان (نئون رابطا، آٽو ايم ايل شامل ڪيا پيا وڃن) ۽ ٽيڪنالاجي ڪارڪردگي جي لحاظ کان.
اسان جي پليٽ فارم جي خاصيتن مان هڪ اها آهي ته اسان ڪنهن به Sberbank ماڊل تي عمل ڪرڻ واري نظام تي بصري انٽرفيس ۾ ٺاهيل ڪوڊ هلائي سگهون ٿا. ھاڻي انھن مان ٻه آھن: ھڪڙو Hadoop تي، ٻيو OpenShift (Docker) تي. اسان اتي نه ٿا رکون ۽ انٽيگريشن ماڊلز ٺاھيون ٿا ڪوڊ هلائڻ لاءِ ڪنھن به انفراسٽرڪچر تي، بشمول آن-پريميس ۽ ڪلائوڊ ۾. Sberbank ecosystem ۾ موثر انضمام جي امڪانن جي حوالي سان، اسان موجوده عمل جي ماحول سان گڏ ڪم جي حمايت ڪرڻ جو پڻ منصوبو ٺاهيون ٿا. مستقبل ۾، حل لچڪدار طور تي "باڪس کان ٻاهر" ڪنهن به تنظيم جي ڪنهن به نظارن ۾ ضم ٿي سگهي ٿو.
جن ڪڏهن به هڪ حل جي حمايت ڪرڻ جي ڪوشش ڪئي آهي جيڪو Python کي PROM ۾ Hadoop تي هلائي ٿو ڄاڻن ٿا ته اهو ڪافي نه آهي تيار ڪرڻ ۽ پهچائڻ لاءِ پٿون صارف ماحول هر ڊيٽانوڊ تائين. مشين لرننگ لاءِ وڏي تعداد ۾ C/C++ لائبريريون جيڪي استعمال ڪن ٿيون Python ماڊلز توهان کي آرام سان آرام ڪرڻ جي اجازت نه ڏيندا. اسان کي ياد رکڻ گهرجي ته پيڪيجز کي تازه ڪاري ڪرڻ جڏهن نيون لائبريريون يا سرور شامل ڪريو، جڏهن ته اڳ ۾ ئي لاڳو ٿيل ماڊل ڪوڊ سان پسمانده مطابقت برقرار رکندي.
هن کي ڪيئن ڪرڻ لاء ڪيترائي طريقا آهن. مثال طور، اڳ ۾ ئي اڪثر استعمال ٿيل لائبريريون تيار ڪريو ۽ انهن کي PROM ۾ لاڳو ڪريو. Cloudera جي Hadoop تقسيم ۾، اهي عام طور تي استعمال ڪندا آهن . ھاڻي ھڊوپ ۾ پڻ ھلڻ ممڪن آھي - ڪنٽينر. ڪجھ سادي حالتن ۾ اهو ممڪن آهي ته ڪوڊ پهچائڻ سان گڏ پيڪيج .
بئنڪ ٽئين پارٽي جي ڪوڊ کي هلائڻ جي سيڪيورٽي کي تمام سنجيدگي سان وٺندو آهي، تنهنڪري اسان لينڪس ڪنيل جي نئين خاصيتن مان تمام گهڻو ٺاهيو، جتي هڪ الڳ ماحول ۾ هلندڙ عمل ، توهان محدود ڪري سگهو ٿا، مثال طور، نيٽ ورڪ ۽ مقامي ڊسڪ تائين رسائي، جيڪا خاص طور تي بدسلوڪي ڪوڊ جي صلاحيتن کي گھٽائي ٿي. هر ڊپارٽمينٽ جي ڊيٽا جا علائقا محفوظ آهن ۽ صرف هن ڊيٽا جي مالڪن تائين رسائي لائق آهن. پليٽ فارم انهي ڳالهه کي يقيني بڻائي ٿو ته هڪ علائقي مان ڊيٽا ٻئي علائقي تائين پهچي سگهي ٿو صرف ڊيٽا پبلشنگ جي عمل ذريعي ڪنٽرول سان سڀني مرحلن تي ذريعن تائين رسائي کان وٺي ڊيٽا جي لينڊنگ تائين ٽارگيٽ اسٽور فرنٽ ۾.
ھن سال اسان ھڊوپ تي Python/R/Java ۾ لکيل ماڊل لانچ ڪرڻ جي MVP کي مڪمل ڪرڻ جو منصوبو آھي. اسان پاڻ کي هيڊپ تي ڪنهن به ڪسٽمائيز ماحول کي هلائڻ جي سکيا ڏيڻ جو عظيم ڪم مقرر ڪيو آهي، انهي ڪري ته اسان جي پليٽ فارم جي استعمال ڪندڙن کي ڪنهن به طريقي سان محدود نه ڪيو وڃي.
ان کان علاوه، جيئن اهو نڪتو، ڪيترائي DS ماهر رياضي ۽ شماريات ۾ شاندار آهن، سٺا ماڊل ٺاهي رهيا آهن، پر وڏي ڊيٽا جي تبديلين ۾ تمام گهڻو ڄاڻو نه آهن، ۽ انهن کي تربيتي نموني تيار ڪرڻ لاء اسان جي ڊيٽا انجنيئرن جي مدد جي ضرورت آهي. اسان فيصلو ڪيو اسان جي ساٿين جي مدد ڪرڻ ۽ اسپارڪ انجڻ تي ماڊلز لاءِ فيچرز جي معياري تبديلي ۽ تياري لاءِ آسان ماڊلز ٺاهڻ. اهو توهان کي وڌيڪ وقت گذارڻ جي اجازت ڏيندو ماڊل ترقي ڪرڻ ۽ ڊيٽا انجنيئرن جو انتظار نه ڪرڻ لاءِ نئون ڊيٽا سيٽ تيار ڪرڻ.
اسان مختلف علائقن ۾ ڄاڻ رکندڙ ماڻهن کي ملازمت ڏيون ٿا: Linux ۽ DevOps، Hadoop ۽ Spark، Java ۽ Spring، Scala ۽ Akka، OpenShift ۽ Kubernetes. ايندڙ وقت اسان ماڊل لائبريري بابت ڳالهائينداسين، ماڊل ڪمپني جي زندگيء جي چڪر مان ڪيئن گذري ٿو، ڪيئن تصديق ۽ عمل درآمد ٿئي ٿي.
جو ذريعو: www.habr.com