اس بارے میں خیالات اور ملاقاتیں کہ دوسرے کون سے عمل خودکار ہو سکتے ہیں ہر روز مختلف سائز کے کاروبار میں پیدا ہوتے ہیں۔ لیکن اس حقیقت کے علاوہ کہ ایک ماڈل بنانے میں بہت زیادہ وقت صرف کیا جا سکتا ہے، آپ کو اسے جانچنے اور یہ جانچنے پر خرچ کرنے کی ضرورت ہے کہ حاصل کردہ نتیجہ بے ترتیب نہیں ہے۔ نفاذ کے بعد، کسی بھی ماڈل کی نگرانی اور وقتاً فوقتاً جانچ کی جانی چاہیے۔
اور یہ وہ تمام مراحل ہیں جو کسی بھی کمپنی میں مکمل کرنے کی ضرورت ہے، چاہے اس کا سائز کچھ بھی ہو۔ اگر ہم Sberbank کے پیمانے اور وراثت کے بارے میں بات کر رہے ہیں، تو ٹھیک ٹیوننگ کی تعداد میں نمایاں اضافہ ہوتا ہے۔ 2019 کے آخر تک، Sber پہلے ہی 2000 سے زیادہ ماڈل استعمال کر چکا تھا۔ صرف ایک ماڈل تیار کرنا کافی نہیں ہے؛ صنعتی نظام کے ساتھ مربوط ہونا، ماڈلز بنانے کے لیے ڈیٹا مارٹس تیار کرنا، اور کلسٹر پر اس کے آپریشن کے کنٹرول کو یقینی بنانا ضروری ہے۔
ہماری ٹیم Sber.DS پلیٹ فارم تیار کر رہی ہے۔ یہ آپ کو مشین لرننگ کے مسائل حل کرنے کی اجازت دیتا ہے، مفروضوں کی جانچ کے عمل کو تیز کرتا ہے، اصولی طور پر ماڈلز کی تیاری اور تصدیق کے عمل کو آسان بناتا ہے، اور PROM میں ماڈل کے نتائج کو بھی کنٹرول کرتا ہے۔
آپ کی توقعات کو دھوکہ نہ دینے کے لیے، میں پہلے سے کہنا چاہتا ہوں کہ یہ پوسٹ ایک تعارفی پوسٹ ہے، اور کٹ کے تحت، شروعات کرنے والوں کے لیے، ہم اس کے بارے میں بات کرتے ہیں جو اصولی طور پر Sber.DS پلیٹ فارم کے تحت ہے۔ ہم ماڈل کے لائف سائیکل کی تخلیق سے لے کر عمل درآمد تک کی کہانی الگ سے بتائیں گے۔
Sber.DS کئی اجزاء پر مشتمل ہے، جن میں کلیدی لائبریری، ڈیولپمنٹ سسٹم اور ماڈل ایگزیکیوشن سسٹم ہیں۔
لائبریری ماڈل کے لائف سائیکل کو اس وقت سے کنٹرول کرتی ہے جب سے اسے تیار کرنے کا خیال ظاہر ہوتا ہے جب تک کہ PROM میں اس کے نفاذ، نگرانی اور ختم نہ ہو جائے۔ لائبریری کی بہت سی صلاحیتیں ریگولیٹر کے اصولوں کے ذریعے وضع کی جاتی ہیں، مثال کے طور پر، تربیت اور توثیق کے نمونوں کی رپورٹنگ اور اسٹوریج۔ درحقیقت یہ ہمارے تمام ماڈلز کا ایک رجسٹر ہے۔
ترقیاتی نظام کو ماڈلز اور توثیق کی تکنیکوں کی بصری ترقی کے لیے ڈیزائن کیا گیا ہے۔ ترقی یافتہ ماڈلز کی ابتدائی توثیق ہوتی ہے اور ان کے کاروباری کام انجام دینے کے لیے عمل درآمد کے نظام کو فراہم کیے جاتے ہیں۔ نیز، رن ٹائم سسٹم میں، ماڈل کو اس کے آپریشن کی نگرانی کے لیے وقتاً فوقتاً توثیق کی تکنیکوں کو شروع کرنے کے مقصد کے لیے ایک مانیٹر پر رکھا جا سکتا ہے۔
نظام میں نوڈس کی کئی اقسام ہیں۔ کچھ کو ڈیٹا کے مختلف ذرائع سے مربوط کرنے کے لیے ڈیزائن کیا گیا ہے، دوسروں کو ماخذ کے ڈیٹا کو تبدیل کرنے اور اسے افزودہ کرنے کے لیے ڈیزائن کیا گیا ہے (مارک اپ)۔ ان کی توثیق کے لیے مختلف ماڈلز اور نوڈس بنانے کے لیے بہت سے نوڈس ہیں۔ ڈویلپر کسی بھی ذریعہ سے ڈیٹا لوڈ کر سکتا ہے، ٹرانسفارم کر سکتا ہے، فلٹر کر سکتا ہے، انٹرمیڈیٹ ڈیٹا کا تصور کر سکتا ہے، اور اسے حصوں میں توڑ سکتا ہے۔
پلیٹ فارم میں ریڈی میڈ ماڈیولز بھی شامل ہیں جنہیں گھسیٹ کر ڈیزائن ایریا پر چھوڑا جا سکتا ہے۔ تمام اعمال بصری انٹرفیس کا استعمال کرتے ہوئے کئے جاتے ہیں۔ درحقیقت، آپ کوڈ کی ایک لائن کے بغیر مسئلہ حل کر سکتے ہیں۔
اگر بلٹ ان صلاحیتیں کافی نہیں ہیں، تو سسٹم آپ کے اپنے ماڈیولز کو تیزی سے بنانے کی صلاحیت فراہم کرتا ہے۔ ہم پر مبنی ایک مربوط ترقیاتی موڈ بنایا ان لوگوں کے لیے جو شروع سے نئے ماڈیولز بناتے ہیں۔
Sber.DS کا فن تعمیر مائیکرو سروسز پر بنایا گیا ہے۔ مائیکرو سروسز کیا ہیں اس بارے میں بہت سی آراء ہیں۔ کچھ لوگ سوچتے ہیں کہ یک سنگی کوڈ کو حصوں میں تقسیم کرنا کافی ہے، لیکن ایک ہی وقت میں وہ ایک ہی ڈیٹا بیس پر جاتے ہیں۔ ہماری مائیکرو سرویس کو کسی دوسرے مائیکرو سرویس کے ساتھ صرف REST API کے ذریعے رابطہ کرنا چاہیے۔ ڈیٹا بیس تک براہ راست رسائی کے لیے کوئی حل نہیں۔
ہم اس بات کو یقینی بنانے کی کوشش کرتے ہیں کہ خدمات بہت بڑی اور اناڑی نہ بنیں: ایک مثال 4-8 گیگا بائٹس سے زیادہ RAM استعمال نہیں کرنی چاہئے اور نئی مثالوں کو شروع کرکے افقی طور پر درخواستوں کو پیمانے کی صلاحیت فراہم کرنا چاہئے۔ ہر سروس دوسروں کے ساتھ صرف REST API ()۔ سروس کے لیے ذمہ دار ٹیم کو API کو پیچھے کی طرف مطابقت رکھنے کی ضرورت ہے جب تک کہ آخری کلائنٹ اسے استعمال نہ کرے۔
ایپلی کیشن کا بنیادی حصہ جاوا میں اسپرنگ فریم ورک کا استعمال کرتے ہوئے لکھا گیا ہے۔ یہ حل ابتدائی طور پر کلاؤڈ انفراسٹرکچر میں تیزی سے تعیناتی کے لیے ڈیزائن کیا گیا تھا، اس لیے ایپلی کیشن کو کنٹینرائزیشن سسٹم کا استعمال کرتے ہوئے بنایا گیا تھا۔ ()۔ پلیٹ فارم مسلسل ترقی کر رہا ہے، کاروباری فعالیت کو بڑھانے کے لحاظ سے (نئے کنیکٹرز، آٹو ایم ایل کو شامل کیا جا رہا ہے) اور تکنیکی کارکردگی کے لحاظ سے۔
ہمارے پلیٹ فارم کی ایک خصوصیت یہ ہے کہ ہم کسی بھی Sberbank ماڈل پر عملدرآمد کے نظام پر بصری انٹرفیس میں تیار کردہ کوڈ چلا سکتے ہیں۔ اب ان میں سے دو پہلے ہی موجود ہیں: ایک ہڈوپ پر، دوسرا اوپن شفٹ (ڈوکر) پر۔ ہم وہاں نہیں رکتے اور کسی بھی انفراسٹرکچر پر کوڈ چلانے کے لیے انٹیگریشن ماڈیولز بناتے ہیں، بشمول آن پریمیس اور کلاؤڈ میں۔ Sberbank ایکو سسٹم میں موثر انضمام کے امکانات کے بارے میں، ہم موجودہ ایگزیکیوشن ماحول کے ساتھ کام میں تعاون کرنے کا بھی ارادہ رکھتے ہیں۔ مستقبل میں، حل کو کسی بھی تنظیم کے کسی بھی منظر نامے میں "آؤٹ آف دی باکس" میں لچکدار طریقے سے ضم کیا جا سکتا ہے۔
وہ لوگ جنہوں نے کبھی کسی ایسے حل کی حمایت کرنے کی کوشش کی ہے جو PROM میں ہڈوپ پر Python چلاتا ہے وہ جانتے ہیں کہ ہر ڈیٹانوڈ کو Python صارف ماحول تیار کرنا اور فراہم کرنا کافی نہیں ہے۔ مشین لرننگ کے لیے C/C++ لائبریریوں کی بڑی تعداد جو Python ماڈیولز استعمال کرتی ہے آپ کو آرام سے آرام نہیں کرنے دے گی۔ ہمیں پہلے سے نافذ کردہ ماڈل کوڈ کے ساتھ پسماندہ مطابقت کو برقرار رکھتے ہوئے، نئی لائبریریوں یا سرورز کو شامل کرتے وقت پیکجز کو اپ ڈیٹ کرنا یاد رکھنا چاہیے۔
ایسا کرنے کے لیے کئی طریقے ہیں۔ مثال کے طور پر، کئی کثرت سے استعمال ہونے والی لائبریریوں کو پہلے سے تیار کریں اور انہیں PROM میں لاگو کریں۔ Cloudera کی Hadoop تقسیم میں، وہ عام طور پر استعمال کرتے ہیں . اب ہڈوپ میں بھی چلنا ممکن ہے۔ -کنٹینرز کچھ آسان معاملات میں پیکیج کے ساتھ کوڈ کی فراہمی ممکن ہے۔ .
بینک تھرڈ پارٹی کوڈ کو چلانے کی سیکیورٹی کو بہت سنجیدگی سے لیتا ہے، اس لیے ہم لینکس کرنل کی نئی خصوصیات سے زیادہ سے زیادہ فائدہ اٹھاتے ہیں، جہاں ایک الگ تھلگ ماحول میں ایک عمل چلتا ہے۔ ، آپ، مثال کے طور پر، نیٹ ورک اور مقامی ڈسک تک رسائی کو محدود کر سکتے ہیں، جس سے بدنیتی پر مبنی کوڈ کی صلاحیتوں کو نمایاں طور پر کم کر دیا جاتا ہے۔ ہر محکمہ کے ڈیٹا ایریاز محفوظ ہیں اور صرف اس ڈیٹا کے مالکان کے لیے قابل رسائی ہیں۔ پلیٹ فارم اس بات کو یقینی بناتا ہے کہ ایک علاقے سے ڈیٹا دوسرے علاقے تک پہنچ سکتا ہے صرف ڈیٹا پبلشنگ کے عمل کے ذریعے ذرائع تک رسائی سے لے کر ٹارگٹ اسٹور فرنٹ میں ڈیٹا کی لینڈنگ تک تمام مراحل پر کنٹرول کے ساتھ۔
اس سال ہم ہڈوپ پر Python/R/Java میں لکھے ہوئے ماڈلز کو لانچ کرنے کے MVP کو مکمل کرنے کا ارادہ رکھتے ہیں۔ ہم نے اپنے آپ کو یہ سیکھنے کا مہتواکانکشی کام مقرر کیا ہے کہ ہڈوپ پر کسی بھی حسب ضرورت ماحول کو کیسے چلایا جائے، تاکہ ہمارے پلیٹ فارم کے صارفین کو کسی بھی طرح سے محدود نہ کیا جائے۔
اس کے علاوہ، جیسا کہ یہ نکلا، بہت سے DS ماہرین ریاضی اور شماریات میں بہترین ہیں، اچھے ماڈل بناتے ہیں، لیکن ڈیٹا کی بڑی تبدیلیوں میں زیادہ مہارت نہیں رکھتے، اور انہیں تربیتی نمونے تیار کرنے کے لیے ہمارے ڈیٹا انجینئرز کی مدد کی ضرورت ہے۔ ہم نے اپنے ساتھیوں کی مدد کرنے اور اسپارک انجن پر ماڈلز کے لیے معیاری تبدیلی اور خصوصیات کی تیاری کے لیے آسان ماڈیول بنانے کا فیصلہ کیا۔ یہ آپ کو ماڈلز تیار کرنے میں زیادہ وقت گزارنے اور ڈیٹا انجینئرز کا نیا ڈیٹا سیٹ تیار کرنے کا انتظار کرنے کی اجازت دے گا۔
ہم مختلف شعبوں میں علم رکھنے والے لوگوں کو ملازمت دیتے ہیں: Linux اور DevOps، Hadoop اور Spark، Java اور Spring، Scala اور Akka، OpenShift اور Kubernetes۔ اگلی بار ہم ماڈل لائبریری کے بارے میں بات کریں گے، ماڈل کمپنی کے اندر زندگی کے چکر سے کیسے گزرتا ہے، توثیق اور عمل درآمد کیسے ہوتا ہے۔
ماخذ: www.habr.com