Sber.DS হল এমন একটি প্ল্যাটফর্ম যা আপনাকে কোড ছাড়াই মডেল তৈরি ও বাস্তবায়ন করতে দেয়

অন্যান্য কী প্রক্রিয়াগুলি স্বয়ংক্রিয় হতে পারে সে সম্পর্কে ধারণা এবং মিটিংগুলি প্রতিদিন বিভিন্ন আকারের ব্যবসায় উদ্ভূত হয়। তবে একটি মডেল তৈরি করতে প্রচুর সময় ব্যয় করা যেতে পারে তা ছাড়াও, আপনাকে এটি মূল্যায়ন করতে এবং প্রাপ্ত ফলাফলটি এলোমেলো নয় তা পরীক্ষা করতে ব্যয় করতে হবে। বাস্তবায়নের পরে, যে কোনও মডেল অবশ্যই পর্যবেক্ষণ করা উচিত এবং পর্যায়ক্রমে পরীক্ষা করা উচিত।

এবং এই সমস্ত পর্যায়গুলি যা কোনও সংস্থায় সম্পূর্ণ করা দরকার, তার আকার নির্বিশেষে। যদি আমরা Sberbank এর স্কেল এবং উত্তরাধিকার সম্পর্কে কথা বলি, তাহলে ফাইন-টিউনিংয়ের সংখ্যা উল্লেখযোগ্যভাবে বৃদ্ধি পায়। 2019 সালের শেষ নাগাদ, Sber ইতিমধ্যে 2000টিরও বেশি মডেল ব্যবহার করেছে। কেবলমাত্র একটি মডেল বিকাশ করা যথেষ্ট নয়; শিল্প ব্যবস্থার সাথে একীভূত করা, মডেল তৈরির জন্য ডেটা মার্ট বিকাশ করা এবং ক্লাস্টারে এর ক্রিয়াকলাপের নিয়ন্ত্রণ নিশ্চিত করা প্রয়োজন।

আমাদের দল Sber.DS প্ল্যাটফর্ম তৈরি করছে। এটি আপনাকে মেশিন লার্নিং সমস্যাগুলি সমাধান করতে দেয়, হাইপোথিসিসগুলি পরীক্ষা করার প্রক্রিয়াকে গতি দেয়, নীতিগতভাবে মডেলগুলি বিকাশ এবং যাচাই করার প্রক্রিয়াটিকে সহজ করে এবং PROM-এ মডেলের ফলাফলকেও নিয়ন্ত্রণ করে৷

আপনার প্রত্যাশাগুলিকে প্রতারিত না করার জন্য, আমি আগে থেকেই বলতে চাই যে এই পোস্টটি একটি পরিচায়ক, এবং কাটের নীচে, প্রারম্ভিকদের জন্য, আমরা নীতিগতভাবে, Sber.DS প্ল্যাটফর্মের হুডের নীচে কী তা নিয়ে কথা বলি। আমরা আলাদাভাবে মডেলের সৃষ্টি থেকে বাস্তবায়ন পর্যন্ত জীবনচক্র সম্পর্কে গল্প বলব।

Sber.DS-এ বেশ কিছু উপাদান রয়েছে, যার মধ্যে প্রধান হল লাইব্রেরি, ডেভেলপমেন্ট সিস্টেম এবং মডেল এক্সিকিউশন সিস্টেম।

লাইব্রেরি মডেলটির জীবনচক্র নিয়ন্ত্রণ করে যে মুহূর্ত থেকে এটি বিকাশ করার ধারণাটি প্রদর্শিত হয়, যতক্ষণ না এটি PROM, পর্যবেক্ষণ এবং ডিকমিশন করা হয়। অনেক লাইব্রেরি ক্ষমতা নিয়ন্ত্রক নিয়ম দ্বারা নির্ধারিত হয়, উদাহরণস্বরূপ, প্রশিক্ষণ এবং বৈধতা নমুনা রিপোর্টিং এবং স্টোরেজ। আসলে, এটি আমাদের সমস্ত মডেলের একটি রেজিস্টার।

বিকাশ সিস্টেমটি মডেল এবং বৈধতা কৌশলগুলির চাক্ষুষ বিকাশের জন্য ডিজাইন করা হয়েছে। বিকশিত মডেলগুলি প্রাথমিক বৈধতার মধ্য দিয়ে যায় এবং তাদের ব্যবসায়িক কার্য সম্পাদনের জন্য কার্যকরী ব্যবস্থায় সরবরাহ করা হয়। এছাড়াও, রানটাইম সিস্টেমে, মডেলটিকে একটি মনিটরে স্থাপন করা যেতে পারে যাতে এটির ক্রিয়াকলাপ নিরীক্ষণের জন্য পর্যায়ক্রমে বৈধতা কৌশল চালু করা যায়।

সিস্টেমে বিভিন্ন ধরণের নোড রয়েছে। কিছু বিভিন্ন ডেটা উত্সের সাথে সংযোগ করার জন্য ডিজাইন করা হয়েছে, অন্যগুলি উত্স ডেটা রূপান্তর করতে এবং এটিকে সমৃদ্ধ করার জন্য ডিজাইন করা হয়েছে (মার্কআপ)। বিভিন্ন মডেল এবং নোডগুলিকে যাচাই করার জন্য অনেকগুলি নোড রয়েছে। বিকাশকারী যেকোন উৎস থেকে ডেটা লোড করতে, রূপান্তর করতে, ফিল্টার করতে, মধ্যবর্তী ডেটা ভিজ্যুয়ালাইজ করতে এবং এটিকে অংশে বিভক্ত করতে পারে।

প্ল্যাটফর্মে তৈরি মডিউলগুলিও রয়েছে যেগুলিকে টেনে এনে নকশা এলাকায় নামানো যেতে পারে। সমস্ত কর্ম একটি ভিজ্যুয়ালাইজ ইন্টারফেস ব্যবহার করে সঞ্চালিত হয়. আসলে, আপনি কোডের একক লাইন ছাড়াই সমস্যার সমাধান করতে পারেন।

অন্তর্নির্মিত ক্ষমতা যথেষ্ট না হলে, সিস্টেম দ্রুত আপনার নিজস্ব মডিউল তৈরি করার ক্ষমতা প্রদান করে। আমরা উপর ভিত্তি করে একটি সমন্বিত উন্নয়ন মোড তৈরি জুপিটার কার্নেল গেটওয়ে যারা স্ক্র্যাচ থেকে নতুন মডিউল তৈরি করেন তাদের জন্য।

Sber.DS-এর আর্কিটেকচার মাইক্রোসার্ভিসেসের উপর নির্মিত। মাইক্রোসার্ভিসগুলি কী তা নিয়ে অনেক মতামত রয়েছে। কিছু লোক মনে করে যে একচেটিয়া কোডকে অংশে বিভক্ত করা যথেষ্ট, তবে একই সময়ে তারা এখনও একই ডাটাবেসে যায়। আমাদের মাইক্রোসার্ভিসকে অন্য মাইক্রোসার্ভিসের সাথে শুধুমাত্র REST API এর মাধ্যমে যোগাযোগ করতে হবে। ডাটাবেস সরাসরি অ্যাক্সেস করার জন্য কোন সমাধান নেই।

আমরা নিশ্চিত করার চেষ্টা করি যে পরিষেবাগুলি খুব বড় এবং আনাড়ি হয়ে না যায়: একটি উদাহরণে 4-8 গিগাবাইটের বেশি RAM ব্যবহার করা উচিত নয় এবং নতুন দৃষ্টান্তগুলি চালু করে অনুভূমিকভাবে অনুরোধগুলি স্কেল করার ক্ষমতা প্রদান করতে হবে৷ প্রতিটি পরিষেবা অন্যদের সাথে যোগাযোগ করে শুধুমাত্র REST API (ওপেন এপিআই) পরিষেবাটির জন্য দায়ী দলটিকে APIকে পিছনের দিকে সামঞ্জস্যপূর্ণ রাখতে হবে যতক্ষণ না শেষ ক্লায়েন্ট এটি ব্যবহার করে।

অ্যাপ্লিকেশনটির মূলটি স্প্রিং ফ্রেমওয়ার্ক ব্যবহার করে জাভাতে লেখা হয়েছে। সমাধানটি প্রাথমিকভাবে ক্লাউড অবকাঠামোতে দ্রুত স্থাপনার জন্য ডিজাইন করা হয়েছিল, তাই অ্যাপ্লিকেশনটি একটি কন্টেইনারাইজেশন সিস্টেম ব্যবহার করে নির্মিত হয়েছিল রেড হ্যাট ওপেনশিফ্ট (Kubernetes) প্ল্যাটফর্মটি ক্রমাগত বিকশিত হচ্ছে, উভয় ব্যবসায়িক কার্যকারিতা বৃদ্ধির পরিপ্রেক্ষিতে (নতুন সংযোগকারী, অটোএমএল যোগ করা হচ্ছে) এবং প্রযুক্তিগত দক্ষতার পরিপ্রেক্ষিতে।

আমাদের প্ল্যাটফর্মের একটি বৈশিষ্ট্য হল আমরা যেকোন Sberbank মডেল এক্সিকিউশন সিস্টেমে একটি ভিজ্যুয়াল ইন্টারফেসে বিকশিত কোড চালাতে পারি। এখন তাদের মধ্যে দুটি ইতিমধ্যে রয়েছে: একটি হ্যাডুপে, অন্যটি ওপেনশিফটে (ডকার)। আমরা সেখানে থামি না এবং অন-প্রিমিস এবং ক্লাউডে সহ যেকোনো অবকাঠামোতে কোড চালানোর জন্য ইন্টিগ্রেশন মডিউল তৈরি করি। Sberbank ইকোসিস্টেমে কার্যকরী একীকরণের সম্ভাবনার বিষয়ে, আমরা বিদ্যমান কার্যকরী পরিবেশের সাথে কাজকে সমর্থন করার পরিকল্পনা করি। ভবিষ্যতে, সমাধানটি নমনীয়ভাবে "বাক্সের বাইরে" যে কোনও সংস্থার যে কোনও ল্যান্ডস্কেপে একত্রিত করা যেতে পারে।

যারা PROM-এ Hadoop-এ পাইথন চালায় এমন একটি সমাধান সমর্থন করার চেষ্টা করেছেন তারা জানেন যে প্রতিটি ডেটানোডে পাইথন ব্যবহারকারী পরিবেশ প্রস্তুত করা এবং সরবরাহ করা যথেষ্ট নয়। পাইথন মডিউল ব্যবহার করে মেশিন লার্নিংয়ের জন্য বিপুল সংখ্যক C/C++ লাইব্রেরি আপনাকে সহজে বিশ্রাম নিতে দেবে না। আমাদের অবশ্যই নতুন লাইব্রেরি বা সার্ভার যোগ করার সময় প্যাকেজ আপডেট করার কথা মনে রাখতে হবে, ইতিমধ্যেই বাস্তবায়িত মডেল কোডের সাথে পশ্চাদগামী সামঞ্জস্য বজায় রেখে।

কিভাবে এটি করতে বিভিন্ন পদ্ধতি আছে. উদাহরণস্বরূপ, অনেকগুলি ঘন ঘন ব্যবহৃত লাইব্রেরি আগে থেকেই প্রস্তুত করুন এবং সেগুলিকে PROM-এ প্রয়োগ করুন৷ Cloudera এর Hadoop বিতরণে, তারা সাধারণত ব্যবহার করে মোড়ক. এছাড়াও এখন Hadoop এ চালানো সম্ভব ডকশ্রমিক- পাত্রে কিছু সাধারণ ক্ষেত্রে প্যাকেজ সহ কোড সরবরাহ করা সম্ভব python.eggs.

ব্যাঙ্ক তৃতীয় পক্ষের কোড চালানোর নিরাপত্তাকে খুব গুরুত্ব সহকারে নেয়, তাই আমরা লিনাক্স কার্নেলের নতুন বৈশিষ্ট্যগুলির সর্বাধিক ব্যবহার করি, যেখানে একটি বিচ্ছিন্ন পরিবেশে একটি প্রক্রিয়া চলছে লিনাক্স নামস্থান, আপনি সীমিত করতে পারেন, উদাহরণস্বরূপ, নেটওয়ার্ক এবং স্থানীয় ডিস্কে অ্যাক্সেস, যা উল্লেখযোগ্যভাবে দূষিত কোডের ক্ষমতা হ্রাস করে। প্রতিটি বিভাগের ডেটা এলাকাগুলি সুরক্ষিত এবং শুধুমাত্র এই ডেটার মালিকদের কাছে অ্যাক্সেসযোগ্য। প্ল্যাটফর্মটি নিশ্চিত করে যে একটি এলাকা থেকে ডেটা অন্য এলাকায় পৌঁছাতে পারে শুধুমাত্র একটি ডেটা প্রকাশ প্রক্রিয়ার মাধ্যমে উৎসে অ্যাক্সেস থেকে শুরু করে টার্গেট স্টোরফ্রন্টে ডেটা অবতরণ পর্যন্ত সমস্ত পর্যায়ে নিয়ন্ত্রণের সাথে।

এই বছর আমরা হাডুপে পাইথন/আর/জাভাতে লেখা মডেলগুলি চালু করার এমভিপি সম্পূর্ণ করার পরিকল্পনা করছি। আমরা নিজেদেরকে Hadoop-এ যেকোনো কাস্টম পরিবেশ কীভাবে চালাতে হয় তা শেখার উচ্চাভিলাষী কাজ সেট করেছি, যাতে আমাদের প্ল্যাটফর্মের ব্যবহারকারীদের কোনোভাবেই সীমাবদ্ধ না করা যায়।

উপরন্তু, যেমনটি দেখা গেছে, অনেক DS বিশেষজ্ঞ গণিত এবং পরিসংখ্যানে দুর্দান্ত, দুর্দান্ত মডেল তৈরি করে, কিন্তু বড় ডেটা রূপান্তরে খুব বেশি পারদর্শী নয় এবং প্রশিক্ষণের নমুনা তৈরি করতে তাদের আমাদের ডেটা ইঞ্জিনিয়ারদের সাহায্যের প্রয়োজন। আমরা আমাদের সহকর্মীদের সাহায্য করার এবং স্পার্ক ইঞ্জিনের মডেলগুলির জন্য আদর্শ রূপান্তর এবং বৈশিষ্ট্যগুলি প্রস্তুত করার জন্য সুবিধাজনক মডিউল তৈরি করার সিদ্ধান্ত নিয়েছি। এটি আপনাকে মডেলগুলি তৈরি করতে আরও বেশি সময় ব্যয় করতে এবং একটি নতুন ডেটাসেট প্রস্তুত করার জন্য ডেটা ইঞ্জিনিয়ারদের জন্য অপেক্ষা না করার অনুমতি দেবে৷

আমরা বিভিন্ন ক্ষেত্রে জ্ঞানসম্পন্ন লোকদের নিয়োগ করি: Linux এবং DevOps, Hadoop এবং Spark, Java এবং Spring, Scala এবং Akka, OpenShift এবং Kubernetes। পরের বার আমরা মডেল লাইব্রেরি সম্পর্কে কথা বলব, কীভাবে মডেলটি কোম্পানির মধ্যে জীবনচক্রের মধ্য দিয়ে যায়, কীভাবে বৈধতা এবং বাস্তবায়ন ঘটে।

উত্স: www.habr.com