ওপেন ডেটা হাব প্রজেক্ট হল একটি ওপেন মেশিন লার্নিং প্ল্যাটফর্ম যা Red Hat OpenShift-এর উপর ভিত্তি করে

ভবিষ্যত এসেছে, এবং কৃত্রিম বুদ্ধিমত্তা এবং মেশিন লার্নিং প্রযুক্তি ইতিমধ্যেই আপনার প্রিয় স্টোর, পরিবহন কোম্পানি এবং এমনকি টার্কি খামার দ্বারা সফলভাবে ব্যবহার করা হচ্ছে।

এবং যদি কিছু বিদ্যমান থাকে, তাহলে ইন্টারনেটে এটি সম্পর্কে ইতিমধ্যে কিছু আছে... একটি খোলা প্রকল্প! দেখুন কিভাবে Open Data Hub আপনাকে নতুন প্রযুক্তি স্কেল করতে এবং বাস্তবায়ন চ্যালেঞ্জ এড়াতে সাহায্য করে।

কৃত্রিম বুদ্ধিমত্তা (AI) এবং মেশিন লার্নিং (ML) এর সমস্ত সুবিধার সাথে, সংস্থাগুলি প্রায়শই এই প্রযুক্তিগুলিকে স্কেল করতে অসুবিধা হয়৷ এই ক্ষেত্রে প্রধান সমস্যা সাধারণত নিম্নলিখিত হয়:

• তথ্য বিনিময় এবং সহযোগিতা - অনায়াসে তথ্য বিনিময় করা এবং দ্রুত পুনরাবৃত্তিতে সহযোগিতা করা প্রায় অসম্ভব।
• তথ্য এক্সেস - প্রতিটি কাজের জন্য এটি নতুন এবং ম্যানুয়ালি তৈরি করা প্রয়োজন, যা অনেক সময় নেয়।
• চাহিদা অনুযায়ী অ্যাক্সেস - মেশিন লার্নিং টুলস এবং প্ল্যাটফর্মের পাশাপাশি কম্পিউটিং পরিকাঠামোতে অন-ডিমান্ড অ্যাক্সেস পাওয়ার কোনো উপায় নেই।
• উৎপাদন - মডেলগুলি প্রোটোটাইপ পর্যায়ে থাকে এবং শিল্প ব্যবহারের জন্য আনা হয় না।
• AI ফলাফল ট্র্যাক করুন এবং ব্যাখ্যা করুন - এআই/এমএল ফলাফলের প্রজননযোগ্যতা, ট্র্যাকিং এবং ব্যাখ্যা করা কঠিন।

সমাধান না করে রেখে, এই সমস্যাগুলি মূল্যবান ডেটা বিজ্ঞানীদের গতি, দক্ষতা এবং উত্পাদনশীলতাকে নেতিবাচকভাবে প্রভাবিত করে৷ এটি তাদের হতাশা, তাদের কাজে হতাশার দিকে নিয়ে যায় এবং ফলস্বরূপ, এআই/এমএল সম্পর্কিত ব্যবসায়িক প্রত্যাশা নষ্ট হয়ে যায়।

এই সমস্যাগুলি সমাধানের দায়িত্ব আইটি বিশেষজ্ঞদের উপর পড়ে, যাদের অবশ্যই ডেটা বিশ্লেষকদের সরবরাহ করতে হবে - এটা ঠিক, ক্লাউডের মতো কিছু। আরও বিস্তারিতভাবে, আমাদের এমন একটি প্ল্যাটফর্ম দরকার যা পছন্দের স্বাধীনতা দেয় এবং সুবিধাজনক, সহজ অ্যাক্সেস রয়েছে। একই সময়ে, এটি দ্রুত, সহজে পুনরায় কনফিগারযোগ্য, চাহিদা অনুযায়ী মাপযোগ্য এবং ব্যর্থতা প্রতিরোধী। ওপেন সোর্স প্রযুক্তিতে এই ধরনের একটি প্ল্যাটফর্ম তৈরি করা বিক্রেতা লক-ইন এড়াতে এবং খরচ নিয়ন্ত্রণের ক্ষেত্রে দীর্ঘমেয়াদী কৌশলগত সুবিধা বজায় রাখতে সহায়তা করে।

কয়েক বছর আগে, অ্যাপ্লিকেশন বিকাশে অনুরূপ কিছু ঘটছিল এবং মাইক্রোসার্ভিসেস, হাইব্রিড ক্লাউড, আইটি অটোমেশন এবং চটপটে প্রক্রিয়াগুলির উত্থানের দিকে পরিচালিত করেছিল। এই সব মোকাবেলা করার জন্য, আইটি পেশাদাররা কন্টেইনার, কুবারনেটস এবং উন্মুক্ত হাইব্রিড ক্লাউডের দিকে ঝুঁকছেন।

এই অভিজ্ঞতা এখন আলের চ্যালেঞ্জের উত্তর দেওয়ার জন্য প্রয়োগ করা হচ্ছে। এই কারণেই আইটি পেশাদাররা এমন প্ল্যাটফর্ম তৈরি করছে যা কন্টেইনার-ভিত্তিক, চটপটে প্রক্রিয়ার মধ্যে AI/ML পরিষেবা তৈরি করতে সক্ষম করে, উদ্ভাবনকে ত্বরান্বিত করে এবং হাইব্রিড ক্লাউডের দিকে নজর রেখে তৈরি করা হয়।

আমরা Red Hat OpenShift, হাইব্রিড ক্লাউডের জন্য আমাদের কন্টেইনারাইজড কুবারনেটস প্ল্যাটফর্মের সাথে এই ধরনের একটি প্ল্যাটফর্ম তৈরি করা শুরু করব, যেখানে সফ্টওয়্যার এবং হার্ডওয়্যার এমএল সমাধানগুলির একটি দ্রুত বর্ধনশীল ইকোসিস্টেম রয়েছে (NVIDIA, H2O.ai, Starburst, PerceptiLabs, ইত্যাদি)। Red Hat-এর কিছু গ্রাহক, যেমন BMW Group, ExxonMobil এবং অন্যরা, ইতিমধ্যেই প্ল্যাটফর্ম এবং এর ইকোসিস্টেমের উপরে কন্টেইনারাইজড ML টুলচেন এবং DevOps প্রসেস স্থাপন করেছে যাতে তারা তাদের ML আর্কিটেকচারগুলিকে উৎপাদনে আনতে এবং ডেটা বিশ্লেষকদের কাজকে দ্রুততর করতে পারে।

আমরা ওপেন ডেটা হাব প্রকল্প চালু করার আরেকটি কারণ হল বেশ কয়েকটি ওপেন সোর্স সফ্টওয়্যার প্রকল্পের উপর ভিত্তি করে একটি আর্কিটেকচারের উদাহরণ প্রদর্শন করা এবং ওপেনশিফ্ট প্ল্যাটফর্মের উপর ভিত্তি করে একটি এমএল সমাধানের সমগ্র জীবনচক্র কীভাবে বাস্তবায়ন করা যায় তা দেখানো।

ডাটা হাব প্রকল্প খুলুন

এটি একটি ওপেন সোর্স প্রজেক্ট যা সংশ্লিষ্ট ডেভেলপমেন্ট কমিউনিটির মধ্যে তৈরি করা হয়েছে এবং ওপেনশিফটে কন্টেইনার এবং কুবারনেট ব্যবহার করে এআই/এমএল সমস্যা সমাধান করার সময় - প্রাথমিক ডেটা লোড করা এবং রূপান্তর করা থেকে শুরু করে একটি মডেল তৈরি করা, প্রশিক্ষণ এবং রক্ষণাবেক্ষণ করা পর্যন্ত ক্রিয়াকলাপের একটি সম্পূর্ণ চক্র প্রয়োগ করে। প্ল্যাটফর্ম এই প্রকল্পটিকে একটি রেফারেন্স বাস্তবায়ন হিসাবে বিবেচনা করা যেতে পারে, কিভাবে OpenShift এবং সম্পর্কিত ওপেন সোর্স টুলস যেমন Tensorflow, JupyterHub, Spark এবং অন্যদের উপর ভিত্তি করে একটি ওপেন AI/ML-as-a-service সমাধান তৈরি করা যায় তার একটি উদাহরণ। এটা মনে রাখা গুরুত্বপূর্ণ যে Red Hat নিজেই এই প্রকল্পটি ব্যবহার করে তার AI/ML পরিষেবা প্রদান করতে। এছাড়াও, OpenShift NVIDIA, Seldon, Starbust এবং অন্যান্য বিক্রেতাদের থেকে মূল সফ্টওয়্যার এবং হার্ডওয়্যার ML সমাধানগুলির সাথে একীভূত করে, যা আপনার নিজস্ব মেশিন লার্নিং সিস্টেমগুলি তৈরি এবং চালানো সহজ করে তোলে।

ওপেন ডেটা হাব প্রকল্পটি নিম্নলিখিত শ্রেণীবিভাগের ব্যবহারকারী এবং ব্যবহারের ক্ষেত্রে ফোকাস করে:

• ডেটা বিশ্লেষক যার ML প্রকল্পগুলি বাস্তবায়নের জন্য একটি সমাধান প্রয়োজন, স্ব-পরিষেবা ফাংশন সহ একটি ক্লাউডের মতো সংগঠিত৷
• ডেটা বিশ্লেষক যার সর্বশেষ ওপেন সোর্স AI/ML টুল এবং প্ল্যাটফর্ম থেকে সর্বাধিক পছন্দের প্রয়োজন।
• ডেটা বিশ্লেষক যিনি মডেল প্রশিক্ষণের সময় ডেটা উত্সগুলিতে অ্যাক্সেসের প্রয়োজন।
• ডেটা বিশ্লেষক যার কম্পিউটিং সংস্থানগুলিতে অ্যাক্সেস প্রয়োজন (CPU, GPU, মেমরি)।
• ডেটা বিশ্লেষক যার সহকর্মীদের সাথে কাজ ভাগ করে নেওয়ার, প্রতিক্রিয়া পাওয়ার এবং দ্রুত পুনরাবৃত্তিতে উন্নতি করার ক্ষমতা প্রয়োজন।
• একজন ডেটা বিশ্লেষক যিনি ডেভেলপারদের সাথে যোগাযোগ করতে চান (এবং ডিভোপ টিম) যাতে তার এমএল মডেল এবং কাজের ফলাফল উৎপাদনে যায়।
• ডেটা প্রকৌশলী যাকে নিয়ন্ত্রক এবং সুরক্ষা প্রয়োজনীয়তা মেনে চলার সময় বিভিন্ন ডেটা উত্সে অ্যাক্সেস সহ ডেটা বিশ্লেষক সরবরাহ করতে হবে।
• আইটি সিস্টেম অ্যাডমিনিস্ট্রেটর/অপারেটর যার ওপেন সোর্স উপাদান এবং প্রযুক্তির জীবনচক্র (ইনস্টলেশন, কনফিগারেশন, আপগ্রেড) অনায়াসে নিয়ন্ত্রণ করার ক্ষমতা প্রয়োজন। আমাদের উপযুক্ত ব্যবস্থাপনা এবং কোটা টুলসও দরকার।

ওপেন ডেটা হাব প্রজেক্ট এআই/এমএল অপারেশনের একটি সম্পূর্ণ চক্র বাস্তবায়নের জন্য ওপেন সোর্স টুলের একটি পরিসর নিয়ে আসে। Jupyter Notebook এখানে ডাটা অ্যানালিটিক্সের প্রধান কাজের টুল হিসেবে ব্যবহৃত হয়। টুলকিটটি বর্তমানে ডেটা সায়েন্টিস্টদের মধ্যে ব্যাপক জনপ্রিয়, এবং ওপেন ডেটা হাব তাদের বিল্ট-ইন JupyterHub ব্যবহার করে সহজেই জুপিটার নোটবুক ওয়ার্কস্পেস তৈরি ও পরিচালনা করতে দেয়। জুপিটার নোটবুক তৈরি এবং আমদানির পাশাপাশি, ওপেন ডেটা হাব প্রকল্পে একটি এআই লাইব্রেরির আকারে বেশ কয়েকটি রেডিমেড নোটবুক রয়েছে।

এই লাইব্রেরিটি ওপেন-সোর্স মেশিন লার্নিং উপাদানগুলির একটি সংগ্রহ এবং সাধারণ পরিস্থিতিগুলির জন্য সমাধান যা দ্রুত প্রোটোটাইপিংকে সহজ করে। JupyterHub OpenShift এর RBAC অ্যাক্সেস মডেলের সাথে একীভূত, যা আপনাকে বিদ্যমান OpenShift অ্যাকাউন্টগুলি ব্যবহার করতে এবং একক সাইন-অন প্রয়োগ করতে দেয়৷ উপরন্তু, JupyterHub একটি ব্যবহারকারী-বান্ধব ইউজার ইন্টারফেস অফার করে যাকে বলা হয় spawner, যার মাধ্যমে ব্যবহারকারী সহজেই নির্বাচিত জুপিটার নোটবুকের জন্য কম্পিউটিং রিসোর্সের পরিমাণ (CPU কোর, মেমরি, GPU) কনফিগার করতে পারে।

ডেটা বিশ্লেষক ল্যাপটপ তৈরি এবং কনফিগার করার পরে, এটি সম্পর্কে অন্যান্য সমস্ত উদ্বেগ Kubernetes শিডিউলার দ্বারা যত্ন নেওয়া হয়, যা OpenShift এর অংশ। ব্যবহারকারীরা শুধুমাত্র তাদের পরীক্ষা-নিরীক্ষা চালাতে পারে, তাদের কাজের ফলাফল সংরক্ষণ এবং শেয়ার করতে পারে। অতিরিক্তভাবে, উন্নত ব্যবহারকারীরা সরাসরি Jupyter নোটবুক থেকে ওপেনশিফ্ট CLI শেল অ্যাক্সেস করতে পারে যাতে Kubernetes আদিম যেমন জব বা ওপেনশিফ্ট কার্যকারিতা যেমন Tekton বা Knative. অথবা এর জন্য আপনি OpenShift এর সুবিধাজনক GUI ব্যবহার করতে পারেন, যাকে "OpenShift ওয়েব কনসোল" বলা হয়।

পরবর্তী পর্যায়ে চলে যাওয়া, ওপেন ডেটা হাব ডেটা পাইপলাইন পরিচালনা করা সম্ভব করে তোলে। এই জন্য, একটি Ceph বস্তু ব্যবহার করা হয়, যা একটি S3-সামঞ্জস্যপূর্ণ অবজেক্ট ডেটা স্টোরেজ হিসাবে প্রদান করা হয়। Apache Spark আপনাকে বাহ্যিক উত্স বা অন্তর্নির্মিত Ceph S3 স্টোরেজ থেকে ডেটা স্ট্রিম করার অনুমতি দেয় এবং আপনাকে প্রাথমিক ডেটা রূপান্তরগুলি সম্পাদন করার অনুমতি দেয়। Apache Kafka ডেটা পাইপলাইনগুলির উন্নত ব্যবস্থাপনা প্রদান করে (যেখানে ডেটা একাধিকবার লোড করা যেতে পারে, সেইসাথে ডেটা ট্রান্সফর্মেশন, বিশ্লেষণ এবং অধ্যবসায় ক্রিয়াকলাপ)।

সুতরাং, ডেটা বিশ্লেষক ডেটা অ্যাক্সেস করেছেন এবং একটি মডেল তৈরি করেছেন। এখন তার সহকর্মী বা অ্যাপ্লিকেশন বিকাশকারীদের সাথে প্রাপ্ত ফলাফলগুলি ভাগ করে নেওয়ার এবং একটি পরিষেবার নীতিতে তাদের মডেল সরবরাহ করার ইচ্ছা রয়েছে। এর জন্য একটি ইনফারেন্স সার্ভারের প্রয়োজন, এবং ওপেন ডেটা হাবের এমন একটি সার্ভার রয়েছে, এটিকে সেলডন বলা হয় এবং আপনাকে একটি RESTful পরিষেবা হিসাবে মডেলটি প্রকাশ করার অনুমতি দেয়।

কিছু সময়ে, সেলডন সার্ভারে এই জাতীয় বেশ কয়েকটি মডেল রয়েছে এবং সেগুলি কীভাবে ব্যবহার করা হয় তা পর্যবেক্ষণ করার প্রয়োজন রয়েছে। এটি অর্জনের জন্য, ওপেন ডেটা হাব প্রাসঙ্গিক মেট্রিক্সের একটি সংগ্রহ এবং ব্যাপকভাবে ব্যবহৃত ওপেন সোর্স মনিটরিং টুল প্রমিথিউস এবং গ্রাফানার উপর ভিত্তি করে একটি রিপোর্টিং ইঞ্জিন সরবরাহ করে। ফলস্বরূপ, আমরা এআই মডেলগুলির ব্যবহার নিরীক্ষণের জন্য প্রতিক্রিয়া পাই, বিশেষত একটি উত্পাদন পরিবেশে।

এইভাবে, ওপেন ডেটা হাব সমগ্র AI/ML লাইফসাইকেল জুড়ে একটি ক্লাউড-সদৃশ পদ্ধতি প্রদান করে, ডেটা অ্যাক্সেস এবং প্রস্তুতি থেকে শুরু করে মডেল প্রশিক্ষণ এবং উৎপাদন পর্যন্ত।

সবগুলোকে একত্রে রাখ

এখন প্রশ্ন উঠছে কিভাবে ওপেনশিফট অ্যাডমিনিস্ট্রেটরের জন্য এই সব আয়োজন করা যায়। এবং এখানেই ওপেন ডেটা হাব প্রকল্পগুলির জন্য একটি বিশেষ Kubernetes অপারেটর কার্যকর হয়৷

এই অপারেটর ওপেন ডেটা হাব প্রকল্পের ইনস্টলেশন, কনফিগারেশন এবং লাইফসাইকেল পরিচালনা করে, যার মধ্যে জুপিটারহাব, সেফ, স্পার্ক, কাফকা, সেলডন, প্রমিথিউস এবং গ্রাফানার মতো উপরে উল্লিখিত সরঞ্জামগুলির স্থাপনা রয়েছে। Open Data Hub প্রকল্পটি OpenShift ওয়েব কনসোলে, কমিউনিটি অপারেটর বিভাগে পাওয়া যাবে। এইভাবে, OpenShift অ্যাডমিনিস্ট্রেটর নির্দিষ্ট করতে পারেন যে সংশ্লিষ্ট OpenShift প্রকল্পগুলিকে "ওপেন ডেটা হাব প্রকল্প" হিসাবে শ্রেণীবদ্ধ করা হয়েছে। এই একবার করা হয়. এর পরে, ডেটা বিশ্লেষক OpenShift ওয়েব কনসোলের মাধ্যমে তার প্রকল্পের জায়গায় লগ ইন করেন এবং দেখেন যে সংশ্লিষ্ট Kubernetes অপারেটর ইনস্টল করা আছে এবং তার প্রকল্পগুলির জন্য উপলব্ধ। তারপরে তিনি এক ক্লিকে একটি ওপেন ডেটা হাব প্রজেক্ট ইনস্ট্যান্স তৈরি করেন এবং সঙ্গে সঙ্গে উপরে বর্ণিত টুলগুলিতে অ্যাক্সেস পান। এবং এই সমস্ত উচ্চ প্রাপ্যতা এবং দোষ সহনশীলতা মোডে কনফিগার করা যেতে পারে।

আপনি যদি নিজের জন্য ওপেন ডেটা হাব প্রকল্পটি চেষ্টা করতে চান তবে শুরু করুন ইনস্টলেশন নির্দেশাবলী এবং পরিচায়ক টিউটোরিয়াল. ওপেন ডেটা হাব আর্কিটেকচারের প্রযুক্তিগত বিবরণ পাওয়া যাবে এখানে, প্রকল্প উন্নয়ন পরিকল্পনা - এখানে. ভবিষ্যতে, আমরা Kubeflow-এর সাথে অতিরিক্ত ইন্টিগ্রেশন বাস্তবায়নের পরিকল্পনা করছি, ডেটা রেগুলেশন এবং নিরাপত্তা নিয়ে বেশ কিছু সমস্যার সমাধান করব এবং নিয়ম-ভিত্তিক সিস্টেম Drools এবং Optaplanner-এর সাথে ইন্টিগ্রেশন সংগঠিত করব। আপনার মতামত প্রকাশ করুন এবং প্রকল্পে অংশগ্রহণকারী হন ডাটা হাব খুলুন পৃষ্ঠায় সম্ভব সম্প্রদায়.

রিক্যাপ করার জন্য: গুরুতর স্কেলিং চ্যালেঞ্জ সংস্থাগুলিকে কৃত্রিম বুদ্ধিমত্তা এবং মেশিন লার্নিংয়ের সম্পূর্ণ সম্ভাবনা উপলব্ধি করতে বাধা দিচ্ছে। সফ্টওয়্যার শিল্পে একই ধরনের সমস্যা সমাধানের জন্য Red Hat OpenShift দীর্ঘদিন ধরে সফলভাবে ব্যবহার করা হয়েছে। ওপেন সোর্স ডেভেলপমেন্ট সম্প্রদায়ের মধ্যে বাস্তবায়িত ওপেন ডেটা হাব প্রকল্পটি ওপেনশিফট হাইব্রিড ক্লাউডের উপর ভিত্তি করে AI/ML অপারেশনগুলির একটি সম্পূর্ণ চক্র সংগঠিত করার জন্য একটি রেফারেন্স আর্কিটেকচার অফার করে। এই প্রকল্পের উন্নয়নের জন্য আমাদের একটি সুস্পষ্ট এবং সুচিন্তিত পরিকল্পনা রয়েছে এবং আমরা ওপেনশিফট প্ল্যাটফর্মে ওপেন এআই সমাধানগুলি বিকাশের জন্য এটির চারপাশে একটি সক্রিয় এবং ফলপ্রসূ সম্প্রদায় তৈরি করার বিষয়ে আন্তরিক।

উত্স: www.habr.com