مستقبل آچکا ہے، اور مصنوعی ذہانت اور مشین لرننگ ٹیکنالوجیز پہلے ہی آپ کے پسندیدہ اسٹورز، ٹرانسپورٹ کمپنیوں اور یہاں تک کہ ٹرکی فارمز کے ذریعے کامیابی سے استعمال ہو رہی ہیں۔
اور اگر کچھ موجود ہے، تو انٹرنیٹ پر اس کے بارے میں پہلے سے ہی کچھ موجود ہے... ایک کھلا منصوبہ! دیکھیں کہ اوپن ڈیٹا ہب آپ کو نئی ٹیکنالوجیز کی پیمائش کرنے اور نفاذ کے چیلنجوں سے بچنے میں کس طرح مدد کرتا ہے۔
مصنوعی ذہانت (AI) اور مشین لرننگ (ML) کے تمام فوائد کے ساتھ، تنظیموں کو اکثر ان ٹیکنالوجیز کی پیمائش کرنے میں دشواری ہوتی ہے۔ اس معاملے میں بنیادی مسائل عام طور پر درج ذیل ہیں:
- معلومات کا تبادلہ اور تعاون - آسانی سے معلومات کا تبادلہ کرنا اور تیزی سے تکرار میں تعاون کرنا تقریباً ناممکن ہے۔
- ڈیٹا تک رسائی۔ - ہر کام کے لیے اسے نئے سرے سے اور دستی طور پر بنانے کی ضرورت ہے، جس میں کافی وقت لگتا ہے۔
- طلب پر رسائی - مشین لرننگ ٹولز اور پلیٹ فارم کے ساتھ ساتھ کمپیوٹنگ انفراسٹرکچر تک آن ڈیمانڈ رسائی حاصل کرنے کا کوئی طریقہ نہیں ہے۔
- پیداوار - ماڈل پروٹوٹائپ مرحلے پر رہتے ہیں اور صنعتی استعمال میں نہیں لائے جاتے ہیں۔
- AI نتائج کو ٹریک کریں اور اس کی وضاحت کریں۔ AI/ML نتائج کی تولیدی صلاحیت، ٹریکنگ اور وضاحت مشکل ہے۔
بغیر توجہ کے، یہ مسائل قیمتی ڈیٹا سائنسدانوں کی رفتار، کارکردگی اور پیداواری صلاحیت پر منفی اثر ڈالتے ہیں۔ یہ ان کے کام میں مایوسی، مایوسی کا باعث بنتا ہے، اور اس کے نتیجے میں، AI/ML سے متعلق کاروباری توقعات ضائع ہو جاتی ہیں۔
ان مسائل کو حل کرنے کی ذمہ داری آئی ٹی ماہرین پر آتی ہے، جنہیں ڈیٹا تجزیہ کاروں کو فراہم کرنا چاہیے - یہ ٹھیک ہے، کچھ بادل کی طرح۔ مزید تفصیل میں، ہمیں ایک ایسے پلیٹ فارم کی ضرورت ہے جو انتخاب کی آزادی دے اور جس میں آسان، آسان رسائی ہو۔ ایک ہی وقت میں، یہ تیز، آسانی سے دوبارہ ترتیب دینے والا، طلب پر توسیع پذیر اور ناکامیوں کے خلاف مزاحم ہے۔ اوپن سورس ٹیکنالوجیز پر اس طرح کے پلیٹ فارم کی تعمیر سے وینڈر لاک ان سے بچنے اور لاگت پر قابو پانے کے معاملے میں طویل مدتی اسٹریٹجک فائدہ برقرار رکھنے میں مدد ملتی ہے۔
کچھ سال پہلے، کچھ ایسا ہی ایپلی کیشن ڈویلپمنٹ میں ہو رہا تھا اور اس کی وجہ سے مائیکرو سروسز، ہائبرڈ کلاؤڈز، آئی ٹی آٹومیشن، اور چست عمل سامنے آئے۔ اس سب سے نمٹنے کے لیے، آئی ٹی کے ماہرین نے کنٹینرز، کبرنیٹس اور اوپن ہائبرڈ کلاؤڈز کا رخ کیا ہے۔
یہ تجربہ اب ال کے چیلنجوں کا جواب دینے کے لیے استعمال کیا جا رہا ہے۔ یہی وجہ ہے کہ IT پیشہ ور ایسے پلیٹ فارمز بنا رہے ہیں جو کنٹینر پر مبنی ہیں، چست عمل کے اندر AI/ML سروسز کی تخلیق کو قابل بناتے ہیں، اختراع کو تیز کرتے ہیں، اور ہائبرڈ کلاؤڈ کی طرف نظر رکھتے ہوئے بنائے گئے ہیں۔
ہم Red Hat OpenShift کے ساتھ ایسا پلیٹ فارم بنانا شروع کریں گے، ہائبرڈ کلاؤڈ کے لیے ہمارا کنٹینرائزڈ کبرنیٹس پلیٹ فارم، جس میں سافٹ ویئر اور ہارڈویئر ML سلوشنز (NVIDIA، H2O.ai، Starburst، PerceptiLabs، وغیرہ) کا تیزی سے بڑھتا ہوا ماحولیاتی نظام ہے۔ Red Hat کے کچھ صارفین، جیسے BMW Group، ExxonMobil اور دیگر، پلیٹ فارم اور اس کے ایکو سسٹم کے اوپر کنٹینرائزڈ ML ٹول چینز اور DevOps پروسیسز کو پہلے ہی تعینات کر چکے ہیں تاکہ اپنے ML فن تعمیر کو پروڈکشن میں لایا جا سکے اور ڈیٹا تجزیہ کاروں کے کام کو تیز کیا جا سکے۔
اوپن ڈیٹا ہب پروجیکٹ کو شروع کرنے کی ایک اور وجہ کئی اوپن سورس سافٹ ویئر پروجیکٹس پر مبنی ایک فن تعمیر کی مثال پیش کرنا ہے اور یہ بتانا ہے کہ اوپن شفٹ پلیٹ فارم پر مبنی ایم ایل حل کے پورے لائف سائیکل کو کیسے نافذ کیا جائے۔
ڈیٹا ہب پروجیکٹ کھولیں۔
یہ ایک اوپن سورس پروجیکٹ ہے جو متعلقہ ترقیاتی کمیونٹی کے اندر تیار کیا گیا ہے اور آپریشن کے ایک مکمل دور کو لاگو کرتا ہے - ابتدائی ڈیٹا کو لوڈ کرنے اور تبدیل کرنے سے لے کر ماڈل تیار کرنے، تربیت دینے اور اسے برقرار رکھنے تک - جب OpenShift پر کنٹینرز اور Kubernetes کا استعمال کرتے ہوئے AI/ML کے مسائل حل کرتے ہیں۔ پلیٹ فارم اس پروجیکٹ کو ایک حوالہ پر عمل درآمد سمجھا جا سکتا ہے، جس کی ایک مثال اوپن شیفٹ اور متعلقہ اوپن سورس ٹولز جیسے Tensorflow، JupyterHub، Spark اور دیگر پر مبنی ایک اوپن AI/ML-as-a-service سلوشن بنانے کا طریقہ ہے۔ یہ نوٹ کرنا ضروری ہے کہ Red Hat خود اس پروجیکٹ کو اپنی AI/ML خدمات فراہم کرنے کے لیے استعمال کرتا ہے۔ اس کے علاوہ، OpenShift NVIDIA، Seldon، Starbust اور دیگر وینڈرز کے کلیدی سافٹ ویئر اور ہارڈویئر ML سلوشنز کے ساتھ ضم ہوتا ہے، جس سے آپ کے اپنے مشین لرننگ سسٹمز کو بنانا اور چلانا آسان ہو جاتا ہے۔
اوپن ڈیٹا ہب پروجیکٹ صارفین اور استعمال کے معاملات کے درج ذیل زمروں پر مرکوز ہے۔
- ڈیٹا اینالسٹ جسے ایم ایل پروجیکٹس کو لاگو کرنے کے لیے حل کی ضرورت ہے، جو سیلف سروس فنکشنز کے ساتھ کلاؤڈ کی طرح منظم ہے۔
- ڈیٹا تجزیہ کار جسے جدید ترین اوپن سورس AI/ML ٹولز اور پلیٹ فارمز سے زیادہ سے زیادہ انتخاب کی ضرورت ہے۔
- ڈیٹا تجزیہ کار جسے ماڈلز کی تربیت کے دوران ڈیٹا کے ذرائع تک رسائی کی ضرورت ہوتی ہے۔
- ڈیٹا تجزیہ کار جسے کمپیوٹنگ وسائل (CPU، GPU، میموری) تک رسائی کی ضرورت ہے۔
- ڈیٹا تجزیہ کار جو ساتھیوں کے ساتھ تعاون کرنے اور کام کا اشتراک کرنے، رائے حاصل کرنے، اور تیز رفتار تکرار میں بہتری لانے کی صلاحیت کی ضرورت ہے۔
- ایک ڈیٹا تجزیہ کار جو ڈویلپرز (اور ڈیوپس ٹیموں) کے ساتھ بات چیت کرنا چاہتا ہے تاکہ اس کے ایم ایل ماڈلز اور کام کے نتائج پروڈکشن میں جائیں۔
- ڈیٹا انجینئر جسے ریگولیٹری اور سیکیورٹی کی ضروریات کی تعمیل کرتے ہوئے ڈیٹا کے تجزیہ کار کو متعدد ڈیٹا ذرائع تک رسائی فراہم کرنے کی ضرورت ہے۔
- آئی ٹی سسٹم ایڈمنسٹریٹر/آپریٹر جو اوپن سورس اجزاء اور ٹیکنالوجیز کے لائف سائیکل (انسٹالیشن، کنفیگریشن، اپ گریڈ) کو آسانی سے کنٹرول کرنے کی صلاحیت کی ضرورت ہے۔ ہمیں مناسب انتظام اور کوٹہ ٹولز کی بھی ضرورت ہے۔
اوپن ڈیٹا ہب پروجیکٹ AI/ML آپریشنز کے مکمل سائیکل کو نافذ کرنے کے لیے اوپن سورس ٹولز کی ایک رینج کو اکٹھا کرتا ہے۔ Jupyter Notebook کو یہاں ڈیٹا اینالیٹکس کے لیے کام کرنے والے اہم ٹول کے طور پر استعمال کیا جاتا ہے۔ ٹول کٹ آج ڈیٹا سائنسدانوں میں بڑے پیمانے پر مقبول ہے، اور اوپن ڈیٹا ہب انہیں بلٹ ان JupyterHub کا استعمال کرتے ہوئے Jupyter Notebook ورک اسپیس کو آسانی سے بنانے اور ان کا نظم کرنے کی اجازت دیتا ہے۔ Jupyter نوٹ بک بنانے اور درآمد کرنے کے علاوہ، Open Data Hub پروجیکٹ میں AI لائبریری کی شکل میں بہت سی ریڈی میڈ نوٹ بکس بھی شامل ہیں۔
یہ لائبریری اوپن سورس مشین لرننگ اجزاء اور عام منظرناموں کے حل کا مجموعہ ہے جو تیز رفتار پروٹو ٹائپنگ کو آسان بناتے ہیں۔ JupyterHub OpenShift کے RBAC رسائی ماڈل کے ساتھ مربوط ہے، جو آپ کو موجودہ OpenShift اکاؤنٹس استعمال کرنے اور سنگل سائن آن کو لاگو کرنے کی اجازت دیتا ہے۔ اس کے علاوہ، JupyterHub ایک صارف دوست یوزر انٹرفیس پیش کرتا ہے جسے spawner کہتے ہیں، جس کے ذریعے صارف منتخب کردہ Jupyter Notebook کے لیے کمپیوٹنگ وسائل (CPU cores، میموری، GPU) کی مقدار کو آسانی سے ترتیب دے سکتا ہے۔
ڈیٹا اینالسٹ کے لیپ ٹاپ بنانے اور ترتیب دینے کے بعد، اس کے بارے میں دیگر تمام خدشات کا خیال Kubernetes شیڈیولر کے ذریعے لیا جاتا ہے، جو OpenShift کا حصہ ہے۔ صارفین صرف اپنے تجربات کر سکتے ہیں، اپنے کام کے نتائج کو محفوظ اور شیئر کر سکتے ہیں۔ مزید برآں، اعلی درجے کے صارفین Jupyter نوٹ بک سے OpenShift CLI شیل تک براہ راست رسائی حاصل کر سکتے ہیں تاکہ Kubernetes پرائمیٹو جیسے جاب یا OpenShift فعالیت جیسے Tekton یا Knative کا فائدہ اٹھا سکیں۔ یا اس کے لیے آپ OpenShift کا آسان GUI استعمال کر سکتے ہیں، جسے "OpenShift ویب کنسول" کہا جاتا ہے۔
اگلے مرحلے کی طرف بڑھتے ہوئے، اوپن ڈیٹا ہب ڈیٹا پائپ لائنز کا انتظام کرنا ممکن بناتا ہے۔ اس کے لیے، ایک Ceph آبجیکٹ استعمال کیا جاتا ہے، جو S3 کے ساتھ مطابقت پذیر آبجیکٹ ڈیٹا اسٹوریج کے طور پر فراہم کیا جاتا ہے۔ Apache Spark آپ کو بیرونی ذرائع یا بلٹ ان Ceph S3 اسٹوریج سے ڈیٹا سٹریم کرنے کی اجازت دیتا ہے، اور آپ کو ڈیٹا کی ابتدائی تبدیلیاں کرنے کی بھی اجازت دیتا ہے۔ اپاچی کافکا ڈیٹا پائپ لائنز کا جدید انتظام فراہم کرتا ہے (جہاں ڈیٹا متعدد بار لوڈ کیا جا سکتا ہے، ساتھ ہی ڈیٹا کی تبدیلی، تجزیہ، اور استقامت کے آپریشنز)۔
لہذا، ڈیٹا تجزیہ کار نے ڈیٹا تک رسائی حاصل کی اور ایک ماڈل بنایا۔ اب اس کی خواہش ہے کہ وہ حاصل کردہ نتائج کو ساتھیوں یا ایپلیکیشن ڈویلپرز کے ساتھ شیئر کرے اور انہیں سروس کے اصولوں پر اپنا ماڈل فراہم کرے۔ اس کے لیے ایک انفرنس سرور کی ضرورت ہوتی ہے، اور اوپن ڈیٹا ہب میں ایسا سرور ہوتا ہے، اسے سیلڈن کہتے ہیں اور آپ کو ماڈل کو ایک آرام دہ سروس کے طور پر شائع کرنے کی اجازت دیتا ہے۔
کسی وقت، سیلڈن سرور پر اس طرح کے کئی ماڈل موجود ہیں، اور ان کے استعمال کی نگرانی کرنے کی ضرورت ہے۔ اسے حاصل کرنے کے لیے، Open Data Hub متعلقہ میٹرکس کا ایک مجموعہ اور وسیع پیمانے پر استعمال ہونے والے اوپن سورس مانیٹرنگ ٹولز Prometheus اور Grafana پر مبنی رپورٹنگ انجن پیش کرتا ہے۔ نتیجے کے طور پر، ہمیں AI ماڈلز کے استعمال کی نگرانی کے لیے فیڈ بیک موصول ہوتا ہے، خاص طور پر پیداواری ماحول میں۔
اس طرح، اوپن ڈیٹا ہب ڈیٹا تک رسائی اور تیاری سے لے کر ماڈل ٹریننگ اور پروڈکشن تک پورے AI/ML لائف سائیکل میں کلاؤڈ جیسا طریقہ فراہم کرتا ہے۔
یہ سب ایک ساتھ ڈالنا
اب سوال یہ پیدا ہوتا ہے کہ اوپن شفٹ ایڈمنسٹریٹر کے لیے یہ سب کیسے ترتیب دیا جائے۔ اور یہیں سے اوپن ڈیٹا ہب پروجیکٹس کے لیے ایک خصوصی Kubernetes آپریٹر کام میں آتا ہے۔
یہ آپریٹر اوپن ڈیٹا ہب پروجیکٹ کی انسٹالیشن، کنفیگریشن اور لائف سائیکل کا انتظام کرتا ہے، جس میں مذکورہ ٹولز جیسے JupyterHub، Ceph، Spark، Kafka، Seldon، Prometheus اور Grafana کی تعیناتی شامل ہے۔ اوپن ڈیٹا ہب پروجیکٹ OpenShift ویب کنسول میں کمیونٹی آپریٹرز کے سیکشن میں پایا جا سکتا ہے۔ اس طرح، OpenShift منتظم یہ بتا سکتا ہے کہ متعلقہ OpenShift پروجیکٹس کو "اوپن ڈیٹا ہب پروجیکٹ" کے طور پر درجہ بندی کیا گیا ہے۔ یہ ایک بار کیا جاتا ہے۔ اس کے بعد، ڈیٹا تجزیہ کار OpenShift ویب کنسول کے ذریعے اپنے پروجیکٹ کی جگہ میں لاگ ان ہوتا ہے اور دیکھتا ہے کہ متعلقہ Kubernetes آپریٹر انسٹال ہے اور اس کے پروجیکٹس کے لیے دستیاب ہے۔ اس کے بعد وہ ایک کلک کے ساتھ اوپن ڈیٹا ہب پروجیکٹ کی مثال بناتا ہے اور فوری طور پر اوپر بیان کردہ ٹولز تک رسائی حاصل کرتا ہے۔ اور یہ سب اعلی دستیابی اور فالٹ ٹولرنس موڈ میں ترتیب دیا جا سکتا ہے۔
اگر آپ اپنے لیے اوپن ڈیٹا ہب پروجیکٹ کو آزمانا چاہتے ہیں تو شروع کریں۔ . اوپن ڈیٹا ہب کے فن تعمیر کی تکنیکی تفصیلات مل سکتی ہیں۔ منصوبے کے ترقیاتی منصوبے - . مستقبل میں، ہم Kubeflow کے ساتھ اضافی انضمام کو لاگو کرنے، ڈیٹا ریگولیشن اور سیکیورٹی کے ساتھ متعدد مسائل کو حل کرنے، اور اصولوں پر مبنی نظام Drools اور Optaplanner کے ساتھ انضمام کو منظم کرنے کا ارادہ رکھتے ہیں۔ اپنی رائے کا اظہار کریں اور پروجیکٹ میں شریک بنیں۔ صفحہ پر ممکن ہے۔ .
دوبارہ حاصل کرنے کے لیے: اسکیلنگ کے سنگین چیلنجز تنظیموں کو مصنوعی ذہانت اور مشین لرننگ کی مکمل صلاحیت کا ادراک کرنے سے روک رہے ہیں۔ Red Hat OpenShift طویل عرصے سے سافٹ ویئر انڈسٹری میں اسی طرح کے مسائل کو حل کرنے کے لیے کامیابی کے ساتھ استعمال ہوتا رہا ہے۔ اوپن ڈیٹا ہب پروجیکٹ، جو اوپن سورس ڈیولپمنٹ کمیونٹی کے اندر لاگو کیا گیا ہے، اوپن شفٹ ہائبرڈ کلاؤڈ پر مبنی AI/ML آپریشنز کے مکمل سائیکل کو منظم کرنے کے لیے ایک حوالہ فن تعمیر پیش کرتا ہے۔ ہمارے پاس اس پروجیکٹ کی ترقی کے لیے ایک واضح اور سوچا سمجھا منصوبہ ہے، اور ہم OpenShift پلیٹ فارم پر اوپن AI سلوشنز تیار کرنے کے لیے اس کے ارد گرد ایک فعال اور نتیجہ خیز کمیونٹی بنانے میں سنجیدہ ہیں۔
ماخذ: www.habr.com