భవిష్యత్తు వచ్చేసింది, మీకు ఇష్టమైన దుకాణాలు, రవాణా సంస్థలు మరియు టర్కీ ఫామ్‌లు కూడా కృత్రిమ మేధస్సు మరియు యంత్ర అభ్యాస సాంకేతికతలు ఇప్పటికే విజయవంతంగా ఉపయోగించబడుతున్నాయి.
మరియు ఏదైనా ఉనికిలో ఉంటే, ఇంటర్నెట్‌లో దాని గురించి ఇప్పటికే ఏదో ఉంది... ఓపెన్ ప్రాజెక్ట్! కొత్త టెక్నాలజీలను స్కేల్ చేయడంలో మరియు అమలు సవాళ్లను నివారించడంలో ఓపెన్ డేటా హబ్ మీకు ఎలా సహాయపడుతుందో చూడండి.
ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ (AI) మరియు మెషిన్ లెర్నింగ్ (ML) యొక్క అన్ని ప్రయోజనాలతో, సంస్థలు తరచుగా ఈ సాంకేతికతలను స్కేలింగ్ చేయడంలో ఇబ్బందులు ఎదుర్కొంటాయి. ఈ సందర్భంలో ప్రధాన సమస్యలు సాధారణంగా క్రిందివి:
- సమాచార మార్పిడి మరియు సహకారం - అప్రయత్నంగా సమాచారాన్ని మార్పిడి చేయడం మరియు వేగవంతమైన పునరావృతాలలో సహకరించడం దాదాపు అసాధ్యం.
- డేటా యాక్సెస్ - ప్రతి పని కోసం అది కొత్తగా మరియు మానవీయంగా నిర్మించబడాలి, దీనికి చాలా సమయం పడుతుంది.
- డిమాండ్‌పై యాక్సెస్ - మెషిన్ లెర్నింగ్ టూల్స్ మరియు ప్లాట్‌ఫారమ్‌తో పాటు కంప్యూటింగ్ ఇన్‌ఫ్రాస్ట్రక్చర్‌కు ఆన్-డిమాండ్ యాక్సెస్ పొందడానికి మార్గం లేదు.
- ఉత్పత్తి - నమూనాలు ప్రోటోటైప్ దశలోనే ఉంటాయి మరియు పారిశ్రామిక వినియోగానికి తీసుకురాబడవు.
- AI ఫలితాలను ట్రాక్ చేయండి మరియు వివరించండి - AI/ML ఫలితాల పునరుత్పత్తి, ట్రాకింగ్ మరియు వివరణ కష్టం.
అడ్రస్ చేయకుండా వదిలేస్తే, ఈ సమస్యలు విలువైన డేటా సైంటిస్టుల వేగం, సామర్థ్యం మరియు ఉత్పాదకతను ప్రతికూలంగా ప్రభావితం చేస్తాయి. ఇది వారి నిరుత్సాహానికి, వారి పనిలో నిరాశకు దారితీస్తుంది మరియు ఫలితంగా, AI/MLకి సంబంధించిన వ్యాపార అంచనాలు వృధా అవుతాయి.
ఈ సమస్యలను పరిష్కరించే బాధ్యత IT నిపుణులపై ఉంటుంది, వారు తప్పనిసరిగా డేటా విశ్లేషకులను అందించాలి - అది సరైనది, క్లౌడ్ లాంటిది. మరింత వివరంగా చెప్పాలంటే, మనకు ఎంపిక చేసుకునే స్వేచ్ఛను ఇచ్చే ప్లాట్‌ఫారమ్ అవసరం మరియు అనుకూలమైన, సులభమైన యాక్సెస్‌ను కలిగి ఉంటుంది. అదే సమయంలో, ఇది వేగంగా, సులభంగా పునర్నిర్మించదగినది, డిమాండ్‌పై స్కేలబుల్ మరియు వైఫల్యాలకు నిరోధకతను కలిగి ఉంటుంది. ఓపెన్ సోర్స్ టెక్నాలజీలపై అటువంటి ప్లాట్‌ఫారమ్‌ను నిర్మించడం వెండర్ లాక్-ఇన్‌ను నివారించడంలో సహాయపడుతుంది మరియు వ్యయ నియంత్రణ పరంగా దీర్ఘకాలిక వ్యూహాత్మక ప్రయోజనాన్ని కలిగి ఉంటుంది.
కొన్ని సంవత్సరాల క్రితం, అప్లికేషన్ డెవలప్‌మెంట్‌లో ఇలాంటిదే జరుగుతోంది మరియు మైక్రోసర్వీసెస్, హైబ్రిడ్ క్లౌడ్స్, IT ఆటోమేషన్ మరియు చురుకైన ప్రక్రియల ఆవిర్భావానికి దారితీసింది. వీటన్నింటిని ఎదుర్కోవడానికి, IT నిపుణులు కంటైనర్లు, కుబెర్నెట్స్ మరియు ఓపెన్ హైబ్రిడ్ క్లౌడ్స్ వైపు మొగ్గు చూపారు.
అల్ యొక్క సవాళ్లకు సమాధానం ఇవ్వడానికి ఈ అనుభవం ఇప్పుడు వర్తించబడుతుంది. అందుకే IT నిపుణులు కంటైనర్ ఆధారిత ప్లాట్‌ఫారమ్‌లను నిర్మిస్తున్నారు, చురుకైన ప్రక్రియలలో AI/ML సేవలను రూపొందించడాన్ని ప్రారంభిస్తారు, ఆవిష్కరణలను వేగవంతం చేస్తారు మరియు హైబ్రిడ్ క్లౌడ్‌ను దృష్టిలో ఉంచుకుని నిర్మించారు.
సాఫ్ట్‌వేర్ మరియు హార్డ్‌వేర్ ML సొల్యూషన్‌ల (NVIDIA, H2O.ai, Starburst, PerceptiLabs, మొదలైనవి) వేగంగా అభివృద్ధి చెందుతున్న పర్యావరణ వ్యవస్థను కలిగి ఉన్న హైబ్రిడ్ క్లౌడ్ కోసం మా కంటెయినరైజ్డ్ Kubernetes ప్లాట్‌ఫారమ్ Red Hat OpenShiftతో మేము అటువంటి ప్లాట్‌ఫారమ్‌ను రూపొందించడం ప్రారంభిస్తాము. BMW గ్రూప్, ఎక్సాన్‌మొబిల్ మరియు ఇతరులు వంటి Red Hat యొక్క కొంతమంది కస్టమర్‌లు తమ ML నిర్మాణాలను ఉత్పత్తికి తీసుకురావడానికి మరియు డేటా విశ్లేషకుల పనిని వేగవంతం చేయడానికి ప్లాట్‌ఫారమ్ మరియు దాని పర్యావరణ వ్యవస్థ పైన ఇప్పటికే కంటెయినరైజ్డ్ ML టూల్‌చెయిన్‌లు మరియు DevOps ప్రక్రియలను అమలు చేశారు.
మేము ఓపెన్ డేటా హబ్ ప్రాజెక్ట్‌ను ప్రారంభించిన మరో కారణం ఏమిటంటే, అనేక ఓపెన్ సోర్స్ సాఫ్ట్‌వేర్ ప్రాజెక్ట్‌ల ఆధారంగా ఆర్కిటెక్చర్ యొక్క ఉదాహరణను ప్రదర్శించడం మరియు OpenShift ప్లాట్‌ఫారమ్ ఆధారంగా ML సొల్యూషన్ యొక్క మొత్తం జీవిత చక్రాన్ని ఎలా అమలు చేయాలో చూపించడం.
డేటా హబ్ ప్రాజెక్ట్‌ని తెరవండి
ఇది సంబంధిత డెవలప్‌మెంట్ కమ్యూనిటీలో డెవలప్ చేయబడిన ఓపెన్ సోర్స్ ప్రాజెక్ట్ మరియు ఓపెన్‌షిఫ్ట్‌లో కంటైనర్లు మరియు కుబెర్నెట్‌లను ఉపయోగించి AI / ML సమస్యలను పరిష్కరించేటప్పుడు ప్రారంభ డేటాను లోడ్ చేయడం మరియు మార్చడం నుండి మోడల్‌ను రూపొందించడం, శిక్షణ ఇవ్వడం మరియు నిర్వహించడం వరకు పూర్తి కార్యకలాపాలను అమలు చేస్తుంది. వేదిక. ఈ ప్రాజెక్ట్‌ను రిఫరెన్స్ ఇంప్లిమెంటేషన్‌గా పరిగణించవచ్చు, OpenShift మరియు సంబంధిత ఓపెన్ సోర్స్ టూల్స్ అయిన Tensorflow, JupyterHub, Spark మరియు ఇతర వాటి ఆధారంగా ఓపెన్ AI/ML-యాజ్-ఎ-సర్వీస్ సొల్యూషన్‌ను ఎలా రూపొందించాలో ఉదాహరణగా చెప్పవచ్చు. Red Hat తన AI/ML సేవలను అందించడానికి ఈ ప్రాజెక్ట్‌ను ఉపయోగిస్తుందని గమనించడం ముఖ్యం. అదనంగా, OpenShift NVIDIA, Seldon, Starbust మరియు ఇతర విక్రేతల నుండి కీ సాఫ్ట్‌వేర్ మరియు హార్డ్‌వేర్ ML సొల్యూషన్‌లతో అనుసంధానం అవుతుంది, మీ స్వంత మెషీన్ లెర్నింగ్ సిస్టమ్‌లను నిర్మించడం మరియు అమలు చేయడం సులభం చేస్తుంది.
ఓపెన్ డేటా హబ్ ప్రాజెక్ట్ కింది వర్గాల వినియోగదారులు మరియు వినియోగ కేసులపై దృష్టి సారించింది:
- సెల్ఫ్ సర్వీస్ ఫంక్షన్‌లతో క్లౌడ్ లాగా నిర్వహించబడే ML ప్రాజెక్ట్‌లను అమలు చేయడానికి ఒక పరిష్కారం అవసరమయ్యే డేటా విశ్లేషకుడు.
- తాజా ఓపెన్ సోర్స్ AI/ML సాధనాలు మరియు ప్లాట్‌ఫారమ్‌ల నుండి గరిష్ట ఎంపిక అవసరమయ్యే డేటా విశ్లేషకుడు.
- మోడల్‌లకు శిక్షణ ఇస్తున్నప్పుడు డేటా మూలాలకు యాక్సెస్ అవసరమయ్యే డేటా విశ్లేషకుడు.
- కంప్యూటింగ్ వనరులకు (CPU, GPU, మెమరీ) యాక్సెస్ అవసరమయ్యే డేటా విశ్లేషకుడు.
- సహోద్యోగులతో కలిసి పని చేయడం మరియు భాగస్వామ్యం చేయడం, అభిప్రాయాన్ని స్వీకరించడం మరియు వేగవంతమైన పునరావృతంలో మెరుగుదలలు చేయగల సామర్థ్యం అవసరమయ్యే డేటా విశ్లేషకుడు.
- డెవలపర్‌లతో (మరియు డెవొప్స్ టీమ్‌లు) ఇంటరాక్ట్ కావాలనుకునే డేటా విశ్లేషకుడు, తద్వారా అతని ML మోడల్‌లు మరియు పని ఫలితాలు ఉత్పత్తిలోకి వస్తాయి.
- రెగ్యులేటరీ మరియు సెక్యూరిటీ ఆవశ్యకతలకు లోబడి వివిధ రకాల డేటా సోర్స్‌లకు యాక్సెస్‌తో డేటా అనలిస్ట్‌ను అందించాల్సిన డేటా ఇంజనీర్.
- ఓపెన్ సోర్స్ భాగాలు మరియు సాంకేతికతల జీవితచక్రాన్ని (ఇన్‌స్టాలేషన్, కాన్ఫిగరేషన్, అప్‌గ్రేడ్) అప్రయత్నంగా నియంత్రించగల సామర్థ్యం అవసరమయ్యే IT సిస్టమ్ అడ్మినిస్ట్రేటర్/ఆపరేటర్. మాకు తగిన నిర్వహణ మరియు కోటా సాధనాలు కూడా అవసరం.
ఓపెన్ డేటా హబ్ ప్రాజెక్ట్ AI/ML కార్యకలాపాల పూర్తి చక్రాన్ని అమలు చేయడానికి ఓపెన్ సోర్స్ సాధనాల శ్రేణిని కలిపిస్తుంది. జూపిటర్ నోట్‌బుక్ ఇక్కడ డేటా అనలిటిక్స్ కోసం ప్రధాన పని సాధనంగా ఉపయోగించబడుతుంది. ఈ టూల్‌కిట్ డేటా సైంటిస్టులలో విస్తృతంగా ప్రాచుర్యం పొందింది మరియు అంతర్నిర్మిత జూపిటర్‌హబ్‌ని ఉపయోగించి జూపిటర్ నోట్‌బుక్ వర్క్‌స్పేస్‌లను సులభంగా సృష్టించడానికి మరియు నిర్వహించడానికి ఓపెన్ డేటా హబ్ వారిని అనుమతిస్తుంది. జూపిటర్ నోట్‌బుక్‌లను సృష్టించడం మరియు దిగుమతి చేయడంతో పాటు, ఓపెన్ డేటా హబ్ ప్రాజెక్ట్ AI లైబ్రరీ రూపంలో అనేక రెడీమేడ్ నోట్‌బుక్‌లను కూడా కలిగి ఉంది.
ఈ లైబ్రరీ అనేది ఓపెన్ సోర్స్ మెషీన్ లెర్నింగ్ భాగాలు మరియు త్వరిత నమూనాను సులభతరం చేసే సాధారణ దృశ్యాల కోసం పరిష్కారాల సమాహారం. JupyterHub OpenShift యొక్క RBAC యాక్సెస్ మోడల్‌తో ఏకీకృతం చేయబడింది, ఇది ఇప్పటికే ఉన్న OpenShift ఖాతాలను ఉపయోగించడానికి మరియు సింగిల్ సైన్-ఆన్‌ని అమలు చేయడానికి మిమ్మల్ని అనుమతిస్తుంది. అదనంగా, JupyterHub స్పానర్ అని పిలువబడే వినియోగదారు-స్నేహపూర్వక వినియోగదారు ఇంటర్‌ఫేస్‌ను అందిస్తుంది, దీని ద్వారా వినియోగదారు ఎంచుకున్న జూపిటర్ నోట్‌బుక్ కోసం కంప్యూటింగ్ వనరుల (CPU కోర్లు, మెమరీ, GPU) మొత్తాన్ని సులభంగా కాన్ఫిగర్ చేయవచ్చు.
డేటా విశ్లేషకుడు ల్యాప్‌టాప్‌ను సృష్టించి, కాన్ఫిగర్ చేసిన తర్వాత, దాని గురించిన అన్ని ఇతర ఆందోళనలను OpenShiftలో భాగమైన కుబెర్నెట్స్ షెడ్యూలర్ చూసుకుంటుంది. వినియోగదారులు వారి ప్రయోగాలను మాత్రమే నిర్వహించగలరు, వారి పని ఫలితాలను సేవ్ చేయగలరు మరియు భాగస్వామ్యం చేయగలరు. అదనంగా, అధునాతన వినియోగదారులు నేరుగా జూపిటర్ నోట్‌బుక్‌ల నుండి నేరుగా ఓపెన్‌షిఫ్ట్ CLI షెల్‌ను యాక్సెస్ చేయగలరు, జాబ్ లేదా టెక్టన్ లేదా నేటివ్ వంటి ఓపెన్‌షిఫ్ట్ ఫంక్షనాలిటీ వంటి కుబెర్నెట్స్ ఆదిమాలను ప్రభావితం చేయవచ్చు. లేదా దీని కోసం మీరు OpenShift యొక్క అనుకూలమైన GUIని ఉపయోగించవచ్చు, దీనిని "OpenShift వెబ్ కన్సోల్" అని పిలుస్తారు.
తదుపరి దశకు వెళ్లడం, ఓపెన్ డేటా హబ్ డేటా పైప్‌లైన్‌లను నిర్వహించడం సాధ్యం చేస్తుంది. దీని కోసం, ఒక Ceph ఆబ్జెక్ట్ ఉపయోగించబడుతుంది, ఇది S3-అనుకూల వస్తువు డేటా నిల్వగా అందించబడుతుంది. అపాచీ స్పార్క్ మిమ్మల్ని బాహ్య మూలాల నుండి లేదా అంతర్నిర్మిత Ceph S3 నిల్వ నుండి డేటాను ప్రసారం చేయడానికి అనుమతిస్తుంది మరియు ప్రాథమిక డేటా రూపాంతరాలను నిర్వహించడానికి మిమ్మల్ని అనుమతిస్తుంది. అపాచీ కాఫ్కా డేటా పైప్‌లైన్‌ల అధునాతన నిర్వహణను అందిస్తుంది (ఇక్కడ డేటాను అనేక సార్లు లోడ్ చేయవచ్చు, అలాగే డేటా ట్రాన్స్‌ఫర్మేషన్, విశ్లేషణ మరియు నిలకడ కార్యకలాపాలు).
కాబట్టి, డేటా విశ్లేషకుడు డేటాను యాక్సెస్ చేసి ఒక మోడల్‌ను రూపొందించారు. ఇప్పుడు అతను పొందిన ఫలితాలను సహోద్యోగులతో లేదా అప్లికేషన్ డెవలపర్‌లతో పంచుకోవాలనే కోరికను కలిగి ఉన్నాడు మరియు వారికి సేవ యొక్క సూత్రాలపై తన నమూనాను అందించాడు. దీనికి అనుమితి సర్వర్ అవసరం మరియు ఓపెన్ డేటా హబ్ అటువంటి సర్వర్‌ని కలిగి ఉంది, దీనిని సెల్డాన్ అని పిలుస్తారు మరియు మోడల్‌ను RESTful సేవగా ప్రచురించడానికి మిమ్మల్ని అనుమతిస్తుంది.
ఏదో ఒక సమయంలో, సెల్డన్ సర్వర్‌లో ఇటువంటి అనేక నమూనాలు ఉన్నాయి మరియు అవి ఎలా ఉపయోగించబడుతున్నాయో పర్యవేక్షించాల్సిన అవసరం ఉంది. దీన్ని సాధించడానికి, ఓపెన్ డేటా హబ్ విస్తృతంగా ఉపయోగించే ఓపెన్ సోర్స్ మానిటరింగ్ టూల్స్ ప్రోమేథియస్ మరియు గ్రాఫానా ఆధారంగా సంబంధిత కొలమానాల సేకరణ మరియు రిపోర్టింగ్ ఇంజిన్‌ను అందిస్తుంది. ఫలితంగా, AI మోడల్‌ల వినియోగాన్ని పర్యవేక్షించడానికి మేము అభిప్రాయాన్ని స్వీకరిస్తాము, ముఖ్యంగా ఉత్పత్తి వాతావరణంలో.
ఈ విధంగా, ఓపెన్ డేటా హబ్ డేటా యాక్సెస్ మరియు ప్రిపరేషన్ నుండి మోడల్ ట్రైనింగ్ మరియు ప్రొడక్షన్ వరకు మొత్తం AI/ML జీవితచక్రం అంతటా క్లౌడ్ లాంటి విధానాన్ని అందిస్తుంది.
అన్నిటినీ కలిపి చూస్తే
ఇప్పుడు ఓపెన్‌షిఫ్ట్ అడ్మినిస్ట్రేటర్ కోసం ఇవన్నీ ఎలా నిర్వహించాలనే ప్రశ్న తలెత్తుతుంది. మరియు ఇక్కడే ఓపెన్ డేటా హబ్ ప్రాజెక్ట్‌ల కోసం ప్రత్యేక Kubernetes ఆపరేటర్ అమలులోకి వస్తుంది.
ఈ ఆపరేటర్ జూపిటర్‌హబ్, సెఫ్, స్పార్క్, కాఫ్కా, సెల్డన్, ప్రోమేథియస్ మరియు గ్రాఫానా వంటి పైన పేర్కొన్న సాధనాల విస్తరణతో సహా ఓపెన్ డేటా హబ్ ప్రాజెక్ట్ యొక్క ఇన్‌స్టాలేషన్, కాన్ఫిగరేషన్ మరియు జీవితచక్రాన్ని నిర్వహిస్తుంది. ఓపెన్ డేటా హబ్ ప్రాజెక్ట్‌ను ఓపెన్‌షిఫ్ట్ వెబ్ కన్సోల్‌లో, కమ్యూనిటీ ఆపరేటర్‌ల విభాగంలో కనుగొనవచ్చు. అందువలన, OpenShift నిర్వాహకుడు సంబంధిత OpenShift ప్రాజెక్ట్‌లు "ఓపెన్ డేటా హబ్ ప్రాజెక్ట్"గా వర్గీకరించబడ్డాయని పేర్కొనవచ్చు. ఇది ఒకసారి చేయబడుతుంది. దీని తర్వాత, డేటా విశ్లేషకుడు OpenShift వెబ్ కన్సోల్ ద్వారా తన ప్రాజెక్ట్ స్పేస్‌లోకి లాగిన్ అవుతాడు మరియు సంబంధిత Kubernetes ఆపరేటర్ ఇన్‌స్టాల్ చేయబడి, అతని ప్రాజెక్ట్‌ల కోసం అందుబాటులో ఉన్నట్లు చూస్తాడు. ఆ తర్వాత అతను ఒక క్లిక్‌తో ఓపెన్ డేటా హబ్ ప్రాజెక్ట్ ఇన్‌స్టాన్స్‌ను క్రియేట్ చేస్తాడు మరియు వెంటనే పైన వివరించిన సాధనాలకు యాక్సెస్‌ను కలిగి ఉంటాడు. మరియు ఇవన్నీ అధిక లభ్యత మరియు తప్పు సహనం మోడ్‌లో కాన్ఫిగర్ చేయబడతాయి.
మీరు మీ కోసం ఓపెన్ డేటా హబ్ ప్రాజెక్ట్‌ను ప్రయత్నించాలనుకుంటే, ప్రారంభించండి . ఓపెన్ డేటా హబ్ ఆర్కిటెక్చర్ యొక్క సాంకేతిక వివరాలను కనుగొనవచ్చు , ప్రాజెక్ట్ అభివృద్ధి ప్రణాళికలు - . భవిష్యత్తులో, మేము Kubeflowతో అదనపు ఏకీకరణను అమలు చేయడానికి ప్లాన్ చేస్తున్నాము, డేటా నియంత్రణ మరియు భద్రతతో అనేక సమస్యలను పరిష్కరించడానికి మరియు నియమాల-ఆధారిత సిస్టమ్స్ Drools మరియు Optaplannerతో ఏకీకరణను కూడా నిర్వహించండి. మీ అభిప్రాయాన్ని తెలియజేయండి మరియు ప్రాజెక్ట్‌లో పాల్గొనండి పేజీలో సాధ్యం .
రీక్యాప్ చేయడానికి: తీవ్రమైన స్కేలింగ్ సవాళ్లు ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ మరియు మెషిన్ లెర్నింగ్ యొక్క పూర్తి సామర్థ్యాన్ని గ్రహించకుండా సంస్థలను నిరోధిస్తున్నాయి. సాఫ్ట్‌వేర్ పరిశ్రమలో ఇలాంటి సమస్యలను పరిష్కరించడానికి Red Hat OpenShift చాలా కాలంగా విజయవంతంగా ఉపయోగించబడుతోంది. ఓపెన్ సోర్స్ డెవలప్‌మెంట్ కమ్యూనిటీలో అమలు చేయబడిన ఓపెన్ డేటా హబ్ ప్రాజెక్ట్, OpenShift హైబ్రిడ్ క్లౌడ్ ఆధారంగా AI/ML కార్యకలాపాల యొక్క పూర్తి చక్రాన్ని నిర్వహించడానికి రిఫరెన్స్ ఆర్కిటెక్చర్‌ను అందిస్తుంది. మేము ఈ ప్రాజెక్ట్ అభివృద్ధి కోసం స్పష్టమైన మరియు ఆలోచనాత్మకమైన ప్రణాళికను కలిగి ఉన్నాము మరియు OpenShift ప్లాట్‌ఫారమ్‌లో ఓపెన్ AI సొల్యూషన్‌లను అభివృద్ధి చేయడం కోసం దాని చుట్టూ చురుకైన మరియు ఫలవంతమైన కమ్యూనిటీని సృష్టించడంపై మేము తీవ్రంగా ఉన్నాము.
మూలం: www.habr.com