ઓપન ડેટા હબ પ્રોજેક્ટ એ Red Hat OpenShift પર આધારિત ઓપન મશીન લર્નિંગ પ્લેટફોર્મ છે

ભવિષ્ય આવી ગયું છે, અને કૃત્રિમ બુદ્ધિમત્તા અને મશીન લર્નિંગ ટેક્નોલોજીનો તમારા મનપસંદ સ્ટોર્સ, ટ્રાન્સપોર્ટ કંપનીઓ અને ટર્કી ફાર્મ્સ દ્વારા પહેલેથી જ સફળતાપૂર્વક ઉપયોગ કરવામાં આવી રહ્યો છે.

અને જો કંઈક અસ્તિત્વમાં છે, તો ઇન્ટરનેટ પર તેના વિશે પહેલેથી જ કંઈક છે... એક ખુલ્લો પ્રોજેક્ટ! જુઓ કે કેવી રીતે ઓપન ડેટા હબ તમને નવી તકનીકોને માપવામાં અને અમલીકરણના પડકારોને ટાળવામાં મદદ કરે છે.

આર્ટિફિશિયલ ઇન્ટેલિજન્સ (AI) અને મશીન લર્નિંગ (ML) ના તમામ ફાયદાઓ સાથે, સંસ્થાઓને આ તકનીકોને માપવામાં ઘણી વાર મુશ્કેલી પડે છે. આ કિસ્સામાં મુખ્ય સમસ્યાઓ સામાન્ય રીતે નીચે મુજબ છે:

• માહિતી વિનિમય અને સહકાર - વિના પ્રયાસે માહિતીની આપ-લે કરવી અને ઝડપી પુનરાવર્તનોમાં સહયોગ કરવો લગભગ અશક્ય છે.
• ડેટા એક્સેસ - દરેક કાર્ય માટે તેને નવેસરથી અને મેન્યુઅલી બનાવવાની જરૂર છે, જેમાં ઘણો સમય લાગે છે.
• માંગ પર ઍક્સેસ - મશીન લર્નિંગ ટૂલ્સ અને પ્લેટફોર્મ તેમજ કમ્પ્યુટિંગ ઈન્ફ્રાસ્ટ્રક્ચરની માંગ પર ઍક્સેસ મેળવવાનો કોઈ રસ્તો નથી.
• ઉત્પાદન - મોડલ પ્રોટોટાઇપ સ્ટેજ પર રહે છે અને ઔદ્યોગિક ઉપયોગ માટે લાવવામાં આવતા નથી.
• AI પરિણામોને ટ્રૅક કરો અને સમજાવો - AI/ML પરિણામોની પ્રજનનક્ષમતા, ટ્રેકિંગ અને સમજૂતી મુશ્કેલ છે.

સંબોધિત કર્યા વિના, આ સમસ્યાઓ મૂલ્યવાન ડેટા વૈજ્ઞાનિકોની ગતિ, કાર્યક્ષમતા અને ઉત્પાદકતા પર નકારાત્મક અસર કરે છે. આનાથી તેમની નિરાશા, તેમના કામમાં નિરાશા થાય છે અને પરિણામે, AI/ML સંબંધિત વ્યવસાયિક અપેક્ષાઓ વ્યર્થ જાય છે.

આ સમસ્યાઓના ઉકેલની જવાબદારી IT નિષ્ણાતો પર આવે છે, જેમણે ડેટા વિશ્લેષકોને પ્રદાન કરવું આવશ્યક છે - તે સાચું છે, વાદળ જેવું કંઈક. વધુ વિગતમાં, અમને એક પ્લેટફોર્મની જરૂર છે જે પસંદગીની સ્વતંત્રતા આપે અને તેમાં અનુકૂળ, સરળ ઍક્સેસ હોય. તે જ સમયે, તે ઝડપી, સરળતાથી ફરીથી ગોઠવી શકાય તેવું, માંગ પર માપી શકાય તેવું અને નિષ્ફળતાઓ માટે પ્રતિરોધક છે. ઓપન સોર્સ ટેક્નોલોજી પર આવા પ્લેટફોર્મનું નિર્માણ વેન્ડર લૉક-ઇનને ટાળવામાં અને ખર્ચ નિયંત્રણના સંદર્ભમાં લાંબા ગાળાના વ્યૂહાત્મક લાભ જાળવવામાં મદદ કરે છે.

થોડા વર્ષો પહેલા, એપ્લિકેશન ડેવલપમેન્ટમાં કંઈક આવું જ થઈ રહ્યું હતું અને માઇક્રોસર્વિસિસ, હાઇબ્રિડ ક્લાઉડ્સ, આઇટી ઓટોમેશન અને ચપળ પ્રક્રિયાઓના ઉદભવ તરફ દોરી ગયું. આ બધાનો સામનો કરવા માટે, આઇટી પ્રોફેશનલ્સ કન્ટેનર, કુબરનેટ્સ અને ઓપન હાઇબ્રિડ ક્લાઉડ્સ તરફ વળ્યા છે.

આ અનુભવ હવે અલના પડકારોનો જવાબ આપવા માટે લાગુ કરવામાં આવી રહ્યો છે. તેથી જ IT વ્યાવસાયિકો એવા પ્લેટફોર્મ બનાવી રહ્યા છે જે કન્ટેનર-આધારિત છે, ચપળ પ્રક્રિયાઓમાં AI/ML સેવાઓની રચનાને સક્ષમ કરે છે, નવીનતાને વેગ આપે છે અને હાઇબ્રિડ ક્લાઉડ તરફ નજર રાખીને બનાવવામાં આવે છે.

અમે Red Hat OpenShift સાથે આવા પ્લેટફોર્મ બનાવવાનું શરૂ કરીશું, હાઇબ્રિડ ક્લાઉડ માટે અમારા કન્ટેનરાઇઝ્ડ કુબરનેટ્સ પ્લેટફોર્મ, જે સોફ્ટવેર અને હાર્ડવેર ML સોલ્યુશન્સ (NVIDIA, H2O.ai, Starburst, PerceptiLabs, વગેરે)ની ઝડપથી વિકસતી ઇકોસિસ્ટમ ધરાવે છે. Red Hat ના કેટલાક ગ્રાહકો, જેમ કે BMW Group, ExxonMobil અને અન્ય, તેમના ML આર્કિટેક્ચરને ઉત્પાદનમાં લાવવા અને ડેટા વિશ્લેષકોના કાર્યને ઝડપી બનાવવા માટે પ્લેટફોર્મ અને તેના ઇકોસિસ્ટમની ટોચ પર કન્ટેનરાઇઝ્ડ ML ટૂલચેન અને DevOps પ્રક્રિયાઓ પહેલેથી જ જમાવવામાં આવી છે.

અમે ઓપન ડેટા હબ પ્રોજેક્ટ શરૂ કરવાનું બીજું કારણ એ છે કે કેટલાક ઓપન સોર્સ સોફ્ટવેર પ્રોજેક્ટ્સ પર આધારિત આર્કિટેક્ચરનું ઉદાહરણ દર્શાવવું અને ઓપનશિફ્ટ પ્લેટફોર્મ પર આધારિત ML સોલ્યુશનના સમગ્ર જીવન ચક્રને કેવી રીતે અમલમાં મૂકવું તે બતાવવાનું છે.

ડેટા હબ પ્રોજેક્ટ ખોલો

આ એક ઓપન સોર્સ પ્રોજેક્ટ છે જે અનુરૂપ વિકાસ સમુદાયમાં વિકસાવવામાં આવ્યો છે અને ઑપરેશનના સંપૂર્ણ ચક્રને અમલમાં મૂકે છે - પ્રારંભિક ડેટા લોડ કરવા અને રૂપાંતરિત કરવાથી લઈને મોડેલ બનાવવા, તાલીમ અને જાળવણી સુધી - જ્યારે OpenShift પર કન્ટેનર અને કુબરનેટ્સનો ઉપયોગ કરીને AI/ML સમસ્યાઓ ઉકેલવામાં આવે છે. પ્લેટફોર્મ આ પ્રોજેક્ટને સંદર્ભ અમલીકરણ તરીકે ગણી શકાય, ઓપનશિફ્ટ અને સંબંધિત ઓપન સોર્સ ટૂલ્સ જેમ કે ટેન્સરફ્લો, જ્યુપીટરહબ, સ્પાર્ક અને અન્ય પર આધારિત ઓપન AI/ML-એ-એ-સર્વિસ સોલ્યુશન કેવી રીતે બનાવવું તેનું ઉદાહરણ. એ નોંધવું અગત્યનું છે કે Red Hat પોતે આ પ્રોજેક્ટનો ઉપયોગ તેની AI/ML સેવાઓ પૂરી પાડવા માટે કરે છે. વધુમાં, OpenShift NVIDIA, Seldon, Starbust અને અન્ય વિક્રેતાઓના કી સોફ્ટવેર અને હાર્ડવેર ML સોલ્યુશન્સ સાથે એકીકૃત થાય છે, જે તમારી પોતાની મશીન લર્નિંગ સિસ્ટમ્સ બનાવવા અને ચલાવવાનું સરળ બનાવે છે.

ઓપન ડેટા હબ પ્રોજેક્ટ વપરાશકર્તાઓની નીચેની શ્રેણીઓ અને ઉપયોગના કિસ્સાઓ પર કેન્દ્રિત છે:

• ડેટા વિશ્લેષક કે જેને ML પ્રોજેક્ટના અમલીકરણ માટે ઉકેલની જરૂર હોય છે, જે સ્વ-સેવા કાર્યો સાથે ક્લાઉડની જેમ ગોઠવાય છે.
• ડેટા વિશ્લેષક જેને નવીનતમ ઓપન સોર્સ AI/ML ટૂલ્સ અને પ્લેટફોર્મ્સમાંથી મહત્તમ પસંદગીની જરૂર હોય છે.
• ડેટા વિશ્લેષક કે જેમને મોડલને તાલીમ આપતી વખતે ડેટા સ્ત્રોતોની ઍક્સેસની જરૂર હોય છે.
• ડેટા વિશ્લેષક જેને કમ્પ્યુટિંગ સંસાધનોની ઍક્સેસની જરૂર છે (CPU, GPU, મેમરી).
• ડેટા વિશ્લેષક કે જેને સહકાર્યકરો સાથે કામ કરવાની અને શેર કરવાની ક્ષમતા, પ્રતિસાદ પ્રાપ્ત કરવાની અને ઝડપી પુનરાવર્તનમાં સુધારા કરવાની ક્ષમતાની જરૂર હોય છે.
• એક ડેટા વિશ્લેષક કે જે વિકાસકર્તાઓ (અને ડેવોપ્સ ટીમો) સાથે ક્રિયાપ્રતિક્રિયા કરવા માંગે છે જેથી તેના ML મોડલ અને કામના પરિણામો ઉત્પાદનમાં જાય.
• ડેટા એન્જિનિયર કે જેને નિયમનકારી અને સુરક્ષા આવશ્યકતાઓનું પાલન કરતી વખતે વિવિધ ડેટા સ્ત્રોતોની ઍક્સેસ સાથે ડેટા વિશ્લેષક પ્રદાન કરવાની જરૂર છે.
• આઇટી સિસ્ટમ એડમિનિસ્ટ્રેટર/ઓપરેટર કે જેને ઓપન સોર્સ ઘટકો અને તકનીકોના જીવનચક્ર (ઇન્સ્ટોલેશન, કન્ફિગરેશન, અપગ્રેડ) ને વિના પ્રયાસે નિયંત્રિત કરવાની ક્ષમતાની જરૂર હોય છે. અમને યોગ્ય વ્યવસ્થાપન અને ક્વોટા સાધનોની પણ જરૂર છે.

ઓપન ડેટા હબ પ્રોજેક્ટ એઆઈ/એમએલ કામગીરીના સંપૂર્ણ ચક્રને અમલમાં મૂકવા માટે ઓપન સોર્સ ટૂલ્સની શ્રેણીને એકસાથે લાવે છે. Jupyter Notebook નો ઉપયોગ ડેટા એનાલિટિક્સ માટેના મુખ્ય કાર્યકારી સાધન તરીકે અહીં થાય છે. ટૂલકીટ આજે ડેટા વૈજ્ઞાનિકોમાં વ્યાપકપણે લોકપ્રિય છે, અને ઓપન ડેટા હબ તેમને બિલ્ટ-ઇન JupyterHub નો ઉપયોગ કરીને સરળતાથી જ્યુપીટર નોટબુક વર્કસ્પેસ બનાવવા અને સંચાલિત કરવાની મંજૂરી આપે છે. Jupyter નોટબુક બનાવવા અને આયાત કરવા ઉપરાંત, ઓપન ડેટા હબ પ્રોજેક્ટમાં AI લાઇબ્રેરીના રૂપમાં સંખ્યાબંધ તૈયાર નોટબુક્સ પણ છે.

આ લાઇબ્રેરી ઓપન-સોર્સ મશીન લર્નિંગ ઘટકોનો સંગ્રહ છે અને સામાન્ય દૃશ્યો માટે ઉકેલો છે જે ઝડપી પ્રોટોટાઇપિંગને સરળ બનાવે છે. JupyterHub OpenShift ના RBAC એક્સેસ મોડલ સાથે સંકલિત છે, જે તમને હાલના OpenShift એકાઉન્ટ્સનો ઉપયોગ કરવા અને સિંગલ સાઇન-ઓન લાગુ કરવાની મંજૂરી આપે છે. વધુમાં, JupyterHub spawner નામનું અનુકૂળ વપરાશકર્તા ઈન્ટરફેસ આપે છે, જેના દ્વારા વપરાશકર્તા પસંદ કરેલ જ્યુપીટર નોટબુક માટે કમ્પ્યુટિંગ સંસાધનોની માત્રા (CPU કોરો, મેમરી, GPU) સરળતાથી ગોઠવી શકે છે.

ડેટા વિશ્લેષક લેપટોપ બનાવે અને ગોઠવે તે પછી, તેના વિશેની અન્ય તમામ ચિંતાઓ કુબરનેટ્સ શેડ્યૂલર દ્વારા કાળજી લેવામાં આવે છે, જે ઓપનશિફ્ટનો ભાગ છે. વપરાશકર્તાઓ ફક્ત તેમના પ્રયોગો કરી શકે છે, તેમના કાર્યના પરિણામોને સાચવી અને શેર કરી શકે છે. વધુમાં, અદ્યતન વપરાશકર્તાઓ સીધા જ જુપીટર નોટબુકમાંથી ઓપનશિફ્ટ સીએલઆઈ શેલને સીધા જ એક્સેસ કરી શકે છે જેથી કુબરનેટ્સ પ્રિમિટિવ્સ જેમ કે જોબ અથવા ઓપનશિફ્ટ કાર્યક્ષમતા જેમ કે ટેકટન અથવા નેટીવ. અથવા આ માટે તમે OpenShift ના અનુકૂળ GUI નો ઉપયોગ કરી શકો છો, જેને "OpenShift વેબ કન્સોલ" કહેવામાં આવે છે.

આગળના તબક્કામાં આગળ વધવું, ઓપન ડેટા હબ ડેટા પાઇપલાઇન્સનું સંચાલન કરવાનું શક્ય બનાવે છે. આ માટે, Ceph ઑબ્જેક્ટનો ઉપયોગ કરવામાં આવે છે, જે S3- સુસંગત ઑબ્જેક્ટ ડેટા સ્ટોરેજ તરીકે પ્રદાન કરવામાં આવે છે. અપાચે સ્પાર્ક બાહ્ય સ્ત્રોતો અથવા બિલ્ટ-ઇન Ceph S3 સ્ટોરેજમાંથી ડેટા સ્ટ્રીમિંગ પ્રદાન કરે છે, અને તમને પ્રારંભિક ડેટા ટ્રાન્સફોર્મેશન કરવા માટે પણ પરવાનગી આપે છે. અપાચે કાફકા ડેટા પાઇપલાઇન્સનું અદ્યતન સંચાલન પૂરું પાડે છે (જ્યાં ડેટા ઘણી વખત લોડ કરી શકાય છે, તેમજ ડેટા ટ્રાન્સફોર્મેશન, વિશ્લેષણ અને સતત કામગીરી).

તેથી, ડેટા વિશ્લેષકે ડેટા ઍક્સેસ કર્યો અને એક મોડેલ બનાવ્યું. હવે તે સાથીદારો અથવા એપ્લિકેશન વિકાસકર્તાઓ સાથે મેળવેલા પરિણામોને શેર કરવાની અને સેવાના સિદ્ધાંતો પર તેમના મોડેલ સાથે પ્રદાન કરવાની ઇચ્છા ધરાવે છે. આના માટે અનુમાન સર્વરની જરૂર છે, અને ઓપન ડેટા હબ પાસે આવા સર્વર છે, તેને સેલ્ડન કહેવામાં આવે છે અને તમને રેસ્ટફુલ સેવા તરીકે મોડેલ પ્રકાશિત કરવાની મંજૂરી આપે છે.

અમુક સમયે, સેલ્ડન સર્વર પર આવા ઘણા મોડેલો છે, અને તેનો ઉપયોગ કેવી રીતે થાય છે તેનું નિરીક્ષણ કરવાની જરૂર છે. આ હાંસલ કરવા માટે, ઓપન ડેટા હબ વ્યાપકપણે ઉપયોગમાં લેવાતા ઓપન સોર્સ મોનિટરિંગ ટૂલ્સ પ્રોમિથિયસ અને ગ્રાફના પર આધારિત સંબંધિત મેટ્રિક્સનો સંગ્રહ અને રિપોર્ટિંગ એન્જિન ઓફર કરે છે. પરિણામે, અમે AI મોડલ્સના ઉપયોગ પર દેખરેખ રાખવા માટે પ્રતિસાદ પ્રાપ્ત કરીએ છીએ, ખાસ કરીને ઉત્પાદન વાતાવરણમાં.

આ રીતે, ઓપન ડેટા હબ સમગ્ર AI/ML જીવનચક્ર દરમિયાન ડેટા એક્સેસ અને તૈયારીથી લઈને મોડલ તાલીમ અને ઉત્પાદન સુધી ક્લાઉડ જેવો અભિગમ પૂરો પાડે છે.

તે બધા એકસાથે મૂકી

હવે પ્રશ્ન ઊભો થાય છે કે ઓપનશિફ્ટ એડમિનિસ્ટ્રેટર માટે આ બધું કેવી રીતે ગોઠવવું. અને આ તે છે જ્યાં ઓપન ડેટા હબ પ્રોજેક્ટ્સ માટે ખાસ કુબરનેટ્સ ઓપરેટર અમલમાં આવે છે.

આ ઓપરેટર ઓપન ડેટા હબ પ્રોજેક્ટના ઇન્સ્ટોલેશન, રૂપરેખાંકન અને જીવનચક્રનું સંચાલન કરે છે, જેમાં ઉપરોક્ત સાધનો જેમ કે JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus અને Grafanaનો સમાવેશ થાય છે. ઓપન ડેટા હબ પ્રોજેક્ટ ઓપનશિફ્ટ વેબ કન્સોલમાં, સમુદાય ઓપરેટર્સ વિભાગમાં મળી શકે છે. આમ, ઓપનશિફ્ટ એડમિનિસ્ટ્રેટર સ્પષ્ટ કરી શકે છે કે સંબંધિત ઓપનશિફ્ટ પ્રોજેક્ટ્સને "ઓપન ડેટા હબ પ્રોજેક્ટ" તરીકે વર્ગીકૃત કરવામાં આવે છે. આ એકવાર કરવામાં આવે છે. આ પછી, ડેટા વિશ્લેષક ઓપનશિફ્ટ વેબ કન્સોલ દ્વારા તેના પ્રોજેક્ટ સ્પેસમાં લૉગ ઇન કરે છે અને જુએ છે કે અનુરૂપ કુબરનેટ્સ ઑપરેટર ઇન્સ્ટોલ કરેલું છે અને તેના પ્રોજેક્ટ્સ માટે ઉપલબ્ધ છે. તે પછી એક ક્લિક સાથે ઓપન ડેટા હબ પ્રોજેક્ટનો દાખલો બનાવે છે અને તરત જ ઉપર વર્ણવેલ ટૂલ્સની ઍક્સેસ મેળવે છે. અને આ બધું ઉચ્ચ ઉપલબ્ધતા અને ફોલ્ટ ટોલરન્સ મોડમાં ગોઠવી શકાય છે.

જો તમે તમારા માટે ઓપન ડેટા હબ પ્રોજેક્ટ અજમાવવા માંગતા હો, તો તેની સાથે પ્રારંભ કરો ઇન્સ્ટોલેશન સૂચનાઓ અને પ્રારંભિક ટ્યુટોરીયલ. ઓપન ડેટા હબ આર્કિટેક્ચરની તકનીકી વિગતો મળી શકે છે અહીં, પ્રોજેક્ટ વિકાસ યોજનાઓ - અહીં. ભવિષ્યમાં, અમે કુબેફ્લો સાથે વધારાના એકીકરણને અમલમાં મૂકવાની, ડેટા નિયમન અને સુરક્ષા સાથેના સંખ્યાબંધ મુદ્દાઓને ઉકેલવા અને નિયમો-આધારિત સિસ્ટમ્સ Drools અને Optaplanner સાથે એકીકરણનું આયોજન કરવાની યોજના બનાવીએ છીએ. તમારો અભિપ્રાય વ્યક્ત કરો અને પ્રોજેક્ટમાં સહભાગી બનો ડેટા હબ ખોલો પૃષ્ઠ પર શક્ય છે સમુદાય.

રીકેપ કરવા માટે: ગંભીર સ્કેલિંગ પડકારો સંસ્થાઓને આર્ટિફિશિયલ ઇન્ટેલિજન્સ અને મશીન લર્નિંગની સંપૂર્ણ સંભાવનાને સમજવાથી અટકાવી રહ્યાં છે. સોફ્ટવેર ઉદ્યોગમાં સમાન સમસ્યાઓ ઉકેલવા માટે Red Hat OpenShift લાંબા સમયથી સફળતાપૂર્વક ઉપયોગમાં લેવાય છે. ઓપન ડેટા હબ પ્રોજેક્ટ, ઓપન સોર્સ ડેવલપમેન્ટ કોમ્યુનિટીની અંદર અમલમાં મૂકવામાં આવ્યો છે, જે ઓપનશિફ્ટ હાઇબ્રિડ ક્લાઉડ પર આધારિત AI/ML ઑપરેશન્સના સંપૂર્ણ ચક્રનું આયોજન કરવા માટે સંદર્ભ આર્કિટેક્ચર પ્રદાન કરે છે. અમારી પાસે આ પ્રોજેક્ટના વિકાસ માટે સ્પષ્ટ અને વિચારશીલ યોજના છે, અને અમે ઓપનશિફ્ટ પ્લેટફોર્મ પર ઓપન AI સોલ્યુશન્સ વિકસાવવા માટે તેની આસપાસ સક્રિય અને ફળદાયી સમુદાય બનાવવા માટે ગંભીર છીએ.

સોર્સ: www.habr.com