Wakati ujao umefika, na teknolojia ya akili ya bandia na kujifunza mashine tayari inatumiwa kwa mafanikio na maduka yako unayopenda, makampuni ya usafiri na hata mashamba ya Uturuki.
Na ikiwa kuna kitu, basi tayari kuna kitu kwenye mtandao ... mradi wazi! Angalia jinsi Open Data Hub hukusaidia kuongeza teknolojia mpya na kuepuka changamoto za utekelezaji.
Pamoja na faida zote za akili bandia (AI) na kujifunza kwa mashine (ML), mashirika mara nyingi huwa na ugumu wa kuongeza teknolojia hizi. Shida kuu katika kesi hii kawaida ni kama ifuatavyo.
- Kubadilishana habari na ushirikiano - karibu haiwezekani kubadilishana habari kwa urahisi na kushirikiana kwa kurudia haraka.
- Ufikiaji wa data - kwa kila kazi inahitaji kujengwa upya na kwa mikono, ambayo inachukua muda mwingi.
- Upatikanaji kwa mahitaji - hakuna njia ya kupata ufikiaji unapohitajika kwa zana na jukwaa la mashine kujifunza, pamoja na miundombinu ya kompyuta.
- Uzalishaji - mifano inabaki katika hatua ya mfano na haijaletwa kwa matumizi ya viwandani.
- Fuatilia na ueleze matokeo ya AI - Uzalishaji tena, ufuatiliaji na maelezo ya matokeo ya AI/ML ni ngumu.
Yakiachwa bila kushughulikiwa, matatizo haya huathiri vibaya kasi, ufanisi na tija ya wanasayansi wa data muhimu. Hii inasababisha kufadhaika kwao, kukatishwa tamaa katika kazi zao, na kwa sababu hiyo, matarajio ya biashara kuhusu AI/ML hupotea.
Jukumu la kutatua matatizo haya ni la wataalamu wa TEHAMA, ambao lazima wawape wachambuzi wa data - hiyo ni kweli, kitu kama cloud. Kwa undani zaidi, tunahitaji jukwaa ambalo linatoa uhuru wa kuchagua na lina ufikiaji rahisi na rahisi. Wakati huo huo, ni ya haraka, inaweza kusanidiwa kwa urahisi, inaweza kuongezeka kwa mahitaji na inakabiliwa na kushindwa. Kuunda jukwaa kama hilo kwa kutumia teknolojia huria husaidia kuzuia kufuli kwa wachuuzi na kudumisha faida ya kimkakati ya muda mrefu katika suala la udhibiti wa gharama.
Miaka michache iliyopita, kitu kama hicho kilikuwa kikitokea katika ukuzaji wa programu na kusababisha kuibuka kwa huduma ndogo, mawingu ya mseto, otomatiki ya IT, na michakato ya haraka. Ili kukabiliana na haya yote, wataalamu wa IT wamegeukia vyombo, Kubernetes na mawingu ya mseto wazi.
Uzoefu huu sasa unatumika kujibu changamoto za Al. Ndiyo maana wataalamu wa TEHAMA wanaunda majukwaa ambayo yana msingi wa kontena, kuwezesha uundaji wa huduma za AI/ML ndani ya michakato ya haraka, kuharakisha uvumbuzi, na kujengwa kwa jicho kuelekea wingu mseto.
Tutaanza kuunda jukwaa kama hilo kwa Red Hat OpenShift, jukwaa letu la Kubernetes lililo na kontena la wingu mseto, ambalo lina mfumo ikolojia unaokua kwa kasi wa suluhu za programu na maunzi ML (NVIDIA, H2O.ai, Starburst, PerceptiLabs, n.k.). Baadhi ya wateja wa Red Hat, kama vile BMW Group, ExxonMobil na wengineo, tayari wametuma cheni za zana za ML na michakato ya DevOps iliyo na vyombo juu ya jukwaa na mfumo wake wa ikolojia ili kuleta usanifu wao wa ML kwa uzalishaji na kuharakisha kazi ya wachanganuzi wa data.
Sababu nyingine tuliyozindua mradi wa Open Data Hub ni kuonyesha mfano wa usanifu kulingana na miradi kadhaa ya programu huria na kuonyesha jinsi ya kutekeleza mzunguko mzima wa maisha wa suluhisho la ML kulingana na jukwaa la OpenShift.
Fungua Mradi wa Data Hub
Huu ni mradi wa chanzo huria ambao unatengenezwa ndani ya jumuiya ya maendeleo inayolingana na kutekeleza mzunguko kamili wa shughuli - kutoka kwa kupakia na kubadilisha data ya awali hadi kuzalisha, kutoa mafunzo na kudumisha mfano - wakati wa kutatua matatizo ya AI / ML kwa kutumia vyombo na Kubernetes kwenye OpenShift. jukwaa. Mradi huu unaweza kuchukuliwa kuwa utekelezaji wa marejeleo, mfano wa jinsi ya kuunda suluhisho wazi la AI/ML-kama-huduma kulingana na OpenShift na zana huria zinazohusiana kama vile Tensorflow, JupyterHub, Spark na zingine. Ni muhimu kutambua kwamba Red Hat yenyewe hutumia mradi huu kutoa huduma zake za AI/ML. Kwa kuongeza, OpenShift inaunganisha na ufumbuzi muhimu wa programu na maunzi ML kutoka kwa NVIDIA, Seldon, Starbust na wachuuzi wengine, na kuifanya iwe rahisi kujenga na kuendesha mifumo yako ya kujifunza mashine.
Mradi wa Open Data Hub unalenga aina zifuatazo za watumiaji na kesi za utumiaji:
- Mchanganuzi wa data anayehitaji suluhu la kutekeleza miradi ya ML, iliyopangwa kama wingu yenye vipengele vya kujihudumia.
- Mchambuzi wa Data ambaye anahitaji chaguo la juu zaidi kutoka kwa zana na mifumo huria ya AI/ML ya hivi punde zaidi.
- Mchanganuzi wa data anayehitaji ufikiaji wa vyanzo vya data wakati wa mafunzo ya miundo.
- Mchambuzi wa data anayehitaji ufikiaji wa rasilimali za kompyuta (CPU, GPU, kumbukumbu).
- Mchambuzi wa Data ambaye anahitaji uwezo wa kushirikiana na kushiriki kazi na wafanyakazi wenzake, kupokea maoni na kufanya maboresho katika kurudia kwa haraka.
- Mchambuzi wa data ambaye anataka kuingiliana na wasanidi programu (na timu za devops) ili miundo yake ya ML na matokeo ya kazi yaingie katika uzalishaji.
- Mhandisi wa data anayehitaji kumpa mchambuzi wa data uwezo wa kufikia vyanzo mbalimbali vya data huku akitii mahitaji ya udhibiti na usalama.
- Msimamizi/mendeshaji wa mfumo wa TEHAMA ambaye anahitaji uwezo wa kudhibiti kwa urahisi mzunguko wa maisha (usakinishaji, usanidi, uboreshaji) wa vipengele na teknolojia huria. Pia tunahitaji zana zinazofaa za usimamizi na kiasi.
Mradi wa Open Data Hub huleta pamoja anuwai ya zana huria ili kutekeleza mzunguko kamili wa shughuli za AI/ML. Daftari la Jupyter linatumika hapa kama zana kuu ya kufanya kazi kwa uchanganuzi wa data. Zana ya zana ni maarufu sana miongoni mwa wanasayansi wa data leo, na Open Data Hub huwaruhusu kuunda na kudhibiti kwa urahisi nafasi za kazi za Jupyter Notebook kwa kutumia JupyterHub iliyojengewa ndani. Mbali na kuunda na kuagiza daftari za Jupyter, mradi wa Open Data Hub pia una idadi ya daftari zilizotengenezwa tayari katika mfumo wa Maktaba ya AI.
Maktaba hii ni mkusanyiko wa vipengele huria vya kujifunza mashine na suluhu za matukio ya kawaida ambayo hurahisisha uchapaji wa haraka. JupyterHub imeunganishwa na muundo wa ufikiaji wa OpenShift wa RBAC, unaokuruhusu kutumia akaunti zilizopo za OpenShift na kutekeleza kuingia mara moja. Kwa kuongeza, JupyterHub inatoa kiolesura cha mtumiaji-kirafiki kinachoitwa spawner, ambacho mtumiaji anaweza kusanidi kwa urahisi kiasi cha rasilimali za kompyuta (cores za CPU, kumbukumbu, GPU) kwa Daftari iliyochaguliwa ya Jupyter.
Baada ya mchambuzi wa data kuunda na kusanidi kompyuta ya mkononi, wasiwasi mwingine wote kuhusu hilo hutunzwa na mpangaji wa Kubernetes, ambayo ni sehemu ya OpenShift. Watumiaji wanaweza tu kufanya majaribio yao, kuhifadhi na kushiriki matokeo ya kazi zao. Zaidi ya hayo, watumiaji wa hali ya juu wanaweza kufikia moja kwa moja ganda la OpenShift CLI moja kwa moja kutoka kwa daftari za Jupyter ili kutumia vifaa vya asili vya Kubernetes kama vile utendakazi wa Job au OpenShift kama vile Tekton au Knative. Au kwa hili unaweza kutumia GUI rahisi ya OpenShift, ambayo inaitwa "OpenShift web console".
Kusonga mbele hadi hatua inayofuata, Open Data Hub huwezesha kudhibiti mabomba ya data. Kwa hili, kitu cha Ceph kinatumiwa, ambacho hutolewa kama hifadhi ya data ya kitu kinachoendana na S3. Apache Spark hukuruhusu kutiririsha data kutoka kwa vyanzo vya nje au uhifadhi wa ndani wa Ceph S3, na pia hukuruhusu kufanya mabadiliko ya awali ya data. Apache Kafka hutoa usimamizi wa hali ya juu wa mabomba ya data (ambapo data inaweza kupakiwa mara nyingi, pamoja na ugeuzaji data, uchanganuzi na utendakazi endelevu).
Kwa hiyo, mchambuzi wa data alipata data na kujenga mfano. Sasa ana hamu ya kushiriki matokeo yaliyopatikana na wenzake au watengenezaji wa maombi, na kuwapa mfano wake juu ya kanuni za huduma. Hii inahitaji seva ya uelekezaji, na Open Data Hub ina seva kama hiyo, inaitwa Seldon na hukuruhusu kuchapisha muundo kama huduma ya RESTful.
Wakati fulani, kuna mifano kadhaa kama hiyo kwenye seva ya Seldon, na kuna haja ya kufuatilia jinsi inavyotumiwa. Ili kufanikisha hili, Open Data Hub hutoa mkusanyiko wa vipimo vinavyofaa na injini ya kuripoti kulingana na zana huria za ufuatiliaji zinazotumiwa sana Prometheus na Grafana. Kwa hivyo, tunapokea maoni ya kufuatilia matumizi ya miundo ya AI, hasa katika mazingira ya uzalishaji.
Kwa njia hii, Open Data Hub hutoa mbinu inayofanana na wingu katika mzunguko mzima wa maisha wa AI/ML, kutoka kwa ufikiaji na utayarishaji wa data hadi mafunzo ya kielelezo na uzalishaji.
Kuweka yote pamoja
Sasa swali linatokea jinsi ya kuandaa haya yote kwa msimamizi wa OpenShift. Na hapa ndipo mwendeshaji maalum wa Kubernetes wa miradi ya Open Data Hub hutumika.
Opereta huyu anadhibiti usakinishaji, usanidi na mzunguko wa maisha wa mradi wa Open Data Hub, ikijumuisha uwekaji wa zana zilizotajwa hapo juu kama vile JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus na Grafana. Mradi wa Open Data Hub unaweza kupatikana kwenye dashibodi ya tovuti ya OpenShift, katika sehemu ya waendeshaji wa jumuiya. Kwa hivyo, msimamizi wa OpenShift anaweza kubainisha kuwa miradi inayolingana ya OpenShift imeainishwa kama "Mradi wa Open Data Hub". Hii inafanywa mara moja. Baada ya hayo, mchambuzi wa data huingia kwenye nafasi yake ya mradi kupitia kiweko cha wavuti cha OpenShift na kuona kwamba opereta sambamba ya Kubernetes imewekwa na inapatikana kwa miradi yake. Kisha huunda mfano wa mradi wa Open Data Hub kwa kubofya mara moja na mara moja anapata zana zilizoelezwa hapo juu. Na hii yote inaweza kusanidiwa katika hali ya juu ya upatikanaji na uvumilivu wa makosa.
Ikiwa ungependa kujijaribu mwenyewe mradi wa Open Data Hub, anza nao . Maelezo ya kiufundi ya usanifu wa Open Data Hub yanaweza kupatikana , mipango ya maendeleo ya mradi - . Katika siku zijazo, tunapanga kutekeleza ujumuishaji wa ziada na Kubeflow, kutatua masuala kadhaa na udhibiti wa data na usalama, na pia kupanga ujumuishaji na mifumo inayotegemea sheria ya Drools na Optaplanner. Eleza maoni yako na uwe mshiriki katika mradi huo iwezekanavyo kwenye ukurasa .
Kwa muhtasari: Changamoto kubwa za kuongeza viwango zinazuia mashirika kutambua uwezo kamili wa akili bandia na kujifunza kwa mashine. Red Hat OpenShift kwa muda mrefu imekuwa mafanikio kutumika kutatua matatizo sawa katika sekta ya programu. Mradi wa Open Data Hub, unaotekelezwa ndani ya jumuiya ya uendelezaji wa chanzo huria, unatoa usanifu wa marejeleo kwa ajili ya kuandaa mzunguko kamili wa shughuli za AI/ML kulingana na wingu mseto la OpenShift. Tuna mpango wazi na wa kufikiria kwa ajili ya maendeleo ya mradi huu, na tuna nia ya kuunda jumuiya hai na yenye matunda kuuzunguka kwa ajili ya kuendeleza ufumbuzi wa AI wazi kwenye jukwaa la OpenShift.
Chanzo: mapenzi.com