Framtíðin er komin og gervigreind og vélanámstækni er þegar notuð af uppáhalds verslunum þínum, flutningafyrirtækjum og jafnvel kalkúnabúum.
Og ef eitthvað er til, þá er nú þegar eitthvað um það á netinu... opið verkefni! Sjáðu hvernig Open Data Hub hjálpar þér að stækka nýja tækni og forðast innleiðingaráskoranir.
Með öllum kostum gervigreindar (AI) og vélanáms (ML) eiga fyrirtæki oft í erfiðleikum með að skala þessa tækni. Helstu vandamálin í þessu tilfelli eru venjulega eftirfarandi:
- Upplýsingaskipti og samvinna - það er nánast ómögulegt að skiptast á upplýsingum áreynslulaust og vinna saman í hröðum endurtekningum.
- Gagnaaðgangur – fyrir hvert verkefni þarf að smíða það upp á nýtt og handvirkt, sem tekur mikinn tíma.
- Aðgangur á eftirspurn - það er engin leið til að fá aðgang að eftirspurn að vélanámsverkfærum og vettvangi, sem og tölvuinnviðum.
- Framleiðsla – líkön eru áfram á frumgerðastigi og eru ekki tekin til notkunar í iðnaði.
- Fylgstu með og útskýrðu niðurstöður gervigreindar - endurgerðanleiki, rakning og skýring á AI/ML niðurstöðum er erfið.
Sé ekki tekið á þessum vandamálum hafa þessi vandamál neikvæð áhrif á hraða, skilvirkni og framleiðni verðmætra gagnafræðinga. Þetta leiðir til gremju þeirra, vonbrigða í starfi og þar af leiðandi fara væntingar fyrirtækja um gervigreind/ML til spillis.
Ábyrgð á að leysa þessi vandamál er á upplýsingatæknisérfræðingum sem verða að útvega gagnasérfræðingum - það er rétt, eitthvað eins og skýið. Nánar þá þurfum við vettvang sem veitir valfrelsi og hefur þægilegan og greiðan aðgang. Á sama tíma er það hraðvirkt, auðvelt að stilla það aftur, skalanlegt á eftirspurn og ónæmt fyrir bilunum. Að byggja slíkan vettvang á opnum uppspretta tækni hjálpar til við að forðast lokun söluaðila og viðhalda langtíma stefnumótandi forskoti hvað varðar kostnaðarstjórnun.
Fyrir nokkrum árum var eitthvað svipað að gerast í þróun forrita og leiddi til tilkomu örþjónustu, blendingaskýja, upplýsingatækni sjálfvirkni og lipra ferla. Til að takast á við allt þetta hafa tæknifræðingar snúið sér að gámum, Kubernetes og opnum blendingsskýjum.
Þessari reynslu er nú beitt til að svara áskorunum Al. Þess vegna eru upplýsingatæknifræðingar að byggja upp palla sem eru byggðir á gámum, gera kleift að búa til gervigreind/ML þjónustu innan lipra ferla, flýta fyrir nýsköpun og eru byggðir með auga að blendingsskýinu.
Við byrjum að byggja upp slíkan vettvang með Red Hat OpenShift, gámasettum Kubernetes vettvangi okkar fyrir blendingsskýið, sem hefur ört vaxandi vistkerfi hugbúnaðar- og vélbúnaðar ML lausna (NVIDIA, H2O.ai, Starburst, PerceptiLabs o.s.frv.). Sumir af viðskiptavinum Red Hat, eins og BMW Group, ExxonMobil og aðrir, hafa þegar sett ílátnar ML verkfærakeðjur og DevOps ferla ofan á pallinn og vistkerfi hans til að koma ML arkitektúr sínum í framleiðslu og flýta fyrir vinnu gagnagreiningaraðila.
Önnur ástæða fyrir því að við settum af stað Open Data Hub verkefnið er að sýna dæmi um arkitektúr sem byggir á nokkrum opnum hugbúnaðarverkefnum og sýna hvernig á að innleiða allan lífsferil ML lausnar sem byggir á OpenShift pallinum.
Opnaðu Data Hub Project
Þetta er opinn uppspretta verkefni sem er þróað innan samsvarandi þróunarsamfélags og útfærir heila hringrás aðgerða - frá því að hlaða og umbreyta upphafsgögnum til að búa til, þjálfa og viðhalda líkani - þegar leyst er gervigreind / ML vandamál með gámum og Kubernetes á OpenShift pallur. Þetta verkefni má líta á sem viðmiðunarútfærslu, dæmi um hvernig hægt er að byggja opna gervigreind/ML-sem-þjónustu lausn sem byggir á OpenShift og tengdum opnum hugbúnaði eins og Tensorflow, JupyterHub, Spark og fleiri. Það er mikilvægt að hafa í huga að Red Hat sjálft notar þetta verkefni til að veita AI/ML þjónustu sína. Að auki samþættist OpenShift lykilhugbúnaðar- og vélbúnaðar ML lausnir frá NVIDIA, Seldon, Starbust og öðrum söluaðilum, sem gerir það auðveldara að smíða og reka eigin vélanámskerfi.
Open Data Hub verkefnið beinist að eftirfarandi flokkum notenda og notkunartilvikum:
- Gagnafræðingur sem þarf lausn til að innleiða ML verkefni, skipulagt eins og ský með sjálfsafgreiðsluaðgerðum.
- Gagnafræðingur sem þarf hámarks val úr nýjustu opnum AI/ML verkfærum og kerfum.
- Gagnafræðingur sem þarf aðgang að gagnaveitum við þjálfun á líkönum.
- Gagnafræðingur sem þarf aðgang að tölvuauðlindum (CPU, GPU, minni).
- Gagnafræðingur sem krefst getu til að vinna og deila vinnu með samstarfsfólki, fá endurgjöf og gera umbætur í hraðri endurtekningu.
- Gagnafræðingur sem vill eiga samskipti við þróunaraðila (og stofna teymi) þannig að ML módel hans og vinnuniðurstöður fari í framleiðslu.
- Gagnaverkfræðingur sem þarf að veita gagnafræðingi aðgang að ýmsum gagnaveitum á sama tíma og hann uppfyllir reglur og öryggiskröfur.
- Upplýsingakerfisstjóri/rekstraraðili sem krefst getu til að stjórna áreynslulaust líftíma (uppsetning, stillingar, uppfærsla) opins hugbúnaðarhluta og tækni. Við þurfum líka viðeigandi stjórnunar- og kvótatæki.
Open Data Hub verkefnið sameinar úrval af opnum hugbúnaði til að innleiða heila hringrás gervigreindar/ML aðgerða. Jupyter Notebook er notað hér sem aðalvinnutæki fyrir gagnagreiningar. Verkfærakistan er mjög vinsæl meðal gagnafræðinga í dag og Open Data Hub gerir þeim kleift að búa til og stjórna Jupyter Notebook vinnusvæðum auðveldlega með því að nota innbyggða JupyterHub. Auk þess að búa til og flytja inn Jupyter glósubækur, inniheldur Open Data Hub verkefnið einnig fjölda tilbúinna glósubóka í formi gervigreindarbókasafns.
Þetta bókasafn er safn opinna vélanámshluta og lausna fyrir algengar aðstæður sem einfalda hraðvirka frumgerð. JupyterHub er samþætt við RBAC aðgangslíkan OpenShift, sem gerir þér kleift að nota núverandi OpenShift reikninga og innleiða staka innskráningu. Að auki býður JupyterHub upp á notendavænt notendaviðmót sem kallast spawner, þar sem notandinn getur auðveldlega stillt magn tölvuauðlinda (CPU kjarna, minni, GPU) fyrir valda Jupyter Notebook.
Eftir að gagnagreiningarmaðurinn býr til og stillir fartölvuna er öllum öðrum áhyggjum af henni sinnt af Kubernetes tímaáætlun, sem er hluti af OpenShift. Notendur geta aðeins framkvæmt tilraunir sínar, vistað og deilt niðurstöðum vinnu sinnar. Að auki geta háþróaðir notendur fengið beinan aðgang að OpenShift CLI skelinni beint úr Jupyter fartölvum til að nýta Kubernetes frumefni eins og Job eða OpenShift virkni eins og Tekton eða Knative. Eða fyrir þetta geturðu notað þægilegt GUI OpenShift, sem er kallað „OpenShift vefborðið“.
Með því að halda áfram á næsta stig gerir Open Data Hub það mögulegt að stjórna gagnaleiðslum. Fyrir þetta er Ceph hlutur notaður, sem er veittur sem S3-samhæfð hlutgagnageymsla. Apache Spark gerir þér kleift að streyma gögnum frá utanaðkomandi aðilum eða innbyggðri Ceph S3 geymslu, og gerir þér einnig kleift að framkvæma bráðabirgðabreytingar á gögnum. Apache Kafka veitir háþróaða stjórnun á gagnaleiðslum (þar sem hægt er að hlaða gögnum mörgum sinnum, svo og gagnaumbreytingu, greiningu og þrautseigjuaðgerðir).
Svo, gagnasérfræðingurinn fékk aðgang að gögnunum og byggði líkan. Nú hefur hann löngun til að deila niðurstöðunum sem fæst með samstarfsmönnum eða forritara og veita þeim fyrirmynd sína á meginreglum þjónustu. Þetta krefst ályktunarþjóns og Open Data Hub er með slíkan netþjón, hann heitir Seldon og gerir þér kleift að birta líkanið sem RESTful þjónustu.
Á einhverjum tímapunkti eru nokkrar slíkar gerðir á Seldon þjóninum og það þarf að fylgjast með hvernig þau eru notuð. Til að ná þessu býður Open Data Hub upp á safn viðeigandi mælikvarða og skýrsluvél sem byggir á víðtæku opnum vöktunarverkfærum Prometheus og Grafana. Fyrir vikið fáum við endurgjöf til að fylgjast með notkun gervigreindarlíkana, sérstaklega í framleiðsluumhverfi.
Á þennan hátt veitir Open Data Hub skýjalíka nálgun í gegnum allt gervigreind/ML líftímann, frá gagnaaðgangi og undirbúningi til líkanaþjálfunar og framleiðslu.
Setjið allt saman
Nú vaknar spurningin hvernig á að skipuleggja þetta allt fyrir OpenShift stjórnanda. Og þetta er þar sem sérstakur Kubernetes rekstraraðili fyrir Open Data Hub verkefni kemur við sögu.
Þessi rekstraraðili hefur umsjón með uppsetningu, stillingum og líftíma Open Data Hub verkefnisins, þar með talið uppsetningu á fyrrnefndum verkfærum eins og JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus og Grafana. Open Data Hub verkefnið er að finna í OpenShift vefborðinu, í hlutanum um rekstraraðila samfélags. Þannig getur OpenShift stjórnandi tilgreint að samsvarandi OpenShift verkefni séu flokkuð sem "Open Data Hub verkefni". Þetta er gert einu sinni. Eftir þetta skráir gagnagreinandinn sig inn á verkefnarýmið sitt í gegnum OpenShift vefborðið og sér að samsvarandi Kubernetes stjórnandi er uppsettur og tiltækur fyrir verkefnin sín. Hann býr síðan til Open Data Hub verkefnisdæmi með einum smelli og hefur strax aðgang að verkfærunum sem lýst er hér að ofan. Og allt þetta er hægt að stilla í hátt framboði og bilanaþolsham.
Ef þú vilt prófa Open Data Hub verkefnið sjálfur skaltu byrja með . Hægt er að finna tæknilegar upplýsingar um Open Data Hub arkitektúrinn , þróunaráætlanir verkefna – . Í framtíðinni ætlum við að innleiða viðbótarsamþættingu við Kubeflow, leysa ýmis vandamál með gagnastjórnun og öryggi og skipuleggja einnig samþættingu við reglubundin kerfi Drools og Optaplanner. Segðu skoðun þína og vertu þátttakandi í verkefninu mögulegt á síðunni .
Til að rifja upp: Alvarlegar stigstærðaráskoranir koma í veg fyrir að fyrirtæki geti áttað sig á fullum möguleikum gervigreindar og vélanáms. Red Hat OpenShift hefur lengi verið notað með góðum árangri til að leysa svipuð vandamál í hugbúnaðariðnaðinum. Open Data Hub verkefnið, innleitt innan opins uppspretta þróunarsamfélagsins, býður upp á viðmiðunararkitektúr til að skipuleggja heila hringrás gervigreindar/ML aðgerða byggða á OpenShift blendingsskýinu. Við höfum skýra og ígrundaða áætlun um þróun þessa verkefnis og okkur er alvara með að skapa virkt og frjósamt samfélag í kringum það til að þróa opnar gervigreindarlausnir á OpenShift vettvangnum.
Heimild: www.habr.com