Pêşeroj hat, û îstîxbarata sûnî û teknolojiyên fêrbûna makîneyê jixwe ji hêla firotgehên weyên bijare, pargîdaniyên veguheztinê û hetta çandiniyên tirkan ve bi serfirazî têne bikar anîn.
Û heger tiştek hebe, wê hingê tiştek li ser Înternetê heye ... projeyek vekirî! Binêrin ka Open Data Hub çawa ji we re dibe alîkar ku hûn teknolojiyên nû pîvandin û ji dijwariyên pêkanînê dûr bixin.
Li gel hemî avantajên îstîxbarata sûnî (AI) û fêrbûna makîneyê (ML), rêxistin bi gelemperî di pîvandina van teknolojiyên de dijwar dibin. Pirsgirêkên sereke di vê rewşê de bi gelemperî jêrîn in:
- Danûstandina agahî û hevkariyê - Hema hema ne mumkin e ku meriv agahdarî bêyî hewildan biguhezîne û di dubarekirinên bilez de hevkariyê bike.
- Gihîştina daneyan - ji bo her karekî pêdivî ye ku ew ji nû ve û bi destan were çêkirin, ku pir dem digire.
- Gihîştina li ser daxwazê - Rêyek tune ku meriv li ser daxwazê bigihîje amûr û platforma fêrbûna makîneyê, û her weha binesaziya hesabkirinê.
- Çêkerî - model di qonaxa prototîpê de dimînin û ji bo karanîna pîşesaziyê nayên kirin.
- Encamên AI-ê bişopînin û rave bikin - dubarekirin, şopandin û ravekirina encamên AI/ML dijwar e.
Dema ku bê çareser kirin, van pirsgirêkan bandorek neyînî li lez, karîgerî û hilberîna zanyarên daneya hêja dike. Ev dibe sedema xemgîniya wan, dilşikestîbûna wan di xebata wan de, û wekî encamek, hêviyên karsaziyê yên di derbarê AI / ML de winda dibin.
Berpirsiyariya çareserkirina van pirsgirêkan dikeve ser milê pisporên IT-ê, yên ku divê ji analîstên daneyê re peyda bikin - rast e, tiştek mîna ewr. Bi hûrgulî, pêdiviya me bi platformek heye ku azadiya hilbijartinê dide û xwedan gihîştina hêsan û hêsan e. Di heman demê de, ew bi lez e, bi hêsanî ji nû ve tê vesaz kirin, li gorî daxwazê mezin dibe û li hember têkçûnan berxwedêr e. Avakirina platformek wusa li ser teknolojiyên çavkaniya vekirî ji girtina firoşkaran dûr dikeve û di warê kontrolkirina lêçûnê de avantajek stratejîk a demdirêj biparêze.
Çend sal berê, tiştek bi vî rengî di pêşkeftina serîlêdanê de diqewime û bû sedema derketina mîkroservîs, ewrên hybrid, otomasyona IT, û pêvajoyên guhêrbar. Ji bo ku bi van hemîyan re mijûl bibin, pisporên IT-ê berê xwe dane konteyneran, Kubernetes û ewrên hybrid vekirî.
Ev ezmûn naha ji bo bersivdana kêşeyên Al tê sepandin. Ji ber vê yekê pisporên IT-ê platformên ku li ser konteynerê ne ava dikin, çêkirina karûbarên AI/ML-ê di hundurê pêvajoyên asayî de çêdikin, nûbûnê bileztir dikin, û bi çavek ber bi ewrê hybrid ve têne çêkirin.
Em ê bi Red Hat OpenShift, platforma meya Kubernetes a konteynirkirî ya ji bo ewrê hybrid, ku xwedan ekosîstemek bilez a nermalava nermalavê û çareseriyên ML-yê (NVIDIA, H2O.ai, Starburst, PerceptiLabs, hwd.) ku bi lez mezin dibe, dest bi avakirina platformek wusa bikin. Hin xerîdarên Red Hat, wek BMW Group, ExxonMobil û yên din, berê zincîreyên amûrên ML û pêvajoyên DevOps-ê yên konteynirkirî li ser platformê û ekosîstema wê bicîh kirine da ku mîmariya xwe ya ML-ê bigihînin hilberînê û lezkirina xebata analîstên daneyê.
Sedemek din a ku me projeya Open Data Hub da destpêkirin ev e ku em mînakek mîmariyek li ser bingeha gelek projeyên nermalava çavkaniya vekirî nîşan bidin û nîşan bidin ka meriv çawa tevaya jiyanê ya çareseriyek ML-ya li ser bingeha platforma OpenShift-ê bicîh dike.
Projeya Daneya Hub vekin
Ev projeyek çavkaniyek vekirî ye ku di nav civata pêşkeftinê ya têkildar de hatî pêşve xistin û çerxek tevde ya operasyonan pêk tîne - ji barkirin û veguheztina daneyên destpêkê heya çêkirin, perwerdekirin û domandina modelek - dema ku pirsgirêkên AI / ML bi karanîna konteynir û Kubernetes li ser OpenShift çareser dike. rawesta axaftevan. Ev proje dikare wekî pêkanîna referansê were hesibandin, mînakek ku meriv çawa çareseriyek vekirî ya AI/ML-wek-karûbar li ser bingeha OpenShift û amûrên çavkaniya vekirî yên têkildar ên wekî Tensorflow, JupyterHub, Spark û yên din ava dike. Girîng e ku were zanîn ku Red Hat bixwe vê projeyê bikar tîne da ku karûbarên xwe yên AI / ML peyda bike. Digel vê yekê, OpenShift bi nermalava sereke û çareseriyên ML-ê yên hardware yên ji NVIDIA, Seldon, Starbust û firoşkarên din re yek dike, çêkirina û meşandina pergalên fêrbûna makîneya xwe hêsantir dike.
Projeya Open Data Hub li ser kategoriyên jêrîn ên bikarhêneran û rewşên karanîna hûr dibe:
- Analîstê daneyê ku ji bo bicihanîna projeyên ML-ê hewceyê çareseriyekê ye, ku mîna ewrek bi fonksiyonên xwe-karûbar ve hatî organîze kirin.
- Analîstê Daneyê ku ji amûr û platformên AI / ML-ya çavkaniya vekirî ya herî dawî hewceyê bijartina herî zêde ye.
- Analîstê daneyê ku dema modelên perwerdehiyê hewce dike bigihîje çavkaniyên daneyê.
- Analîstê daneyê yê ku pêdivî bi gihîştina çavkaniyên komputerê (CPU, GPU, bîranîn) heye.
- Analîstê Daneyên ku jêhatîbûna hevkarî û parvekirina xebatê bi hevalbendan re, wergirtina bertekan, û çêkirina çêtirkirinan di dubarekirina bilez de hewce dike.
- Analîstek daneyê ku dixwaze bi pêşdebiran re (û tîmê veguhezîne) re têkilî daynin da ku modelên ML û encamên xebata wî bikevin hilberînê.
- Endezyarê daneyê yê ku hewce dike ku analîstek daneyê bigihîje cûrbecûr çavkaniyên daneyê dema ku digel daxwazên rêziknameyê û ewlehiyê tevbigere.
- Rêvebir/operatorê pergala IT-ê ku pêdivî bi şiyana kontrolkirina bêhêvî çerxa jiyanê (sazkirin, veavakirin, nûvekirin) hêman û teknolojiyên çavkaniya vekirî heye. Pêdiviya me bi amûrên rêveberî û kotayê jî heye.
Projeya Open Data Hub gelek amûrên çavkaniya vekirî berhev dike da ku çerxek tevahî ya operasyonên AI/ML bicîh bîne. Jupyter Notebook li vir wekî amûra xebatê ya sereke ji bo analîzên daneyê tê bikar anîn. Vebijêrk îro di nav zanyarên daneyê de pir populer e, û Open Data Hub dihêle ku ew bi hêsanî bi karanîna JupyterHub-a çêkirî cîhên xebatê Jupyter Notebook-ê biafirînin û birêve bibin. Digel afirandin û anîna notebookên Jupyter, projeya Open Data Hub di heman demê de hejmarek notebookên amade di forma Pirtûkxaneya AI-ê de jî dihewîne.
Ev pirtûkxane berhevokek ji hêmanên fêrbûna makîneya çavkaniya vekirî û çareseriyên ji bo senaryoyên hevpar e ku prototîpa bilez hêsan dike. JupyterHub bi modela gihîştina RBAC ya OpenShift-ê re yekgirtî ye, ku dihêle hûn hesabên OpenShift-ê yên heyî bikar bînin û nîşana yekane bicîh bikin. Wekî din, JupyterHub navbeynkarek bikarhêner-heval a bi navê spawner pêşkêşî dike, bi navgîniya ku bikarhêner bi hêsanî dikare mîqdara çavkaniyên hesabkeriyê (navên CPU, bîranîn, GPU) ji bo Jupyter Notebook-a hilbijartî mîheng bike.
Piştî ku analîstê daneyê laptopê diafirîne û mîheng dike, hemî fikarên din ên di derbarê wê de ji hêla plansazkerê Kubernetes, ku beşek OpenShift-ê ye, têne girtin. Bikarhêner tenê dikarin ceribandinên xwe pêk bînin, encamên xebata xwe hilînin û parve bikin. Wekî din, bikarhênerên pêşkeftî dikarin rasterast rasterast ji notebookên Jupyter bigihîjin şêlê OpenShift CLI da ku primitives Kubernetes ên wekî Karûbar an fonksiyonên OpenShift ên wekî Tekton an Knative bikar bînin. An jî ji bo vê yekê hûn dikarin GUI-ya hêsan a OpenShift-ê, ku jê re "konsolê malperê OpenShift" tê gotin, bikar bînin.
Ber bi qonaxek din ve diçin, Open Data Hub rêveberiya boriyên daneyê gengaz dike. Ji bo vê yekê, hêmanek Ceph tê bikar anîn, ku wekî hilanîna daneya nermalava S3-lihevhatî tê peyda kirin. Apache Spark dihêle hûn daneyan ji çavkaniyên derveyî an hilanîna Ceph S3-ya çêkirî biherikînin, û di heman demê de dihêle hûn veguherînên daneya pêşîn pêk bînin. Apache Kafka rêveberiya pêşkeftî ya lûleyên daneyê peyda dike (ku dane dikare gelek caran were barkirin, her weha veguheztina daneyê, analîzkirin, û operasyonên domdariyê).
Ji ber vê yekê, analîstê daneyê gihîştiye daneyan û modelek çêkir. Naha ew xwestek heye ku encamên ku hatine bidestxistin bi hevkar an pêşdebirên serîlêdanê re parve bike, û modela xwe li ser prensîbên karûbarek pêşkêşî wan bike. Vê yekê serverek encamnameyê hewce dike, û Open Data Hub serverek wusa heye, jê re Seldon tê gotin û dihêle hûn modelê wekî karûbarek RESTful biweşînin.
Di hin xalan de, çend modelên weha li ser servera Seldon hene, û pêdivî ye ku meriv çawa bikar bîne çavdêrî bike. Ji bo bidestxistina vê yekê, Open Data Hub berhevokek metrîkên têkildar û motorek raporê li ser bingeha amûrên çavdêriya çavkaniya vekirî yên ku bi berfirehî têne bikar anîn Prometheus û Grafana pêşkêşî dike. Wekî encamek, em ji bo şopandina karanîna modelên AI-ê, nemaze di hawîrdorek hilberînê de, bertek distînin.
Bi vî rengî, Open Data Hub di tevahiya heyama AI/ML de, ji gihîştina daneyê û amadekirinê heya perwerdehiya modelê û hilberînê, nêzîkatiyek mîna ewr peyda dike.
Hemî li hev xistin
Naha pirs derdikeve holê ka meriv çawa van hemî ji bo rêvebirê OpenShift organîze dike. Û li vir e ku operatorek taybetî ya Kubernetes ji bo projeyên Open Data Hub tê lîstin.
Ev operator sazkirin, veavakirin û çerxa jiyanê ya projeya Open Data Hub, di nav de bicîhkirina amûrên jorîn ên wekî JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus û Grafana birêve dibe. Projeya Open Data Hub dikare di konsolê webê ya OpenShift de, di beşa operatorên civakê de were dîtin. Ji ber vê yekê, rêvebirê OpenShift dikare diyar bike ku projeyên OpenShift-ê yên têkildar wekî "Projeya Navenda Daneyên Vekirî" têne kategorîze kirin. Ev yek carekê tê kirin. Piştî vê yekê, analîstê daneyê bi navgîniya konsolê webê OpenShift ve têkeve cîhê projeya xwe û dibîne ku operatorê têkildar Kubernetes ji bo projeyên wî hatî saz kirin û peyda dibe. Dûv re ew bi yek klîk mînakek projeya Open Data Hub diafirîne û tavilê xwe bigihîne amûrên ku li jor hatine destnîşan kirin. Û ev hemî dikare di moda hebûna bilind û tolerasyona xeletiyê de were mîheng kirin.
Heke hûn dixwazin projeya Open Data Hub ji bo xwe biceribînin, dest pê bikin . Agahiyên teknîkî yên mîmariya Open Data Hub dikare were dîtin , planên pêşveçûna projeyê - . Di pêşerojê de, em plan dikin ku bi Kubeflow re entegrasyonek zêde bicîh bînin, bi rêziknameya daneyê û ewlehiyê re gelek pirsgirêkan çareser bikin, û di heman demê de bi pergalên bingeh-qanûnî Drools û Optaplanner re entegrasyonê organîze bikin. Raya xwe bêje û bibe beşdarê projeyê li ser rûpelê gengaz e .
Ji nû ve: Pirsgirêkên ciddî yên pîvandinê rê nadin ku rêxistinan bi tevahî potansiyela îstîxbarata sûnî û fêrbûna makîneyê fam bikin. Red Hat OpenShift demek dirêj bi serfirazî ji bo çareserkirina pirsgirêkên wekhev di pîşesaziya nermalavê de tê bikar anîn. Projeya Open Data Hub, ku di nav civata pêşkeftina çavkaniya vekirî de hatî bicîh kirin, mîmariyek referansê pêşkêşî dike ji bo organîzekirina çerxek tevahî ya operasyonên AI/ML li ser bingeha ewrê hybrid OpenShift. Ji bo pêşkeftina vê projeyê plansaziyek me ya zelal û bifikar heye, û em ciddî ne ku li dora wê civakek çalak û berdar biafirînin ji bo pêşxistina çareseriyên AI-ê yên vekirî li ser platforma OpenShift.
Source: www.habr.com