Bokamoso bo fihlile, 'me bohlale ba maiketsetso le theknoloji ea ho ithuta mochine e se e ntse e sebelisoa ka katleho ke mabenkele ao u a ratang haholo, lik'hamphani tsa lipalangoang esita le mapolasi a turkey.
'Me haeba ho na le ntho e teng, joale ho se ho ntse ho e-na le ho hong ka eona Inthaneteng ... morero o bulehileng! Bona kamoo Open Data Hub e o thusang ho holisa mahlale a macha le ho qoba mathata a ts'ebetsong.
Ka melemo eohle ea bohlale ba maiketsetso (AI) le ho ithuta ka mochini (ML), hangata mekhatlo e na le bothata ba ho lekanya mahlale ana. Hangata mathata a ka sehloohong tabeng ena ke a latelang:
- Phapanyetsano ea litaba le tšebelisano - ho batla ho sa khonehe ho fapanyetsana tlhahisoleseling ntle le matsapa le ho sebelisana ka ho pheta-pheta ka potlako.
- Ho fihlella data - bakeng sa mosebetsi o mong le o mong o hloka ho hahoa bocha le ka letsoho, e leng ho nka nako e ngata.
- Ho fihlella ha ho batloa - ha ho na mokhoa oa ho fumana phihlello e batloang ke lisebelisoa tsa ho ithuta tsa mochini le sethala, hammoho le lisebelisoa tsa komporo.
- Tlhahiso - mehlala e lula e le sethaleng 'me ha e tlisoe ho sebelisoa indastering.
- Latela le ho hlalosa liphetho tsa AI - ho ikatisa, ho latela le ho hlalosa liphetho tsa AI/ML ho thata.
Ha a sa rarolloe, mathata ana a ama lebelo, katleho, le tlhahiso ea bo-ramahlale ba bohlokoa ba data hampe. Sena se lebisa pherekanong ea bona, masoabi mosebetsing oa bona, 'me ka lebaka leo, litebello tsa khoebo mabapi le AI/ML lia senyeha.
Boikarabello ba ho rarolla mathata ana bo oela ho litsebi tsa IT, tse lokelang ho fana ka bahlahlobisisi ba data - ho joalo, ntho e kang leru. Ka botlalo, re hloka sethala se fanang ka bolokolohi ba khetho, se nang le phihlello e bonolo, e bonolo. Ka nako e ts'oanang, e potlakile, e ka lokisoa habonolo, e ka senyeha ha e batloa ebile e hanana le ho hloleha. Ho aha sethala se joalo ka theknoloji ea mohloli o bulehileng ho thusa ho qoba ho koala ha barekisi le ho boloka molemo oa nako e telele oa leano mabapi le taolo ea litšenyehelo.
Lilemong tse 'maloa tse fetileng, ho ne ho etsahala ntho e ts'oanang le nts'etsopele ea ts'ebeliso mme e lebisitse ho hlaheng ha li-microservices, cloud hybrid, IT automation, le lits'ebetso tsa agile. Ho sebetsana le tsena tsohle, litsebi tsa IT li fetohetse lijaneng, Kubernetes le maru a lebasetere a bulehileng.
Phihlelo ena e se e sebelisoa ho araba liphephetso tsa Al. Ke ka lebaka leo litsebi tsa IT li ahang li-platform tse thehiloeng ho li-container, tse nolofalletsang ho theha lits'ebeletso tsa AI / ML ka har'a lits'ebetso tsa khale, li potlakisa boqapi, 'me li hahiloe ka leihlo le shebileng leru la lebasetere.
Re tla qala ho aha sethala se joalo ka Red Hat OpenShift, sethala sa rona sa Kubernetes se nang le setshelo bakeng sa leru la lebasetere, le nang le ecosystem e ntseng e hola ka potlako ea litharollo tsa software le hardware ML (NVIDIA, H2O.ai, Starburst, PerceptiLabs, joalo-joalo). Ba bang ba bareki ba Red Hat, joalo ka BMW Group, ExxonMobil le ba bang, ba se ba kentse lisebelisoa tsa lisebelisoa tsa ML le lits'ebetso tsa DevOps holim'a sethala le tikoloho ea eona ho tlisa meralo ea bona ea ML tlhahisong le ho potlakisa mosebetsi oa bahlahlobisisi ba data.
Lebaka le leng leo ka lona re hlahisitseng projeke ea Open Data Hub ke ho bonts'a mohlala oa meralo e thehiloeng ho merero e mengata e bulehileng ea software le ho bonts'a mokhoa oa ho kenya tšebetsong potoloho eohle ea bophelo ea tharollo ea ML e thehiloeng sethaleng sa OpenShift.
Open Data Hub Project
Ona ke projeke ea mohloli o bulehileng o ntlafalitsoeng ka har'a sechaba se lumellanang sa nts'etsopele mme o kenya tšebetsong potoloho e felletseng ea ts'ebetso - ho tloha ho kenya le ho fetola data ea pele ho isa ho ho hlahisa, ho koetlisa le ho boloka mohlala - ha o rarolla mathata a AI / ML o sebelisa lijana le Kubernetes ho OpenShift. sethala. Morero ona o ka nkoa e le ts'ebetsong ea litšupiso, mohlala oa mokhoa oa ho haha tharollo e bulehileng ea AI/ML-as-a-service e thehiloeng ho OpenShift le lisebelisoa tse amanang le mohloli o bulehileng tse kang Tensorflow, JupyterHub, Spark le tse ling. Ke habohlokoa ho hlokomela hore Red Hat ka boeona e sebelisa morero ona ho fana ka litšebeletso tsa eona tsa AI/ML. Ho phaella moo, OpenShift e kopanya le lisebelisoa tsa bohlokoa tsa software le hardware ML tse tsoang ho NVIDIA, Seldon, Starbust le barekisi ba bang, e leng ho nolofalletsang ho haha le ho tsamaisa mekhoa ea hau ea ho ithuta mochine.
Morero oa Open Data Hub o shebane le mekhahlelo e latelang ea basebelisi le linyeoe tsa ts'ebeliso:
- Setsebi sa data se hlokang tharollo bakeng sa ho kenya ts'ebetsong merero ea ML, e hlophisitsoeng joaloka leru le nang le mesebetsi ea boipheliso.
- Setsebi sa Lintlha se hlokang khetho e phahameng ho tsoa lisebelisoa tsa morao-rao tse bulehileng tsa AI/ML le sethala.
- Mohlahlobi oa lintlha ea hlokang ho fumana mehloli ea data ha a koetlisa mehlala.
- Setsebi sa data se hlokang ho fihlella lisebelisoa tsa komporo (CPU, GPU, memori).
- Setsebi sa Lintlha se hlokang bokhoni ba ho sebelisana 'moho le ho arolelana mosebetsi le basebetsi-'moho, ho amohela maikutlo, le ho ntlafatsa phetisetso e potlakileng.
- Setsebi sa data se batlang ho sebelisana le bahlahisi (le lihlopha tsa devops) e le hore mefuta ea hae ea ML le liphetho tsa mosebetsi li kene tlhahisong.
- Moenjineri oa data ea hlokang ho fa mohlahlobi oa data monyetla oa ho fumana mehloli e fapaneng ea data ha a ntse a latela litlhoko tsa taolo le ts'ireletso.
- Mookameli oa tsamaiso ea IT / opereishene ea hlokang bokhoni ba ho laola bophelo bo sa feleng (ho kenya, ho hlophisa, ho ntlafatsa) likarolo tsa mohloli o bulehileng le theknoloji. Re boetse re hloka lisebelisoa tse nepahetseng tsa taolo le quota.
Morero oa Open Data Hub o kopanya lisebelisoa tse fapaneng tsa mohloli o bulehileng ho kenya tšebetsong potoloho e felletseng ea ts'ebetso ea AI/ML. Jupyter Notebook e sebelisoa mona e le sesebelisoa se ka sehloohong sa ho sebetsa bakeng sa analytics ea data. Setsi sa lisebelisoa se tumme haholo har'a bo-rasaense ba data kajeno, 'me Open Data Hub e ba lumella ho theha le ho laola libaka tsa mosebetsi tsa Jupyter Notebook ba sebelisa JupyterHub e hahiloeng. Ntle le ho theha le ho kenya libuka tsa Jupyter kantle ho naha, projeke ea Open Data Hub e boetse e na le libukana tse seng li entsoe tse seng li entsoe ka sebopeho sa AI Library.
Laeborari ena ke pokello ea likarolo tsa ho ithuta tsa mochini o bulehileng le tharollo bakeng sa maemo a tloaelehileng a nolofatsang prototyping ka potlako. JupyterHub e hokahane le mofuta oa phihlello oa OpenShift oa RBAC, o o lumellang ho sebelisa liakhaonto tse teng tsa OpenShift le ho kenya ts'ebetso ea ho saena ha 'ngoe. Ntle le moo, JupyterHub e fana ka sebopeho se bonolo sa mosebelisi se bitsoang spawner, seo ka sona mosebelisi a ka hlophisang habonolo palo ea lisebelisoa tsa komporo (CPU cores, memory, GPU) bakeng sa Jupyter Notebook e khethiloeng.
Kamora hore mohlahlobi oa data a thehe le ho lokisa laptop, lintho tse ling tsohle tse amehang ka eona li hlokomeloa ke Kubernetes scheduler, e leng karolo ea OpenShift. Basebelisi ba ka etsa liteko tsa bona feela, ba boloka le ho arolelana liphetho tsa mosebetsi oa bona. Ntle le moo, basebelisi ba tsoetseng pele ba ka fihlella ka kotloloho khetla ea OpenShift CLI ka kotloloho ho tsoa libukeng tsa Jupyter ho phahamisa li-primitives tsa Kubernetes joalo ka ts'ebetso ea Jobo kapa OpenShift joalo ka Tekton kapa Knative. Kapa bakeng sa sena u ka sebelisa GUI e bonolo ea OpenShift, e bitsoang "OpenShift web console".
Ho fetela mohatong o latelang, Open Data Hub e etsa hore ho khonehe ho laola lipeipi tsa data. Bakeng sa sena, ho sebelisoa ntho ea Ceph, e fanoang e le polokelo ea data e lumellanang le S3. Apache Spark e fana ka phallo ea data ho tsoa mehloling e kantle kapa polokelo ea Ceph S3 e hahiloeng kahare, hape e u lumella ho etsa liphetoho tsa data tsa pele. Apache Kafka e fana ka tsamaiso e tsoetseng pele ea liphaephe tsa data (moo data e ka kenngoa ka makhetlo a mangata, hammoho le phetoho ea data, tlhahlobo le ts'ebetso e tsitsitseng).
Kahoo, mohlahlobi oa data o fihletse data mme a etsa mohlala. Hona joale o na le takatso ea ho arolelana liphetho tse fumanoeng le basebetsi-'moho le eena kapa baetsi ba kopo, 'me a ba fe mohlala oa hae ka melao-motheo ea tšebeletso. Sena se hloka seva sa inference, 'me Open Data Hub e na le seva e joalo, e bitsoang Seldon' me e u lumella ho phatlalatsa mohlala e le tšebeletso ea RESTful.
Ka nako e 'ngoe, ho na le mefuta e' maloa e joalo ho seva sa Seldon, 'me ho hlokahala ho beha leihlo hore na e sebelisoa joang. Ho fihlela sena, Open Data Hub e fana ka pokello ea metrics e amehang le enjine ea tlaleho e ipapisitseng le lisebelisoa tsa ho lekola mohloli o bulehileng oa Prometheus le Grafana. Ka lebaka leo, re fumana maikutlo a ho beha leihlo ts'ebeliso ea mefuta ea AI, haholo tikolohong ea tlhahiso.
Ka tsela ena, Open Data Hub e fana ka mokhoa o kang oa maru ho pholletsa le bophelo bohle ba AI / ML, ho tloha ho fumana boitsebiso le ho itokisetsa ho ea ho koetliso ea mohlala le tlhahiso.
Ho kopanya kaofela
Joale potso e hlaha mokhoa oa ho hlophisa tsena tsohle bakeng sa motsamaisi oa OpenShift. Mona ke moo opereishene e khethehileng ea Kubernetes bakeng sa merero ea Open Data Hub e kenang teng.
Opereishene ena e laola ho instola, litlhophiso le potoloho ea bophelo ea projeke ea Open Data Hub, ho kenyeletsoa le ho tsamaisoa ha lisebelisoa tse boletsoeng ka holimo tse kang JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus le Grafana. Morero oa Open Data Hub o ka fumanoa ho OpenShift web console, karolong ea basebeletsi ba sechaba. Kahoo, molaoli oa OpenShift a ka hlakisa hore merero e tsamaisanang ea OpenShift e arotsoe e le "Projeke ea Open Data Hub". Sena se etsoa hang. Kamora sena, mohlahlobi oa data o kena sebakeng sa hae sa projeke ka OpenShift web console mme o bona hore opareitara e tsamaisanang le Kubernetes e kentsoe mme e fumaneha bakeng sa merero ea hae. Ka mor'a moo o theha mohlala oa morero oa Open Data Hub ka ho tobetsa hanngoe 'me hang-hang o fumana lisebelisoa tse hlalositsoeng ka holimo. 'Me sena sohle se ka hlophisoa ka mokhoa o phahameng oa ho fumaneha le ho mamella liphoso.
Haeba u ka rata ho itekela morero oa Open Data Hub bakeng sa hau, qala ka . Lintlha tsa tekheniki tsa meralo ea Open Data Hub li ka fumanoa , merero ea ntlafatso ea morero - . Nakong e tlang, re rera ho kenya ts'ebetsong ho kopanya ho eketsehileng le Kubeflow, ho rarolla mathata a mangata ka taolo ea data le ts'ireletso, hape re hlophisa ho kopanya le mekhoa e thehiloeng melaong ea Drools le Optaplanner. Hlalosa maikutlo a hau 'me u be karolo ea morero ho khoneha leqepheng .
Ho pheta-pheta: Liphephetso tse tebileng tsa ho fokotsa boima li thibela mekhatlo ho hlokomela bokhoni bo felletseng ba bohlale ba maiketsetso le ho ithuta ka mochini. Red Hat OpenShift ke khale e sebelisoa ka katleho ho rarolla mathata a tšoanang indastering ea software. Morero oa Open Data Hub, o kentsoeng tšebetsong ka har'a sechaba sa nts'etsopele ea mohloli o bulehileng, o fana ka meralo ea litšupiso bakeng sa ho hlophisa potoloho e felletseng ea ts'ebetso ea AI/ML e ipapisitseng le leru le nyalisitsoeng la OpenShift. Re na le moralo o hlakileng le o nahannoeng oa nts'etsopele ea morero ona, 'me re ikemiselitse ho theha sechaba se mafolofolo le se behang litholoana ho pota-pota bakeng sa ho hlahisa litharollo tse bulehileng tsa AI sethaleng sa OpenShift.
Source: www.habr.com