Оянда фаро расид ва зеҳни сунъӣ ва технологияҳои омӯзиши мошинҳо аллакай аз ҷониби мағозаҳои дӯстдоштаи шумо, ширкатҳои нақлиётӣ ва ҳатто хоҷагиҳои Туркия бомуваффақият истифода мешаванд.
Ва агар чизе вуҷуд дошта бошад, пас аллакай дар Интернет чизе дар бораи он вуҷуд дорад ... лоиҳаи кушода! Бубинед, ки чӣ тавр Open Data Hub ба шумо имкон медиҳад, ки технологияҳои навро васеъ кунед ва аз душвориҳои амалӣ пешгирӣ кунед.
Бо тамоми бартариҳои зеҳни сунъӣ (AI) ва омӯзиши мошинҳо (ML), созмонҳо аксар вақт дар миқёси ин технологияҳо душворӣ мекашанд. Мушкилоти асосӣ дар ин ҳолат одатан инҳоянд:
- Мубодилаи иттилоот ва ҳамкорӣ - табодули иттилоот ва ҳамкорӣ дар такрори босуръат қариб ғайриимкон аст.
- Дастрасии маълумот — барои хар як кор онро аз нав ва дастй сохтан лозим аст, ки ин вакти зиёдеро мегирад.
- Дастрасӣ аз рӯи дархост - ҳеҷ роҳе барои дастрасии талабот ба асбобҳо ва платформаи омӯзиши мошинҳо, инчунин инфрасохтори ҳисоббарорӣ вуҷуд надорад.
- Истеҳсолот - моделҳо дар марҳилаи прототип боқӣ мемонанд ва ба истифодаи саноатӣ оварда намешаванд.
- Натиҷаҳои AI пайгирӣ ва шарҳ диҳед – такроршавандагӣ, пайгирӣ ва шарҳи натиҷаҳои AI/ML душвор аст.
Ин мушкилот бе ҳалли мушкилот ба суръат, самаранокӣ ва маҳсулнокии олимони арзишманд таъсири манфӣ мерасонанд. Ин боиси ноумедӣ, ноумедӣ дар кори онҳо мегардад ва дар натиҷа интизориҳои тиҷоратӣ дар бораи AI/ML барбод мераванд.
Масъулият барои ҳалли ин мушкилот ба дӯши мутахассисони IT аст, ки онҳо бояд ба таҳлилгарони маълумот пешниҳод кунанд - ин дуруст аст, чизе монанди абр. Ба таври муфассал, ба мо платформае лозим аст, ки озодии интихобро медиҳад ва дастрасии қулай ва осон дорад. Дар айни замон, он зуд, ба осонӣ аз нав танзимшаванда, миқёспазир аз рӯи талабот ва ба нокомиҳо тобовар аст. Сохтани чунин платформа дар технологияҳои кушодаасос ба пешгирӣ аз бастани фурӯшандагон ва нигоҳ доштани бартарии стратегии дарозмуддат дар робита ба назорати хароҷот кӯмак мекунад.
Чанд сол пеш, дар таҳияи барномаҳо чизе ба ин монанд рух медод ва боиси пайдоиши микросервисҳо, абрҳои гибридӣ, автоматикунонии IT ва равандҳои зудҳаракатӣ гардид. Барои мубориза бо ин ҳама, мутахассисони IT ба контейнерҳо, Кубернетесҳо ва абрҳои гибридии кушод муроҷиат карданд.
Ин таҷриба ҳоло барои ҷавоб додан ба мушкилоти Ал истифода мешавад. Аз ин рӯ, мутахассисони IT платформаҳое месозанд, ки ба контейнер асос ёфтаанд, имкон медиҳанд, ки хидматҳои AI/ML дар доираи равандҳои зудҳаракатӣ эҷод карда шаванд, инноватсияро суръат бахшанд ва бо назардошти абрҳои гибридӣ сохта шаванд.
Мо ба сохтани чунин платформа бо Red Hat OpenShift, платформаи контейнерии Kubernetes барои абрҳои гибридӣ шурӯъ мекунем, ки дорои экосистемаи босуръат афзояндаи қарорҳои нармафзор ва сахтафзори ML (NVIDIA, H2O.ai, Starburst, PerceptiLabs ва ғайра) мебошад. Баъзе аз муштариёни Red Hat, ба монанди BMW Group, ExxonMobil ва дигарон, аллакай асбобҳои контейнерии ML ва равандҳои DevOps-ро дар болои платформа ва экосистемаи он ҷойгир кардаанд, то меъмории ML-и худро ба истеҳсолот расонанд ва кори таҳлилгарони маълумотро суръат бахшанд.
Сабаби дигаре, ки мо лоиҳаи Open Data Hub-ро оғоз кардем, ин намоиш додани намунаи меъморӣ дар асоси якчанд лоиҳаҳои нармафзори кушодаасос ва нишон додани тарзи татбиқи тамоми давраи ҳаёти ҳалли ML дар асоси платформаи OpenShift мебошад.
Лоиҳаи Open Data Hub
Ин як лоиҳаи кушодаасос аст, ки дар доираи ҷомеаи мувофиқи рушд таҳия шудааст ва як давраи пурраи амалиётҳоро - аз бор кардан ва табдил додани маълумоти ибтидоӣ то тавлид, омӯзиш ва нигоҳдории модел - ҳангоми ҳалли мушкилоти AI / ML бо истифода аз контейнерҳо ва Кубернетҳо дар OpenShift амалӣ мекунад. платформа. Ин лоиҳаро метавон як татбиқи истинод, мисоли чӣ гуна сохтани як ҳалли кушодаи AI/ML-as-a-service дар асоси OpenShift ва абзорҳои кушодаи манбаи марбут ба монанди Tensorflow, JupyterHub, Spark ва дигарон ҳисоб кард. Бояд қайд кард, ки худи Red Hat ин лоиҳаро барои пешниҳоди хидматҳои AI/ML-и худ истифода мебарад. Илова бар ин, OpenShift бо нармафзори калидии нармафзор ва сахтафзори ML аз NVIDIA, Seldon, Starbust ва фурӯшандагони дигар ҳамгиро мешавад, ки сохтан ва идора кардани системаҳои омӯзиши мошини шахсии шуморо осон мекунад.
Лоиҳаи Open Data Hub ба категорияҳои зерини корбарон ва ҳолатҳои истифода нигаронида шудааст:
- Таҳлилгари маълумот, ки ба ҳалли татбиқи лоиҳаҳои ML ниёз дорад, ки мисли абр бо функсияҳои худхизматрасонӣ ташкил карда шудааст.
- Таҳлилгари маълумот, ки ба интихоби ҳадди аксар аз навтарин асбобҳо ва платформаҳои кушодаасос AI/ML ниёз дорад.
- Таҳлилгари маълумот, ки ҳангоми омӯзиши моделҳо ба манбаъҳои додаҳо дастрасӣ дорад.
- Таҳлилгари маълумот, ки ба захираҳои компютерӣ дастрасӣ дорад (CPU, GPU, хотира).
- Таҳлилгари маълумот, ки қобилияти ҳамкорӣ ва мубодилаи кор бо ҳамкорон, гирифтани фикру мулоҳизаҳо ва такмил додани такрори зудро талаб мекунад.
- Таҳлилгари маълумот, ки мехоҳад бо таҳиягарон (ва гурӯҳҳоро таҳия кунад) муошират кунад, то моделҳои ML ва натиҷаҳои кори ӯ ба истеҳсолот ворид шаванд.
- Муҳандиси маълумот, ки бояд ба таҳлилгари додаҳо дастрасӣ ба манбаъҳои гуногуни додаҳоро ҳангоми риояи талаботи танзим ва амният таъмин намояд.
- Администратор/оператори системаи IT, ки қобилияти назорат кардани давраи ҳаётии (насб, конфигуратсия, навсозӣ) ҷузъҳо ва технологияҳои кушодаасосро талаб мекунад. Мо инчунин ба воситаҳои идоракунии мувофиқ ва квота ниёз дорем.
Лоиҳаи Open Data Hub як қатор асбобҳои кушодаасосро барои татбиқи як давраи пурраи амалиёти AI/ML муттаҳид мекунад. Jupyter Notebook дар ин ҷо ҳамчун воситаи асосии корӣ барои таҳлили додаҳо истифода мешавад. Маҷмӯаи асбобҳо дар байни олимони маълумот имрӯз хеле маъмул аст ва Open Data Hub ба онҳо имкон медиҳад, ки бо истифода аз JupyterHub дарунсохт фазои кории Jupyter Notebook-ро ба осонӣ эҷод ва идора кунанд. Илова ба эҷод ва воридоти ноутбукҳои Jupyter, лоиҳаи Open Data Hub инчунин як қатор ноутбукҳои тайёрро дар шакли Китобхонаи AI дорад.
Ин китобхона маҷмӯи ҷузъҳои омӯзиши мошинҳои кушодаасос ва ҳалли сенарияҳои маъмулест, ки прототипсозии босуръатро содда мекунанд. JupyterHub бо модели дастрасии RBAC-и OpenShift муттаҳид карда шудааст, ки ба шумо имкон медиҳад ҳисобҳои мавҷудаи OpenShift-ро истифода баред ва воридшавии ягонаро амалӣ кунед. Илова бар ин, JupyterHub интерфейси истифодабарандаи дӯстона бо номи spawner пешниҳод мекунад, ки тавассути он корбар метавонад ба осонӣ миқдори захираҳои компютериро (аслҳои CPU, хотира, GPU) барои ноутбуки интихобшудаи Jupyter танзим кунад.
Пас аз он ки таҳлилгари маълумот ноутбукро эҷод ва танзим мекунад, ҳама нигарониҳои дигар дар бораи он аз ҷониби нақшаи Kubernetes, ки қисми OpenShift аст, ҳал карда мешаванд. Истифодабарандагон метавонанд танҳо таҷрибаҳои худро анҷом диҳанд, натиҷаҳои кори худро ҳифз ва мубодила кунанд. Илова бар ин, корбарони пешрафта метавонанд мустақиман ба қабати OpenShift CLI аз ноутбукҳои Jupyter дастрасӣ пайдо кунанд, то аз ибтидоии Kubernetes ба монанди Job ё OpenShift, ба монанди Tekton ё Knative истифода баранд. Ё барои ин шумо метавонед GUI-и қулайи OpenShift-ро истифода баред, ки онро "Веб консол OpenShift" меноманд.
Гузаштан ба марҳилаи оянда, Open Data Hub имкон медиҳад, ки қубурҳои маълумотро идора кунед. Барои ин объекти Ceph истифода мешавад, ки он ҳамчун нигаҳдории маълумотҳои объекти бо S3 мувофиқ таъмин карда мешавад. Apache Spark ҷараёни маълумотро аз манбаъҳои беруна ё нигаҳдории дохилии Ceph S3 таъмин мекунад ва инчунин ба шумо имкон медиҳад, ки тағироти пешакии додаҳоро анҷом диҳед. Apache Kafka идоракунии пешрафтаи лӯлаҳои маълумотро таъмин мекунад (дар он ҷо маълумотро чанд маротиба бор кардан мумкин аст, инчунин трансформатсия, таҳлил ва амалиёти устуворӣ).
Ҳамин тариқ, таҳлилгари додаҳо ба маълумот дастрасӣ пайдо кард ва модел сохт. Ҳоло ӯ мехоҳад, ки натиҷаҳои бадастомадаро бо ҳамкорон ё таҳиягарони барнома мубодила кунад ва ба онҳо модели худро дар принсипҳои хидмат пешниҳод кунад. Ин сервери хулосабарориро талаб мекунад ва Open Data Hub дорои чунин сервер мебошад, ки он Seldon ном дорад ва ба шумо имкон медиҳад, ки моделро ҳамчун хидмати RESTful нашр кунед.
Дар баъзе мавридҳо, дар сервери Seldon якчанд чунин моделҳо мавҷуданд ва зарурати назорат кардани истифодаи онҳо вуҷуд дорад. Барои ноил шудан ба ин, Open Data Hub маҷмӯи ченакҳои дахлдор ва муҳаррики ҳисоботиро дар асоси абзорҳои васеъ истифодашавандаи мониторинги кушодаасос Prometheus ва Grafana пешниҳод мекунад. Дар натиҷа, мо барои назорат кардани истифодаи моделҳои AI, алахусус дар муҳити истеҳсолӣ фикру мулоҳизаҳо мегирем.
Ҳамин тариқ, Open Data Hub дар тамоми давраи ҳаёти AI/ML, аз дастрасӣ ба додаҳо ва омодагӣ то омӯзиш ва истеҳсоли модел як равиши абриро таъмин мекунад.
Ҳама чизро якҷоя кардан
Акнун савол ба миён меояд, ки чӣ гуна ҳамаи инро барои маъмури OpenShift ташкил кардан мумкин аст. Ва дар ин ҷо оператори махсуси Kubernetes барои лоиҳаҳои Open Data Hub ба кор меояд.
Ин оператор насб, конфигуратсия ва давраи ҳаёти лоиҳаи Open Data Hub, аз ҷумла ҷобаҷогузории абзорҳои дар боло зикршуда, аз қабили JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus ва Grafana-ро идора мекунад. Лоиҳаи Open Data Hub-ро дар консоли веби OpenShift, дар бахши операторони ҷомеа пайдо кардан мумкин аст. Ҳамин тариқ, маъмури OpenShift метавонад муайян кунад, ки лоиҳаҳои мувофиқи OpenShift ҳамчун "Лоиҳаи Open Data Hub" гурӯҳбандӣ карда мешаванд. Ин як маротиба анҷом дода мешавад. Пас аз ин, таҳлилгари маълумот тавассути веб консоли OpenShift ба фазои лоиҳаи худ ворид мешавад ва мебинад, ки оператори мувофиқи Kubernetes насб шудааст ва барои лоиҳаҳои ӯ дастрас аст. Сипас ӯ бо як клик як мисоли лоиҳаи Open Data Hub эҷод мекунад ва фавран ба абзорҳои дар боло тавсифшуда дастрасӣ пайдо мекунад. Ва ҳамаи инро метавон дар ҳолати дастрасии баланд ва таҳаммулпазирии хатоҳо танзим кард.
Агар шумо хоҳед, ки лоиҳаи Open Data Hub-ро барои худ санҷед, аз он оғоз кунед . Тафсилоти техникии меъмории Open Data Hub мумкин аст пайдо шавад , нақшаҳои рушди лоиҳа - . Дар оянда, мо нақша дорем, ки ҳамгироии иловагӣ бо Kubeflow амалӣ кунем, як қатор масъалаҳоро бо танзим ва амнияти додаҳо ҳал кунем ва инчунин ҳамгироиро бо системаҳои қоидаҳо асосёфтаи Drools ва Optaplanner ташкил кунем. Фикри худро баён кунед ва иштирокчии лоиҳа шавед дар саҳифа имконпазир аст .
Хулоса: Мушкилоти ҷиддии миқёс ба созмонҳо имкон намедиҳад, ки иқтидори пурраи зеҳни сунъӣ ва омӯзиши мошинҳоро амалӣ созанд. Red Hat OpenShift муддати тӯлонӣ барои ҳалли мушкилоти шабеҳ дар соҳаи нармафзор бомуваффақият истифода мешавад. Лоиҳаи Open Data Hub, ки дар доираи ҷомеаи рушди сарчашмаҳои кушода амалӣ карда мешавад, як меъмории истинодро барои ташкили як давраи пурраи амалиёти AI/ML дар асоси абри гибридии OpenShift пешниҳод мекунад. Мо нақшаи дақиқ ва оқилонаи таҳияи ин лоиҳа дорем ва мо ҷиддӣ ҳастем, ки дар атрофи он як ҷомеаи фаъол ва пурсамарро барои таҳияи қарорҳои кушодаи AI дар платформаи OpenShift эҷод кунем.
Манбаъ: will.com