අනාගතය පැමිණ ඇති අතර, කෘතිම බුද්ධිය සහ යන්ත්‍ර ඉගෙනීමේ තාක්ෂණයන් දැනටමත් ඔබේ ප්‍රියතම වෙළඳසැල්, ප්‍රවාහන සමාගම් සහ තුර්කිය ගොවිපලවල් විසින් සාර්ථකව භාවිතා කරනු ලැබේ.
යමක් තිබේ නම්, අන්තර්ජාලයේ දැනටමත් ඒ ගැන යමක් තිබේ ... විවෘත ව්යාපෘතියක්! Open Data Hub ඔබට නව තාක්ෂණ පරිමාණය කිරීමට සහ ක්‍රියාත්මක කිරීමේ අභියෝග මඟහරවා ගැනීමට උපකාර වන ආකාරය බලන්න.
කෘත්‍රිම බුද්ධියේ (AI) සහ යන්ත්‍ර ඉගෙනීමේ (ML) සියලු වාසි සමඟින්, ආයතනවලට මෙම තාක්ෂණයන් පරිමාණය කිරීමට බොහෝ විට අපහසු වේ. මෙම නඩුවේ ප්රධාන ගැටළු සාමාන්යයෙන් පහත දැක්වේ:
- තොරතුරු හුවමාරුව සහ සහයෝගීතාව - ආයාසයකින් තොරව තොරතුරු හුවමාරු කර ගැනීම සහ වේගවත් පුනරාවර්තනයන් සමඟ සහයෝගයෙන් කටයුතු කිරීම පාහේ කළ නොහැක්කකි.
- දත්ත ප්රවේශය - සෑම කාර්යයක් සඳහාම එය අලුතින් සහ අතින් ගොඩනගා ගත යුතුය, එය බොහෝ කාලයක් ගත වේ.
- ඉල්ලුම මත ප්රවේශය - යන්ත්‍ර ඉගෙනුම් මෙවලම් සහ වේදිකාව මෙන්ම පරිගණක යටිතල පහසුකම් සඳහා ඉල්ලුම මත ප්රවේශය ලබා ගැනීමට ක්‍රමයක් නොමැත.
- නිෂ්පාදනය - ආකෘති මූලාකෘති අවධියේ පවතින අතර කාර්මික භාවිතයට ගෙන එන්නේ නැත.
- AI ප්රතිඵල හඹා ගොස් පැහැදිලි කරන්න - AI/ML ප්රතිඵල ප්‍රතිනිෂ්පාදනය, ලුහුබැඳීම සහ පැහැදිලි කිරීම අපහසුය.
අවධානය යොමු නොකළ විට, මෙම ගැටළු වටිනා දත්ත විද්‍යාඥයින්ගේ වේගය, කාර්යක්ෂමතාව සහ ඵලදායිතාවයට අහිතකර ලෙස බලපායි. මෙය ඔවුන්ගේ අපේක්ෂා භංගත්වයට, ඔවුන්ගේ කාර්යයේ බලාපොරොත්තු සුන්වීමට හේතු වන අතර, එහි ප්‍රතිඵලයක් ලෙස, AI/ML සම්බන්ධ ව්‍යාපාරික අපේක්ෂාවන් අපතේ යයි.
මෙම ගැටළු විසඳීමේ වගකීම තොරතුරු තාක්ෂණ විශේෂඥයින් මත වැටේ, ඔවුන් දත්ත විශ්ලේෂකයින්ට සැපයිය යුතුය - එය හරි, වලාකුළක් වැනි දෙයක්. වඩාත් විස්තරාත්මකව, අපට තේරීමේ නිදහස ලබා දෙන සහ පහසු, පහසු ප්‍රවේශයක් ඇති වේදිකාවක් අවශ්ය වේ. ඒ සමගම, එය වේගවත්, පහසුවෙන් නැවත සකස් කළ හැකි, ඉල්ලුම මත පරිමාණය කළ හැකි සහ අසාර්ථකත්වයට ප්රතිරෝධී වේ. විවෘත මූලාශ්‍ර තාක්ෂණයන් මත එවැනි වේදිකාවක් ගොඩනැගීම වෙළෙන්දා අගුලු දැමීම වළක්වා ගැනීමට සහ පිරිවැය පාලනය සම්බන්ධයෙන් දිගු කාලීන උපාය මාර්ගික වාසියක් පවත්වා ගැනීමට උපකාරී වේ.
මීට වසර කිහිපයකට පෙර, යෙදුම් සංවර්ධනයේදී සමාන දෙයක් සිදුවෙමින් පවතින අතර ක්ෂුද්‍ර සේවා, දෙමුහුන් වලාකුළු, තොරතුරු තාක්ෂණ ස්වයංක්‍රීයකරණය සහ වේගවත් ක්‍රියාවලීන් මතුවීමට හේතු විය. මේ සියල්ලට මුහුණ දීම සඳහා, තොරතුරු තාක්ෂණ වෘත්තිකයන් බහාලුම්, කුබර්නෙට් සහ විවෘත දෙමුහුන් වලාකුළු වෙත යොමු වී ඇත.
ඇල්ගේ අභියෝගවලට පිළිතුරු දීමට මෙම අත්දැකීම දැන් යොදා ගැනේ. තොරතුරු තාක්ෂණ වෘත්තිකයන් බහාලුම් මත පදනම් වූ වේදිකා ගොඩනඟමින්, කඩිසර ක්‍රියාවලීන් තුළ AI/ML සේවා නිර්මාණය කිරීමට ඉඩ සලසන, නවෝත්පාදන වේගවත් කරන සහ දෙමුහුන් වලාකුළ දෙසට ඇසකින් ගොඩනගා ඇත්තේ එබැවිනි.
අපි ශීඝ්‍රයෙන් වර්ධනය වන මෘදුකාංග සහ දෘඪාංග ML විසඳුම් (NVIDIA, H2O.ai, Starburst, PerceptiLabs, ආදිය) පරිසර පද්ධතියක් ඇති දෙමුහුන් වලාකුළු සඳහා අපගේ බහාලන ලද Kubernetes වේදිකාව වන Red Hat OpenShift සමඟින් එවැනි වේදිකාවක් තැනීමට පටන් ගනිමු. BMW Group, ExxonMobil සහ අනෙකුත් Red Hat හි සමහර පාරිභෝගිකයින් දැනටමත් ඔවුන්ගේ ML ගෘහ නිර්මාණ ශිල්පය නිෂ්පාදනයට ගෙන ඒම සහ දත්ත විශ්ලේෂකයින්ගේ කාර්යය වේගවත් කිරීම සඳහා වේදිකාවේ සහ එහි පරිසර පද්ධතියට ඉහළින් බහාලුම් ML මෙවලම් කට්ටල සහ DevOps ක්‍රියාවලි යොදවා ඇත.
අපි Open Data Hub ව්‍යාපෘතිය දියත් කිරීමට තවත් හේතුවක් වන්නේ විවෘත මූලාශ්‍ර මෘදුකාංග ව්යාපෘති කිහිපයක් මත පදනම් වූ ගෘහ නිර්මාණ ශිල්පයක උදාහරණයක් පෙන්වීම සහ OpenShift වේදිකාව මත පදනම් වූ ML විසඳුමක සම්පූර්ණ ජීවන චක්‍රය ක්‍රියාත්මක කරන ආකාරය පෙන්වීමයි.
Data Hub Project විවෘත කරන්න
මෙය විවෘත මූලාශ්‍ර ව්යාපෘතියක් වන අතර එය අනුරූප සංවර්ධන ප්රජාව තුළ සංවර්ධනය කර සම්පූර්ණ මෙහෙයුම් චක්‍රයක් ක්‍රියාත්මක කරයි - ආරම්භක දත්ත පැටවීම සහ පරිවර්තනය කිරීමේ සිට ආකෘතියක් උත්පාදනය කිරීම, පුහුණු කිරීම සහ නඩත්තු කිරීම දක්වා - OpenShift හි බහාලුම් සහ Kubernetes භාවිතා කරමින් AI / ML ගැටළු විසඳීමේදී. වේදිකාව. මෙම ව්‍යාපෘතිය යොමු ක්‍රියාත්මක කිරීමක් ලෙස සැලකිය හැකිය, OpenShift මත පදනම්ව විවෘත AI/ML-සේවා විසඳුමක් ගොඩනඟන්නේ කෙසේද යන්න පිළිබඳ උදාහරණයක් සහ Tensorflow, JupyterHub, Spark සහ වෙනත් විවෘත මූලාශ්‍ර මෙවලම්. Red Hat විසින්ම මෙම ව්‍යාපෘතිය තම AI/ML සේවා සැපයීම සඳහා භාවිතා කරන බව සැලකිල්ලට ගැනීම වැදගත්ය. මීට අමතරව, OpenShift NVIDIA, Seldon, Starbust සහ අනෙකුත් වෙළෙන්දන්ගෙන් ලැබෙන ප්රධාන මෘදුකාංග සහ දෘඪාංග ML විසඳුම් සමඟ ඒකාබද්ධ වන අතර, ඔබේම යන්ත්‍ර ඉගෙනුම් පද්ධති තැනීම සහ ධාවනය කිරීම පහසු කරයි.
Open Data Hub ව්‍යාපෘතිය පහත දැක්වෙන පරිශීලකයින් සහ භාවිත අවස්ථා කෙරෙහි අවධානය යොමු කර ඇත:
- ස්වයං සේවා කාර්යයන් සහිත වලාකුළක් මෙන් සංවිධානය කරන ලද ML ව්යාපෘති ක්‍රියාත්මක කිරීම සඳහා විසඳුමක් අවශ්ය දත්ත විශ්ලේෂක.
- නවතම විවෘත මූලාශ්‍ර AI/ML මෙවලම් සහ වේදිකා වලින් උපරිම තේරීමක් අවශ්ය දත්ත විශ්ලේෂක.
- ආකෘති පුහුණු කිරීමේදී දත්ත මූලාශ්‍ර වෙත ප්රවේශය අවශ්ය දත්ත විශ්ලේෂක.
- පරිගණක සම්පත් (CPU, GPU, මතකය) වෙත ප්රවේශය අවශ්ය දත්ත විශ්ලේෂක.
- සගයන් සමඟ සහයෝගයෙන් වැඩ කිරීමට සහ බෙදා ගැනීමට, ප්‍රතිපෝෂණ ලබා ගැනීමට සහ වේගවත් පුනරාවර්තනයේ වැඩිදියුණු කිරීම් කිරීමට අවශ්ය දත්ත විශ්ලේෂක.
- සංවර්ධකයින් (සහ devops කණ්ඩායම්) සමඟ අන්තර් ක්‍රියා කිරීමට අවශ්ය දත්ත විශ්ලේෂකයෙකු වන අතර එමඟින් ඔහුගේ ML මාදිලි සහ වැඩ ප්රතිඵල නිෂ්පාදනයට යයි.
- නියාමන සහ ආරක්ෂක අවශ්‍යතාවලට අනුකූලව විවිධ දත්ත ප්‍රභවයන් වෙත ප්රවේශය සහිත දත්ත විශ්ලේෂකයෙකු සැපයීමට අවශ්ය දත්ත ඉංජිනේරු.
- විවෘත මූලාශ්‍ර සංරචක සහ තාක්ෂණයන්හි ජීවන චක්‍රය (ස්ථාපනය, වින්‍යාස කිරීම, උත්ශ්‍රේණි කිරීම) පහසුවෙන් පාලනය කිරීමේ හැකියාව අවශ්ය තොරතුරු තාක්ෂණ පද්ධති පරිපාලක/ක්‍රියාකරු. අපට සුදුසු කළමනාකරණ සහ කෝටා මෙවලම් ද අවශ්ය වේ.
Open Data Hub ව්‍යාපෘතිය AI/ML මෙහෙයුම් වල සම්පූර්ණ චක්‍රයක් ක්‍රියාත්මක කිරීම සඳහා විවෘත මූලාශ්‍ර මෙවලම් මාලාවක් ගෙන එයි. දත්ත විශ්ලේෂණ සඳහා ප්රධාන ක්‍රියාකාරී මෙවලම ලෙස Jupyter Notebook මෙහි භාවිතා වේ. මෙවලම් කට්ටලය අද දත්ත විද්‍යාඥයින් අතර පුළුල් ලෙස ජනප්‍රිය වී ඇති අතර, විවෘත දත්ත මධ්‍යස්ථානය ඔවුන්ට ජුපිටර් නෝට්බුක් වැඩබිම් පහසුවෙන් නිර්මාණය කර කළමනාකරණය කිරීමට ඉඩ සලසයි. Jupyter සටහන් පොත් නිර්මාණය කිරීම සහ ආනයනය කිරීමට අමතරව, Open Data Hub ව්‍යාපෘතියේ AI පුස්තකාලයක ආකාරයෙන් සූදානම් කළ සටහන් පොත් ගණනාවක් ද අඩංගු වේ.
මෙම පුස්තකාලය විවෘත මූලාශ්‍ර යන්ත්‍ර ඉගෙනුම් සංරචක සහ වේගවත් මූලාකෘතිකරණය සරල කරන පොදු අවස්ථා සඳහා විසඳුම් එකතුවකි. JupyterHub OpenShift හි RBAC ප්රවේශ ආකෘතිය සමඟ ඒකාබද්ධ කර ඇත, එමඟින් ඔබට පවතින OpenShift ගිණුම් භාවිතා කිරීමට සහ තනි පුරනයක් ක්‍රියාත්මක කිරීමට ඉඩ සලසයි. මීට අමතරව, JupyterHub විසින් spawner නම් පරිශීලක-හිතකාමී පරිශීලක අතුරුමුහුණතක් පිරිනමයි, එමඟින් පරිශීලකයාට තෝරාගත් Jupyter Notebook සඳහා පරිගණක සම්පත් ප්‍රමාණය (CPU cores, memory, GPU) පහසුවෙන් වින්‍යාස කළ හැකිය.
දත්ත විශ්ලේෂක විසින් ලැප්ටොප් පරිගණකය නිර්මාණය කර වින්‍යාස කිරීමෙන් පසුව, ඒ පිළිබඳ අනෙකුත් සියලු කරුණු OpenShift හි කොටසක් වන Kubernetes උපලේඛකයා විසින් බලා ගනී. පරිශීලකයින්ට ඔවුන්ගේ අත්හදා බැලීම් සිදු කළ හැක්කේ, ඔවුන්ගේ කාර්යයේ ප්රතිඵල සුරැකීමට සහ බෙදා ගැනීමට පමණි. මීට අමතරව, උසස් පරිශීලකයින්ට Job වැනි Kubernetes primitives හෝ Tekton හෝ Knative වැනි OpenShift ක්‍රියාකාරීත්වය උත්තේජනය කිරීම සඳහා Jupyter සටහන් පොත් වලින් කෙලින්ම OpenShift CLI කවචයට ප්රවේශ විය හැක. නැතහොත් මේ සඳහා ඔබට OpenShift හි පහසු GUI භාවිතා කළ හැකිය, එය "OpenShift වෙබ් කොන්සෝලය" ලෙස හැඳින්වේ.
මීළඟ අදියර වෙත ගමන් කිරීම, විවෘත දත්ත කේන්ද්‍රය මඟින් දත්ත නල මාර්ග කළමනාකරණය කිරීමට හැකි වේ. මේ සඳහා, Ceph වස්තුවක් භාවිතා කරනු ලැබේ, එය S3-අනුකූල වස්තු දත්ත ගබඩාවක් ලෙස සපයනු ලැබේ. Apache Spark මඟින් ඔබට බාහිර මූලාශ්‍රවලින් දත්ත ප්‍රවාහ කිරීමට හෝ Ceph S3 ආචයනය තුළ ඇති දත්ත ප්‍රවාහ කිරීමට ඉඩ සලසයි, එමෙන්ම මූලික දත්ත පරිවර්තනයන් සිදු කිරීමටද ඔබට ඉඩ සලසයි. Apache Kafka දත්ත නල මාර්ගවල උසස් කළමනාකරණය සපයයි (දත්ත බහු වාරයක් පූරණය කළ හැකි, දත්ත පරිවර්තනය, විශ්ලේෂණය සහ නොනැසී පවතින මෙහෙයුම්).
එබැවින්, දත්ත විශ්ලේෂක දත්ත වෙත ප්රවේශ වී ආකෘතියක් ගොඩනගා ඇත. දැන් ඔහු සගයන් හෝ යෙදුම් සංවර්ධකයින් සමඟ ලබාගත් ප්රතිඵල බෙදාහදා ගැනීමටත්, සේවාවක මූලධර්ම මත ඔහුගේ ආකෘතිය ඔවුන්ට ලබා දීමටත් ආශාවක් තිබේ. මෙයට අනුමාන සේවාදායකයක් අවශ්ය වන අතර Open Data Hub සතුව එවැනි සේවාදායකයක් ඇත, එය සෙල්ඩන් ලෙස හඳුන්වන අතර ඔබට ආකෘතිය RESTful සේවාවක් ලෙස ප්‍රකාශයට පත් කිරීමට ඉඩ සලසයි.
යම් අවස්ථාවක දී, සෙල්ඩන් සේවාදායකයේ එවැනි ආකෘති කිහිපයක් ඇති අතර, ඒවා භාවිතා කරන ආකාරය නිරීක්ෂණය කිරීම අවශ්ය වේ. මෙය සාක්ෂාත් කර ගැනීම සඳහා, Open Data Hub විසින් අදාළ ප්‍රමිතික එකතුවක් සහ බහුලව භාවිතා වන විවෘත මූලාශ්‍ර නිරීක්ෂණ මෙවලම් Prometheus සහ Grafana මත පදනම් වූ වාර්තාකරණ එන්ජිමක් පිරිනමයි. එහි ප්‍රතිඵලයක් වශයෙන්, විශේෂයෙන්ම නිෂ්පාදන පරිසරයක් තුළ AI මාදිලි භාවිතය නිරීක්ෂණය කිරීමට අපට ප්‍රතිපෝෂණ ලැබේ.
මේ ආකාරයට, Open Data Hub, දත්ත ප්රවේශය සහ සූදානම් වීමේ සිට ආකෘති පුහුණුව සහ නිෂ්පාදනය දක්වා සමස්ත AI/ML ජීවන චක්‍රය පුරාවටම වලාකුළු වැනි ප්‍රවේශයක් සපයයි.
එකට ඒ සියල්ල දමා
දැන් ප්‍රශ්නය පැන නගින්නේ OpenShift පරිපාලක සඳහා මේ සියල්ල සංවිධානය කරන්නේ කෙසේද යන්නයි. විවෘත දත්ත මධ්‍යස්ථාන ව්යාපෘති සඳහා විශේෂ Kubernetes ක්‍රියාකරුවෙකු ක්‍රියාත්මක වන්නේ මෙහිදීය.
මෙම ක්‍රියාකරු විසින් JupyterHub, Ceph, Spark, Kafka, Seldon, Prometheus සහ Grafana වැනි ඉහත සඳහන් මෙවලම් යෙදවීම ඇතුළුව විවෘත දත්ත කේන්ද්‍ර ව්‍යාපෘතියේ ස්ථාපනය, වින්‍යාස කිරීම සහ ජීවන චක්‍රය කළමනාකරණය කරයි. Open Data Hub ව්‍යාපෘතිය OpenShift වෙබ් කොන්සෝලයේ, ප්‍රජා ක්‍රියාකරුවන් කොටසේ සොයා ගත හැක. මේ අනුව, OpenShift පරිපාලකයාට අදාල OpenShift ව්යාපෘති "Open Data Hub project" ලෙස වර්ග කර ඇති බව සඳහන් කළ හැක. මෙය එක් වරක් සිදු කෙරේ. මෙයින් පසු, දත්ත විශ්ලේෂක OpenShift වෙබ් කොන්සෝලය හරහා ඔහුගේ ව්යාපෘති අවකාශයට ඇතුළු වන අතර අනුරූප Kubernetes ක්‍රියාකරු ස්ථාපනය කර ඇති බවත් ඔහුගේ ව්යාපෘති සඳහා ලබා ගත හැකි බවත් දකියි. ඉන්පසු ඔහු එක් ක්ලික් කිරීමකින් විවෘත දත්ත කේන්ද්‍ර ව්යාපෘති අවස්ථාවක් නිර්මාණය කරන අතර වහාම ඉහත විස්තර කර ඇති මෙවලම් වෙත ප්රවේශය ඇත. තවද මේ සියල්ල ඉහළ ලබා ගත හැකි සහ වැරදි ඉවසීමේ මාදිලියේ වින්‍යාසගත කළ හැකිය.
ඔබ ඔබ වෙනුවෙන් විවෘත දත්ත කේන්ද්‍ර ව්‍යාපෘතිය උත්සාහ කිරීමට කැමති නම්, ආරම්භ කරන්න . Open Data Hub architecture හි තාක්ෂණික විස්තර සොයා ගත හැක , ව්යාපෘති සංවර්ධන සැලසුම් - . අනාගතයේදී, අපි Kubeflow සමඟ අතිරේක ඒකාබද්ධ කිරීම ක්‍රියාත්මක කිරීමටත්, දත්ත නියාමනය සහ ආරක්ෂාව සම්බන්ධ ගැටළු ගණනාවක් විසඳීමටත්, නීති-පාදක පද්ධති Drools සහ Optaplanner සමඟ ඒකාබද්ධ කිරීම සංවිධානය කිරීමටත් සැලසුම් කරමු. ඔබේ අදහස ප්‍රකාශ කර ව්‍යාපෘතියේ කොටස්කරුවෙකු වන්න පිටුවේ හැකි .
නැවත සලකා බැලීම සඳහා: බරපතල පරිමාණ අභියෝග කෘත්‍රිම බුද්ධියේ සහ යන්ත්‍ර ඉගෙනීමේ සම්පූර්ණ විභවය අවබෝධ කර ගැනීමෙන් ආයතන වලක්වයි. Red Hat OpenShift මෘදුකාංග කර්මාන්තයේ සමාන ගැටළු විසඳීම සඳහා දිගු කලක් තිස්සේ සාර්ථකව භාවිතා කර ඇත. විවෘත මූලාශ්‍ර සංවර්ධන ප්රජාව තුළ ක්‍රියාත්මක වන Open Data Hub ව්‍යාපෘතිය, OpenShift දෙමුහුන් වලාකුළ මත පදනම් වූ AI/ML මෙහෙයුම්වල සම්පූර්ණ චක්‍රයක් සංවිධානය කිරීම සඳහා යොමු ගෘහ නිර්මාණ ශිල්පයක් ඉදිරිපත් කරයි. මෙම ව්‍යාපෘතියේ සංවර්ධනය සඳහා අපට පැහැදිලි සහ කල්පනාකාරී සැලැස්මක් ඇති අතර, OpenShift වේදිකාවේ විවෘත AI විසඳුම් සංවර්ධනය කිරීම සඳහා එය වටා ක්‍රියාකාරී සහ ඵලදායී ප්‍රජාවක් නිර්මාණය කිරීම පිළිබඳව අපි බැරෑරුම් වෙමු.
මූලාශ්රය: www.habr.com