විශාල දත්ත යුගයේ පරිහානිය

විශාල දත්ත යුගය අවසන් වී ඇති බව බොහෝ විදේශීය කතුවරුන් එකඟ වෙති. තවද මෙම අවස්ථාවෙහිදී, Big Data යන පදය Hadoop මත පදනම් වූ තාක්ෂණයන් වෙත යොමු කරයි. බොහෝ කතුවරුන්ට විශාල දත්ත මෙලොව හැර ගිය දිනය පවා විශ්වාසයෙන් නම් කළ හැකි අතර මෙම දිනය 05.06.2019/XNUMX/XNUMX වේ.

මෙම වැදගත් දිනයේ සිදු වූයේ කුමක්ද?

මෙදින, MAPR විසින් තවදුරටත් මෙහෙයුම් සඳහා අරමුදල් සොයා ගැනීමට නොහැකි වුවහොත් එහි වැඩ කටයුතු අත්හිටුවීමට පොරොන්දු විය. MAPR පසුව HP විසින් 2019 අගෝස්තු මාසයේදී අත්පත් කර ගන්නා ලදී. නමුත් ජූනි වෙත ආපසු යාම, Big Data වෙළඳපොළ සඳහා මෙම කාල පරිච්ඡේදයේ ඛේදවාචකය සටහන් කිරීම වැළැක්විය නොහැක. මෙම මාසයේ වෙළඳපොලේ ප්‍රමුඛතම ක්‍රීඩකයෙකු වන CLOUDERA හි කොටස් මිල කඩා වැටීමක් දක්නට ලැබුණි, එය එම වසරේම ජනවාරි මාසයේදී නිදන්ගත ලාභ නොලබන HORTOWORKS සමඟ ඒකාබද්ධ විය. බිඳවැටීම තරමක් වැදගත් වූ අතර එය 43% ක් විය; අවසානයේදී, CLOUDERA හි ප්‍රාග්ධනීකරණය ඩොලර් බිලියන 4,1 සිට 1,4 දක්වා අඩු විය.

Hadoop මත පදනම් වූ තාක්‍ෂණ ක්ෂේත්‍රයේ බුබුලක් පිළිබඳ කටකතා 2014 දෙසැම්බර් මාසයේ සිට පැතිර ගිය නමුත් එය තවත් වසර පහකට ආසන්න කාලයක් නිර්භීතව පැවති බව නොකියාම බැරිය. මෙම කටකතා පදනම් වූයේ Hadoop තාක්‍ෂණය ආරම්භ වූ Google සමාගම එහි නව නිපැයුම් ප්‍රතික්ෂේප කිරීම මතය. නමුත් සමාගම් වලාකුළු සැකසුම් මෙවලම් වෙත සංක්‍රමණය වීම සහ කෘතිම බුද්ධියේ වේගවත් සංවර්ධනය අතරතුර තාක්‍ෂණය මුල් බැස ගත්තේය. ඒ නිසා ආපසු හැරී බලන විට මරණය අපේක්ෂා කළ එකක් බව විශ්වාසයෙන් කිව හැකියි.

මේ අනුව, Big Data යුගය අවසන් වී ඇත, නමුත් Big Data මත වැඩ කිරීමේ ක්‍රියාවලියේදී, සමාගම් එය මත වැඩ කිරීමේ සියලු සූක්ෂ්මතා, Big Data ව්‍යාපාරයට ගෙන යා හැකි ප්‍රතිලාභ සහ කෘතිමව භාවිතා කිරීමට ඉගෙන ගෙන ඇත. අමු දත්ත වලින් වටිනාකම උකහා ගැනීමට බුද්ධිය.

මෙම තාක්‍ෂණය ප්‍රතිස්ථාපනය කරන්නේ කුමක් ද සහ විශ්ලේෂණ තාක්‍ෂණයන් තවදුරටත් වර්ධනය වන්නේ කෙසේද යන ප්‍රශ්නය වඩාත් සිත්ගන්නා කරුණකි.

වැඩි දියුණු කළ විශ්ලේෂණ

විස්තර කරන ලද සිදුවීම් අතරතුර, දත්ත විශ්ලේෂණ ක්ෂේත්රයේ වැඩ කරන සමාගම් නිශ්චලව සිටියේ නැත. 2019 දී සිදු වූ ගනුදෙනු පිළිබඳ තොරතුරු මත පදනම්ව විනිශ්චය කළ හැකි දේ. මෙම වසරේ, වෙළඳපොලේ විශාලතම ගනුදෙනුව සිදු කරන ලදී - ඩොලර් බිලියන 15,7 කට විකුණුම් බලකාය විසින් විශ්ලේෂණාත්මක වේදිකාව Tableau අත්පත් කර ගැනීම. Google සහ Looker අතර කුඩා ගනුදෙනුවක් සිදු විය. ඇත්ත වශයෙන්ම, විශාල දත්ත වේදිකාවක් වන Attunity හි Qlik විසින් අත්පත් කර ගැනීම සටහන් කිරීමට කෙනෙකුට අසමත් විය නොහැක.

BI වෙළඳපල නායකයින් සහ ගාට්නර් ප්‍රවීණයන් දත්ත විශ්ලේෂණය සඳහා ප්‍රවේශයන් හි දැවැන්ත වෙනසක් නිවේදනය කරයි; මෙම මාරුව BI වෙළඳපල සම්පූර්ණයෙන්ම විනාශ කරන අතර BI සමඟ AI ප්‍රතිස්ථාපනය කිරීමට හේතු වේ. මෙම සන්දර්භය තුළ, AI යන කෙටි යෙදුම "කෘතිම බුද්ධිය" නොව "වැඩිදියුණු කළ බුද්ධිය" බව සැලකිල්ලට ගත යුතුය. "Augmented Analytics" යන වචන පිටුපස ඇති දේ දෙස සමීපව බලමු.

වර්ධිත යථාර්ථය වැනි වර්ධිත විශ්ලේෂණ පොදු උපකල්පන කිහිපයක් මත පදනම් වේ:

• NLP (ස්වාභාවික භාෂා සැකසුම්) භාවිතයෙන් සන්නිවේදනය කිරීමේ හැකියාව, i.e. මිනිස් භාෂාවෙන්;
• කෘතිම බුද්ධිය භාවිතා කිරීම, මෙයින් අදහස් කරන්නේ දත්ත යන්ත්‍ර බුද්ධියෙන් පෙර සැකසෙන බවයි;
• සහ ඇත්ත වශයෙන්ම, කෘතිම බුද්ධිය මගින් ජනනය කරන ලද පද්ධතියේ පරිශීලකයාට ලබා ගත හැකි නිර්දේශ.

විශ්ලේෂණ වේදිකාවල නිෂ්පාදකයින්ට අනුව, ඒවායේ භාවිතය SQL හෝ ඒ හා සමාන ස්ක්‍රිප්ටින් භාෂාවක් වැනි විශේෂ කුසලතා නොමැති, සංඛ්‍යානමය හෝ ගණිතමය පුහුණුවක් නොමැති, ජනප්‍රිය භාෂා පිළිබඳ දැනුමක් නොමැති පරිශීලකයින්ට ලබා ගත හැකිය. දත්ත සැකසීමේ සහ ඊට අනුරූප පුස්තකාලවල විශේෂත්වය. "පුරවැසි දත්ත විද්‍යාඥයන්" ලෙස හඳුන්වන එවැනි පුද්ගලයින්ට තිබිය යුත්තේ කැපී පෙනෙන ව්‍යාපාරික සුදුසුකම් පමණි. ඔවුන්ගේ කර්තව්‍යය වන්නේ කෘතිම බුද්ධිය ඔවුන්ට ලබා දෙන ඉඟි සහ අනාවැකි වලින් ව්‍යාපාරික අවබෝධය ග්‍රහණය කර ගැනීම වන අතර ඔවුන්ට NLP භාවිතයෙන් ඔවුන්ගේ අනුමාන පිරිපහදු කළ හැකිය.

මෙම පන්තියේ පද්ධති සමඟ වැඩ කරන පරිශීලකයින්ගේ ක්‍රියාවලිය විස්තර කරන කෙනෙකුට පහත පින්තූරය සිතාගත හැකිය. සාමාන්‍ය ප්‍රවේශයන් (වර්ග කිරීම, සමූහගත කිරීම, අංක ගණිත ක්‍රියාකාරකම් සිදු කිරීම) භාවිතයෙන් විශ්ලේෂණය කළ හැකි සාමාන්‍ය වාර්තා සහ උපකරණ පුවරු වලට අමතරව, රැකියාවට පැමිණ අනුරූප යෙදුම දියත් කරන පුද්ගලයෙකු, යම් යම් ඉඟි සහ නිර්දේශ දකියි, මෙවැනි දෙයක්: “දී KPI සාක්ෂාත් කර ගැනීම සඳහා, විකුණුම් සංඛ්යාව, ඔබ "උද්යාන" කාණ්ඩයේ නිෂ්පාදන සඳහා වට්ටමක් යෙදිය යුතුය." ඊට අමතරව, පුද්ගලයෙකුට ආයතනික පණිවිඩකරුවෙකු සම්බන්ධ කර ගත හැකිය: ස්කයිප්, ස්ලැක්, ආදිය. රොබෝවරයාට පෙළ හෝ හඬ මගින් ප්‍රශ්න ඇසීමට හැකිය: "මට වඩාත්ම ලාභදායී සේවාදායකයින් පස්දෙනා දෙන්න." සුදුසු පිළිතුර ලැබුණු පසු, ඔහු තම ව්‍යාපාරික අත්දැකීම් මත පදනම්ව හොඳම තීරණය ගෙන සමාගමට ලාභයක් ගෙන දිය යුතුය.

ඔබ පියවරක් පසුපසට ගෙන විශ්ලේෂණය කරන තොරතුරුවල සංයුතිය දෙස බැලුවහොත්, සහ මෙම අවස්ථාවෙහිදී, වැඩිදියුණු කරන ලද විශ්ලේෂණ නිෂ්පාදන මඟින් මිනිසුන්ගේ ජීවිත පහසු කළ හැකිය. ඉතා මැනවින්, පරිශීලකයාට අවශ්‍ය තොරතුරු ප්‍රභවයන් වෙත විශ්ලේෂණාත්මක නිෂ්පාදනය යොමු කිරීමට පමණක් අවශ්‍ය වනු ඇතැයි උපකල්පනය කරනු ලබන අතර, දත්ත ආකෘතියක් නිර්මාණය කිරීම, වගු සම්බන්ධ කිරීම සහ ඒ හා සමාන කාර්යයන් පිළිබඳව වැඩසටහන විසින්ම සැලකිලිමත් වනු ඇත.

මේ සියල්ල, පළමුව, දත්ත "ප්රජාතන්ත්රවාදය" සහතික කළ යුතුය, i.e. ඕනෑම පුද්ගලයෙකුට සමාගමට ලබා ගත හැකි සම්පූර්ණ තොරතුරු විශ්ලේෂණය කළ හැකිය. තීරණ ගැනීමේ ක්රියාවලිය සංඛ්යානමය විශ්ලේෂණ ක්රම මගින් සහාය විය යුතුය. දත්ත ප්‍රවේශ කාලය අවම විය යුතුය, එබැවින් ස්ක්‍රිප්ට් සහ SQL විමසුම් ලිවීමට අවශ්‍ය නොවේ. ඇත්ත වශයෙන්ම, ඔබට ඉහළ වැටුප් සහිත දත්ත විද්‍යා විශේෂඥයින් සඳහා මුදල් ඉතිරි කළ හැකිය.

උපකල්පිත ලෙස, තාක්ෂණය ව්‍යාපාර සඳහා ඉතා දීප්තිමත් අපේක්ෂාවන් ඉදිරිපත් කරයි.

විශාල දත්ත ප්‍රතිස්ථාපනය කරන්නේ කුමක්ද?

නමුත්, ඇත්ත වශයෙන්ම, මම මගේ ලිපිය ආරම්භ කළේ Big Data සමඟිනි. නවීන BI මෙවලම් වෙත කෙටි විනෝද චාරිකාවකින් තොරව මට මෙම මාතෘකාව සංවර්ධනය කළ නොහැකි විය, බොහෝ විට විශාල දත්ත සඳහා පදනම වේ. විශාල දත්තවල ඉරණම දැන් පැහැදිලිව තීරණය කර ඇති අතර එය වලාකුළු තාක්ෂණයයි. දැන් සෑම විශ්ලේෂණ පද්ධතියකටම පිටුපසින් වලාකුළු ආචයනය ඇති බවත්, ක්ලවුඩ් සේවාවන්හි ඉදිරි අන්තය ලෙස BI ඇති බවත් පෙන්වීම සඳහා BI වෙළෙන්දන් සමඟ කරන ලද ගනුදෙනු පිළිබඳව මම අවධානය යොමු කළෙමි.

ORACLE සහ Microsoft වැනි දත්ත සමුදා ක්ෂේත්‍රයේ එවැනි කුළුණු ගැන අමතක නොකර, ව්‍යාපාර සංවර්ධනයේ ඔවුන්ගේ තෝරාගත් දිශාව සටහන් කිරීම අවශ්‍ය වන අතර මෙය වලාකුළයි. පිරිනමන සියලුම සේවාවන් ක්ලවුඩ් තුළ සොයා ගත හැක, නමුත් සමහර ක්ලවුඩ් සේවා තවදුරටත් පරිශ්‍රයේ නොමැත. ඔවුන් යන්ත්‍ර ඉගෙනීමේ ආකෘති භාවිතය, පරිශීලකයින්ට ලබා ගත හැකි පුස්තකාල නිර්මාණය කිරීම සහ ආකෘති තේරීමේ සිට ආරම්භක වේලාව සැකසීම දක්වා ඒවා සමඟ වැඩ කිරීමේ පහසුව සඳහා අතුරු මුහුණත් වින්‍යාස කිරීම පිළිබඳ සැලකිය යුතු කාර්යයක් කර ඇත.

නිෂ්පාදකයින් විසින් හඬ නගන ලද වලාකුළු සේවා භාවිතා කිරීමේ තවත් වැදගත් වාසියක් වන්නේ පුහුණු ආකෘති සඳහා ඕනෑම මාතෘකාවක් මත පාහේ අසීමිත දත්ත කට්ටල ලබා ගැනීමයි.

කෙසේ වෙතත්, ප්රශ්නය පැනනගින්නේ: අපේ රට තුළ වලාකුළු තාක්ෂණයන් කොතරම් දුරට මුල් බැස ගනීවිද?

මූලාශ්රය: www.habr.com