දිමිත්‍රි කසකොව්, Kolesa Group හි Data Analytics Team Lead, දත්ත වෘත්තිකයන්ගේ පළමු කසකස්තාන සමීක්ෂණයේ තීක්ෂ්ණ බුද්ධිය බෙදා ගනී.
ඡායාරූපයෙහි: Dmitry Kazakov
Big Data යනු නව යොවුන් වියේ ලිංගිකත්වය වැනි ජනප්‍රිය වාක්‍ය ඛණ්ඩය මතක තබා ගන්න - හැමෝම ඒ ගැන කතා කරයි, නමුත් එය ඇත්ත වශයෙන්ම තිබේදැයි කිසිවෙකු දන්නේ නැත. දත්ත විශේෂඥයින් සඳහා (කසකස්තානයේ) වෙළඳපොළ ගැන ද එයම කිව හැකිය - උද්දීපනයක් ඇත, නමුත් එය පිටුපස සිටින්නේ කවුරුන්ද (සහ එහි කිසිවෙකු සිටීද යන්න) සම්පූර්ණයෙන්ම පැහැදිලි නැත - මානව සම්පත් හෝ කළමනාකරුවන්ට හෝ නැත. දත්ත විද්යාඥයින් විසින්ම.
අපි වියදම් කළා , ඔවුන් ඔවුන්ගේ වැටුප්, කාර්යයන්, කුසලතා, මෙවලම් සහ තවත් බොහෝ දේ පිළිබඳව විශේෂඥයින් 300 කට වැඩි පිරිසක් සමීක්ෂණය කරන ලදී.
ස්පොයිලර්: ඔව්, ඔවුන් අනිවාර්යයෙන්ම පවතී, නමුත් සෑම දෙයක්ම එතරම් සරල නැත.
හොඳ අවබෝධයක්. පළමුව, අප බලාපොරොත්තු වූවාට වඩා වැඩි දත්ත විද්‍යාඥයන් සිටී. නිෂ්පාදන, අලෙවිකරණ සහ BI විශ්ලේෂකයින් පමණක් නොව, එම්එල් සහ ඩීඩබ්ලිව්එච් ඉංජිනේරුවන් ද වූ අතර, එය විශේෂයෙන් සතුටට පත් වූ පුද්ගලයින් 300 දෙනෙකු සමඟ සම්මුඛ සාකච්ඡා කිරීමට අපට හැකි විය. විශාලතම කණ්ඩායමට දත්ත විද්යාඥයින් ලෙස හඳුන්වන සියල්ලන් ඇතුළත් විය - එය ප්‍රතිචාර දැක්වූවන්ගෙන් 36% කි. මෙය වෙළඳපල ඉල්ලුම ආවරණය කරයිද නැද්ද යන්න කීමට අපහසුය, මන්ද වෙළඳපලම නිර්මාණය වෙමින් පවතී.
රැකියා මට්ටම් බෙදා හැරීම ව්‍යාකූලයි - කනිෂ්ඨයන් තරම් කණ්ඩායම් නායකයින් සහ කළමනාකරුවන් බොහෝමයක් ඇත. මේ සඳහා හේතු කිහිපයක් තිබිය හැකිය. නිදසුනක් වශයෙන්, නායකයා මධ්යම හෝ ජ්යෙෂ්ඨ මට්ටමේ විශේෂඥයෙකු විය හැකි 2-3 දෙනෙකුගෙන් යුත් කුඩා කණ්ඩායම් විශාල සංඛ්යාවක්.
භූමිකාවන් සහ ක්‍රියාකාරීත්වය බෙදා හැරීමේ ප්‍රමිතීන් සම්බන්ධයෙන් දැනට වෙළඳපොලේ පවතින අවුල් සහගත තත්ත්වය තවත් හේතුවක් විය හැකිය. නිපුණතා සහ දැනුමේ මට්ටම ගැන සඳහන් නොකර අනෙක් අයට වඩා වසරක් හෝ දෙකක් වැඩි කාලයක් වැඩ කරන අයට කණ්ඩායම් නායකයින් සමහර විට පවරනු ලැබේ. තනතුර අනුව කාර්යයන් බෙදා හැරීමේදී අපි මෙය දකිමු - කළමනාකරුවන්ගෙන් සහ කණ්ඩායම් නායකයින්ගෙන් 38% ක් පූර්ව සැකසුම්වල සහ තවත් 33% මූලික සංඛ්‍යාන විශ්ලේෂණයේ යෙදී සිටිති.
මෙහිදී අපි ප්‍රතිචාර දැක්වූවන්ගෙන් ඉල්ලා සිටියේ ඔවුන්ගේ සමාගම්වල විශ්ලේෂණ මට්ටම ආත්මීයව තක්සේරු කරන ලෙසයි. ඔබ සමීපව බැලුවහොත්, පුද්ගලයින් 10-2 දෙනෙකුගෙන් යුත් විශ්ලේෂණ දෙපාර්තමේන්තු වල සේවය කරන ප්‍රතිචාර දැක්වූවන්ගෙන් 3% ක් තමන්ට “උසස් මට්ටමක්” ඇති බව විශ්වාස කරන බව ඔබට පෙනෙනු ඇත.
"උසස් මට්ටම" යනු කුමක්ද? BI පද්ධතිය විශිෂ්ට ලෙස ක්රියා කරයි. DWH සහ Big Data ඇත. A/B පරීක්ෂණ නිතිපතා සිදු කරනු ලැබේ. නිෂ්පාදනයේ වැඩ කරන ML සහ DS පද්ධති තිබේ. දත්ත මත පදනම්ව පමණක් තීරණ ගනු ලැබේ. දත්ත සැකසුම් සහ දත්ත විද්‍යා දෙපාර්තමේන්තුව සමාගමේ ප්‍රධාන එකකි.
පුද්ගලයන් 2-3 දෙනෙකුගෙන් යුත් දෙපාර්තමේන්තුවක් සමඟ ඉහත සියල්ල සාක්ෂාත් කර ගැනීම පාහේ කළ නොහැක්කකි. මෙම සමීක්ෂණ ප්‍රති result ලය තරමක් වර්ධනය වන වේදනාවක් යැයි මම සිතමි - පිරිමි ළමයින්ට ඔවුන්ගේ මට්ටම වඩාත් වෛෂයිකව තීරණය කිරීම සඳහා තමන් සමඟ සංසන්දනය කිරීමට තවමත් කිසිවෙකු නොමැත.
අපේක්ෂා කළ පරිදි, දත්ත විද්යාඥයින් වැඩි කාලයක් ගත කරන්නේ සුපිරි සංකීර්ණ ගණිතය හෝ ඉංජිනේරු විද්‍යාව සඳහා නොව, දත්ත පෙර සැකසීම, බාගත කිරීම සහ පිරිසිදු කිරීම සඳහා ය. සෑම විශේෂීකරණයකදීම අපි ඉහළ 3 හි පූර්ව සැකසුම් දකිමු. නමුත් ML මාදිලි සංවර්ධනය කිරීම හෝ Big Data සමඟ වැඩ කිරීම වැනි සංකීර්ණ දේවල් අපි ඉහළම 3 තුළ දකින්නේ කලාතුරකිනි - ML සහ DWH ඉංජිනේරුවන් අතර පමණි.
දුක්ඛිත අවබෝධයන් කිහිපයක් ද තිබේ. විශේෂඥයන් ඔවුන්ගේ කාර්යයන් 40% ක් තමන් විසින්ම සකසා ඇත. කසකස්තානයේ, මෙතෙක් ඉහළම යුනිකෝන් සමාගම් පමණක් විශාල දත්ත සමඟ වැඩ කිරීමේ ප්‍රතිලාභ අත්හදා බැලූ අතර එය දක්ෂ ලෙස කරන්නේ කෙසේදැයි ඉගෙන ගෙන ඇත. ඔවුන් විශාල දත්ත සහ යන්ත්‍ර ඉගෙනීම සිසිල් බව වෙළඳපලට විකාශනය කරන අතර දෙවන පෙළ පසුපසින් ගමන් කරයි, නමුත් දත්ත සමඟ වැඩ කරන්නේ කෙසේදැයි සැමවිටම තේරුම් නොගනී. එමනිසා, විශේෂඥයින් තමන් විසින්ම කාර්යයන් සකස් කරන බව අපට පෙනේ, සහ ව්යාපාර සෑම විටම ඔවුන්ට අවශ්ය දේ දන්නේ නැත.
විශේෂඥයින්ගෙන් 20% ක් ඔවුන්ගේ සමාගමට දත්ත ගබඩාවක් තිබේදැයි නොදැන සිටීම ගැන මම පුදුමයට පත් විය. ඔව්, සහ දත්ත සමුදා කළමනාකරණ පද්ධති සමඟ සෑම දෙයක්ම එතරම් හොඳ නැත - 41% MySQL භාවිතා කරන අතර තවත් 34% PostgreSQL භාවිතා කරයි. මෙයින් අදහස් කළ හැක්කේ කුමක්ද? ඔවුන් කුඩා දත්ත සමඟ වැඩ කරනවා.
ගබඩා පද්ධති පිළිබඳ ප්‍රශ්නයේදී, අපි නැවතත් MySQL සහ (!) Excel පවා දකිමු. නමුත් මෙයින් ඇඟවෙන්නේ, උදාහරණයක් ලෙස, බොහෝ සමාගම් විශාල දත්ත සමඟ වැඩ කිරීමට තවමත් ඉල්ලීමක් නොමැති බවයි.
මෙන්න සියල්ල නැවතත් අපැහැදිලි ය. පොදුවේ ගත් කල, වැටුප් මා බලාපොරොත්තු වූවාට වඩා තරමක් අඩු විය.
පුද්ගලිකව, ටෙන්ජ් 200 ක් සඳහා වැඩ කිරීමට සූදානම් එම්එල් ඉංජිනේරුවෙකු ගැන මට සිතීම දුෂ්කර ය - ඔහු බොහෝ විට සීමාවාසිකයෙකි. එක්කෝ එවැනි විශේෂඥයින්ගේ නිපුණතා ඉතා දුර්වලයි, නැතහොත් දත්ත විද්‍යාවේ කාර්යය ප්‍රමාණවත් ලෙස ඇගයීමට සමාගම්වලට තවමත් අපහසුය. නමුත් සමහර විට මෙය වෙළඳපල තවමත් එහි පරිණතභාවයේ ආරම්භයේ පවතින බව පෙන්නුම් කරයි. කාලයත් සමඟ වැටුප් මට්ටම වඩාත් ප්‍රමාණවත් මට්ටමක ස්ථාපිත වනු ඇත.
මූලාශ්රය: www.habr.com