டிமிட்ரி கசகோவ், கொலேசா குழுமத்தில் உள்ள தரவு பகுப்பாய்வுக் குழு முன்னணி, தரவு வல்லுநர்களின் முதல் கஜகஸ்தான் கணக்கெடுப்பின் நுண்ணறிவைப் பகிர்ந்து கொள்கிறது.
புகைப்படத்தில்: டிமிட்ரி கசகோவ்
பிக் டேட்டா என்பது டீனேஜ் செக்ஸ் போன்றது என்ற பிரபலமான சொற்றொடரை நினைவில் கொள்ளுங்கள் - எல்லோரும் அதைப் பற்றி பேசுகிறார்கள், ஆனால் அது உண்மையில் இருக்கிறதா என்று யாருக்கும் தெரியாது. தரவு நிபுணர்களுக்கான (கஜகஸ்தானில்) சந்தையைப் பற்றியும் இதைச் சொல்லலாம் - மிகைப்படுத்தல் உள்ளது, ஆனால் அதற்குப் பின்னால் யார் இருக்கிறார்கள் (மற்றும் யாரேனும் இருக்கிறார்களா என்பது) முற்றிலும் தெளிவாகத் தெரியவில்லை - மனிதவளத்திற்கோ, மேலாளர்களுக்கோ, அல்லது தரவு விஞ்ஞானிகளே.
செலவு செய்தோம் , இதில் அவர்கள் 300க்கும் மேற்பட்ட நிபுணர்களிடம் அவர்களின் சம்பளம், செயல்பாடுகள், திறன்கள், கருவிகள் மற்றும் பலவற்றைப் பற்றி ஆய்வு செய்தனர்.
ஸ்பாய்லர்: ஆம், அவை நிச்சயமாக உள்ளன, ஆனால் எல்லாம் அவ்வளவு எளிதல்ல.
நல்ல நுண்ணறிவு. முதலாவதாக, நாம் எதிர்பார்த்ததை விட அதிகமான தரவு விஞ்ஞானிகள் உள்ளனர். நாங்கள் 300 பேரை நேர்காணல் செய்ய முடிந்தது, அவர்களில் தயாரிப்பு, சந்தைப்படுத்தல் மற்றும் BI ஆய்வாளர்கள் மட்டுமல்ல, ML மற்றும் DWH பொறியாளர்களும் இருந்தனர், இது குறிப்பாக மகிழ்ச்சி அளிக்கிறது. மிகப்பெரிய குழுவில் தங்களை தரவு விஞ்ஞானிகள் என்று அழைக்கும் அனைவரையும் உள்ளடக்கியது - பதிலளித்தவர்களில் 36% பேர். இது சந்தையின் தேவையை உள்ளடக்குகிறதா இல்லையா என்று சொல்வது கடினம், ஏனென்றால் சந்தையே உருவாகி வருகிறது.
வேலை நிலைகளின் விநியோகம் குழப்பமாக உள்ளது - ஜூனியர்களைப் போலவே கிட்டத்தட்ட பல குழு தலைவர்கள் மற்றும் மேலாளர்கள் உள்ளனர். இதற்கு பல காரணங்கள் இருக்கலாம். எடுத்துக்காட்டாக, 2-3 பேர் கொண்ட ஒரு பெரிய எண்ணிக்கையிலான சிறிய அணிகள், இதில் தலைவர் நடுத்தர அல்லது மூத்த நிலை நிபுணராக இருக்கலாம்.
பங்குகள் மற்றும் செயல்பாட்டின் விநியோகத்தில் தரநிலைகள் தொடர்பாக தற்போது சந்தையில் நிலவுகின்ற குழப்பம் மற்றொரு காரணமாக இருக்கலாம். திறமை மற்றும் அறிவின் அளவைக் குறிப்பிடாமல், மற்றவர்களை விட ஒரு வருடம் அல்லது இரண்டு ஆண்டுகள் வேலை செய்பவர்களுக்கு சில சமயங்களில் குழுத் தலைவர்கள் நியமிக்கப்படுகிறார்கள். நிலை வாரியாக செயல்பாடுகளை விநியோகிப்பதில் இதைப் பார்க்கிறோம் - 38% மேலாளர்கள் மற்றும் குழுத் தலைவர்கள் முன் செயலாக்கத்தில் ஈடுபட்டுள்ளனர், மேலும் 33% அடிப்படை புள்ளிவிவர பகுப்பாய்வில் ஈடுபட்டுள்ளனர்.
இங்கே நாங்கள் பதிலளித்தவர்களிடம் தங்கள் நிறுவனங்களில் உள்ள பகுப்பாய்வுகளின் அளவை அகநிலை ரீதியாக மதிப்பிடுமாறு கேட்டோம். நீங்கள் உற்று நோக்கினால், 10-2 பேர் கொண்ட பகுப்பாய்வுத் துறைகளில் பணிபுரியும் பதிலளித்தவர்களில் 3% பேர் தங்களுக்கு "மேம்பட்ட நிலை" இருப்பதாக நம்புவதை நீங்கள் காணலாம்.
"மேம்பட்ட நிலை" என்றால் என்ன? BI அமைப்பு சிறப்பாக செயல்படுகிறது. DWH மற்றும் பெரிய தரவு உள்ளது. A/B சோதனைகள் தொடர்ந்து மேற்கொள்ளப்படுகின்றன. உற்பத்தியில் வேலை செய்யும் ML மற்றும் DS அமைப்புகள் உள்ளன. தரவுகளின் அடிப்படையில் மட்டுமே முடிவுகள் எடுக்கப்படுகின்றன. தரவு செயலாக்கம் மற்றும் தரவு அறிவியல் துறை நிறுவனத்தில் முக்கியமான ஒன்றாகும்.
2-3 பேர் கொண்ட துறையுடன் மேற்கூறிய அனைத்தையும் அடைவது கிட்டத்தட்ட சாத்தியமற்றது. இந்தக் கருத்துக்கணிப்பு முடிவு சற்று வளர்ந்து வரும் வலி என்று நான் நினைக்கிறேன் - தோழர்கள் தங்கள் நிலையை மிகவும் புறநிலையாக தீர்மானிக்க இன்னும் தங்களை ஒப்பிட யாரும் இல்லை.
எதிர்பார்த்தபடி, தரவு விஞ்ஞானிகள் தங்கள் நேரத்தை சூப்பர் சிக்கலான கணிதம் அல்லது பொறியியலில் செலவழிக்கவில்லை, ஆனால் தரவை முன்கூட்டியே செயலாக்குதல், பதிவிறக்குதல் மற்றும் சுத்தம் செய்தல். ஒவ்வொரு நிபுணத்துவத்திலும் நாம் முதல் 3 இல் முன்செயலாக்கத்தைக் காண்கிறோம். ஆனால் எம்எல் மாடல்களை உருவாக்குவது அல்லது பிக் டேட்டாவுடன் பணிபுரிவது போன்ற சிக்கலான விஷயங்களை டாப் 3ல் - எம்எல் மற்றும் டிடபிள்யூஹெச் இன்ஜினியர்களிடையே மட்டும் அரிதாகவே பார்க்கிறோம்.
ஓரிரு சோகமான பார்வைகளும் உள்ளன. வல்லுநர்கள் தங்கள் பணிகளில் 40% தாங்களாகவே அமைக்கின்றனர். கஜகஸ்தானில், இதுவரை சிறந்த யூனிகார்ன் நிறுவனங்கள் மட்டுமே பெரிய தரவுகளுடன் பணிபுரிவதன் நன்மைகளை முயற்சி செய்து அதை எவ்வாறு திறமையாகச் செய்வது என்று கற்றுக்கொண்டன. பிக் டேட்டா மற்றும் மெஷின் லேர்னிங் அருமையாக இருப்பதாக அவர்கள் சந்தைக்கு ஒளிபரப்புகிறார்கள், மேலும் இரண்டாவது எச்செலன் பின்தொடர்கிறது, ஆனால் தரவுகளுடன் எவ்வாறு வேலை செய்வது என்பது எப்போதும் புரியாது. எனவே, வல்லுநர்கள் தங்களுக்குப் பணிகளை அமைத்துக் கொள்வதைக் காண்கிறோம், மேலும் வணிகங்களுக்கு அவர்கள் என்ன விரும்புகிறார்கள் என்று எப்போதும் தெரியாது.
20% நிபுணர்கள் தங்கள் நிறுவனத்தில் டேட்டா கிடங்கு இருக்கிறதா என்று கூட தெரியாது என்பது எனக்கு ஆச்சரியமாக இருந்தது. ஆம், தரவுத்தள மேலாண்மை அமைப்புகளில் எல்லாம் அவ்வளவு சிறப்பாக இல்லை - 41% பேர் MySQL ஐப் பயன்படுத்துகின்றனர், மேலும் 34% பேர் PostgreSQL ஐப் பயன்படுத்துகின்றனர். இதன் அர்த்தம் என்ன? அவை சிறிய தரவுகளுடன் செயல்படுகின்றன.
சேமிப்பக அமைப்புகளைப் பற்றிய கேள்வியில், நாம் மீண்டும் MySQL மற்றும் (!) Excel ஐப் பார்க்கிறோம். ஆனால் இது, எடுத்துக்காட்டாக, பெரிய தரவுகளுடன் பணிபுரிய பெரும்பாலான நிறுவனங்களுக்கு இன்னும் கோரிக்கை இல்லை என்பதைக் குறிக்கலாம்.
இங்கே எல்லாம் மீண்டும் தெளிவற்றது. பொதுவாக, சம்பளம் நான் எதிர்பார்த்ததை விட சற்று குறைவாக இருந்தது.
தனிப்பட்ட முறையில், 200 ஆயிரம் டெங்கிற்கு வேலை செய்யத் தயாராக இருக்கும் ஒரு எம்.எல் இன்ஜினியரை கற்பனை செய்வது எனக்கு கடினம் - அவர் அநேகமாக ஒரு பயிற்சியாளராக இருக்கலாம். அத்தகைய நிபுணர்களின் திறன்கள் மிகவும் பலவீனமாக உள்ளன, அல்லது நிறுவனங்கள் தரவு அறிவியலின் வேலையை போதுமான அளவு மதிப்பீடு செய்வது இன்னும் கடினமாக உள்ளது. ஆனால் ஒருவேளை இது சந்தை அதன் முதிர்ச்சியின் தொடக்கத்தில் இருப்பதையும் குறிக்கிறது. காலப்போக்கில், சம்பளத்தின் அளவு மிகவும் போதுமான அளவில் நிறுவப்படும்.
ஆதாரம்: www.habr.com