தரவு பொறியாளர் மற்றும் தரவு விஞ்ஞானி: வித்தியாசம் என்ன?

தரவு விஞ்ஞானி மற்றும் தரவு பொறியாளர் தொழில்கள் பெரும்பாலும் குழப்பமடைகின்றன. ஒவ்வொரு நிறுவனத்திற்கும் தரவுகளுடன் பணிபுரியும் அதன் சொந்த பிரத்தியேகங்கள், அவற்றின் பகுப்பாய்விற்கான வெவ்வேறு நோக்கங்கள் மற்றும் பணியின் எந்தப் பகுதியை எந்த நிபுணர் கையாள வேண்டும் என்பது பற்றிய வேறுபட்ட யோசனை உள்ளது, எனவே ஒவ்வொன்றும் அதன் சொந்த தேவைகளைக் கொண்டுள்ளன. 

இந்த நிபுணர்களுக்கு இடையிலான வேறுபாடு என்ன, அவர்கள் என்ன வணிக சிக்கல்களைத் தீர்க்கிறார்கள், அவர்களுக்கு என்ன திறன்கள் உள்ளன, எவ்வளவு சம்பாதிக்கிறார்கள் என்பதைக் கண்டுபிடிப்போம். பொருள் பெரியதாக மாறியது, எனவே நாங்கள் அதை இரண்டு வெளியீடுகளாகப் பிரித்தோம்.

முதல் கட்டுரையில், ஆசிரியர்களின் தலைவர் எலெனா ஜெராசிமோவா "தரவு அறிவியல் மற்றும் பகுப்பாய்வு"நெட்டாலஜியில், டேட்டா சயின்டிஸ்ட் மற்றும் டேட்டா இன்ஜினியர் இடையே உள்ள வித்தியாசம் என்ன என்பதையும் அவர்கள் எந்த கருவிகளுடன் வேலை செய்கிறார்கள் என்பதையும் கூறுகிறது.

பொறியாளர்கள் மற்றும் விஞ்ஞானிகளின் பாத்திரங்கள் எவ்வாறு வேறுபடுகின்றன

தரவுப் பொறியாளர் என்பது ஒருபுறம், தரவு உள்கட்டமைப்பை உருவாக்கி, சோதித்து பராமரிக்கும் ஒரு நிபுணர்: தரவுத்தளங்கள், சேமிப்பு மற்றும் வெகுஜன செயலாக்க அமைப்புகள். மறுபுறம், ஆய்வாளர்கள் மற்றும் தரவு விஞ்ஞானிகளின் பயன்பாட்டிற்காக தரவை சுத்தம் செய்து "சீப்பு" செய்பவர், அதாவது தரவு செயலாக்க குழாய்களை உருவாக்குகிறார்.

தரவு விஞ்ஞானி இயந்திர கற்றல் வழிமுறைகள் மற்றும் நரம்பியல் நெட்வொர்க்குகளைப் பயன்படுத்தி முன்கணிப்பு (மற்றும் பிற) மாதிரிகளை உருவாக்கி பயிற்சியளிக்கிறார், வணிகங்கள் மறைக்கப்பட்ட வடிவங்களைக் கண்டறியவும், முன்னேற்றங்களைக் கணிக்கவும் மற்றும் முக்கிய வணிக செயல்முறைகளை மேம்படுத்தவும் உதவுகிறது.

தரவு விஞ்ஞானி மற்றும் தரவு பொறியாளர் இடையே உள்ள முக்கிய வேறுபாடு என்னவென்றால், அவர்கள் பொதுவாக வெவ்வேறு இலக்குகளைக் கொண்டுள்ளனர். தரவு அணுகக்கூடியது மற்றும் உயர் தரமானது என்பதை உறுதிப்படுத்த இரண்டும் செயல்படுகின்றன. ஆனால் ஒரு தரவு விஞ்ஞானி தனது கேள்விகளுக்கான பதில்களைக் கண்டறிந்து, ஒரு தரவு சுற்றுச்சூழல் அமைப்பில் கருதுகோள்களை சோதிக்கிறார் (உதாரணமாக, ஹடூப்பை அடிப்படையாகக் கொண்டது), மேலும் ஒரு தரவு பொறியாளர் ஒரு தரவு விஞ்ஞானி ஒரு ஸ்பார்க் கிளஸ்டரில் எழுதப்பட்ட இயந்திர கற்றல் அல்காரிதத்திற்கு சேவை செய்வதற்கான பைப்லைனை உருவாக்குகிறார். சுற்றுச்சூழல். 

ஒரு தரவு பொறியாளர் ஒரு குழுவின் ஒரு பகுதியாக வேலை செய்வதன் மூலம் வணிகத்திற்கு மதிப்பைக் கொண்டுவருகிறார். பல்வேறு பங்கேற்பாளர்களிடையே ஒரு முக்கிய இணைப்பாக செயல்படுவதே இதன் பணி: டெவலப்பர்கள் முதல் வணிக நுகர்வோர் வரை அறிக்கையிடல், மற்றும் ஆய்வாளர்களின் உற்பத்தித்திறனை, சந்தைப்படுத்தல் மற்றும் தயாரிப்பு முதல் BI வரை. 

ஒரு தரவு விஞ்ஞானி, மாறாக, நிறுவனத்தின் மூலோபாயத்தில் செயலில் பங்கு கொள்கிறார் மற்றும் நுண்ணறிவுகளைப் பிரித்தெடுக்கிறார், முடிவுகளை எடுக்கிறார், ஆட்டோமேஷன் வழிமுறைகளை செயல்படுத்துகிறார், மாடலிங் மற்றும் தரவிலிருந்து மதிப்பை உருவாக்குகிறார்.


தரவுகளுடன் பணிபுரிவது GIGO (குப்பை உள்ளே - குப்பை வெளியே) கொள்கைக்கு உட்பட்டது: ஆய்வாளர்கள் மற்றும் தரவு விஞ்ஞானிகள் தயாரிக்கப்படாத மற்றும் சாத்தியமான தவறான தரவைக் கையாளினால், மிகவும் அதிநவீன பகுப்பாய்வு அல்காரிதம்களைப் பயன்படுத்தி கூட முடிவுகள் தவறாக இருக்கும். 

தரவு பொறியாளர்கள் தரவைச் செயலாக்குவதற்கும், சுத்தப்படுத்துவதற்கும், மாற்றுவதற்கும் பைப்லைன்களை உருவாக்குவதன் மூலமும், தரவு விஞ்ஞானிகளை உயர்தர தரவுகளுடன் பணிபுரிய அனுமதிப்பதன் மூலமும் இந்தச் சிக்கலைத் தீர்க்கிறார்கள். 

ஒவ்வொரு கட்டத்தையும் உள்ளடக்கிய தரவுகளுடன் பணிபுரிய சந்தையில் பல கருவிகள் உள்ளன: தரவின் தோற்றம் முதல் வெளியீடு வரை இயக்குநர்கள் குழுவிற்கான டாஷ்போர்டு வரை. அவற்றைப் பயன்படுத்துவதற்கான முடிவு ஒரு பொறியாளரால் எடுக்கப்படுவது முக்கியம் - இது நாகரீகமாக இருப்பதால் அல்ல, ஆனால் செயல்பாட்டில் மற்ற பங்கேற்பாளர்களின் வேலைக்கு அவர் உண்மையில் உதவுவார். 

வழக்கமாக: ஒரு நிறுவனம் BI மற்றும் ETL - தரவை ஏற்றுதல் மற்றும் அறிக்கைகளைப் புதுப்பித்தல் ஆகியவற்றுக்கு இடையே இணைப்புகளை உருவாக்க வேண்டும் என்றால், தரவுப் பொறியாளர் சமாளிக்க வேண்டிய ஒரு பொதுவான மரபு அடித்தளம் இங்கே உள்ளது (குழுவில் ஒரு கட்டிடக் கலைஞரும் இருந்தால் நல்லது).

தரவு பொறியாளரின் பொறுப்புகள்

• தரவு செயலாக்க உள்கட்டமைப்பின் வளர்ச்சி, கட்டுமானம் மற்றும் பராமரிப்பு.
• பிழைகளைக் கையாளுதல் மற்றும் நம்பகமான தரவு செயலாக்க குழாய்களை உருவாக்குதல்.
• பல்வேறு டைனமிக் மூலங்களிலிருந்து கட்டமைக்கப்படாத தரவை ஆய்வாளர்களின் பணிக்குத் தேவையான படிவத்திற்குக் கொண்டு வருதல்.
• தரவு நிலைத்தன்மை மற்றும் தரத்தை மேம்படுத்த பரிந்துரைகளை வழங்குதல்.
• தரவு விஞ்ஞானிகள் மற்றும் தரவு ஆய்வாளர்கள் பயன்படுத்தும் தரவு கட்டமைப்பை வழங்குதல் மற்றும் பராமரித்தல்.
• பல்லாயிரக்கணக்கான அல்லது நூற்றுக்கணக்கான சேவையகங்களின் விநியோகிக்கப்பட்ட கிளஸ்டரில் தரவை தொடர்ந்து மற்றும் திறமையாக செயலாக்கி சேமிக்கவும்.
• இடையூறுகளைத் தக்கவைக்கக்கூடிய எளிய ஆனால் வலுவான கட்டமைப்புகளை உருவாக்க கருவிகளின் தொழில்நுட்ப பரிமாற்றங்களை மதிப்பீடு செய்யவும்.
• தரவு ஓட்டங்கள் மற்றும் தொடர்புடைய அமைப்புகளின் கட்டுப்பாடு மற்றும் ஆதரவு (கண்காணிப்பு மற்றும் விழிப்பூட்டல்களை அமைத்தல்).

தரவு பொறியாளர் பாதையில் மற்றொரு சிறப்பு உள்ளது - ML பொறியாளர். சுருக்கமாக, இந்த பொறியாளர்கள் இயந்திர கற்றல் மாதிரிகளை தொழில்துறை செயல்படுத்தல் மற்றும் பயன்பாட்டிற்கு கொண்டு வருவதில் நிபுணத்துவம் பெற்றவர்கள். பெரும்பாலும், தரவு விஞ்ஞானியிடமிருந்து பெறப்பட்ட மாதிரியானது ஒரு ஆய்வின் ஒரு பகுதியாகும், மேலும் போர் நிலைமைகளில் வேலை செய்யாமல் போகலாம்.

ஒரு தரவு விஞ்ஞானியின் பொறுப்புகள்

• மெஷின் லேர்னிங் அல்காரிதம்களைப் பயன்படுத்த தரவுகளிலிருந்து அம்சங்களைப் பிரித்தெடுத்தல்.
• தரவுகளில் உள்ள வடிவங்களைக் கணிக்கவும் வகைப்படுத்தவும் பல்வேறு இயந்திர கற்றல் கருவிகளைப் பயன்படுத்துதல்.
• மெஷின் லேர்னிங் அல்காரிதம்களின் செயல்திறன் மற்றும் துல்லியத்தை மேம்படுத்துதல்.
• சோதிக்கப்பட வேண்டிய நிறுவனத்தின் மூலோபாயத்திற்கு ஏற்ப "வலுவான" கருதுகோள்களை உருவாக்குதல்.

தரவு பொறியாளர் மற்றும் தரவு விஞ்ஞானி இருவரும் தரவு கலாச்சாரத்தின் வளர்ச்சியில் உறுதியான பங்களிப்பைப் பகிர்ந்து கொள்கிறார்கள், இதன் மூலம் ஒரு நிறுவனம் கூடுதல் லாபத்தை உருவாக்கலாம் அல்லது செலவுகளைக் குறைக்கலாம்.

பொறியாளர்கள் மற்றும் விஞ்ஞானிகள் எந்த மொழிகள் மற்றும் கருவிகளுடன் வேலை செய்கிறார்கள்?

இன்று, தரவு விஞ்ஞானிகளுக்கான எதிர்பார்ப்புகள் மாறிவிட்டன. முன்னதாக, பொறியாளர்கள் பெரிய SQL வினவல்களைச் சேகரித்து, MapReduce ஐ கைமுறையாக எழுதி, Informatica ETL, Pentaho ETL, Talend போன்ற கருவிகளைப் பயன்படுத்தி தரவை செயலாக்கினர். 

2020 ஆம் ஆண்டில், பைதான் மற்றும் நவீன கணக்கீட்டு கருவிகள் (உதாரணமாக, ஏர்ஃப்ளோ), கிளவுட் இயங்குதளங்களுடன் பணிபுரியும் கொள்கைகளைப் புரிந்துகொள்வது (பாதுகாப்புக் கொள்கைகளைக் கடைப்பிடிக்கும் போது வன்பொருளில் சேமிக்க அவற்றைப் பயன்படுத்துதல்) பற்றிய அறிவு இல்லாமல் ஒரு நிபுணர் செய்ய முடியாது.

SAP, Oracle, MySQL, Redis ஆகியவை பெரிய நிறுவனங்களில் தரவு பொறியாளர்களுக்கான பாரம்பரிய கருவிகள். அவர்கள் நல்லவர்கள், ஆனால் உரிமங்களின் விலை மிகவும் அதிகமாக உள்ளது, அவர்களுடன் வேலை செய்ய கற்றுக்கொள்வது தொழில்துறை திட்டங்களில் மட்டுமே அர்த்தமுள்ளதாக இருக்கிறது. அதே நேரத்தில், Postgres வடிவத்தில் ஒரு இலவச மாற்று உள்ளது - இது இலவசம் மற்றும் பயிற்சிக்கு மட்டும் ஏற்றது. 

வரலாற்று ரீதியாக, ஜாவா மற்றும் ஸ்கலாவுக்கான கோரிக்கைகள் அடிக்கடி காணப்படுகின்றன, இருப்பினும் தொழில்நுட்பங்கள் மற்றும் அணுகுமுறைகள் வளரும்போது, ​​​​இந்த மொழிகள் பின்னணியில் மங்கிவிடும்.

இருப்பினும், ஹார்ட்கோர் பிக்டேட்டா: ஹடூப், ஸ்பார்க் மற்றும் மிருகக்காட்சிசாலையின் மற்ற பகுதிகள் தரவுப் பொறியாளருக்கு இனி ஒரு முன்நிபந்தனை அல்ல, ஆனால் பாரம்பரிய ETL ஆல் தீர்க்க முடியாத சிக்கல்களைத் தீர்ப்பதற்கான ஒரு வகையான கருவியாகும். 

ட்ரெண்ட் என்பது அவை எழுதப்பட்ட மொழியின் அறிவு இல்லாமல் கருவிகளைப் பயன்படுத்துவதற்கான சேவைகள் (உதாரணமாக, ஜாவா பற்றிய அறிவு இல்லாத ஹடூப்), அத்துடன் ஸ்ட்ரீமிங் தரவை செயலாக்க ஆயத்த சேவைகளை வழங்குதல் (வீடியோவில் குரல் அங்கீகாரம் அல்லது பட அங்கீகாரம். )

SAS மற்றும் SPSS இலிருந்து தொழில்துறை தீர்வுகள் பிரபலமாக உள்ளன, அதே நேரத்தில் டேப்லோ, ரேபிட்மினர், ஸ்டேட்டா மற்றும் ஜூலியா ஆகியவை தரவு விஞ்ஞானிகளால் உள்ளூர் பணிகளுக்கு பரவலாகப் பயன்படுத்தப்படுகின்றன.

குழாய்களை உருவாக்கும் திறன் ஆய்வாளர்கள் மற்றும் தரவு விஞ்ஞானிகளுக்கு இரண்டு ஆண்டுகளுக்கு முன்பு தோன்றியது: எடுத்துக்காட்டாக, ஒப்பீட்டளவில் எளிமையான ஸ்கிரிப்ட்களைப் பயன்படுத்தி PostgreSQL அடிப்படையிலான சேமிப்பகத்திற்கு தரவை அனுப்ப ஏற்கனவே சாத்தியம் உள்ளது. 

பொதுவாக, பைப்லைன்கள் மற்றும் ஒருங்கிணைந்த தரவு கட்டமைப்புகளின் பயன்பாடு தரவு பொறியாளர்களின் பொறுப்பாகவே உள்ளது. ஆனால் இன்று, தொடர்புடைய துறைகளில் பரந்த திறன்களைக் கொண்ட டி-வடிவ நிபுணர்களுக்கான போக்கு முன்னெப்போதையும் விட வலுவாக உள்ளது, ஏனெனில் கருவிகள் தொடர்ந்து எளிமைப்படுத்தப்படுகின்றன.

தரவு பொறியாளர் மற்றும் தரவு விஞ்ஞானி ஏன் ஒன்றாக வேலை செய்கிறார்கள்

பொறியாளர்களுடன் நெருக்கமாகப் பணியாற்றுவதன் மூலம், தரவு விஞ்ஞானிகள் ஆராய்ச்சிப் பக்கத்தில் கவனம் செலுத்தலாம், உற்பத்திக்குத் தயாராக இருக்கும் இயந்திரக் கற்றல் வழிமுறைகளை உருவாக்கலாம்.
மற்றும் பொறியாளர்கள் அளவிடுதல், தரவு மறுபயன்பாடு மற்றும் ஒவ்வொரு தனிப்பட்ட திட்டத்திலும் தரவு உள்ளீடு மற்றும் வெளியீட்டு குழாய்கள் உலகளாவிய கட்டமைப்பிற்கு இணங்குவதை உறுதி செய்வதில் கவனம் செலுத்த வேண்டும்.

வெவ்வேறு இயந்திர கற்றல் திட்டங்களில் பணிபுரியும் குழுக்கள் முழுவதும் இந்த பொறுப்புகளைப் பிரிப்பது நிலைத்தன்மையை உறுதி செய்கிறது. 

புதிய தயாரிப்புகளை திறமையாக உருவாக்க ஒத்துழைப்பு உதவுகிறது. அனைவருக்கும் ஒரு சேவையை உருவாக்குதல் (உலகளாவிய சேமிப்பு அல்லது டாஷ்போர்டுகளின் ஒருங்கிணைப்பு) மற்றும் ஒவ்வொரு குறிப்பிட்ட தேவை அல்லது திட்டத்தை செயல்படுத்துதல் (மிக சிறப்பு வாய்ந்த குழாய், வெளிப்புற ஆதாரங்களை இணைத்தல்) ஆகியவற்றுக்கு இடையேயான சமநிலையின் மூலம் வேகம் மற்றும் தரம் அடையப்படுகிறது. 

தரவு விஞ்ஞானிகள் மற்றும் ஆய்வாளர்களுடன் நெருக்கமாகப் பணியாற்றுவது, சிறந்த குறியீட்டை எழுதுவதற்கு பொறியாளர்கள் பகுப்பாய்வு மற்றும் ஆராய்ச்சி திறன்களை வளர்க்க உதவுகிறது. கிடங்கு மற்றும் தரவு ஏரி பயனர்களிடையே அறிவுப் பகிர்வு மேம்படுகிறது, திட்டங்களை மிகவும் சுறுசுறுப்பாக ஆக்குகிறது மற்றும் மேலும் நிலையான நீண்ட கால முடிவுகளை வழங்குகிறது.

தரவுகளுடன் பணிபுரியும் கலாச்சாரத்தை உருவாக்குவதையும் அவற்றின் அடிப்படையில் வணிக செயல்முறைகளை உருவாக்குவதையும் நோக்கமாகக் கொண்ட நிறுவனங்களில், தரவு விஞ்ஞானி மற்றும் தரவு பொறியாளர் ஒருவருக்கொருவர் பூர்த்தி செய்து முழுமையான தரவு பகுப்பாய்வு அமைப்பை உருவாக்குகின்றனர். 

அடுத்த கட்டுரையில் ஒரு டேட்டா இன்ஜினியர் மற்றும் டேட்டா விஞ்ஞானிகளுக்கு என்ன மாதிரியான கல்வி இருக்க வேண்டும், என்ன திறன்களை வளர்த்துக் கொள்ள வேண்டும், சந்தை எவ்வாறு செயல்படுகிறது என்பதைப் பற்றி பேசுவோம்.

நெட்டாலஜியின் ஆசிரியர்களிடமிருந்து

நீங்கள் டேட்டா இன்ஜினியர் அல்லது டேட்டா சயின்டிஸ்ட் தொழிலைப் பார்க்கிறீர்கள் என்றால், எங்கள் பாடத்திட்டங்களைப் படிக்க உங்களை அழைக்கிறோம்:

• தொழில்"தரவு பொறியாளர்".  
• தொழில்"தரவு விஞ்ஞானி".

ஆதாரம்: www.habr.com