డేటా ఇంజనీర్ మరియు డేటా సైంటిస్ట్: వారు ఏమి చేయగలరు మరియు ఎంత సంపాదిస్తారు

ఫ్యాకల్టీ హెడ్ ఎలెనా గెరాసిమోవాతో కలిసి "డేటా సైన్స్ మరియు అనలిటిక్స్» నెటాలజీలో అవి ఒకదానితో ఒకటి ఎలా సంకర్షణ చెందుతాయో మరియు డేటా సైంటిస్ట్‌లు మరియు డేటా ఇంజనీర్లు ఎలా విభిన్నంగా ఉంటారో మనం అర్థం చేసుకుంటూ ఉంటాము.

మొదటి భాగంలో వారు చెప్పారు డేటా సైంటిస్ట్ మరియు డేటా ఇంజనీర్ మధ్య ప్రధాన తేడాల గురించి.

ఈ మెటీరియల్‌లో నిపుణులకు ఏ జ్ఞానం మరియు నైపుణ్యాలు ఉండాలి, యజమానులు ఏ విద్యకు విలువ ఇస్తారు, ఇంటర్వ్యూలు ఎలా నిర్వహించబడతాయి మరియు డేటా ఇంజనీర్లు మరియు డేటా శాస్త్రవేత్తలు ఎంత సంపాదిస్తారు అనే దాని గురించి మాట్లాడుతాము. 

శాస్త్రవేత్తలు మరియు ఇంజనీర్లు తెలుసుకోవలసినది

ఇద్దరు నిపుణులకు ప్రత్యేక విద్య కంప్యూటర్ సైన్స్.

డేటా ఇంజనీర్ మరియు డేటా సైంటిస్ట్: వారు ఏమి చేయగలరు మరియు ఎంత సంపాదిస్తారు

ఏదైనా డేటా సైంటిస్ట్-డేటా సైంటిస్ట్ లేదా అనలిస్ట్-తప్పక తమ ముగింపుల యొక్క ఖచ్చితత్వాన్ని నిరూపించగలగాలి. దీని కోసం మీరు జ్ఞానం లేకుండా చేయలేరు గణాంకాలు మరియు గణాంకాలకు సంబంధించిన ప్రాథమిక గణితం.

ఆధునిక ప్రపంచంలో మెషిన్ లెర్నింగ్ మరియు డేటా అనలిటిక్స్ సాధనాలు అనివార్యమైనవి. సాధారణ సాధనాలు అందుబాటులో లేకపోతే, మీరు నైపుణ్యాలను కలిగి ఉండాలి కొత్త సాధనాలను త్వరగా నేర్చుకోవడం, టాస్క్‌లను ఆటోమేట్ చేయడానికి సాధారణ స్క్రిప్ట్‌లను సృష్టించడం.

డేటా సైంటిస్ట్ విశ్లేషణ ఫలితాలను సమర్థవంతంగా తెలియజేయాలని గమనించడం ముఖ్యం. ఇది అతనికి సహాయం చేస్తుంది డేటా విజువలైజేషన్ లేదా పరికల్పనల పరిశోధన మరియు పరీక్ష ఫలితాలు. నిపుణులు తప్పనిసరిగా చార్ట్‌లు మరియు గ్రాఫ్‌లను సృష్టించగలరు, విజువలైజేషన్ సాధనాలను ఉపయోగించగలరు మరియు డ్యాష్‌బోర్డ్‌ల నుండి డేటాను అర్థం చేసుకోవాలి మరియు వివరించగలరు.

డేటా ఇంజనీర్ మరియు డేటా సైంటిస్ట్: వారు ఏమి చేయగలరు మరియు ఎంత సంపాదిస్తారు

డేటా ఇంజనీర్ కోసం, మూడు ప్రాంతాలు తెరపైకి వస్తాయి.

అల్గోరిథంలు మరియు డేటా నిర్మాణాలు. కోడ్ రాయడం మరియు ప్రాథమిక నిర్మాణాలు మరియు అల్గారిథమ్‌లను ఉపయోగించడంలో మంచిగా ఉండటం ముఖ్యం:

  • అల్గోరిథం సంక్లిష్టత విశ్లేషణ,
  • స్పష్టమైన, నిర్వహించదగిన కోడ్‌ను వ్రాయగల సామర్థ్యం, 
  • బ్యాచ్ ప్రాసెసింగ్,
  • నిజ-సమయ ప్రాసెసింగ్.

డేటాబేస్‌లు మరియు డేటా గిడ్డంగులు, బిజినెస్ ఇంటెలిజెన్స్:

  • డేటా నిల్వ మరియు ప్రాసెసింగ్,
  • పూర్తి వ్యవస్థల రూపకల్పన,
  • డేటా ఇంజెక్షన్,
  • పంపిణీ చేయబడిన ఫైల్ సిస్టమ్స్.

హడూప్ మరియు బిగ్ డేటా. మరింత ఎక్కువ డేటా ఉంది మరియు 3-5 సంవత్సరాల కాల వ్యవధిలో, ఈ సాంకేతికతలు ప్రతి ఇంజనీర్‌కు అవసరం అవుతాయి. ప్లస్:

  • డేటా లేక్స్
  • క్లౌడ్ ప్రొవైడర్లతో పని చేస్తోంది.

యంత్ర అభ్యాస ప్రతిచోటా ఉపయోగించబడుతుంది మరియు ఇది ఏ వ్యాపార సమస్యలను పరిష్కరించడంలో సహాయపడుతుందో అర్థం చేసుకోవడం ముఖ్యం. నమూనాలను తయారు చేయడం అవసరం లేదు (డేటా శాస్త్రవేత్తలు దీన్ని నిర్వహించగలరు), కానీ మీరు వాటి అప్లికేషన్ మరియు సంబంధిత అవసరాలను అర్థం చేసుకోవాలి.

ఇంజనీర్లు మరియు శాస్త్రవేత్తలు ఎంత సంపాదిస్తారు?

డేటా ఇంజనీర్ ఆదాయం

అంతర్జాతీయ ఆచరణలో Glassdoor ప్రకారం ప్రారంభ జీతాలు సాధారణంగా సంవత్సరానికి $100 మరియు అనుభవంతో గణనీయంగా పెరుగుతాయి. అదనంగా, కంపెనీలు తరచుగా స్టాక్ ఎంపికలు మరియు 000-5% వార్షిక బోనస్‌లను అందిస్తాయి.

రష్యాలో కెరీర్ ప్రారంభంలో, జీతం సాధారణంగా ప్రాంతాలలో 50 వేల రూబిళ్లు మరియు మాస్కోలో 80 వేల కంటే తక్కువ కాదు. ఈ దశలో పూర్తి శిక్షణ తప్ప మరే అనుభవం అవసరం లేదు.

1-2 సంవత్సరాల పని తర్వాత - 90-100 వేల రూబిళ్లు ఒక ఫోర్క్.

ఫోర్క్ 120-160 సంవత్సరాలలో 2-5 వేలకు పెరుగుతుంది. మునుపటి కంపెనీల స్పెషలైజేషన్, ప్రాజెక్ట్‌ల పరిమాణం, పెద్ద డేటాతో పని చేయడం మొదలైన అంశాలు జోడించబడ్డాయి.

5 సంవత్సరాల పని తర్వాత, సంబంధిత విభాగాలలో ఖాళీల కోసం వెతకడం లేదా అత్యంత ప్రత్యేకమైన స్థానాలకు దరఖాస్తు చేయడం సులభం:

  • బ్యాంక్ లేదా టెలికాంలో ఆర్కిటెక్ట్ లేదా లీడ్ డెవలపర్ - సుమారు 250 వేలు.

  • మీరు అత్యంత సన్నిహితంగా పనిచేసిన సాంకేతికతలతో విక్రేత నుండి ప్రీ-సేల్స్ - 200 వేలతో పాటు సాధ్యమయ్యే బోనస్ (1-1,5 మిలియన్ రూబిళ్లు). 

  • SAP వంటి ఎంటర్ప్రైజ్ వ్యాపార అనువర్తనాల అమలులో నిపుణులు - 350 వేల వరకు.

డేటా శాస్త్రవేత్తల ఆదాయం

అధ్యయనం కంపెనీ "నార్మల్ రీసెర్చ్" మరియు రిక్రూటింగ్ ఏజెన్సీ New.HR యొక్క విశ్లేషకుల మార్కెట్ డేటా సైన్స్ నిపుణులు ఇతర స్పెషాలిటీల విశ్లేషకుల కంటే సగటున ఎక్కువ జీతం పొందుతారని చూపిస్తుంది. 

రష్యాలో, ఒక సంవత్సరం వరకు అనుభవం ఉన్న డేటా సైంటిస్ట్ యొక్క ప్రారంభ జీతం 113 వేల రూబిళ్లు. 

శిక్షణా కార్యక్రమాలను పూర్తి చేయడం ఇప్పుడు పని అనుభవంగా కూడా పరిగణించబడుతుంది.

1-2 సంవత్సరాల తరువాత, అటువంటి నిపుణుడు ఇప్పటికే 160 వేల వరకు పొందవచ్చు.

4-5 సంవత్సరాల అనుభవం ఉన్న ఉద్యోగికి, ఫోర్క్ 310 వేలకు పెరుగుతుంది.

ఇంటర్వ్యూలు ఎలా జరుగుతున్నాయి

పాశ్చాత్య దేశాలలో, వృత్తి శిక్షణ కార్యక్రమాల గ్రాడ్యుయేట్లు గ్రాడ్యుయేషన్ తర్వాత సగటున 5 వారాలకు వారి మొదటి ఇంటర్వ్యూని కలిగి ఉంటారు. దాదాపు 85% మందికి 3 నెలల తర్వాత ఉద్యోగం లభిస్తుంది.

డేటా ఇంజనీర్ మరియు డేటా సైంటిస్ట్ స్థానాలకు ఇంటర్వ్యూ ప్రక్రియ వాస్తవంగా ఒకే విధంగా ఉంటుంది. సాధారణంగా ఐదు దశలను కలిగి ఉంటుంది.

సారాంశం. నాన్-కోర్ పూర్వ అనుభవం (ఉదా., మార్కెటింగ్) ఉన్న అభ్యర్థులు ప్రతి కంపెనీకి సంబంధించిన వివరణాత్మక కవర్ లెటర్‌ను సిద్ధం చేయాలి లేదా ఆ కంపెనీ ప్రతినిధి నుండి సూచనను కలిగి ఉండాలి.

సాంకేతిక స్క్రీనింగ్. ఇది సాధారణంగా ఫోన్ ద్వారా జరుగుతుంది. యజమాని యొక్క ప్రస్తుత స్టాక్‌కు సంబంధించి ఒకటి లేదా రెండు సంక్లిష్టమైన మరియు చాలా సులభమైన ప్రశ్నలను కలిగి ఉంటుంది.

HR ఇంటర్వ్యూ. ఫోన్ ద్వారా చేయవచ్చు. ఈ దశలో, అభ్యర్థి సాధారణ సమర్ధత మరియు కమ్యూనికేట్ చేయగల సామర్థ్యం కోసం పరీక్షించబడతారు.

సాంకేతిక ఇంటర్వ్యూ. చాలా తరచుగా ఇది వ్యక్తిగతంగా జరుగుతుంది. వేర్వేరు కంపెనీలలో, సిబ్బంది పట్టికలోని స్థానాల స్థాయి భిన్నంగా ఉంటుంది మరియు స్థానాలు వేర్వేరుగా పేరు పెట్టబడవచ్చు. అందువల్ల, ఈ దశలో సాంకేతిక పరిజ్ఞానం పరీక్షించబడుతుంది.

CTO/చీఫ్ ఆర్కిటెక్ట్‌తో ఇంటర్వ్యూ. ఇంజనీర్ మరియు శాస్త్రవేత్తలు వ్యూహాత్మక స్థానాలు, మరియు అనేక కంపెనీలకు అవి కూడా కొత్తవి. మేనేజర్ సంభావ్య సహోద్యోగిని ఇష్టపడటం మరియు అతని అభిప్రాయాలలో అతనితో ఏకీభవించడం ముఖ్యం.

శాస్త్రవేత్తలు మరియు ఇంజనీర్లకు వారి కెరీర్ వృద్ధిలో ఏది సహాయపడుతుంది?

డేటాతో పని చేయడానికి చాలా కొత్త సాధనాలు కనిపించాయి. మరియు కొంతమంది వ్యక్తులు అందరితో సమానంగా మంచివారు. 

చాలా కంపెనీలు పని అనుభవం లేకుండా ఉద్యోగులను నియమించుకోవడానికి సిద్ధంగా లేవు. ఏది ఏమైనప్పటికీ, కనీస నేపథ్యం మరియు ప్రసిద్ధ సాధనాల యొక్క ప్రాథమిక విషయాల పరిజ్ఞానం ఉన్న అభ్యర్థులు తమ స్వంతంగా నేర్చుకుని మరియు అభివృద్ధి చేస్తే అవసరమైన అనుభవాన్ని పొందవచ్చు.

డేటా ఇంజనీర్ మరియు డేటా సైంటిస్ట్ కోసం ఉపయోగకరమైన లక్షణాలు

కోరిక మరియు నేర్చుకునే సామర్థ్యం. మీరు కొత్త సాధనం కోసం తక్షణమే అనుభవాన్ని వెంబడించాల్సిన అవసరం లేదు లేదా ఉద్యోగాలను మార్చాల్సిన అవసరం లేదు, కానీ మీరు కొత్త ప్రాంతానికి మారడానికి సిద్ధంగా ఉండాలి.

సాధారణ ప్రక్రియలను ఆటోమేట్ చేయాలనే కోరిక. ఇది ఉత్పాదకతకు మాత్రమే కాకుండా, అధిక డేటా నాణ్యతను మరియు వినియోగదారుకు డెలివరీ వేగాన్ని నిర్వహించడానికి కూడా ముఖ్యమైనది.

ప్రక్రియల యొక్క "హుడ్ కింద ఏమి ఉంది" అనే శ్రద్ధ మరియు అవగాహన. ప్రక్రియల పరిశీలన మరియు పూర్తి పరిజ్ఞానం ఉన్న నిపుణుడు సమస్యను వేగంగా పరిష్కరిస్తాడు.

అల్గోరిథంలు, డేటా స్ట్రక్చర్‌లు మరియు పైప్‌లైన్‌ల గురించి అద్భుతమైన జ్ఞానంతో పాటు, మీకు అవసరం ఉత్పత్తులలో ఆలోచించడం నేర్చుకోండి — ఆర్కిటెక్చర్ మరియు వ్యాపార పరిష్కారాన్ని ఒకే చిత్రంగా చూడండి. 

ఉదాహరణకు, ఏదైనా ప్రసిద్ధ సేవను తీసుకొని దాని కోసం డేటాబేస్తో ముందుకు రావడం ఉపయోగకరంగా ఉంటుంది. ఆపై డేటాతో నింపే ETL మరియు DWని ఎలా అభివృద్ధి చేయాలి, ఎలాంటి వినియోగదారులు ఉంటారు మరియు డేటా గురించి తెలుసుకోవడం వారికి ముఖ్యమైనది మరియు కొనుగోలుదారులు అప్లికేషన్‌లతో ఎలా వ్యవహరిస్తారు అనే దాని గురించి ఆలోచించండి: ఉద్యోగ శోధన మరియు డేటింగ్, కారు అద్దె , పోడ్‌కాస్ట్ అప్లికేషన్, విద్యా వేదిక.

విశ్లేషకుడు, డేటా సైంటిస్ట్ మరియు ఇంజనీర్ యొక్క స్థానాలు చాలా దగ్గరగా ఉంటాయి, కాబట్టి మీరు ఇతర ప్రాంతాల కంటే వేగంగా ఒక దిశ నుండి మరొక దిశకు వెళ్లవచ్చు.

ఏది ఏమైనప్పటికీ, అది లేని వారి కంటే ఏదైనా ఐటి నేపథ్యం ఉన్నవారికి ఇది సులభం అవుతుంది. సగటున, ప్రేరేపిత పెద్దలు ప్రతి 1,5-2 సంవత్సరాలకు తిరిగి శిక్షణ పొందుతారు మరియు ఉద్యోగాలను మార్చుకుంటారు. ఓపెన్ సోర్సెస్‌పై మాత్రమే ఆధారపడే వారితో పోలిస్తే, గ్రూప్‌లో మరియు మెంటార్‌తో చదువుకునే వారికి ఇది సులభం.

నెటాలజీ సంపాదకుల నుండి

మీరు డేటా ఇంజనీర్ లేదా డేటా సైంటిస్ట్ వృత్తిని చూస్తున్నట్లయితే, మా కోర్సు ప్రోగ్రామ్‌లను అధ్యయనం చేయడానికి మేము మిమ్మల్ని ఆహ్వానిస్తున్నాము:

మూలం: www.habr.com

ఒక వ్యాఖ్యను జోడించండి