మళ్ళీ హలో! వ్యాసం యొక్క శీర్షిక దాని గురించి మాట్లాడుతుంది. కోర్సు ప్రారంభం కోసం ఎదురుచూస్తూ డేటా ఇంజనీర్లు ఎవరో అర్థం చేసుకోవడానికి మేము మీకు సూచిస్తున్నాము. వ్యాసంలో చాలా ఉపయోగకరమైన లింక్‌లు ఉన్నాయి. సంతోషంగా చదవండి.
డేటా ఇంజినీరింగ్ వేవ్‌ను ఎలా పట్టుకోవాలో మరియు అది మిమ్మల్ని అగాధంలోకి లాగకుండా ఎలా చేయాలో అనేదానిపై ఒక సాధారణ గైడ్.
ఈ రోజుల్లో ప్రతి ఒక్కరూ డేటా సైంటిస్ట్ కావాలని కోరుకుంటున్నట్లు కనిపిస్తోంది. కానీ డేటా ఇంజనీరింగ్ గురించి ఏమిటి? ముఖ్యంగా, ఇది డేటా అనలిస్ట్ మరియు డేటా సైంటిస్ట్ యొక్క ఒక రకమైన హైబ్రిడ్; వర్క్‌ఫ్లోలు, ప్రాసెసింగ్ పైప్‌లైన్‌లు మరియు ETL ప్రక్రియలను నిర్వహించడానికి డేటా ఇంజనీర్ సాధారణంగా బాధ్యత వహిస్తారు. ఈ ఫంక్షన్‌ల యొక్క ప్రాముఖ్యత కారణంగా, ఇది ప్రస్తుతం చురుకుగా ఊపందుకుంటున్న మరొక ప్రసిద్ధ వృత్తిపరమైన పరిభాష.
అధిక జీతాలు మరియు భారీ డిమాండ్ ఈ ఉద్యోగాన్ని అత్యంత ఆకర్షణీయంగా మార్చడంలో ఒక చిన్న భాగం మాత్రమే! మీరు హీరోల ర్యాంక్‌లో చేరాలనుకుంటే, నేర్చుకోవడం ప్రారంభించడానికి ఎప్పుడూ ఆలస్యం కాదు. ఈ పోస్ట్‌లో, మీ మొదటి అడుగులు వేయడంలో మీకు సహాయపడటానికి అవసరమైన మొత్తం సమాచారాన్ని నేను సేకరించాను.
కాబట్టి, ప్రారంభిద్దాం!
డేటా ఇంజనీరింగ్ అంటే ఏమిటి?
నిజాయితీగా, దీని కంటే మెరుగైన వివరణ లేదు:
"ఒక శాస్త్రవేత్త కొత్త నక్షత్రాన్ని కనుగొనగలడు, కానీ అతను దానిని సృష్టించలేడు. అతను దానిని చేయమని ఇంజనీర్‌ని అడగాలి."
-గోర్డాన్ లిండ్సే గ్లెగ్
అందువలన, డేటా ఇంజనీర్ పాత్ర చాలా ముఖ్యమైనది.
పేరు సూచించినట్లుగా, డేటా ఇంజనీరింగ్ అనేది డేటాకు సంబంధించినది, అవి దాని డెలివరీ, నిల్వ మరియు ప్రాసెసింగ్. దీని ప్రకారం, ఇంజనీర్ల ప్రధాన పని డేటా కోసం నమ్మకమైన మౌలిక సదుపాయాలను అందించడం. మేము అవసరాల యొక్క AI సోపానక్రమాన్ని పరిశీలిస్తే, డేటా ఇంజనీరింగ్ మొదటి 2-3 దశలను ఆక్రమిస్తుంది: సేకరణ, కదలిక మరియు నిల్వ, డేటా తయారీ.
డేటా ఇంజనీర్ ఏమి చేస్తాడు?
పెద్ద డేటా రాకతో, బాధ్యత పరిధి నాటకీయంగా మారిపోయింది. ఇంతకుముందు ఈ నిపుణులు ఇన్ఫర్మాటికా ఇటిఎల్, పెంటాహో ఇటిఎల్, టాలెండ్ వంటి సాధనాలను ఉపయోగించి పెద్ద SQL ప్రశ్నలు మరియు డిస్టిల్డ్ డేటాను వ్రాసినట్లయితే, ఇప్పుడు డేటా ఇంజనీర్ల అవసరాలు పెరిగాయి.
డేటా ఇంజనీర్ స్థానానికి ఖాళీగా ఉన్న చాలా కంపెనీలు క్రింది అవసరాలను కలిగి ఉన్నాయి:
- SQL మరియు పైథాన్ యొక్క అద్భుతమైన జ్ఞానం.
- క్లౌడ్ ప్లాట్‌ఫారమ్‌లతో అనుభవం, ముఖ్యంగా అమెజాన్ వెబ్ సర్వీసెస్.
- జావా/స్కాలా పరిజ్ఞానం ప్రాధాన్యం.
- SQL మరియు NoSQL డేటాబేస్‌లపై మంచి అవగాహన (డేటా మోడలింగ్, డేటా వేర్‌హౌసింగ్).
గుర్తుంచుకోండి, ఇవి అవసరమైనవి మాత్రమే. ఈ జాబితా నుండి, డేటా ఇంజనీర్లు సాఫ్ట్‌వేర్ అభివృద్ధి మరియు బ్యాకెండ్ రంగంలో నిపుణులు అని భావించవచ్చు.
ఉదాహరణకు, ఒక కంపెనీ వివిధ మూలాల నుండి పెద్ద మొత్తంలో డేటాను రూపొందించడం ప్రారంభిస్తే, డేటా ఇంజనీర్‌గా మీ పని సమాచార సేకరణ, దాని ప్రాసెసింగ్ మరియు నిల్వను నిర్వహించడం.
ఈ సందర్భంలో ఉపయోగించే సాధనాల జాబితా భిన్నంగా ఉండవచ్చు, ఇవన్నీ ఈ డేటా యొక్క వాల్యూమ్, దాని రసీదు యొక్క వేగం మరియు వైవిధ్యతపై ఆధారపడి ఉంటాయి. చాలా కంపెనీలు పెద్ద డేటాతో వ్యవహరించవు, కాబట్టి కేంద్రీకృత రిపోజిటరీగా, డేటా వేర్‌హౌస్ అని పిలవబడే, మీరు డేటాను అందించే చిన్న సెట్ స్క్రిప్ట్‌లతో SQL డేటాబేస్ (PostgreSQL, MySQL, మొదలైనవి) ఉపయోగించవచ్చు. గిడ్డంగి.
గూగుల్, అమెజాన్, ఫేస్‌బుక్ లేదా డ్రాప్‌బాక్స్ వంటి IT దిగ్గజాలకు అధిక అవసరాలు ఉన్నాయి: పైథాన్, జావా లేదా స్కాలా గురించిన పరిజ్ఞానం.
- పెద్ద డేటాతో అనుభవం: హడూప్, స్పార్క్, కాఫ్కా.
- అల్గారిథమ్‌లు మరియు డేటా స్ట్రక్చర్‌ల పరిజ్ఞానం.
- పంపిణీ వ్యవస్థల ప్రాథమికాలను అర్థం చేసుకోవడం.
- Tableau లేదా ElasticSearch వంటి డేటా విజువలైజేషన్ టూల్స్‌తో అనుభవం అదనంగా ఉంటుంది.
అంటే, పెద్ద డేటా వైపు స్పష్టమైన మార్పు ఉంది, అవి అధిక లోడ్‌ల క్రింద ప్రాసెసింగ్‌లో ఉంటాయి. ఈ కంపెనీలు సిస్టమ్ ఫాల్ట్ టాలరెన్స్ కోసం పెరిగిన అవసరాలను కలిగి ఉన్నాయి.
డేటా ఇంజనీర్స్ Vs. డేటా శాస్త్రవేత్తలు
సరే, ఇది సరళమైన మరియు ఫన్నీ పోలిక (వ్యక్తిగతంగా ఏమీ లేదు), కానీ వాస్తవానికి ఇది చాలా క్లిష్టంగా ఉంటుంది.
ముందుగా, డేటా సైంటిస్ట్ మరియు డేటా ఇంజనీర్ పాత్రలు మరియు నైపుణ్యాల వర్ణనలో చాలా అస్పష్టత ఉందని మీరు తెలుసుకోవాలి. అంటే, విజయవంతమైన డేటా ఇంజనీర్‌గా ఉండటానికి ఏ నైపుణ్యాలు అవసరమో మీరు సులభంగా గందరగోళానికి గురవుతారు. వాస్తవానికి, రెండు పాత్రలతో అతివ్యాప్తి చెందే కొన్ని నైపుణ్యాలు ఉన్నాయి. కానీ చాలా వ్యతిరేక నైపుణ్యాలు కూడా ఉన్నాయి.
డేటా సైన్స్ అనేది తీవ్రమైన వ్యాపారం, అయితే అభ్యాసకులు వారి స్వంత విశ్లేషణలను చేయగల ఫంక్షనల్ డేటా సైన్స్ ప్రపంచం వైపు మేము వెళ్తున్నాము. డేటా పైప్‌లైన్‌లు మరియు ఇంటిగ్రేటెడ్ డేటా స్ట్రక్చర్‌లను ప్రారంభించడానికి, మీకు డేటా ఇంజనీర్లు కావాలి, డేటా సైంటిస్టులు కాదు.
డేటా సైంటిస్ట్ కంటే డేటా ఇంజనీర్‌కే ఎక్కువ డిమాండ్ ఉందా?
- అవును, ఎందుకంటే మీరు క్యారెట్ కేక్ చేయడానికి ముందు, మీరు మొదట క్యారెట్లను సేకరించి, పై తొక్క మరియు స్టాక్ చేయాలి!
డేటా ఇంజనీర్ ఏ డేటా సైంటిస్ట్ కంటే ప్రోగ్రామింగ్‌ను బాగా అర్థం చేసుకుంటాడు, కానీ గణాంకాల విషయానికి వస్తే, దీనికి విరుద్ధంగా ఉంటుంది.
కానీ ఇక్కడ డేటా ఇంజనీర్ యొక్క ప్రయోజనం:
అతను/ఆమె లేకుండా, ప్రోటోటైప్ మోడల్ విలువ, చాలా తరచుగా పైథాన్ ఫైల్‌లోని భయంకరమైన నాణ్యత కోడ్ ముక్కను కలిగి ఉంటుంది, ఇది డేటా సైంటిస్ట్ నుండి పొందబడింది మరియు ఏదో ఒకవిధంగా ఫలితాన్ని ఉత్పత్తి చేస్తుంది, ఇది సున్నాకి చేరుకుంటుంది.
డేటా ఇంజనీర్ లేకుండా, ఈ కోడ్ ఎప్పటికీ ప్రాజెక్ట్‌గా మారదు మరియు వ్యాపార సమస్య ఏదీ సమర్థవంతంగా పరిష్కరించబడదు. డేటా ఇంజనీర్ ఇవన్నీ ఉత్పత్తిగా మార్చడానికి ప్రయత్నిస్తున్నారు.
డేటా ఇంజనీర్ తెలుసుకోవలసిన ప్రాథమిక సమాచారం
కాబట్టి, ఈ ఉద్యోగం మీలో వెలుగును తెస్తుంది మరియు మీరు ఉత్సాహంగా ఉంటే - మీరు దీన్ని నేర్చుకోవచ్చు, మీరు అవసరమైన అన్ని నైపుణ్యాలను నేర్చుకోవచ్చు మరియు డేటా ఇంజనీరింగ్ రంగంలో నిజమైన రాక్ స్టార్‌గా మారవచ్చు. మరియు, అవును, మీరు ప్రోగ్రామింగ్ నైపుణ్యాలు లేదా ఇతర సాంకేతిక పరిజ్ఞానం లేకుండా కూడా దీన్ని తీసివేయవచ్చు. ఇది కష్టం, కానీ సాధ్యమే!
మొదటి దశలు ఏమిటి?
మీకు ఏది అనే సాధారణ ఆలోచన ఉండాలి.
అన్నింటిలో మొదటిది, డేటా ఇంజనీరింగ్ కంప్యూటర్ సైన్స్‌ను సూచిస్తుంది. మరింత ప్రత్యేకంగా, మీరు సమర్థవంతమైన అల్గారిథమ్‌లు మరియు డేటా స్ట్రక్చర్‌లను అర్థం చేసుకోవాలి. రెండవది, డేటా ఇంజనీర్లు డేటాతో పని చేస్తారు కాబట్టి, డేటాబేస్‌ల సూత్రాలు మరియు వాటికి సంబంధించిన నిర్మాణాలను అర్థం చేసుకోవడం అవసరం.
ఉదాహరణకు, సంప్రదాయ B-tree SQL డేటాబేస్‌లు B-Tree డేటా స్ట్రక్చర్‌పై ఆధారపడి ఉంటాయి, అలాగే ఆధునిక పంపిణీ రిపోజిటరీలలో, LSM-ట్రీ మరియు హాష్ టేబుల్‌ల యొక్క ఇతర సవరణలు.
*ఈ దశలు గొప్ప కథనంపై ఆధారపడి ఉన్నాయి . కాబట్టి, మీకు రష్యన్ తెలిస్తే, ఈ రచయితకు మద్దతు ఇవ్వండి మరియు చదవండి .
1. అల్గోరిథంలు మరియు డేటా నిర్మాణాలు
సరైన డేటా నిర్మాణాన్ని ఉపయోగించడం వల్ల అల్గారిథమ్ పనితీరు గణనీయంగా మెరుగుపడుతుంది. ఆదర్శవంతంగా, మనమందరం మా పాఠశాలల్లో డేటా స్ట్రక్చర్‌లు మరియు అల్గారిథమ్‌ల గురించి నేర్చుకోవాలి, కానీ ఇది చాలా అరుదుగా కవర్ చేయబడుతుంది. ఏదైనా సందర్భంలో, పరిచయం పొందడానికి ఇది చాలా ఆలస్యం కాదు.
కాబట్టి డేటా స్ట్రక్చర్‌లు మరియు అల్గారిథమ్‌లను నేర్చుకోవడం కోసం ఇక్కడ నాకు ఇష్టమైన ఉచిత కోర్సులు ఉన్నాయి:
అలాగే అల్గారిథమ్‌లపై థామస్ కోర్మాన్ యొక్క క్లాసిక్ వర్క్ గురించి మర్చిపోవద్దు - . మీరు మీ మెమరీని రిఫ్రెష్ చేయవలసి వచ్చినప్పుడు ఇది సరైన సూచన.
- మీ నైపుణ్యాలను మెరుగుపరచడానికి, ఉపయోగించండి .
Youtubeలో కార్నెగీ మెల్లన్ విశ్వవిద్యాలయం నుండి అద్భుతమైన వీడియోలతో మీరు డేటాబేస్ ప్రపంచంలోకి ప్రవేశించవచ్చు:
- .
- .
2. SQL నేర్చుకోండి
మన జీవితమంతా డేటా. మరియు డేటాబేస్ నుండి ఈ డేటాను సేకరించేందుకు, మీరు దానితో అదే భాషని "మాట్లాడాలి".
SQL (స్ట్రక్చర్డ్ క్వెరీ లాంగ్వేజ్) అనేది డేటా డొమైన్‌లో కమ్యూనికేషన్ యొక్క భాష. ఎవరెన్ని చెప్పినా, SQL జీవించి ఉంది, సజీవంగా ఉంది మరియు చాలా కాలం పాటు జీవిస్తుంది.
మీరు చాలా కాలంగా అభివృద్ధిలో ఉన్నట్లయితే, SQL యొక్క ఆసన్న మరణం గురించి పుకార్లు క్రమానుగతంగా పాప్ అవడాన్ని మీరు గమనించవచ్చు. ఈ భాష 70 ల ప్రారంభంలో అభివృద్ధి చేయబడింది మరియు విశ్లేషకులు, డెవలపర్లు మరియు కేవలం ఔత్సాహికులలో ఇప్పటికీ బాగా ప్రాచుర్యం పొందింది.
SQL గురించి తెలియకుండా డేటా ఇంజనీరింగ్‌లో ఏమీ చేయాల్సిన అవసరం లేదు, ఎందుకంటే మీరు డేటాను తిరిగి పొందేందుకు అనివార్యంగా ప్రశ్నలను సృష్టించాల్సి ఉంటుంది. అన్ని ఆధునిక పెద్ద డేటా గిడ్డంగులు SQLకి మద్దతు ఇస్తాయి:
- అమెజాన్ రెడ్‌షిఫ్ట్
- HP వెర్టికా
- ఒరాకిల్
- SQL సర్వర్
... మరియు అనేక ఇతరులు.
HDFS వంటి పంపిణీ చేయబడిన సిస్టమ్‌లలో నిల్వ చేయబడిన డేటా యొక్క పెద్ద పొరను విశ్లేషించడానికి, SQL ఇంజిన్‌లు కనుగొనబడ్డాయి: అపాచీ హైవ్, ఇంపాలా మొదలైనవి. చూడండి, ఇది ఎక్కడికీ వెళ్లడం లేదు.
SQL ఎలా నేర్చుకోవాలి? కేవలం ఆచరణలో చేయండి.
దీన్ని చేయడానికి, ఒక అద్భుతమైన ట్యుటోరియల్‌ని తనిఖీ చేయమని నేను సిఫార్సు చేస్తాను, ఇది మార్గం ద్వారా ఉచితం .
ఈ కోర్సుల ప్రత్యేకత ఏమిటంటే, మీరు మీ బ్రౌజర్‌లోనే SQL ప్రశ్నలను వ్రాసి అమలు చేయగల ఇంటరాక్టివ్ వాతావరణాన్ని కలిగి ఉంటారు. వనరు నిరుపయోగంగా ఉండదు. మరియు మీరు ఈ జ్ఞానాన్ని దరఖాస్తు చేసుకోవచ్చు డేటాబేస్ విభాగంలో.
3. పైథాన్ మరియు జావా/స్కాలాలో ప్రోగ్రామింగ్
మీరు పైథాన్ ప్రోగ్రామింగ్ భాషను ఎందుకు నేర్చుకోవాలి, నేను ఇప్పటికే వ్యాసంలో వ్రాసాను . జావా మరియు స్కాలా విషయానికి వస్తే, భారీ మొత్తంలో డేటాను నిల్వ చేయడానికి మరియు ప్రాసెస్ చేయడానికి చాలా సాధనాలు ఈ భాషలలో వ్రాయబడ్డాయి. ఉదాహరణకి:
- అపాచీ కాఫ్కా (స్కాలా)
- హడూప్, HDFS (జావా)
- అపాచీ స్పార్క్ (స్కాలా)
- అపాచీ కసాండ్రా (జావా)
- HBase (జావా)
- అపాచీ హైవ్ (జావా)
ఈ సాధనాలు ఎలా పనిచేస్తాయో అర్థం చేసుకోవడానికి, మీరు వాటిని వ్రాసిన భాషలను తెలుసుకోవాలి. స్కాలా యొక్క ఫంక్షనల్ విధానం సమాంతర డేటా ప్రాసెసింగ్ సమస్యలను సమర్థవంతంగా పరిష్కరించడానికి మిమ్మల్ని అనుమతిస్తుంది. పైథాన్, దురదృష్టవశాత్తు, వేగం మరియు సమాంతర ప్రాసెసింగ్ గురించి ప్రగల్భాలు పలకదు. సాధారణంగా, అనేక భాషల పరిజ్ఞానం మరియు ప్రోగ్రామింగ్ నమూనాలు సమస్యలను పరిష్కరించడానికి విధానాల విస్తృతికి మంచివి.
స్కాలా భాషలోకి ప్రవేశించడానికి, మీరు చదవగలరు భాష యొక్క రచయిత నుండి. ట్విట్టర్ మంచి పరిచయ మార్గదర్శిని కూడా ప్రచురించింది - .
పైథాన్ విషయానికొస్తే, నేను నమ్ముతున్నాను ఉత్తమ మధ్య స్థాయి పుస్తకం.
4. పెద్ద డేటాతో పని చేయడానికి సాధనాలు
పెద్ద డేటా ప్రపంచంలో అత్యంత ప్రజాదరణ పొందిన సాధనాల జాబితా ఇక్కడ ఉంది:
- అపాచీ స్పార్క్
- అపాచీ కాఫ్కా
- అపాచీ హడూప్ (HDFS, HBase, హైవ్)
- అపాచీ కాసాండ్రా
మీరు ఈ అద్భుతంలో పెద్ద డేటా బ్లాక్‌లను నిర్మించడం గురించి మరింత సమాచారాన్ని కనుగొనవచ్చు . అత్యంత ప్రజాదరణ పొందిన సాధనాలు స్పార్క్ మరియు కాఫ్కా. వారు ఖచ్చితంగా అధ్యయనం విలువైనవి, వారు లోపల నుండి ఎలా పని చేస్తారో అర్థం చేసుకోవడం మంచిది. జే క్రెప్స్ (కాఫ్కా సహ రచయిత) 2013లో ఒక స్మారక రచనను ప్రచురించారు మార్గం ద్వారా, ఈ టాల్ముడ్ నుండి ప్రధాన ఆలోచనలు అపాచీ కాఫ్కాను రూపొందించడానికి ఉపయోగించబడ్డాయి.
- హడూప్‌కి ఒక పరిచయం కావచ్చు .
- నా కోసం అపాచీ స్పార్క్‌కు అత్యంత సమగ్రమైన గైడ్ - .
5. క్లౌడ్ ప్లాట్‌ఫారమ్‌లు
డేటా ఇంజనీర్ స్థానానికి దరఖాస్తుదారులకు ప్రాథమిక అవసరాల జాబితాలో కనీసం ఒక క్లౌడ్ ప్లాట్‌ఫారమ్ పరిజ్ఞానం ఉంది. యజమానులు Amazon వెబ్ సేవలను ఇష్టపడతారు, Google యొక్క క్లౌడ్ ప్లాట్‌ఫారమ్ రెండవ స్థానంలో ఉంది మరియు Microsoft Azure మొదటి మూడు స్థానాల్లో నిలిచింది.
మీరు Amazon EC2, AWS Lambda, Amazon S3, DynamoDB గురించి మంచి పరిజ్ఞానం కలిగి ఉండాలి.
6. పంపిణీ వ్యవస్థలు
పెద్ద డేటాతో పనిచేయడం అనేది స్వతంత్రంగా పనిచేసే కంప్యూటర్ల క్లస్టర్ల ఉనికిని సూచిస్తుంది, వాటి మధ్య కమ్యూనికేషన్ నెట్‌వర్క్ ద్వారా నిర్వహించబడుతుంది. పెద్ద క్లస్టర్, దాని సభ్యుల నోడ్‌ల వైఫల్యానికి ఎక్కువ సంభావ్యత. గొప్ప డేటా సైంటిస్ట్‌గా మారడానికి, మీరు పంపిణీ చేయబడిన సిస్టమ్‌ల కోసం సమస్యలను మరియు ఇప్పటికే ఉన్న పరిష్కారాలను అర్థం చేసుకోవాలి. ఈ ప్రాంతం పాతది మరియు సంక్లిష్టమైనది.
ఆండ్రూ టానెన్‌బామ్ ఈ రంగంలో మార్గదర్శకుడిగా పరిగణించబడ్డాడు. సిద్ధాంతానికి భయపడని వారికి, నేను అతని పుస్తకాన్ని సిఫార్సు చేస్తున్నాను , ఇది ప్రారంభకులకు నిరుత్సాహంగా అనిపించవచ్చు, కానీ ఇది నిజంగా మీ నైపుణ్యాలను మెరుగుపరచడంలో మీకు సహాయపడుతుంది.
నేను అనుకుంటున్నాను ఉత్తమ పరిచయ పుస్తకం. మార్గం ద్వారా, మార్టిన్ ఒక అద్భుతమైన ఉంది . పెద్ద డేటాను నిల్వ చేయడం మరియు ప్రాసెస్ చేయడం కోసం ఆధునిక మౌలిక సదుపాయాలను నిర్మించడం గురించి జ్ఞానాన్ని క్రమబద్ధీకరించడానికి అతని పని సహాయపడుతుంది.
వీడియోలను చూడటానికి ఇష్టపడే వారి కోసం, Youtube లో ఒక కోర్సు ఉంది .
7. డేటా పైప్‌లైన్‌లు
డేటా పైప్‌లైన్‌లు అనేది మీరు డేటా ఇంజనీర్‌గా లేకుండా జీవించలేరు.
ఎక్కువ సమయం, ఒక డేటా ఇంజనీర్ డేటా పైప్‌లైన్ అని పిలవబడే దాన్ని నిర్మిస్తాడు, అంటే అతను డేటాను ఒక ప్రదేశం నుండి మరొక ప్రదేశానికి బట్వాడా చేసే ప్రక్రియను సృష్టిస్తాడు. ఇవి బాహ్య సేవ యొక్క APIకి వెళ్లే కస్టమ్ స్క్రిప్ట్‌లు కావచ్చు లేదా SQL ప్రశ్నను తయారు చేసి, డేటాను పెంచి, కేంద్రీకృత స్టోర్ (డేటా వేర్‌హౌస్) లేదా నిర్మాణాత్మక డేటా స్టోర్ (డేటా లేక్స్)లో ఉంచవచ్చు.
సంగ్రహంగా చెప్పాలంటే: డేటా ఇంజనీర్ కోసం ప్రాథమిక చెక్‌లిస్ట్
సంగ్రహంగా చెప్పాలంటే, కిందివాటిపై మంచి అవగాహన అవసరం:
- సమాచార వ్యవస్థలు;
- సాఫ్ట్‌వేర్ డెవలప్‌మెంట్ (ఎజైల్, డెవొప్స్, డిజైన్ టెక్నిక్స్, SOA);
- పంపిణీ వ్యవస్థలు మరియు సమాంతర ప్రోగ్రామింగ్;
- డేటాబేస్ ఫండమెంటల్స్ - ప్లానింగ్, డిజైన్, ఆపరేషన్ మరియు ట్రబుల్షూటింగ్;
- ప్రయోగాల రూపకల్పన - భావనలను నిరూపించడానికి, విశ్వసనీయత, సిస్టమ్ పనితీరును గుర్తించడానికి మరియు మంచి పరిష్కారాలను త్వరగా అందించడానికి విశ్వసనీయ మార్గాలను అభివృద్ధి చేయడానికి A/B పరీక్షలు.
ఇవి డేటా ఇంజనీర్ కావడానికి కొన్ని అవసరాలు మాత్రమే, కాబట్టి డేటా సిస్టమ్‌లు, ఇన్ఫర్మేషన్ సిస్టమ్‌లు, నిరంతర డెలివరీ/డిప్లాయ్‌మెంట్/ఇంటిగ్రేషన్, ప్రోగ్రామింగ్ లాంగ్వేజ్‌లు మరియు ఇతర కంప్యూటర్ సైన్స్ టాపిక్‌లు (అన్ని సబ్జెక్ట్ ఏరియాలు కాదు) నేర్చుకోండి మరియు అర్థం చేసుకోండి.
చివరగా, నేను చెప్పాలనుకుంటున్న చివరిది కానీ చాలా ముఖ్యమైన విషయం.
డేటా ఇంజినీరింగ్‌గా మారే మార్గం కనిపించినంత సులభం కాదు. అతను క్షమించడు, అతను నిరాశపరిచాడు మరియు మీరు దీనికి సిద్ధంగా ఉండాలి. ఈ ప్రయాణంలో కొన్ని క్షణాలు మిమ్మల్ని వదులుకోవడానికి పురికొల్పవచ్చు. కానీ ఇది నిజమైన పని మరియు అభ్యాస ప్రక్రియ.
మొదటి నుండి షుగర్ కోట్ చేయవద్దు. ప్రయాణం యొక్క మొత్తం పాయింట్ వీలైనంత ఎక్కువ నేర్చుకోవడం మరియు కొత్త సవాళ్లకు సిద్ధంగా ఉండటం.
ఈ విషయాన్ని చక్కగా వివరించే గొప్ప చిత్రం ఇక్కడ ఉంది:
మరియు అవును, బర్న్‌అవుట్ మరియు విశ్రాంతిని నివారించాలని గుర్తుంచుకోండి. ఇది కూడా చాలా ముఖ్యమైనది. అదృష్టం!
కథనం గురించి మీరు ఏమనుకుంటున్నారు మిత్రులారా? మేము మిమ్మల్ని ఆహ్వానిస్తున్నాము , ఈరోజు 20.00 గంటలకు జరుగుతుంది. వెబ్‌నార్ సమయంలో, తక్కువ ఖర్చుతో చిన్న కంపెనీ లేదా స్టార్టప్ కోసం సమర్థవంతమైన మరియు స్కేలబుల్ డేటా ప్రాసెసింగ్ సిస్టమ్‌ను ఎలా నిర్మించాలో మేము చర్చిస్తాము. ఒక అభ్యాసంగా, మేము Google క్లౌడ్ డేటా ప్రాసెసింగ్ సాధనాలతో పరిచయం పొందుతాము. మళ్ళి కలుద్దాం!
మూలం: www.habr.com