గత ఎనిమిది సంవత్సరాలుగా నేను ప్రాజెక్ట్ మేనేజర్‌గా పని చేస్తున్నాను (నేను పనిలో కోడ్ వ్రాయను), ఇది సహజంగా నా సాంకేతిక నేపథ్యాన్ని ప్రతికూలంగా ప్రభావితం చేస్తుంది. నేను నా సాంకేతిక గ్యాప్‌ని మూసివేసి, డేటా ఇంజనీర్ వృత్తిని పొందాలని నిర్ణయించుకున్నాను. డేటా ఇంజనీర్ యొక్క ప్రధాన నైపుణ్యం డేటా గిడ్డంగులను రూపొందించడం, నిర్మించడం మరియు నిర్వహించడం.
నేను శిక్షణ ప్రణాళికను తయారు చేసాను, ఇది నాకు మాత్రమే ఉపయోగపడుతుందని నేను భావిస్తున్నాను. ఈ ప్రణాళిక స్వీయ-అధ్యయన కోర్సులపై దృష్టి సారించింది. రష్యన్ భాషలో ఉచిత కోర్సులకు ప్రాధాన్యత ఇవ్వబడుతుంది.
విభాగాలు:
- అల్గోరిథంలు మరియు డేటా నిర్మాణాలు. కీ విభాగం. ఇది నేర్చుకోండి మరియు మిగతావన్నీ పని చేస్తాయి. కోడ్‌పై మీ చేతులను పొందడం మరియు ప్రాథమిక నిర్మాణాలు మరియు అల్గారిథమ్‌లను ఉపయోగించడం ముఖ్యం.
- డేటాబేస్‌లు మరియు డేటా గిడ్డంగులు, బిజినెస్ ఇంటెలిజెన్స్. మేము అల్గారిథమ్‌ల నుండి డేటా నిల్వ మరియు ప్రాసెసింగ్‌కి మారుతున్నాము.
- హడూప్ మరియు బిగ్ డేటా. డేటాబేస్ హార్డ్ డ్రైవ్‌లో చేర్చబడనప్పుడు లేదా డేటాను విశ్లేషించాల్సిన అవసరం వచ్చినప్పుడు, కానీ Excel ఇకపై వాటిని లోడ్ చేయలేనప్పుడు, పెద్ద డేటా ప్రారంభమవుతుంది. నా అభిప్రాయం ప్రకారం, మునుపటి రెండింటిని లోతుగా అధ్యయనం చేసిన తర్వాత మాత్రమే ఈ విభాగానికి వెళ్లడం అవసరం.
అల్గోరిథంలు మరియు డేటా నిర్మాణాలు
నా ప్రణాళికలో, నేను పైథాన్ నేర్చుకోవడం, గణితం మరియు అల్గారిథమైజేషన్ యొక్క ప్రాథమికాలను పునరావృతం చేయడం వంటివి చేర్చాను.
డేటాబేస్‌లు మరియు డేటా గిడ్డంగులు, బిజినెస్ ఇంటెలిజెన్స్
- పుస్తకం: మార్టిన్ క్లెప్‌మాన్ - అధికంగా లోడ్ చేయబడిన అప్లికేషన్‌లు. ప్రోగ్రామింగ్, స్కేలింగ్, సపోర్ట్. వివిధ డేటా నమూనాలు ఎలా పనిచేస్తాయో, లోపల నుండి వాటి అమలు, పరిమితులు మరియు విధిని బట్టి ఎంపికలను పుస్తకం వివరిస్తుంది.
డేటా వేర్‌హౌస్‌లను నిర్మించడానికి సంబంధించిన అంశాలు, ETL, OLAP క్యూబ్‌లు టూల్స్‌పై ఎక్కువగా ఆధారపడి ఉంటాయి, కాబట్టి నేను ఈ పత్రంలో కోర్సులకు లింక్‌లను ఇవ్వను. ఒక నిర్దిష్ట సంస్థలో ఒక నిర్దిష్ట ప్రాజెక్ట్లో పని చేస్తున్నప్పుడు అటువంటి వ్యవస్థలను అధ్యయనం చేయడం మంచిది. ETLతో పరిచయం కోసం, మీరు ప్రయత్నించవచ్చు లేదా .
నా అభిప్రాయం ప్రకారం, ఆధునిక డేటా వాల్ట్ డిజైన్ మెథడాలజీని అధ్యయనం చేయడం ముఖ్యం , . మరియు దానిని నేర్చుకోవడానికి ఉత్తమ మార్గం ఏమిటంటే, దానిని తీసుకొని దానిని ఒక సాధారణ ఉదాహరణతో అమలు చేయడం. GitHubలో అనేక డేటా వాల్ట్ అమలు ఉదాహరణలు ఉన్నాయి . ది మోడరన్ డేటా వేర్‌హౌస్ బుక్: హన్స్ హల్ట్‌గ్రెన్ ద్వారా డేటా వాల్ట్‌తో ఎజైల్ డేటా వేర్‌హౌస్‌ను మోడలింగ్ చేయడం.
తుది వినియోగదారుల కోసం బిజినెస్ ఇంటెలిజెన్స్ టూల్స్‌తో పరిచయం పొందడానికి, మీరు రిపోర్ట్‌లు, డాష్‌బోర్డ్‌లు, మినీ డేటా వేర్‌హౌస్‌ల పవర్ BI డెస్క్‌టాప్ యొక్క ఉచిత డిజైనర్‌ని ఉపయోగించవచ్చు. విద్యా సామగ్రి: , .
హడూప్ మరియు బిగ్ డేటా
- మీరు మూడవ పార్టీ లైబ్రరీలు లేకుండా MapReduce యొక్క స్వతంత్ర అమలుతో ప్రారంభించాలి. ఇది భవిష్యత్తులో మల్టీథ్రెడ్ ఇంప్లిమెంటేషన్‌లను బాగా అర్థం చేసుకోవడానికి అనుమతిస్తుంది. పైథాన్‌లో ఒక అద్భుతమైన ఉదాహరణ వివరించబడింది .
తీర్మానం
మీరు నేర్చుకునే ప్రతిదీ పనిలో వర్తించదు. అందువల్ల, మీకు గ్రాడ్యుయేషన్ ప్రాజెక్ట్ అవసరం, దీనిలో మీరు కొత్త జ్ఞానాన్ని వర్తింపజేయడానికి ప్రయత్నిస్తారు.
ప్లాన్‌లో డేటా విశ్లేషణ మరియు మెషిన్ లెర్నింగ్‌కు సంబంధించిన అంశాలు ఏవీ లేవు. ఇది డేటా సైంటిస్ట్ వృత్తికి ఎక్కువగా వర్తిస్తుంది. AWS clouds, Azureకి సంబంధించిన టాపిక్‌లు కూడా లేవు. ఈ థీమ్‌లు ప్లాట్‌ఫారమ్ ఎంపికపై ఎక్కువగా ఆధారపడి ఉంటాయి.
సమాజానికి ప్రశ్నలు:
నా లెవలింగ్ ప్లాన్ ఎంతవరకు సరిపోతుంది? ఏమి తీసివేయాలి లేదా జోడించాలి?
మీరు థీసిస్‌గా ఏ ప్రాజెక్ట్‌ని సిఫార్సు చేస్తారు?
మూలం: www.habr.com