Տվյալների ինժեների մասնագիտություն ստանալու հղկման ծրագիր

Վերջին ութ տարիներին աշխատում եմ նախագծերի ղեկավարի պաշտոնում (աշխատի կոդ չեմ գրում), ինչը բնականաբար բացասաբար է ազդում իմ տեխնոլոգիական հիմքի վրա։ Ես որոշեցի կրճատել իմ տեխնոլոգիական հետաձգումը և ստանալ տվյալների ինժեներ մասնագիտություն։ Տվյալների ինժեների հիմնական կարողությունը տվյալների պահոցներ մշակել, կառուցել և պահպանել է։

Սցղը կազմեցի ուսուցման ծրագիր, կարծում եմ, այն օգտակար կլինի ոչ միայն ինձ համար։ Ծրագիրը ուղղված է ինքնուրույն դասերի ուսումնասիրությանը։ Ուժեղությունը կտրվում է ռուսալեզու անվճար դասերի։

Բաժիններ՝

• Ալգորիթմներ և տվյալների կառուցվածքներ։ Կենտրոնական բաժին։ Եթե դու կլուսաբանես այն, ապա մնացածը նույնպես կստացվի։ Կարևոր է ձեռք բերել փորձ կոդ գրելու և հիմնական կառուցվածքներն ու ալգորիթմները օգտագործելու մեջ։
• Տվյալների բազաներ և պահոցներ, Բիզնեսի Ինտելիգենսիա։ Ալգորիթմներից անցնում ենք պահման և տվյալների մշակմանը։
• Hadoop և Մեծ տվյալներ։ Երբ տվյալների բազան չի տեղավորվում հ硬盘ի վրա, կամ երբ անհրաժեշտ է վերլուծել տվյալները, բայց Excel-ն արդեն չի կարող դրանք ներբեռնել, սկսվում են մեծ տվյալները։ Իմ կարծիքով՝ այս բաժին անցնել պետք է միայն երկու նախորդների խոր իմացությունից հետո։

Ալգորիթմներ և տվյալների կառուցվածքներ

Իմ ծրագրում ներառել եմ Python լեզվի ուսումնասիրություն, մաթեմատիկայի և ալգորիթմավորման հիմքերի կրկնում։

• Python-ում ծրագրավորում
• Python. հիմունքներ և կիրառություն
• Վերահսկիչ ալգեբրա
• Դիսկրետ մաթեմատիկայի ծանոթություն
• Ալգորիթմներ. տեսություն և պրակտիկա. եղանակներ
• Ալգորիթմներ. տեսություն և պրակտիկա. տվյալների կառուցվածքներ

Տվյալների պահոցներ և բիզնեսի ինտելիգենսիա

• Գիրք. Մարտին Կլեպպման — Բարձր բեռնատար հավելվածներ։ Ծրագրավորում, մեծացում, պահպանություն։ Գիրքն նկարագրում է, թե ինչպես են աշխատում տարբեր տվյալների մոդելներ, դրանց ներսի իրականացումը, սահմանափակումները և ընտրությունները՝ կախված խնդանից։
• Տվյալների բազաների գործընկերվածություն
• Մուտք դեպի ՍՈւԲԴ
• Անվերահսկիչ տվյալների բազաների ամփոփում

Տվյալների պահոցների կառուցման, ETL-ն, OLAP-կուբերի հետ կապված թեմաները մեծապես կախված են գործիքներից, այնպես որ այս փաստաթղթում չեմ տալիս դասերի հղումներ։ Յուրաքանչյուր կոնկրետ նախագծի համար նման համակարգեր ուսումնասիրելը նպատակահարմար է։ ETL-ի հետ ծանոթանալու համար կարելի է փորձել Talend կամ Airflow.

Իմ կարծիքով, կարևոր է ուսումնասիրել ժամանակակից տվյալների պահոցների նախագծման մեթոդոլոգիան՝ Data Vault հղում 1, հղում 2. Եվ լավագույն միջոցն է ուսումնասիրել այն՝ վերցնել և իրականացնել պարզ օրինակով։ GitHub-ում Data Vault-ի մի քանի իրականացման օրինակներ կան։ հղումը. Ժամանակակից գիրք տվյալների պահոցների մասին՝ Modeling the Agile Data Warehouse with Data Vault հեղինակ ՝ Հանս Հուլտրեն։

Բիզնեսի ինտելիգենսիայի գործիքների հետ ծանոթանալու համար վերջնական օգտատերերի համար կարելի է օգտագործել անվճար հաշվետվությունների, դաշբորդների, փոքր տվյալների պահոցների կառուցող Power BI Desktop։ Ուսուցչական նյութեր՝ հղում 1, հղում 2.

Hadoop և Մեծ տվյալներ

• Պետք է սկսել ինքնուրույն իրականացման համար MapReduce առանց արտաքին գրադարանների: Սա ապագայում կօգնի ավելի լավ հասկանալ բազմաբաշխված իրականացումները: Շ excellente գրագետ օրինակ Python-ում նկարագրված է: այստեղ.
• Hadoop. Կարգավորիչ համակարգ մեծ ծավալների տվյալների մշակման համար։
• Մեծ տվյալների ինժեներիայի առաջնửa.

Ավարտ

Այդ ամենը, ինչ սովորում ես, չէր կարող կրճատվել աշխատանքի: Ուստի անհրաժեշտ է վերջն առաջարկ, որտեղ փորձես կիրառել նոր գիտելիքները:

Ծրագիրը չի պարունակում տվյալների վերլուծության և Machine Learning հետ կապված թեմաներ, քանի որ նրանք ավելի շատ կապված են Data Scientist մասնագիտության հետ: Այլևս թեմաներ չեն առկա AWS, Azure մթերումների, քանի որ դրանք մնում են առplatform ընտրության:

Հետաքրքրություններ համայնքում:
Ի՞նչն է իմ բարելավման պլանը? Ի՞նչը պետք է ջնջել կամ ավելացնել:
Որո՞նք են առաջարկառուկները որպես վերջնական աշխատանք:

Ընտանիք: habr.com