Plani i nivelimit për marrjen e profesionit Inxhinier i të dhënave

Për tetë vitet e fundit kam punuar si menaxher projekti (nuk shkruaj kod në punë), gjë që natyrisht ndikon negativisht në backendin tim teknologjik. Vendosa të mbyll boshllëkun tim teknologjik dhe të marr profesionin e inxhinierit të të dhënave. Aftësia thelbësore e një Inxhinieri të Dhënave është aftësia për të projektuar, ndërtuar dhe mirëmbajtur depo të dhënash.

Kam bërë një plan trajnimi, mendoj se do të jetë i dobishëm jo vetëm për mua. Plani është i fokusuar në kurset e vetë-studimit. Prioritet u jepet kurseve falas në gjuhën ruse.

Seksionet:

• Algoritmet dhe strukturat e të dhënave. Seksioni kyç. Mësoni dhe gjithçka tjetër do të funksionojë gjithashtu. Është e rëndësishme të kapni kodin dhe të përdorni strukturat dhe algoritmet bazë.
• Bazat e të dhënave dhe magazinat e të dhënave, Inteligjenca e Biznesit. Ne po kalojmë nga algoritmet në ruajtjen dhe përpunimin e të dhënave.
• Hadoop dhe Big Data. Kur baza e të dhënave nuk përfshihet në hard disk, ose kur të dhënat duhet të analizohen, por Excel nuk mund t'i ngarkojë më ato, fillojnë të dhënat e mëdha. Për mendimin tim, është e nevojshme të vazhdohet me këtë pjesë vetëm pas një studimi të thellë të dy të mëparshmeve.

Algoritmet dhe strukturat e të dhënave

Në planin tim, unë përfshiva mësimin e Python, përsëritjen e bazave të matematikës dhe algoritmizim.

• Programimi në Python
• Python: Bazat dhe Aplikacionet
• Algjebër lineare
• Likbez mbi matematikën diskrete
• Algoritmet: teoria dhe praktika. Metodat
• Algoritmet: teoria dhe praktika. Strukturat e të dhënave

Bazat e të dhënave dhe magazinat e të dhënave, Inteligjenca e Biznesit

• Libri: Martin Kleppman - Aplikacione të ngarkuara shumë. Programim, shkallëzim, mbështetje. Libri përshkruan se si funksionojnë modele të ndryshme të të dhënave, zbatimi i tyre nga brenda, kufizimet dhe zgjedhjet në varësi të detyrës.
• Hyrje në bazat e të dhënave
• Zhyt në DBMS
• Hyrje në bazat e të dhënave jo-relacionale

Temat që lidhen me ndërtimin e depove të të dhënave, kubet ETL, OLAP varen shumë nga mjetet, kështu që unë nuk jap lidhje me kurset në këtë dokument. Këshillohet që të studiohen sisteme të tilla kur punoni në një projekt specifik në një kompani specifike. Për t'u njohur me ETL, mund të provoni Talend ose Airflow.

Sipas mendimit tim, është e rëndësishme të studiohet metodologjia moderne e projektimit të Data Vault lidhje 1, lidhje 2. Dhe mënyra më e mirë për ta mësuar atë është ta merrni dhe ta zbatoni me një shembull të thjeshtë. Ekzistojnë disa shembuj të zbatimit të Data Vault në GitHub lidhje. Libri Modern i të Dhënave Warehouse: Modelimi i Agile Magazine të Dhënave me Data Vault nga Hans Hultgren.

Për t'u njohur me mjetet e Business Intelligence për përdoruesit fundorë, mund të përdorni projektuesin falas të raporteve, paneleve, mini-magazinat e të dhënave Power BI Desktop. Materiale edukative: lidhje 1, lidhje 2.

Hadoop dhe Big Data

• Ju duhet të filloni me një zbatim të pavarur të MapReduce pa biblioteka të palëve të treta. Kjo do të mundësojë një kuptim më të mirë të zbatimeve me shumë fije në të ardhmen. Përshkruhet një shembull i shkëlqyer në Python këtu.
• Hadoop. Sistemi për përpunimin e sasive të mëdha të të dhënave.
• Hyrje në Inxhinierinë e të Dhënave të Mëdha

Përfundim

Jo çdo gjë që mësoni mund të zbatohet në punë. Prandaj, ju duhet një projekt diplomimi në të cilin do të përpiqeni të aplikoni njohuri të reja.

Në plan nuk ka tema që lidhen me analizën e të dhënave dhe Mësimin e Makinerisë. kjo vlen më shumë për profesionin e shkencëtarit të të dhënave. Nuk ka gjithashtu tema që lidhen me retë AWS, Azure. këto tema varen shumë nga zgjedhja e platformës.

Pyetje për komunitetin:
Sa i përshtatshëm është plani im i nivelimit? Çfarë të hiqni apo të shtoni?
Çfarë projekti do të rekomandonit si tezë?

Burimi: www.habr.com