Datu-ingeniaria lanbidea lortzeko mailaketa plana

Azken zortzi urteotan proiektuen kudeatzaile gisa lan egin dut (lanean ez dut koderik idazten), eta horrek modu naturalean negatiboki eragiten du nire backend teknologikoa. Nire hutsune teknologikoa ixtea eta Datu ingeniari lanbidea lortzea erabaki nuen. Datu-ingeniari baten oinarrizko trebetasuna datu biltegiak diseinatzeko, eraikitzeko eta mantentzeko gaitasuna da.

Entrenamendu plan bat egin nuen, niretzat ez ezik erabilgarria izango dela uste dut. Plana autoikaskuntzako ikastaroetara bideratzen da. Lehentasuna errusierazko doako ikastaroei ematen zaie.

Atalak:

  • Algoritmoak eta datu-egiturak. Gakoen atala. Ikasi eta gainontzeko guztiak ere funtzionatuko du. Garrantzitsua da kodea eskuan jartzea eta oinarrizko egiturak eta algoritmoak erabiltzea.
  • Datu-baseak eta datu biltegiak, Business Intelligence. Algoritmoetatik datuak biltegiratu eta prozesatzen ari gara.
  • Hadoop eta Big Data. Datu-basea disko gogorrean sartzen ez denean, edo datuak aztertu behar direnean, baina Excel-ek jada ezin dituenean kargatu, datu handiak hasten dira. Nire ustez, aurreko biak sakon aztertu ondoren bakarrik jo behar da atal honetara.

Algoritmoak eta datu-egiturak

Nire planean, Python ikastea sartu nuen, matematikaren eta algoritmoaren oinarriak errepikatuz.

Datu-baseak eta datu biltegiak, Business Intelligence

Datu biltegiak, ETL, OLAP kuboak eraikitzearekin zerikusia duten gaiak tresnen menpe daude, beraz, ez dut dokumentu honetan ikastaroetarako estekarik ematen. Komeni da horrelako sistemak aztertzea enpresa zehatz batean proiektu zehatz bat lantzerakoan. ETL ezagutzeko, probatu dezakezu Talend edo Airflow.

Nire ustez, garrantzitsua da Data Vault diseinuaren metodologia modernoa aztertzea esteka 1, esteka 2. Eta ikasteko modurik onena adibide sinple batekin hartu eta gauzatzea da. GitHub-en hainbat Data Vault inplementazio adibide daude link. The Modern Data Warehouse Book: Agile Data Warehouse modelatzea Data Vault-ekin Hans Hultgren-en eskutik.

Azken erabiltzaileentzako Business Intelligence tresnak ezagutzeko, Power BI Desktop txostenen, aginte-panelen, datu-biltegi txikien doako diseinatzailea erabil dezakezu. Hezkuntza materiala: esteka 1, esteka 2.

Hadoop eta Big Data

Ondorioa

Ikasten duzun guztia ezin da lanean aplikatu. Horregatik, ezagutza berriak aplikatzen saiatuko zaren graduazio-proiektu bat behar duzu.

Planean ez dago datuen analisiarekin eta Machine Learningarekin lotutako gairik. hau Data Scientist lanbideari gehiago aplikatzen zaio. Ez dago AWS hodeiekin lotutako gairik ere, Azure. gai hauek plataforma aukeratzearen menpekotasun handia dute.

Galderak komunitateari:
Zenbateraino da egokia nire mailaketa plana? Zer kendu edo gehitu?
Zein proiektu gomendatuko zenuke tesi gisa?

Iturria: www.habr.com

Gehitu iruzkin berria