Sa huling walong taon ay nagtatrabaho ako bilang isang project manager (hindi ako nagsusulat ng code sa trabaho), na natural na negatibong nakakaapekto sa aking teknolohikal na backend. Nagpasya akong isara ang aking teknolohikal na agwat at kunin ang propesyon ng Data engineer. Ang pangunahing kasanayan ng isang Data Engineer ay ang kakayahang magdisenyo, bumuo, at magpanatili ng mga warehouse ng data.
Gumawa ako ng isang plano sa pagsasanay, sa palagay ko ito ay magiging kapaki-pakinabang hindi lamang para sa akin. Ang plano ay nakatuon sa mga kurso sa pag-aaral sa sarili. Ibinibigay ang priyoridad sa mga libreng kurso sa Russian.
Mga Seksyon:
- Algorithm at istruktura ng data. Susing seksyon. Alamin ito at lahat ng iba pa ay gagana rin. Mahalagang makuha ang iyong mga kamay sa code at gamitin ang mga pangunahing istruktura at algorithm.
- Mga database at data warehouse, Business Intelligence. Lumilipat kami mula sa mga algorithm patungo sa pag-iimbak at pagproseso ng data.
- Hadoop at Big Data. Kapag ang database ay hindi kasama sa hard drive, o kapag ang data ay kailangang pag-aralan, ngunit hindi na mai-load ng Excel ang mga ito, magsisimula ang malaking data. Sa aking palagay, kinakailangan na magpatuloy sa seksyong ito pagkatapos lamang ng malalim na pag-aaral ng dalawang nauna.
Mga algorithm at istruktura ng data
Sa aking plano, isinama ko ang pag-aaral ng Python, pag-uulit ng mga pangunahing kaalaman sa matematika at algorithmization.
Mga database at data warehouse, Business Intelligence
- Aklat: Martin Kleppman - Highly load na mga application. Programming, scaling, suporta. Inilalarawan ng aklat kung paano gumagana ang iba't ibang modelo ng data, ang kanilang pagpapatupad mula sa loob, mga limitasyon at mga pagpipilian depende sa gawain.
Ang mga paksang nauugnay sa pagbuo ng mga data warehouse, ETL, OLAP cube ay lubos na nakadepende sa mga tool, kaya hindi ako nagbibigay ng mga link sa mga kurso sa dokumentong ito. Maipapayo na pag-aralan ang mga naturang sistema kapag nagtatrabaho sa isang partikular na proyekto sa isang partikular na kumpanya. Para sa kakilala sa ETL, maaari mong subukan o .
Sa aking opinyon, mahalagang pag-aralan ang modernong pamamaraan ng disenyo ng Data Vault , . At ang pinakamahusay na paraan upang matutunan ito ay kunin ito at ipatupad ito sa isang simpleng halimbawa. Mayroong ilang mga halimbawa ng pagpapatupad ng Data Vault sa GitHub . Ang Modern Data Warehouse Book: Pagmomodelo ng Agile Data Warehouse gamit ang Data Vault ni Hans Hultgren.
Upang maging pamilyar sa mga tool sa Business Intelligence para sa mga end user, maaari mong gamitin ang libreng designer ng mga ulat, dashboard, mini data warehouse na Power BI Desktop. Mga materyales na pang-edukasyon: , .
Hadoop at Big Data
- Kailangan mong magsimula sa isang independiyenteng pagpapatupad ng MapReduce nang walang mga third-party na aklatan. Magbibigay-daan ito para sa isang mas mahusay na pag-unawa sa mga multithreaded na pagpapatupad sa hinaharap. Ang isang mahusay na halimbawa sa Python ay inilarawan .
Konklusyon
Hindi lahat ng natutunan mo ay mailalapat sa trabaho. Samakatuwid, kailangan mo ng isang proyekto sa pagtatapos kung saan susubukan mong ilapat ang mga bagong kaalaman.
Walang mga paksang nauugnay sa pagsusuri ng data at Machine Learning sa plano. mas nalalapat ito sa propesyon ng Data Scientist. Wala ring mga paksang nauugnay sa AWS clouds, Azure. ang mga temang ito ay lubos na nakadepende sa pagpili ng platform.
Mga tanong sa komunidad:
Gaano ka sapat ang aking leveling plan? Ano ang dapat alisin o idagdag?
Anong proyekto ang irerekomenda mo bilang isang thesis?
Pinagmulan: www.habr.com