Rencana leveling kanggo nggayuh profesi Data engineer

Sajrone wolung taun kepungkur, aku wis kerja minangka manajer proyek (aku ora nulis kode ing kantor), sing sacara alami mengaruhi backend teknologi. Aku mutusake kanggo nutup celah teknologi lan entuk profesi insinyur Data. Katrampilan inti saka Insinyur Data yaiku kemampuan kanggo ngrancang, mbangun, lan njaga gudang data.

Aku nggawe rencana latihan, aku mikir bakal migunani ora mung kanggo aku. Rencana kasebut fokus ing kursus sinau mandiri. Prioritas diwenehake kanggo kursus gratis ing basa Rusia.

bagean:

• Algoritma lan struktur data. Bagean kunci. Sinau lan kabeh liyane bakal bisa uga. Iku penting kanggo njaluk tangan ing kode lan nggunakake struktur dhasar lan algoritma.
• Database lan gudang data, Business Intelligence. Kita pindhah saka algoritma menyang panyimpenan lan pangolahan data.
• Hadoop lan Big Data. Nalika database ora klebu ing hard drive, utawa nalika data kudu analisa, nanging Excel ora bisa mbukak maneh, data gedhe wiwit. Ing mratelakake panemume, iku perlu kanggo nerusake kanggo bagean iki mung sawise sinau jero saka loro sadurunge.

Algoritma lan struktur data

Ing rencana, aku kalebu sinau Python, mbaleni dhasar matematika lan algoritma.

• Pemrograman ing Python
• Python: Dhasar lan Aplikasi
• Aljabar linear
• Likbez babagan matématika diskrèt
• Algoritma: teori lan praktik. Metode
• Algoritma: teori lan praktik. Struktur Data

Database lan gudang data, Business Intelligence

• Buku: Martin Kleppman - Aplikasi sing akeh dimuat. Pemrograman, penskalaan, dukungan. Buku kasebut nggambarake kepiye model data sing beda-beda, implementasine saka njero, watesan lan pilihan gumantung saka tugas kasebut.
• Pambuka kanggo database
• Nyilem menyang DBMS
• Pambuka kanggo database non-relasional

Topik sing ana gandhengane karo bangunan gudang data, ETL, kubus OLAP gumantung banget karo alat, mula aku ora menehi tautan menyang kursus ing dokumen iki. Disaranake sinau sistem kasebut nalika nggarap proyek tartamtu ing perusahaan tartamtu. Kanggo kenalan karo ETL, sampeyan bisa nyoba Salam utawa airflow.

Miturut pendapatku, penting kanggo sinau metodologi desain Data Vault modern link 1, link 2. Lan cara sing paling apik kanggo sinau yaiku njupuk lan ngetrapake kanthi conto sing gampang. Ana sawetara conto implementasi Data Vault ing GitHub pranala. The Modern Data Warehouse Book: Modeling Agile Data Warehouse karo Data Vault dening Hans Hultgren.

Kanggo kenalan karo alat Business Intelligence kanggo pangguna pungkasan, sampeyan bisa nggunakake desainer gratis laporan, dashboard, gudang data mini Power BI Desktop. Materi pendidikan: link 1, link 2.

Hadoop lan Big Data

• Sampeyan kudu miwiti karo implementasine MapReduce independen tanpa perpustakaan pihak katelu. Iki bakal ngidini pangerten sing luwih apik babagan implementasi multithreaded ing mangsa ngarep. Conto apik banget ing Python diterangake kene.
• Hadoop. Sistem kanggo ngolah data sing akeh.
• Pengantar Big Data Engineering

kesimpulan

Ora kabeh sing sampeyan sinau bisa ditrapake ing karya. Mula, sampeyan butuh proyek lulusan sing bakal nyoba ngetrapake kawruh anyar.

Ora ana topik sing ana gandhengane karo analisis data lan Pembelajaran Mesin ing rencana kasebut. iki luwih ditrapake kanggo profesi Data Scientist. Uga ora ana topik sing ana gandhengane karo awan AWS, Azure. tema iki banget gumantung ing pilihan saka platform.

Pitakonan kanggo masyarakat:
Sepira cekap rencana leveling? Apa sing kudu dibusak utawa ditambah?
Proyek apa sing bakal disaranake minangka tesis?

Source: www.habr.com