Rencana leveling untuk memperoleh profesi Data engineer

Selama delapan tahun terakhir saya telah bekerja sebagai manajer proyek (saya tidak menulis kode di tempat kerja), yang secara alami berdampak negatif pada backend teknologi saya. Saya memutuskan untuk menutup celah teknologi saya dan mendapatkan profesi sebagai insinyur data. Keterampilan inti dari Insinyur Data adalah kemampuan untuk merancang, membangun, dan memelihara gudang data.

Saya membuat rencana pelatihan, saya pikir itu akan berguna tidak hanya untuk saya. Rencananya difokuskan pada kursus belajar mandiri. Prioritas diberikan untuk kursus gratis dalam bahasa Rusia.

Bagian:

• Algoritma dan struktur data. Bagian kunci. Pelajari itu dan yang lainnya akan berhasil juga. Penting untuk mendapatkan kode dan menggunakan struktur dasar dan algoritme.
• Database dan gudang data, Business Intelligence. Kami beralih dari algoritme ke penyimpanan dan pemrosesan data.
• Hadoop dan Data Besar. Saat database tidak disertakan di hard drive, atau saat data perlu dianalisis, tetapi Excel tidak dapat lagi memuatnya, data besar dimulai. Menurut pendapat saya, perlu melanjutkan ke bagian ini hanya setelah mempelajari secara mendalam dua bagian sebelumnya.

Algoritma dan struktur data

Dalam rencana saya, saya memasukkan belajar Python, mengulangi dasar-dasar matematika dan algoritme.

• Pemrograman dengan Python
• Python: Dasar dan Aplikasi
• Aljabar linier
• Likbez pada matematika diskrit
• Algoritma: teori dan praktek. Metode
• Algoritma: teori dan praktek. Struktur data

Database dan gudang data, Business Intelligence

• Buku: Martin Kleppman - Aplikasi yang sangat dimuat. Pemrograman, penskalaan, dukungan. Buku ini menjelaskan bagaimana model data yang berbeda bekerja, penerapannya dari dalam, batasan dan pilihan tergantung pada tugasnya.
• Pengantar database
• Selami DBMS
• Pengantar database non-relasional

Topik terkait membangun gudang data, ETL, kubus OLAP sangat bergantung pada alat, jadi saya tidak memberikan tautan ke kursus dalam dokumen ini. Dianjurkan untuk mempelajari sistem seperti itu saat mengerjakan proyek tertentu di perusahaan tertentu. Untuk kenalan dengan ETL, Anda bisa mencobanya Talend или Aliran udara.

Menurut pendapat saya, penting untuk mempelajari metodologi desain Data Vault modern Tautan 1, Tautan 2. Dan cara terbaik untuk mempelajarinya adalah dengan mengambil dan menerapkannya dengan contoh sederhana. Ada beberapa contoh penerapan Data Vault di GitHub link. Buku Gudang Data Modern: Memodelkan Gudang Data Agile dengan Data Vault oleh Hans Hultgren.

Untuk berkenalan dengan alat Business Intelligence untuk pengguna akhir, Anda dapat menggunakan desainer gratis untuk laporan, dasbor, gudang data mini, Power BI Desktop. Materi pendidikan: Tautan 1, Tautan 2.

Hadoop dan Data Besar

• Anda harus mulai dengan implementasi MapReduce secara independen tanpa library pihak ketiga. Ini akan memungkinkan pemahaman yang lebih baik tentang implementasi multithreaded di masa depan. Contoh yang sangat baik dalam Python dijelaskan di sini.
• Hadoop. Sistem untuk memproses data dalam jumlah besar.
• Pengantar Rekayasa Data Besar

Kesimpulan

Tidak semua yang Anda pelajari dapat diterapkan di tempat kerja. Oleh karena itu, Anda memerlukan proyek kelulusan di mana Anda akan mencoba menerapkan ilmu baru.

Tidak ada topik yang terkait dengan analisis data dan Pembelajaran Mesin dalam rencana tersebut. ini lebih berlaku untuk profesi Data Scientist. Juga tidak ada topik yang terkait dengan awan AWS, Azure. tema-tema ini sangat bergantung pada pilihan platform.

Pertanyaan kepada masyarakat:
Seberapa memadai rencana leveling saya? Apa yang harus dihapus atau ditambahkan?
Proyek apa yang akan Anda rekomendasikan sebagai tesis?

Sumber: www.habr.com