Pelan meratakan untuk mendapatkan profesion jurutera Data

Saya telah bekerja sebagai pengurus projek selama lapan tahun yang lalu (saya tidak menulis kod di tempat kerja), yang secara semula jadi mempunyai kesan negatif pada bahagian belakang teknologi saya. Saya memutuskan untuk mengurangkan jurang teknologi saya dan mendapatkan profesion jurutera Data. Kemahiran utama seorang jurutera Data ialah keupayaan untuk mereka bentuk, membina dan menyelenggara gudang data.

Saya telah merangka pelan latihan, saya fikir ia akan berguna bukan sahaja untuk saya. Rancangan ini tertumpu kepada kajian bebas kursus. Keutamaan diberikan kepada kursus percuma dalam bahasa Rusia.

Bahagian:

• Algoritma dan struktur data. Bahagian kunci. Jika anda mempelajarinya, segala-galanya akan berjaya juga. Adalah penting untuk menjadi mahir dalam menulis kod dan menggunakan struktur dan algoritma asas.
• Pangkalan data dan gudang data, Perisikan Perniagaan. Kami beralih daripada algoritma kepada penyimpanan dan pemprosesan data.
• Hadoop dan Data Besar. Apabila pangkalan data tidak muat pada cakera keras, atau apabila data perlu dianalisis, tetapi Excel tidak lagi boleh memuatkannya, data besar bermula. Pada pendapat saya, anda perlu beralih ke bahagian ini hanya selepas kajian mendalam tentang dua sebelumnya.

Algoritma dan struktur data

Dalam rancangan saya, saya menyertakan pembelajaran Python, menyemak asas matematik dan algoritma.

• Pengaturcaraan Python
• Python: Asas dan Aplikasi
• Algebra linear
• Program pendidikan matematik diskret
• Algoritma: teori dan amalan. Kaedah
• Algoritma: teori dan amalan. Struktur data

Pangkalan data dan gudang data, Perisikan Perniagaan

• Buku: Martin Kleppmann - Aplikasi beban tinggi. Pengaturcaraan, penskalaan, sokongan. Buku ini menerangkan cara model data yang berbeza berfungsi, pelaksanaannya dari dalam, had dan pilihan bergantung pada tugas.
• Pengenalan kepada Pangkalan Data
• Menyelam ke dalam DBMS
• Pengenalan kepada Pangkalan Data Bukan Hubungan

Topik yang berkaitan dengan membina gudang data, ETL, kiub OLAP sangat bergantung pada alatan, jadi dalam dokumen ini saya tidak menyediakan pautan ke kursus. Adalah dinasihatkan untuk mengkaji sistem sedemikian apabila bekerja pada projek tertentu dalam syarikat tertentu. Untuk berkenalan dengan ETL anda boleh mencuba Talend atau Aliran udara.

Pada pendapat saya, adalah penting untuk mengkaji metodologi reka bentuk gudang data moden Bilik Kebal Data pautan 1, pautan 2. Dan cara terbaik untuk mempelajarinya adalah dengan mengambilnya dan melaksanakannya dengan contoh mudah. Terdapat beberapa contoh pelaksanaan Data Vault pada GitHub pautan. Buku moden tentang gudang data: Memodelkan Gudang Data Agile dengan Bilik Kebal Data oleh Hans Hultgren.

Untuk membiasakan diri dengan alatan Perisikan Perniagaan untuk pengguna akhir, anda boleh menggunakan pereka bentuk percuma laporan, papan pemuka dan gudang data mini Power BI Desktop. Bahan pendidikan: pautan 1, pautan 2.

Hadoop dan Data Besar

• Anda perlu bermula dengan pelaksanaan sendiri MapReduce tanpa perpustakaan pihak ketiga. Ini akan membolehkan pemahaman yang lebih baik tentang pelaksanaan berbilang benang pada masa hadapan. Contoh yang sangat baik dalam Python diterangkan di sini.
• Hadoop. Sistem untuk memproses jumlah data yang besar.
• Pengenalan kepada Kejuruteraan Data Besar

Kesimpulan

Tidak semua yang anda belajar boleh diaplikasikan di tempat kerja. Oleh itu, anda memerlukan projek pengijazahan di mana anda akan cuba menerapkan pengetahuan baru.

Pelan itu tidak termasuk topik yang berkaitan dengan analisis data dan Pembelajaran Mesin, kerana ini lebih relevan kepada profesion Data Scientist. Juga tiada topik yang berkaitan dengan awan AWS dan Azure. topik ini sangat bergantung pada pilihan platform.

Soalan untuk masyarakat:
Sejauh manakah rancangan pengepaman saya mencukupi? Apa yang perlu dialih keluar atau ditambah?
Apakah projek yang anda cadangkan sebagai tesis?

Sumber: www.habr.com