Veri mühendisi mesleğini elde etmek için seviyelendirme planı

Son sekiz yıldır proje yöneticisi olarak çalışıyorum (iş yerinde kod yazmıyorum), bu da doğal olarak teknolojik altyapımı olumsuz etkiliyor. Teknolojik açığımı kapatmaya ve Veri mühendisi mesleğini almaya karar verdim. Bir Veri Mühendisinin temel becerisi, veri ambarlarını tasarlama, oluşturma ve sürdürme becerisidir.

Bir antrenman planı yaptım, sadece bana değil faydalı olacağını düşünüyorum. Plan kendi kendine çalışma kurslarına odaklanmıştır. Ücretsiz Rusça kurslarına öncelik verilir.

Bölümler:

• Algoritmalar ve veri yapıları. Anahtar bölüm. Öğrenin ve diğer her şey de işe yarayacak. Kodu elinize alıp temel yapıları ve algoritmaları kullanmak önemlidir.
• Veritabanları ve veri ambarları, İş Zekası. Algoritmalardan veri depolama ve işlemeye geçiyoruz.
• Hadoop ve Büyük Veri. Veritabanı sabit sürücüye dahil olmadığında veya verilerin analiz edilmesi gerektiğinde, ancak Excel bunları artık yükleyemediğinde, büyük veriler başlar. Bence bu bölüme ancak önceki iki bölümü derinlemesine inceledikten sonra geçmek gerekiyor.

Algoritmalar ve veri yapıları

Planıma Python öğrenmeyi, matematiğin temellerini tekrar etmeyi ve algoritma oluşturmayı dahil ettim.

• Python'da Programlama
• Python: Temel Bilgiler ve Uygulamalar
• Lineer Cebir
• Ayrık matematik üzerine Likbez
• Algoritmalar: teori ve pratik. Yöntemler
• Algoritmalar: teori ve pratik. veri yapıları

Veritabanları ve veri ambarları, İş Zekası

• Kitap: Martin Kleppman - Çok yüklü uygulamalar. Programlama, ölçeklendirme, destek. Kitap, farklı veri modellerinin nasıl çalıştığını, bunların içeriden uygulanmasını, göreve bağlı olarak sınırlamaları ve seçimleri anlatıyor.
• Veritabanlarına giriş
• DBMS'ye dalın
• İlişkisel olmayan veritabanlarına giriş

Veri ambarları, ETL, OLAP küpleri oluşturma ile ilgili konular büyük ölçüde araçlara bağlıdır, bu nedenle bu belgede derslerin bağlantılarını vermiyorum. Belirli bir şirkette belirli bir proje üzerinde çalışırken bu tür sistemleri incelemeniz önerilir. ETL ile tanışmak için deneyebilirsiniz Talend veya Hava akışı.

Kanımca, modern Veri Kasası tasarım metodolojisini incelemek önemlidir. 1 bağlantısı, 2 bağlantısı. Ve bunu öğrenmenin en iyi yolu, onu alıp basit bir örnekle uygulamaktır. GitHub'da birkaç Data Vault uygulama örneği var bağlantı. Modern Veri Ambarı Kitabı: Çevik Veri Ambarını Veri Kasası ile Modelleme, Hans Hultgren.

Son kullanıcılara yönelik İş Zekası araçlarını tanımak için raporların, panoların, mini veri ambarlarının ücretsiz tasarımcısı Power BI Desktop'ı kullanabilirsiniz. Eğitim materyalleri: 1 bağlantısı, 2 bağlantısı.

Hadoop ve Büyük Veri

• Üçüncü taraf kitaplıkları olmayan bağımsız bir MapReduce uygulamasıyla başlamanız gerekir. Bu, gelecekte çok iş parçacıklı uygulamaların daha iyi anlaşılmasını sağlayacaktır. Python'da mükemmel bir örnek açıklanmıştır burada.
• Hadoop. Büyük miktarda veriyi işlemek için sistem.
• Büyük Veri Mühendisliğine Giriş

Sonuç

Öğrendiğiniz her şey işte uygulanamaz. Bu nedenle, yeni bilgileri uygulamaya çalışacağınız bir bitirme projesine ihtiyacınız var.

Planda veri analizi ve Makine Öğrenimi ile ilgili herhangi bir konu bulunmamaktadır. bu daha çok Veri Bilimcisi mesleği için geçerlidir. Ayrıca AWS bulutları, Azure ile ilgili herhangi bir konu bulunmamaktadır. bu temalar büyük ölçüde platform seçimine bağlıdır.

Topluluğa sorular:
Seviyelendirme planım ne kadar yeterli? Ne çıkarmalı veya eklemeli?
Tez olarak hangi projeyi önerirsiniz?

Kaynak: habr.com