Veri Bilimcisi ve Veri Mühendisi meslekleri sıklıkla karıştırılır. Her şirketin verilerle çalışma konusunda kendine özgü özellikleri, analizleri için farklı amaçları ve hangi uzmanın işin hangi kısmıyla ilgilenmesi gerektiği konusunda farklı bir fikri vardır, dolayısıyla her birinin kendi gereksinimleri vardır.
Bu uzmanların arasındaki farkın ne olduğunu, hangi iş sorunlarını çözdüklerini, hangi becerilere sahip olduklarını ve ne kadar kazandıklarını bulalım. Materyalin büyük olduğu ortaya çıktı, bu yüzden onu iki yayına ayırdık.
İlk makalede fakülte başkanı Elena Gerasimova “" Netoloji'de Veri Bilimcisi ile Veri Mühendisi arasındaki farkın ne olduğu ve hangi araçlarla çalıştıkları anlatılıyor.
Mühendislerin ve bilim adamlarının rolleri nasıl farklılık gösterir?
Veri mühendisi, bir yandan veri altyapısını (veri tabanları, depolama ve toplu işleme sistemleri) geliştiren, test eden ve sürdüren bir uzmandır. Öte yandan, analistler ve veri bilimcileri tarafından kullanılmak üzere verileri temizleyen ve "taran", yani veri işleme boru hatları oluşturan kişidir.
Veri Bilimcisi, makine öğrenimi algoritmalarını ve sinir ağlarını kullanarak tahmine dayalı (ve diğer) modelleri oluşturup eğiterek işletmelerin gizli kalıpları bulmasına, gelişmeleri tahmin etmesine ve temel iş süreçlerini optimize etmesine yardımcı olur.
Veri Bilimcisi ile Veri Mühendisi arasındaki temel fark, genellikle farklı hedeflere sahip olmalarıdır. Her ikisi de verilerin erişilebilir ve yüksek kalitede olmasını sağlamak için çalışır. Ancak bir Veri Bilimcisi, sorularına yanıtlar bulur ve hipotezleri bir veri ekosisteminde (örneğin, Hadoop'a dayalı olarak) test eder ve bir Veri Mühendisi, bir Spark kümesinde bir veri bilimci tarafından yazılan bir makine öğrenimi algoritmasına hizmet vermek için aynı işlem hattını oluşturur. ekosistem.
Veri mühendisi bir ekibin parçası olarak çalışarak işletmeye değer katar. Görevi, geliştiricilerden iş dünyasında raporlama tüketicilerine kadar farklı katılımcılar arasında önemli bir bağlantı görevi görmek ve pazarlama ve üründen BI'ya kadar analistlerin verimliliğini artırmaktır.
Bir Veri Bilimcisi ise tam tersine şirketin stratejisinde aktif rol alır ve içgörü elde etme, kararlar alma, otomasyon algoritmalarını uygulama, verileri modelleme ve verilerden değer üretme konusunda aktif rol alır.
Verilerle çalışmak GIGO (çöp girme - çöp çıkarma) ilkesine tabidir: eğer analistler ve veri bilimcileri hazırlıksız ve potansiyel olarak yanlış verilerle uğraşırlarsa, en karmaşık analiz algoritmalarını kullanırken bile sonuçlar yanlış olacaktır.
Veri mühendisleri bu sorunu, verileri işlemek, temizlemek ve dönüştürmek için işlem hatları oluşturarak ve veri bilimcilerinin yüksek kaliteli verilerle çalışmasına olanak tanıyarak çözer.
Piyasada verilerle çalışmaya yönelik, verilerin görünümünden çıktıya ve yönetim kurulu için bir kontrol paneline kadar her aşamayı kapsayan birçok araç bulunmaktadır. Ve bunları kullanma kararının bir mühendis tarafından verilmesi önemlidir - moda olduğu için değil, süreçteki diğer katılımcıların çalışmalarına gerçekten yardımcı olacağı için.
Geleneksel olarak: Bir şirketin BI ile ETL arasında bağlantı kurması (veri yükleme ve raporları güncelleme) gerekiyorsa, burada bir Veri Mühendisinin uğraşması gereken tipik eski bir temel vardır (ekipte bir mimarın da olması iyidir).
Veri Mühendisinin Sorumlulukları
- Veri işleme altyapısının geliştirilmesi, inşası ve bakımı.
- Hataları ele alma ve güvenilir veri işleme hatları oluşturma.
- Çeşitli dinamik kaynaklardan gelen yapılandırılmamış verileri analistlerin çalışması için gerekli forma getirmek.
- Veri tutarlılığını ve kalitesini iyileştirmeye yönelik öneriler sunmak.
- Veri bilimcileri ve veri analistleri tarafından kullanılan veri mimarisini sağlamak ve sürdürmek.
- Onlarca veya yüzlerce sunucudan oluşan dağıtılmış bir kümede verileri tutarlı ve verimli bir şekilde işleyin ve saklayın.
- Kesintilere dayanabilecek basit ama sağlam mimariler oluşturmak için araçların teknik değiş tokuşlarını değerlendirin.
- Veri akışlarının ve ilgili sistemlerin kontrolü ve desteği (izleme ve uyarıların ayarlanması).
Veri Mühendisi yörüngesinde başka bir uzmanlık daha var: ML mühendisi. Kısacası bu mühendisler, makine öğrenimi modellerini endüstriyel uygulamaya ve kullanıma getirme konusunda uzmanlaşmıştır. Genellikle bir veri bilimciden alınan model, bir çalışmanın parçasıdır ve savaş koşullarında çalışmayabilir.
Veri Bilimcisinin Sorumlulukları
- Makine öğrenimi algoritmalarını uygulamak için verilerden özellikler çıkarma.
- Verilerdeki kalıpları tahmin etmek ve sınıflandırmak için çeşitli makine öğrenimi araçlarını kullanma.
- Algoritmalara ince ayar yaparak ve optimize ederek makine öğrenimi algoritmalarının performansını ve doğruluğunu artırma.
- Şirketin stratejisine uygun, test edilmesi gereken “güçlü” hipotezlerin oluşturulması.
Hem Veri Mühendisi hem de Veri Bilimcisi, bir şirketin ek kar elde edebileceği veya maliyetleri azaltabileceği bir veri kültürünün geliştirilmesine somut bir katkıyı paylaşıyor.
Mühendisler ve bilim insanları hangi diller ve araçlarla çalışıyor?
Günümüzde veri bilimcilerden beklentiler değişti. Daha önce mühendisler büyük SQL sorguları topluyor, MapReduce'u manuel olarak yazıyor ve Informatica ETL, Pentaho ETL, Talend gibi araçları kullanarak verileri işliyorlardı.
2020'de bir uzman, Python ve modern hesaplama araçları (örneğin, Airflow) hakkında bilgi sahibi olmadan, bulut platformlarıyla çalışma ilkelerini anlamadan (güvenlik ilkelerini gözlemlerken bunları donanımdan tasarruf etmek için kullanmak) yapamaz.
SAP, Oracle, MySQL, Redis, büyük şirketlerdeki veri mühendisleri için geleneksel araçlardır. İyiler ama lisansların maliyeti o kadar yüksek ki onlarla çalışmayı öğrenmek yalnızca endüstriyel projelerde anlamlı oluyor. Aynı zamanda Postgres şeklinde ücretsiz bir alternatif de var - ücretsiz ve sadece eğitim için uygun değil.
Tarihsel olarak Java ve Scala isteklerine sıklıkla rastlanıyor ancak teknolojiler ve yaklaşımlar geliştikçe bu diller arka planda kalıyor.
Bununla birlikte, sıkı BigData: Hadoop, Spark ve hayvanat bahçesinin geri kalanı artık bir veri mühendisi için bir ön koşul değil, geleneksel ETL tarafından çözülemeyen sorunları çözmeye yönelik bir tür araç haline geldi.
Trend, yazıldıkları dil bilgisi olmadan araçların kullanılmasına yönelik hizmetlerin (örneğin, Java bilgisi olmadan Hadoop) yanı sıra akış verilerinin işlenmesi için hazır hizmetlerin sağlanmasıdır (videoda ses tanıma veya görüntü tanıma). ).
SAS ve SPSS'in endüstriyel çözümleri popülerdir; Tableau, Rapidminer, Stata ve Julia da veri bilimcileri tarafından yerel görevler için yaygın olarak kullanılmaktadır.
Analistler ve veri bilimcileri, işlem hatlarını kendileri oluşturma yeteneği yalnızca birkaç yıl önce ortaya çıktı: örneğin, nispeten basit komut dosyaları kullanarak PostgreSQL tabanlı bir depolamaya veri göndermek zaten mümkün.
Tipik olarak işlem hatlarının ve entegre veri yapılarının kullanımı veri mühendislerinin sorumluluğunda kalır. Ancak bugün, ilgili alanlarda geniş yetkinliklere sahip T şeklindeki uzmanlara yönelik eğilim her zamankinden daha güçlü çünkü araçlar sürekli olarak basitleştiriliyor.
Veri Mühendisi ve Veri Bilimcisi Neden Birlikte Çalışır?
Veri Bilimcileri, mühendislerle yakın işbirliği içinde çalışarak araştırma tarafına odaklanarak üretime hazır makine öğrenimi algoritmaları oluşturabilir.
Mühendislerin ölçeklenebilirliğe, verilerin yeniden kullanımına ve her bir projedeki veri giriş ve çıkış hatlarının küresel mimariyle uyumlu olmasını sağlamaya odaklanması gerekiyor.
Bu sorumluluk ayrımı, farklı makine öğrenimi projelerinde çalışan ekipler arasında tutarlılık sağlar.
İşbirliği, yeni ürünlerin verimli bir şekilde oluşturulmasına yardımcı olur. Hız ve kalite, herkes için bir hizmet oluşturma (küresel depolama veya gösterge tablolarının entegrasyonu) ile her bir özel ihtiyacın veya projenin uygulanması (son derece uzmanlaşmış boru hattı, dış kaynakları bağlama) arasındaki denge ile elde edilir.
Veri bilimcileri ve analistleriyle yakın işbirliği içinde çalışmak, mühendislerin daha iyi kod yazmak için analitik ve araştırma becerilerini geliştirmelerine yardımcı olur. Ambar ve veri gölü kullanıcıları arasındaki bilgi paylaşımı gelişerek projeleri daha çevik hale getirir ve daha sürdürülebilir uzun vadeli sonuçlar sunar.
Verilerle çalışma ve bunlara dayalı iş süreçleri oluşturma kültürünü geliştirmeyi hedefleyen şirketlerde Veri Bilimcisi ve Veri Mühendisi birbirini tamamlayarak eksiksiz bir veri analiz sistemi oluşturur.
Bir sonraki yazımızda Veri Mühendisi ve Veri Bilimcilerinin nasıl bir eğitime sahip olması gerektiği, hangi becerileri geliştirmeleri gerektiği ve piyasanın nasıl çalıştığından bahsedeceğiz.
Netoloji editörlerinden
Veri Mühendisi veya Veri Bilimcisi mesleğine bakıyorsanız sizi kurs programlarımızı incelemeye davet ediyoruz:
- Meslek "'.
- Meslek "'.
Kaynak: habr.com