Veri Bilimi ekiplerinin neden uzmanlara değil, genel uzmanlara ihtiyacı var?

Veri Bilimi ekiplerinin neden uzmanlara değil, genel uzmanlara ihtiyacı var?
HIROSHI WATANABE/GETTY IMAGES

Adam Smith, Ulusların Zenginliği'nde işbölümünün nasıl artan üretkenliğin ana kaynağı haline geldiğini gösteriyor. Bir örnek, bir toplu iğne fabrikasının montaj hattıdır: "Bir işçi teli çeker, diğeri düzeltir, üçüncüsü keser, dördüncüsü ucunu keskinleştirir, beşincisi de diğer ucu kafaya uyacak şekilde taşlar." Belirli işlevlere odaklanan uzmanlaşma sayesinde her çalışan, kendi dar görevinde yüksek nitelikli bir uzman haline gelir ve bu da süreç verimliliğinin artmasına yol açar. İşçi başına üretim kat kat artar ve fabrika pim üretiminde daha verimli hale gelir.

İşlevselliğe göre bu iş bölümü bugün bile zihnimize o kadar yerleşmiş ki ekiplerimizi hızla buna göre organize ettik. Veri Bilimi bir istisna değildir. Karmaşık algoritmik iş yetenekleri birden fazla çalışma fonksiyonu gerektirir, bu nedenle şirketler genellikle uzmanlardan oluşan ekipler oluşturur: araştırmacılar, veri mühendisleri, makine öğrenimi mühendisleri, neden-sonuç bilim adamları vb. Uzmanların çalışmaları, ürün yöneticisi tarafından pin fabrikasına benzer bir şekilde fonksiyonların aktarılmasıyla koordine edilir: "bir kişi verileri alır, diğeri onu modeller, üçüncüsü yürütür, dördüncüsü önlem alır" vb.

Ne yazık ki Veri Bilimi ekiplerimizi üretkenliği artırmak için optimize etmemeliyiz. Ancak bunu ne ürettiğinizi anladığınızda yaparsınız: iğne veya başka bir şey ve sadece verimliliği artırmaya çalışırsınız. Montaj hatlarının amacı bir görevi tamamlamaktır. Tam olarak ne istediğimizi biliyoruz - pinler (Smith'in örneğinde olduğu gibi), ancak gereksinimlerin ürünün ve davranışının tüm yönlerini tam olarak tanımladığı herhangi bir ürün veya hizmetten bahsedilebilir. Çalışanların rolü bu gereksinimleri mümkün olduğu kadar verimli bir şekilde yerine getirmektir.

Ancak Veri Biliminin amacı görevleri tamamlamak değildir. Daha ziyade amaç, güçlü yeni iş fırsatlarını keşfetmek ve geliştirmektir. Öneri sistemleri, müşteri etkileşimleri, stil tercihlerinin sınıflandırılması, beden ölçüsü, kıyafet tasarımı, lojistik optimizasyonu, sezon trend tespiti ve çok daha fazlası gibi algoritmik ürün ve hizmetler önceden geliştirilemez. İncelenmeleri gerekir. Kopyalanacak planlar yok; bunlar doğası gereği belirsizliği olan yeni olasılıklardır. Katsayılar, modeller, model tipleri, hiperparametreler, gerekli tüm unsurlar deneme, yanılma ve tekrar yoluyla öğrenilmelidir. Pimlerde eğitim ve tasarım üretimden önce yapılır. Veri Bilimi ile daha önce değil, öğrendikçe öğrenirsiniz.

Bir iğne fabrikasında, eğitim ilk sırada geldiğinde, işçilerin üretim verimliliğini artırmak dışında ürünün herhangi bir özelliği üzerinde doğaçlama yapmalarını ne bekleriz ne de isteriz. Görevlerin uzmanlaştırılması mantıklıdır çünkü süreç verimliliğine ve üretim tutarlılığına (nihai üründe değişiklik yapılmadan) yol açar.

Ancak ürün hala gelişme aşamasındayken ve amaç öğrenmek olduğunda, uzmanlaşma aşağıdaki durumlarda hedeflerimize müdahale eder:

1. Koordinasyon maliyetlerini artırır.

Yani yapılması gereken işi iletişim kurmak, tartışmak, gerekçelendirmek ve önceliklendirmek için harcanan zaman boyunca biriken maliyetler. Bu maliyetler, katılan kişi sayısına göre süper doğrusal bir şekilde ölçeklenir. (J. Richard Hackman'ın bize öğrettiği gibi, r ilişkilerinin sayısı, şu denkleme göre n terim sayısının fonksiyonuna benzer şekilde artar: r = (n^2-n)/2. Ve her ilişki, maliyet ilişkisi.) Veri bilimcileri her aşamada, her değişiklikte, her devirde vb. işlevlere göre organize edildiğinde çok sayıda uzmana ihtiyaç duyulur ve bu da koordinasyon maliyetlerini artırır. Örneğin, yeni özellikleri denemek isteyen istatistiksel modelleyicilerin, her yeni bir şey denemek istediklerinde veri setlerine ekleme yapan veri mühendisleriyle koordinasyon içinde olmaları gerekecektir. Benzer şekilde, eğitilen her yeni model, model geliştiricinin onu üretime geçirmek için koordineli çalışacak birine ihtiyaç duyacağı anlamına gelir. Koordinasyon maliyetleri, yinelemenin bedeli olarak hareket ederek onları daha zor ve pahalı hale getirir ve çalışmanın yarıda bırakılmasına neden olma olasılığını artırır. Bu öğrenmeyi engelleyebilir.

2. Bekleme sürelerini zorlaştırır.

Koordinasyon maliyetlerinden daha da korkutucu olanı vardiyalar arasında kaybedilen zamandır. Koordinasyon maliyetleri genellikle saatlerle (toplantıların, tartışmaların, tasarım incelemelerinin yürütülmesi için gereken süre) ölçülürken, bekleme süresi genellikle günler, haftalar ve hatta aylarla ölçülür! Fonksiyonel uzmanların programlarını dengelemek zordur çünkü her uzmanın birden fazla projeye dağıtılması gerekir. Değişiklikleri tartışmak için yapılan bir saatlik toplantının iş akışını düzgünleştirmesi haftalar sürebilir. Değişiklikler üzerinde mutabakata vardıktan sonra, uzmanların çalışma süresini meşgul eden diğer birçok proje bağlamında fiili işin kendisini planlamak gerekir. Tamamlanması yalnızca birkaç saat veya gün süren kod düzeltmeleri veya araştırmaları içeren çalışmalar, kaynakların kullanılabilir hale gelmesinden çok daha uzun sürebilir. O zamana kadar yineleme ve öğrenme askıya alınır.

3. Bağlamı daraltır.

İşbölümü, insanları uzmanlık alanlarında kaldıkları için ödüllendirerek öğrenmeyi yapay olarak sınırlayabilir. Örneğin, işlevselliğinin kapsamı içinde kalması gereken bir araştırmacı bilim insanı, enerjisini farklı algoritma türlerini denemeye odaklayacaktır: regresyon, sinir ağları, rastgele orman vb. Elbette iyi algoritma seçimleri artan iyileştirmelere yol açabilir, ancak genellikle yeni veri kaynaklarının entegre edilmesi gibi diğer faaliyetlerden elde edilecek çok daha fazlası vardır. Benzer şekilde, verilerin doğasında bulunan açıklayıcı gücün her bir parçasından yararlanan bir modelin geliştirilmesine yardımcı olacaktır. Ancak gücü, amaç fonksiyonunun değiştirilmesinde veya bazı kısıtlamaların gevşetilmesinde yatabilir. Çalışması sınırlı olduğunda bunu görmek veya yapmak zordur. Teknik bir bilim adamı algoritmaları optimize etme konusunda uzmanlaştığından, önemli faydalar sağlasa bile başka bir şey yapma olasılığı çok daha düşüktür.

Veri bilimi ekipleri pin fabrikası gibi hareket ettiğinde (örneğin, basit durum güncellemelerinde) ortaya çıkan işaretleri adlandırmak gerekirse: "veri hattı değişikliklerini beklemek" ve "ML Mühendislik kaynaklarını beklemek" yaygın engelleyicilerdir. Ancak, daha tehlikeli olan etkinin fark etmediğiniz şey olduğuna inanıyorum çünkü zaten bilmediğiniz bir şeyden pişmanlık duyamazsınız. Kusursuz uygulama ve süreç verimliliğine ulaşmanın sağladığı rahatlık, kuruluşların kaçırdıkları öğrenme faydalarından habersiz olduğu gerçeğini maskeleyebilir.

Bu sorunun çözümü elbette fabrika pini yönteminden kurtulmaktır. Öğrenmeyi ve yinelemeyi teşvik etmek için veri bilimci rolleri genel olmalı ancak teknik fonksiyondan bağımsız geniş sorumluluklara sahip olmalıdır; örneğin veri bilimcilerini öğrenme için optimize edilecek şekilde organize etmelidir. Bu, konseptten modellemeye, uygulamadan ölçüme kadar çeşitli işlevleri yerine getirebilecek genel uzmanlar olan "tam kapsamlı uzmanların" işe alınması anlamına gelir. Tam kapsamlı yeteneklerin işe alınmasının çalışan sayısını azaltması gerektiğini öne sürmediğimi belirtmek önemlidir. Bunun yerine, farklı şekilde organize edildiklerinde teşviklerinin öğrenme ve performans faydalarıyla daha uyumlu olduğunu varsayacağım. Örneğin, üç iş becerisine sahip üç kişilik bir ekibiniz olduğunu varsayalım. Bir iğne fabrikasında, onun işini başka kimse yapamayacağı için her teknisyen zamanının üçte birini her iş görevine ayıracaktır. Tam bir yığın halinde, her uzman kendini tüm iş sürecine, ölçek büyütmeye ve eğitime adamıştır.

Üretim döngüsünü destekleyen kişi sayısının azalmasıyla koordinasyon azalır. Genel uzman, özellikler arasında akıcı bir şekilde hareket eder, daha fazla veri eklemek için veri hattını genişletir, modellerde yeni özellikler deneyebilir, nedensel ölçümler için yeni sürümleri üretime dağıtabilir ve yeni fikirler ortaya çıktıkça adımları hızla tekrarlayabilir. Tabii ki, istasyon vagonu farklı işlevleri paralel olarak değil sırayla yerine getiriyor. Sonuçta sadece bir kişi. Ancak bir görevi tamamlamak genellikle başka bir özel kaynağa erişim için gereken sürenin yalnızca küçük bir kısmını alır. Dolayısıyla yineleme süresi azalır.

Uzmanımız belirli bir iş fonksiyonunda bir uzman kadar yetenekli olmayabilir, ancak işlevsel mükemmellik veya küçük artımlı iyileştirmeler için çabalamıyoruz. Bunun yerine, kademeli etkiyle giderek daha fazla mesleki zorluğu öğrenmeye ve keşfetmeye çalışıyoruz. Eksiksiz bir çözüme yönelik bütünsel bir bağlamla, bir uzmanın kaçıracağı fırsatları görüyor. Daha fazla fikri ve daha fazla olanağı var. O da başarısız oluyor. Ancak başarısızlığın maliyeti düşük ve öğrenmenin faydaları yüksektir. Bu asimetri hızlı yinelemeyi teşvik eder ve öğrenmeyi ödüllendirir.

Tam yığın bilim insanlarına sağlanan özerklik ve beceri çeşitliliği miktarının büyük ölçüde üzerinde çalışılacak veri platformunun sağlamlığına bağlı olduğunu unutmamak önemlidir. İyi tasarlanmış bir veri platformu, veri bilimcilerini konteynerleştirme, dağıtılmış işleme, otomatik yük devretme ve diğer gelişmiş bilgi işlem kavramlarının karmaşıklığından soyutlar. Soyutlamaya ek olarak, sağlam bir veri platformu deneysel altyapıya kesintisiz bağlantı sağlayabilir, izleme ve uyarıyı otomatikleştirebilir, algoritmik sonuçların otomatik ölçeklendirilmesine ve görselleştirilmesine ve hata ayıklamaya olanak sağlayabilir. Bu bileşenler, veri platformu mühendisleri tarafından tasarlanıp oluşturulur; bu, bunların veri bilimciden veri platformu geliştirme ekibine aktarılmadığı anlamına gelir. Platformu çalıştırmak için kullanılan tüm kodlardan Veri Bilimi uzmanı sorumludur.

Ben de bir zamanlar süreç verimliliğini kullanarak işlevsel işbölümüyle ilgileniyordum, ancak deneme yanılma yoluyla (öğrenmenin daha iyi bir yolu yoktur), tipik rollerin öğrenmeyi ve yeniliği daha iyi kolaylaştırdığını ve doğru ölçümleri sağladığını keşfettim: keşfetme ve keşfetme. uzmanlaşmış yaklaşımdan çok daha fazla iş fırsatı yaratmak. (Bu organizasyon yaklaşımını öğrenmenin, yaşadığım deneme yanılma yöntemlerinden daha etkili bir yolu, Amy Edmondson'un Ekip İşbirliği: Organizasyonlar Bilgi Ekonomisinde Nasıl Öğrenir, Yenilik Yapar ve Rekabet Eder adlı kitabını okumaktır).

Bazı şirketlerde bu örgütlenme yaklaşımını az çok güvenilir kılabilecek bazı önemli varsayımlar vardır. Yineleme süreci deneme yanılma maliyetini azaltır. Hatanın maliyeti yüksekse, bunları azaltmak isteyebilirsiniz (ancak bu, tıbbi uygulamalar veya üretim için önerilmez). Ayrıca petabaytlarca veya eksabaytlarca veriyle uğraşıyorsanız veri mühendisliğinde uzmanlaşmanız gerekebilir. Benzer şekilde, çevrimiçi iş yeteneklerini ve bunların kullanılabilirliğini korumak, bunları geliştirmekten daha önemliyse, işlevsel mükemmellik öğrenmeye gölge düşürebilir. Son olarak, tam yığın modeli, onu bilen kişilerin görüşlerine dayanır. Onlar tek boynuzlu at değiller; bunları bulabilir veya kendiniz hazırlayabilirsiniz. Ancak yüksek talep görüyorlar ve onları çekmek ve elde tutmak, rekabetçi ücretlendirme, güçlü kurumsal değerler ve zorlu çalışma gerektirecek. Şirket kültürünüzün bunu destekleyebileceğinden emin olun.

Bütün bunlara rağmen, tam yığın modelinin en iyi başlangıç ​​koşullarını sağladığına inanıyorum. Onlarla başlayın ve ancak kesinlikle gerekli olduğunda bilinçli olarak işlevsel bir işbölümüne doğru ilerleyin.

Fonksiyonel uzmanlaşmanın başka dezavantajları da vardır. Bu, çalışanların sorumluluk kaybına ve pasifliğine yol açabilir. Smith'in kendisi de işbölümünü eleştiriyor ve bunun yeteneğin körelmesine yol açtığını öne sürüyor; Rolleri birkaç tekrar eden görevle sınırlı olduğundan çalışanlar cahilleşir ve içine kapanır. Uzmanlaşma süreç verimliliği sağlasa da çalışanlara ilham verme olasılığı daha düşüktür.

Buna karşılık, çok yönlü roller iş tatminini artıran her şeyi sağlar: özerklik, ustalık ve amaç. Özerklik, başarıya ulaşmak için hiçbir şeye bağlı olmamalarıdır. Ustalık güçlü rekabet avantajlarında yatmaktadır. Ve amaç duygusu, yarattıkları iş üzerinde etki yaratma fırsatında yatmaktadır. Eğer insanları işleri konusunda heyecanlandırabilirsek ve şirket üzerinde büyük bir etki yaratabilirsek, o zaman her şey yerli yerine oturacaktır.

Kaynak: habr.com

Yorum ekle