Nima uchun Data Science guruhlariga mutaxassislar emas, balki generalistlar kerak

Nima uchun Data Science guruhlariga mutaxassislar emas, balki generalistlar kerak
XIROSHI WATANABE/GETTY IMAGES

Adam Smit “Xalqlar boyligi” asarida qanday qilib mehnat taqsimoti mahsuldorlikni oshirishning asosiy manbaiga aylanishini ko‘rsatadi. Bunga misol qilib, pin zavodining yig‘ish liniyasini keltirish mumkin: “Bir ishchi simni tortadi, boshqasi uni to‘g‘rilaydi, uchinchisi kesadi, to‘rtinchisi uchini o‘tkirlaydi, beshinchisi ikkinchi uchini boshga moslash uchun silliqlaydi”. Muayyan funktsiyalarga yo'naltirilgan ixtisoslashuv tufayli har bir xodim o'zining tor vazifasida yuqori malakali mutaxassisga aylanadi, bu esa jarayon samaradorligini oshirishga olib keladi. Bir ishchiga to'g'ri keladigan ishlab chiqarish ko'p marta oshadi va zavod pinlarni ishlab chiqarishda samaraliroq bo'ladi.

Funktsionallik bo‘yicha mehnat taqsimoti bugungi kunda ham ongimizga shunchalik singib ketganki, biz tezda jamoalarimizni shunga muvofiq tashkil qildik. Data Science bundan mustasno emas. Murakkab algoritmik biznes qobiliyatlari bir nechta ish funktsiyalarini talab qiladi, shuning uchun kompaniyalar odatda mutaxassislar guruhlarini yaratadilar: tadqiqotchilar, ma'lumotlar muhandislari, mashinani o'rganish bo'yicha muhandislar, sabab-ta'sir olimlari va boshqalar. Mutaxassislarning ishi mahsulot menejeri tomonidan funktsiyalarni pin zavodiga o'xshash tarzda o'tkazish bilan muvofiqlashtiriladi: "bir kishi ma'lumotlarni oladi, boshqasi uni modellashtiradi, uchinchisi uni amalga oshiradi, to'rtinchisi chora ko'radi" va hokazo.

Afsuski, biz mahsuldorlikni oshirish uchun Data Science guruhlarimizni optimallashtirmasligimiz kerak. Biroq, siz nima ishlab chiqarayotganingizni tushunganingizda buni qilasiz: pinlar yoki boshqa narsa va shunchaki samaradorlikni oshirishga intilasiz. Yig'ish liniyalarining maqsadi vazifani bajarishdir. Biz nimani xohlayotganimizni aniq bilamiz - pinlar (Smit misolida bo'lgani kabi), lekin har qanday mahsulot yoki xizmatni eslatib o'tish mumkin, unda talablar mahsulotning barcha jihatlarini va uning xatti-harakatlarini to'liq tavsiflaydi. Xodimlarning vazifasi ushbu talablarni iloji boricha samarali bajarishdir.

Ammo Data Sciencening maqsadi vazifalarni bajarish emas. Aksincha, maqsad kuchli yangi biznes imkoniyatlarini o'rganish va rivojlantirishdir. Tavsiya qilish tizimlari, mijozlar bilan o'zaro munosabatlar, uslublar afzalliklarini tasniflash, o'lchamlar, kiyim dizayni, logistika optimallashtirish, mavsumiy tendentsiyalarni aniqlash va boshqalar kabi algoritmik mahsulotlar va xizmatlarni oldindan ishlab chiqish mumkin emas. Ular o'rganilishi kerak. Takrorlash uchun hech qanday rejalar yo'q, bu noaniqlik bilan yangi imkoniyatlar. Koeffitsientlar, modellar, model turlari, giperparametrlar, barcha kerakli elementlar tajriba, sinov va xato va takrorlash orqali o'rganilishi kerak. Pinlar bilan ta'lim va dizayn ishlab chiqarishdan oldin amalga oshiriladi. Data Science bilan siz avvalgidek emas, xuddi shunday o'rganasiz.

PIN-kod zavodida, birinchi navbatda, ta'lim o'rgatilganda, biz ishchilar ishlab chiqarish samaradorligini oshirishdan tashqari mahsulotning biron bir xususiyatini improvizatsiya qilishlarini kutmaymiz va xohlamaymiz. Ixtisoslashgan vazifalar mantiqiy, chunki u jarayon samaradorligi va ishlab chiqarishning izchilligiga olib keladi (yakuniy mahsulotga o'zgartirishlarsiz).

Ammo mahsulot hali ham rivojlanayotgan va maqsad o'qitish bo'lsa, ixtisoslashuv quyidagi hollarda bizning maqsadlarimizga xalaqit beradi:

1. Bu muvofiqlashtirish xarajatlarini oshiradi.

Ya'ni, muloqot qilish, muhokama qilish, asoslash va bajarilishi kerak bo'lgan ishni birinchi o'ringa qo'yish uchun sarflangan vaqt davomida yig'iladigan xarajatlar. Ushbu xarajatlar jalb qilingan odamlar soniga qarab o'ta chiziqli ravishda o'zgaradi. (J. Richard Xekman bizga o'rgatganidek, r munosabatlari soni ushbu tenglama bo'yicha n a'zolar sonining funktsiyasiga o'xshash tarzda o'sadi: r = (n ^ 2-n) / 2. Va har bir munosabat ma'lum miqdorni ochib beradi. xarajat munosabatlari.) Ma'lumotlar olimlari funktsiyalar bo'yicha tashkil etilganda, har bir bosqichda, har bir o'zgarish, har bir topshirish va hokazolarda ko'plab mutaxassislar talab qilinadi, bu esa muvofiqlashtirish xarajatlarini oshiradi. Misol uchun, yangi xususiyatlar bilan tajriba o'tkazmoqchi bo'lgan statistik modelerlar har safar yangi narsalarni sinab ko'rmoqchi bo'lganlarida ma'lumotlar to'plamiga qo'shadigan ma'lumotlar muhandislari bilan muvofiqlashtirishlari kerak. Xuddi shunday, o'qitilgan har bir yangi model model ishlab chiqaruvchisi uni ishlab chiqarishga qo'yish uchun kimnidir muvofiqlashtirishi kerakligini anglatadi. Muvofiqlashtirish xarajatlari iteratsiya uchun narx bo'lib, ularni qiyinroq va qimmatroq qiladi va tadqiqotdan voz kechishga olib keladi. Bu o'rganishga xalaqit berishi mumkin.

2. Bu kutish vaqtlarini qiyinlashtiradi.

Muvofiqlashtirish xarajatlaridan ham dahshatliroq ish smenalari orasidagi vaqtni yo'qotadi. Muvofiqlashtirish xarajatlari odatda soatlar bilan o'lchanadi - uchrashuvlar, munozaralar, dizayn sharhlarini o'tkazish uchun ketadigan vaqt - kutish vaqti odatda kunlar, haftalar yoki hatto oylar bilan o'lchanadi! Funktsional mutaxassislarning jadvallarini muvozanatlash qiyin, chunki har bir mutaxassis bir nechta loyihalar bo'yicha taqsimlanishi kerak. O'zgarishlarni muhokama qilish uchun bir soatlik yig'ilish ish jarayonini yumshatish uchun bir necha hafta vaqt olishi mumkin. Va o'zgarishlar bo'yicha kelishib olingandan so'ng, mutaxassislarning ish vaqtini egallagan ko'plab boshqa loyihalar kontekstida haqiqiy ishning o'zini rejalashtirish kerak. Kodni tuzatish yoki bir necha soat yoki kun davom etadigan tadqiqot bilan bog'liq ishlar resurslar mavjud bo'lgunga qadar ko'proq vaqt talab qilishi mumkin. Ungacha takrorlash va o'rganish to'xtatiladi.

3. Kontekstni toraytiradi.

Mehnat taqsimoti odamlarni o'z mutaxassisligi bo'yicha qolganligi uchun mukofotlash orqali o'rganishni sun'iy ravishda cheklashi mumkin. Misol uchun, o'z funksionalligi doirasida qolishi kerak bo'lgan tadqiqotchi olim o'z kuchini har xil turdagi algoritmlar bilan tajriba o'tkazishga qaratadi: regressiya, neyron tarmoqlar, tasodifiy o'rmon va boshqalar. Albatta, yaxshi algoritm tanlash qo'shimcha yaxshilanishlarga olib kelishi mumkin, lekin odatda boshqa faoliyatlardan, masalan, yangi ma'lumotlar manbalarini integratsiya qilishdan ko'p narsalarni olish mumkin. Xuddi shunday, u ma'lumotlarga xos bo'lgan har bir tushuntirish kuchidan foydalanadigan modelni ishlab chiqishga yordam beradi. Biroq, uning kuchi maqsad funktsiyasini o'zgartirish yoki muayyan cheklovlarni yumshatishda bo'lishi mumkin. Uning ishi cheklangan bo'lsa, buni ko'rish yoki qilish qiyin. Texnik olim algoritmlarni optimallashtirishga ixtisoslashganligi sababli, u sezilarli foyda keltirsa ham, boshqa hech narsa qilish ehtimoli kamroq.

Ma'lumotlar fanlari guruhlari pin zavodlari sifatida harakat qilganda paydo bo'ladigan belgilarni nomlash uchun (masalan, oddiy holat yangilanishlarida): "ma'lumotlar quvurlari o'zgarishini kutish" va "ML Eng resurslarini kutish" keng tarqalgan blokerlardir. Biroq, menimcha, eng xavfli ta'sir siz sezmagan narsadir, chunki siz bilmagan narsangizga afsuslanmaysiz. Muvaffaqiyatsiz bajarish va jarayon samaradorligiga erishish natijasida olingan xotirjamlik, tashkilotlar o'zlari etishmayotgan ta'lim afzalliklaridan bexabar ekanliklarini yashirishi mumkin.

Bu muammoning yechimi, albatta, zavod pin usulidan qutulishdir. O'rganish va iteratsiyani rag'batlantirish uchun ma'lumotlar olimi rollari umumiy bo'lishi kerak, ammo texnik funktsiyadan mustaqil ravishda keng mas'uliyatga ega bo'lishi kerak, ya'ni ma'lumotlar olimlarini o'rganish uchun optimallashtirish uchun tashkil qilish kerak. Bu "to'liq stack mutaxassislari" - kontseptsiyadan modellashtirish, amalga oshirishdan o'lchashgacha bo'lgan turli funktsiyalarni bajara oladigan umumiy mutaxassislarni yollashni anglatadi. Shuni ta'kidlash kerakki, men to'liq stackli iste'dodlarni yollash xodimlar sonini kamaytirishni taklif qilmayapman. Aksincha, men shunchaki taxmin qilamanki, ular boshqacha tashkil etilganda, ularning rag'batlantirishlari o'rganish va ishlash afzalliklari bilan yaxshiroq mos keladi. Misol uchun, sizda uchta biznes qobiliyatiga ega bo'lgan uch kishidan iborat jamoangiz bor deylik. PIN zavodida har bir texnik har bir ish vazifasiga o'z vaqtining uchdan bir qismini bag'ishlaydi, chunki uning ishini boshqa hech kim bajarolmaydi. To'liq stackda har bir generalist butun biznes jarayoniga, ko'lamini kengaytirishga va o'qitishga to'liq bag'ishlangan.

Ishlab chiqarish tsiklini qo'llab-quvvatlovchi kamroq odamlar bilan muvofiqlashtirish kamayadi. Generalist xususiyatlar o'rtasida silliq harakat qiladi, qo'shimcha ma'lumot qo'shish uchun ma'lumotlar quvurini kengaytiradi, modellarda yangi xususiyatlarni sinab ko'radi, sabab o'lchovlari uchun ishlab chiqarishga yangi versiyalarni qo'llaydi va yangi g'oyalar paydo bo'lishi bilanoq qadamlarni takrorlaydi. Albatta, stansiya vagoni turli funktsiyalarni parallel ravishda emas, balki ketma-ket bajaradi. Axir, bu faqat bitta odam. Biroq, topshiriqni bajarish odatda boshqa ixtisoslashtirilgan manbaga kirish uchun zarur bo'lgan vaqtning faqat bir qismini oladi. Shunday qilib, iteratsiya vaqti kamayadi.

Bizning generalistimiz ma'lum bir ish funktsiyasi bo'yicha mutaxassis kabi malakali bo'lmasligi mumkin, ammo biz funktsional mukammallikka yoki kichik bosqichma-bosqich yaxshilashga intilmaymiz. Aksincha, biz asta-sekin ta'sir qiladigan ko'proq va ko'proq professional muammolarni o'rganishga va kashf etishga intilamiz. To'liq yechim uchun yaxlit kontekst bilan u mutaxassis qo'ldan boy beradigan imkoniyatlarni ko'radi. U ko'proq g'oyalar va ko'proq imkoniyatlarga ega. U ham muvaffaqiyatsiz. Biroq, muvaffaqiyatsizlikning narxi past va o'rganishning foydasi yuqori. Ushbu assimetriya tez takrorlashni ta'minlaydi va o'rganishni mukofotlaydi.

Shuni ta'kidlash kerakki, to'liq stack olimlariga beriladigan avtonomiya va ko'nikmalarning xilma-xilligi ko'p jihatdan ishlaydigan ma'lumotlar platformasining mustahkamligiga bog'liq. Yaxshi ishlab chiqilgan ma'lumotlar platformasi ma'lumotlar olimlarini konteynerlashtirish, taqsimlangan qayta ishlash, avtomatik o'chirish va boshqa ilg'or hisoblash tushunchalarining murakkabliklaridan ma'lum qiladi. Abstraktsiyaga qo'shimcha ravishda, mustahkam ma'lumotlar platformasi eksperimental infratuzilmaga uzluksiz ulanishni ta'minlashi, monitoring va ogohlantirishni avtomatlashtirishi, avtomatik masshtablash va algoritmik natijalarni vizuallashtirish va disk raskadrovka qilish imkonini beradi. Ushbu komponentlar ma'lumotlar platformasi muhandislari tomonidan ishlab chiqilgan va qurilgan, ya'ni ular ma'lumotlar olimidan ma'lumotlar platformasini ishlab chiqish guruhiga o'tkazilmaydi. Bu platformani ishlatish uchun ishlatiladigan barcha kodlar uchun javobgar bo'lgan Data Science mutaxassisi.

Men ham bir vaqtlar jarayon samaradorligidan foydalangan holda mehnatning funktsional taqsimotiga qiziqqan edim, lekin sinov va xato orqali (o'rganishning yaxshiroq yo'li yo'q) men odatiy rollar o'rganish va innovatsiyalarni yanada osonlashtirishini va to'g'ri ko'rsatkichlarni taqdim etishini aniqladim: kashf qilish va ixtisoslashgan yondashuvdan ko'ra ko'proq biznes imkoniyatlarini yaratish. (Men boshdan kechirgan sinov va xatolardan ko'ra tashkillashtirishning ushbu yondashuvini o'rganishning samarali yo'li Emi Edmondsonning "Jamoadagi hamkorlik: Tashkilotlar bilimlar iqtisodiyotida qanday o'rganadi, innovatsiya qiladi va raqobatlashadi" kitobini o'qishdir).

Ba'zi kompaniyalarda tashkilotga nisbatan bunday yondashuvni ko'proq yoki kamroq ishonchli qilish mumkin bo'lgan ba'zi muhim taxminlar mavjud. Iteratsiya jarayoni sinov va xatolik xarajatlarini kamaytiradi. Agar xatoning narxi yuqori bo'lsa, siz ularni kamaytirishni xohlashingiz mumkin (lekin bu tibbiy ilovalar yoki ishlab chiqarish uchun tavsiya etilmaydi). Bundan tashqari, agar siz petabayt yoki ekzabayt ma'lumotlar bilan ishlayotgan bo'lsangiz, ma'lumotlar muhandisligi bo'yicha mutaxassislik talab qilinishi mumkin. Xuddi shunday, agar onlayn biznes imkoniyatlarini saqlab qolish va ularning mavjudligi ularni yaxshilashdan muhimroq bo'lsa, funktsional mukammallik o'rganishdan ustun bo'lishi mumkin. Nihoyat, to'liq stek modeli bu haqda biladigan odamlarning fikriga tayanadi. Ular yagona shoxlilar emas; ularni topishingiz yoki o'zingiz tayyorlashingiz mumkin. Biroq, ular yuqori talabga ega va ularni jalb qilish va saqlab qolish raqobatbardosh tovon, kuchli korporativ qadriyatlar va qiyin ishni talab qiladi. Sizning kompaniyangiz madaniyati buni qo'llab-quvvatlashiga ishonch hosil qiling.

Bularning barchasiga qaramay, men to'liq stek modeli eng yaxshi boshlang'ich sharoitlarini ta'minlaydi, deb ishonaman. Ulardan boshlang, so'ngra faqat zarurat tug'ilganda ongli ravishda funktsional mehnat taqsimotiga o'ting.

Funktsional ixtisoslikning boshqa kamchiliklari ham mavjud. Bu ishchilarning mas'uliyatini yo'qotishiga va passivligiga olib kelishi mumkin. Smitning o'zi mehnat taqsimotini tanqid qiladi, bu iste'dodning xiralashishiga olib keladi, ya'ni. ishchilar johil va chekinib qolishadi, chunki ularning rollari bir nechta takrorlanadigan vazifalar bilan cheklangan. Ixtisoslash jarayon samaradorligini ta'minlasa-da, ishchilarni ilhomlantirish ehtimoli kamroq.

O'z navbatida, ko'p qirrali rollar ishdan qoniqishga olib keladigan barcha narsalarni ta'minlaydi: avtonomiya, mahorat va maqsad. Avtonomiya shundaki, ular muvaffaqiyatga erishish uchun hech narsaga bog'liq emaslar. Ustalik kuchli raqobat ustunliklarida yotadi. Va maqsad hissi ular yaratgan biznesga ta'sir qilish imkoniyatida yotadi. Agar biz odamlarni o'z ishlaridan hayajonlantira olsak va kompaniyaga katta ta'sir o'tkaza olsak, qolgan hamma narsa joyiga tushadi.

Manba: www.habr.com

a Izoh qo'shish