Nə üçün Data Science komandalarına mütəxəssislər yox, ümumi mütəxəssislər lazımdır

Nə üçün Data Science komandalarına mütəxəssislər yox, ümumi mütəxəssislər lazımdır
HIROSHI WATANABE/GETTY IMAGES

Adam Smit “Xalqların sərvəti” əsərində əmək bölgüsünün artan məhsuldarlığın əsas mənbəyinə çevrildiyini göstərir. Nümunə olaraq sancaq zavodunun montaj xəttini göstərmək olar: “Bir işçi naqili çəkir, digəri düzəldir, üçüncüsü kəsir, dördüncüsü ucunu itiləyir, beşincisi o biri ucunu başına uyğun üyüdür”. Xüsusi funksiyalara yönəlmiş ixtisaslaşma sayəsində hər bir işçi öz dar vəzifəsində yüksək ixtisaslı mütəxəssisə çevrilir, bu da prosesin səmərəliliyinin artmasına səbəb olur. Bir işçiyə düşən məhsul dəfələrlə artır və fabrik sancaqlar istehsalında daha səmərəli olur.

Funksionallığa görə bu əmək bölgüsü bu gün də zehnimizə o qədər kök salıb ki, biz tez bir zamanda komandalarımızı buna uyğun təşkil etdik. Data Science istisna deyil. Mürəkkəb alqoritmik biznes imkanları bir çox iş funksiyalarını tələb edir, buna görə şirkətlər adətən mütəxəssislərdən ibarət komandalar yaradır: tədqiqatçılar, məlumat mühəndisləri, maşın öyrənmə mühəndisləri, səbəb-nəticə alimləri və s. Mütəxəssislərin işi məhsul meneceri tərəfindən pin fabrikinə bənzəyən funksiyaların ötürülməsi ilə əlaqələndirilir: "bir şəxs məlumatları alır, başqası onu modelləşdirir, üçüncüsü həyata keçirir, dördüncüsü tədbirlər görür" və s.

Təəssüf ki, məhsuldarlığı artırmaq üçün Data Science komandalarımızı optimallaşdırmamalıyıq. Bununla belə, siz nə istehsal etdiyinizi başa düşdüyünüz zaman bunu edirsiniz: sancaqlar və ya başqa bir şey və sadəcə səmərəliliyi artırmağa çalışırsınız. Montaj xətlərinin məqsədi bir işi tamamlamaqdır. Biz tam olaraq nə istədiyimizi bilirik - sancaqlar (Smitin nümunəsində olduğu kimi), lakin tələblərin məhsulun və onun davranışının bütün aspektlərini tam təsvir etdiyi hər hansı bir məhsul və ya xidmət qeyd edilə bilər. İşçilərin rolu bu tələbləri mümkün qədər səmərəli şəkildə yerinə yetirməkdir.

Lakin Data Science-ın məqsədi tapşırıqları yerinə yetirmək deyil. Əksinə, məqsəd güclü yeni biznes imkanlarını araşdırmaq və inkişaf etdirməkdir. Tövsiyə sistemləri, müştərilərlə qarşılıqlı əlaqə, stil seçimlərinin təsnifatı, ölçülər, geyim dizaynı, logistikanın optimallaşdırılması, mövsümi trendin aşkarlanması və daha çox kimi alqoritmik məhsul və xidmətləri əvvəlcədən hazırlamaq mümkün deyil. Onlar öyrənilməlidir. Təkrarlanacaq planlar yoxdur, bunlar özünəməxsus qeyri-müəyyənliyə malik yeni imkanlardır. Əmsallar, modellər, model tipləri, hiperparametrlər, bütün lazımi elementlər təcrübə, sınaq və səhv və təkrar yolu ilə öyrənilməlidir. Sancaqlar ilə təlim və dizayn istehsaldan əvvəl aparılır. Data Science ilə siz əvvəllər deyil, etdiyiniz kimi öyrənirsiniz.

Sancaq fabrikində, təlim birinci yerə gəldikdə, biz işçilərin istehsal səmərəliliyini artırmaqdan başqa məhsulun hər hansı bir xüsusiyyətini improvizasiya etmələrini nə gözləyirik, nə də istəmirik. İxtisaslaşdırılmış tapşırıqlar məntiqlidir, çünki bu, prosesin səmərəliliyinə və istehsalın ardıcıllığına (son məhsula dəyişiklik etmədən) gətirib çıxarır.

Ancaq məhsul hələ də inkişaf etdikdə və məqsəd təlim olduqda, ixtisaslaşma aşağıdakı hallarda məqsədlərimizə mane olur:

1. Koordinasiya xərclərini artırır.

Yəni, ünsiyyət qurmaq, müzakirə etmək, əsaslandırmaq və görülməli olan işləri prioritetləşdirmək üçün sərf olunan vaxt ərzində yığılan xərclər. Bu xərclər cəlb olunan insanların sayı ilə super-xətti miqyas alır. (C. Riçard Hekmanın bizə öyrətdiyi kimi, r münasibətlərinin sayı bu tənliyə görə n terminlərinin sayının funksiyasına bənzər şəkildə artır: r = (n^2-n)/2. Və hər bir əlaqə müəyyən bir məbləği aşkar edir. xərc əlaqəsi.) Məlumat alimləri funksiyalara görə təşkil edildikdə, hər mərhələdə, hər dəyişiklik, hər təhvil və s., çoxlu mütəxəssis tələb olunur ki, bu da koordinasiya xərclərini artırır. Məsələn, yeni funksiyaları sınaqdan keçirmək istəyən statistik modelçilər hər dəfə yeni bir şey sınamaq istədikdə məlumat dəstlərinə əlavə edən məlumat mühəndisləri ilə koordinasiya etməli olacaqlar. Eyni şəkildə, öyrədilmiş hər bir yeni model o deməkdir ki, model tərtibatçısının onu istehsal etmək üçün əlaqələndirmək üçün kiməsə ehtiyacı olacaq. Koordinasiya xərcləri iterasiya üçün qiymət rolunu oynayaraq, onları daha çətin və bahalı edir və tədqiqatın dayandırılmasına səbəb olur. Bu, öyrənməyə mane ola bilər.

2. Gözləmə vaxtını çətinləşdirir.

Koordinasiya xərclərindən daha qorxulu iş növbələri arasında itirilən vaxtdır. Koordinasiya xərcləri adətən saatlarla ölçülsə də - görüşlər, müzakirələr, dizayn nəzərdən keçirmək üçün lazım olan vaxt - gözləmə müddəti adətən günlərlə, həftələrlə və hətta aylarla ölçülür! Funksional mütəxəssislərin cədvəllərini tarazlaşdırmaq çətindir, çünki hər bir mütəxəssis bir neçə layihə üzrə bölüşdürülməlidir. Dəyişiklikləri müzakirə etmək üçün bir saatlıq görüş iş prosesini düzəltmək üçün həftələr çəkə bilər. Dəyişikliklər barədə razılığa gəldikdən sonra, mütəxəssislərin iş vaxtını tutan bir çox digər layihələr kontekstində faktiki işin özünü planlaşdırmaq lazımdır. Kod düzəlişləri və ya tamamlanması bir neçə saat və ya gün çəkən araşdırma ilə bağlı iş resursların əlçatan olmasından daha uzun çəkə bilər. O vaxta qədər təkrarlama və öyrənmə dayandırılır.

3. Konteksti daraldır.

Əmək bölgüsü insanları öz ixtisaslarında qaldıqlarına görə mükafatlandırmaqla öyrənməni süni şəkildə məhdudlaşdıra bilər. Məsələn, öz funksionallığı daxilində qalmalı olan tədqiqatçı alim enerjisini müxtəlif növ alqoritmlərlə təcrübə aparmağa yönəldəcək: reqressiya, neyron şəbəkələri, təsadüfi meşə və s. Əlbəttə ki, yaxşı alqoritm seçimləri artan təkmilləşdirmələrə səbəb ola bilər, lakin adətən yeni məlumat mənbələrinin inteqrasiyası kimi digər fəaliyyətlərdən daha çox şey əldə etmək olar. Eyni şəkildə, məlumatlara xas olan hər bir izahedici gücdən istifadə edən bir model hazırlamağa kömək edəcəkdir. Bununla belə, onun gücü məqsəd funksiyasını dəyişdirməkdə və ya müəyyən məhdudiyyətləri rahatlaşdırmaqda ola bilər. Onun işi məhdud olduqda bunu görmək və ya etmək çətindir. Texniki alim alqoritmləri optimallaşdırmaqda ixtisaslaşdığı üçün, əhəmiyyətli fayda gətirsə belə, başqa bir şey etmək ehtimalı çox azdır.

Məlumat elmi qrupları pin fabrikləri kimi fəaliyyət göstərdikdə (məsələn, sadə status yeniləmələrində) görünən əlamətləri adlandırmaq üçün: "məlumat boru kəmərinin dəyişməsini gözləmək" və "ML Eng resurslarını gözləmək" ümumi blokerlərdir. Bununla belə, daha təhlükəli təsirin fərqinə varmadığınız şey olduğuna inanıram, çünki onsuz da bilmədiklərinizdən peşman ola bilməzsiniz. Qüsursuz icra və prosesin səmərəliliyinə nail olmaqdan əldə edilən arxayınlıq, təşkilatların əldən buraxdıqları öyrənmə faydalarından xəbərsiz olduqları həqiqətini gizlədə bilər.

Bu problemin həlli təbii ki, zavod sancağı üsulundan xilas olmaqdır. Öyrənməyi və təkrarlamağı təşviq etmək üçün məlumat alimi rolları ümumi olmalıdır, lakin texniki funksiyadan asılı olmayaraq geniş məsuliyyətlərə malik olmalıdır, yəni məlumat alimlərini öyrənmə üçün optimallaşdırılacaq şəkildə təşkil etməlidir. Bu, konsepsiyadan modelləşdirməyə, həyata keçirməyə və ölçməyə qədər müxtəlif funksiyaları yerinə yetirə bilən "tam stack mütəxəssisləri" - ümumi mütəxəssisləri işə götürmək deməkdir. Qeyd etmək vacibdir ki, mən tam kadr potensialının işə götürülməsinin işçilərin sayını azaltmağı təklif etmirəm. Əksinə, mən sadəcə fərz edəcəyəm ki, onlar fərqli şəkildə təşkil edildikdə, onların həvəsləndiriciləri öyrənmə və performans faydaları ilə daha yaxşı uyğunlaşdırılır. Məsələn, tutaq ki, üç iş bacarığı olan üç nəfərdən ibarət bir komandanız var. Sancaq fabrikində hər bir texniki işçi vaxtının üçdə birini hər bir iş tapşırığına həsr edəcək, çünki onun işini başqa heç kim edə bilməz. Tam yığında, hər bir ümumi mütəxəssis bütün iş prosesinə, miqyasının artırılmasına və təliminə tam həsr olunur.

İstehsal dövrünü dəstəkləyən daha az adamla koordinasiya azalır. Ümumi mütəxəssis xüsusiyyətlər arasında sürətlə hərəkət edir, daha çox məlumat əlavə etmək üçün məlumat kəmərini genişləndirir, modellərdə yeni funksiyaları sınaqdan keçirir, səbəb-nəticə ölçmələri üçün istehsala yeni versiyaları tətbiq edir və yeni ideyalar ortaya çıxan kimi addımları tez təkrarlayır. Əlbəttə ki, vaqon paralel olaraq deyil, ardıcıl olaraq müxtəlif funksiyaları yerinə yetirir. Axı, bu, yalnız bir nəfərdir. Bununla belə, tapşırığın yerinə yetirilməsi adətən başqa xüsusi resurs əldə etmək üçün tələb olunan vaxtın yalnız bir hissəsini alır. Beləliklə, təkrarlama müddəti azalır.

Ümumi mütəxəssisimiz müəyyən bir iş funksiyasında mütəxəssis kimi bacarıqlı olmaya bilər, lakin biz funksional mükəmməlliyə və ya kiçik artımlı təkmilləşdirmələrə çalışmırıq. Əksinə, biz tədricən təsir göstərən daha çox peşəkar problemləri öyrənməyə və kəşf etməyə çalışırıq. Tam həll üçün vahid kontekstlə o, mütəxəssisin əldən verəcəyi imkanları görür. Onun daha çox ideyası və daha çox imkanları var. O da uğursuz olur. Bununla belə, uğursuzluğun qiyməti azdır və öyrənməyin faydası yüksəkdir. Bu asimmetriya sürətli iterasiyaya kömək edir və öyrənməyi mükafatlandırır.

Qeyd etmək vacibdir ki, tam stack alimlərinə verilən muxtariyyət və bacarıq müxtəlifliyinin miqdarı əsasən işləyəcəyi məlumat platformasının möhkəmliyindən asılıdır. Yaxşı dizayn edilmiş məlumat platforması məlumat alimlərini konteynerləşdirmə, paylanmış emal, avtomatik əvəzetmə və digər qabaqcıl hesablama konsepsiyalarının mürəkkəbliyindən mücərrəd edir. Abstraksiyaya əlavə olaraq, möhkəm məlumat platforması eksperimental infrastruktura qüsursuz bağlantı təmin edə, monitorinqi və xəbərdarlığı avtomatlaşdıra, alqoritmik nəticələrin avtomatik miqyasını və vizuallaşdırılmasını və sazlamanı təmin edə bilər. Bu komponentlər məlumat platforması mühəndisləri tərəfindən hazırlanmış və qurulmuşdur, yəni məlumat alimindən məlumat platforması inkişaf komandasına ötürülmür. Platformanı idarə etmək üçün istifadə olunan bütün kodlara cavabdeh olan Data Science mütəxəssisidir.

Mən də bir vaxtlar prosesin səmərəliliyindən istifadə edərək funksional əmək bölgüsü ilə maraqlanırdım, lakin sınaq və səhv vasitəsilə (öyrənməyin daha yaxşı yolu yoxdur) aşkar etdim ki, tipik rollar öyrənmə və innovasiyanı daha yaxşı asanlaşdırır və düzgün ölçüləri təmin edir: kəşf və ixtisaslaşmış yanaşmadan daha çox iş imkanları yaratmaq. (Təşkilata bu yanaşmanı öyrənməyin mənim keçdiyim sınaq və səhvlərdən daha təsirli yolu Amy Edmondsonun "Komanda əməkdaşlığı: Təşkilatlar Bilik İqtisadiyyatında Necə Öyrənir, Yeniliklər Yaradır və Rəqabət edir" kitabını oxumaqdır).

Bəzi şirkətlərdə təşkilatlanmaya bu yanaşmanı az və ya çox etibarlı edə biləcək bəzi mühüm fərziyyələr var. İterasiya prosesi sınaq və səhv xərclərini azaldır. Səhv dəyəri yüksəkdirsə, onları azaltmaq istəyə bilərsiniz (lakin bu, tibbi tətbiqlər və ya istehsal üçün tövsiyə edilmir). Əlavə olaraq, əgər siz petabaytlar və ya ekzabaytlarla məlumatlarla məşğul olursunuzsa, məlumat mühəndisliyi üzrə ixtisas tələb oluna bilər. Eyni şəkildə, onlayn biznes imkanlarını və onların mövcudluğunu qorumaq onları təkmilləşdirməkdən daha vacibdirsə, funksional mükəmməllik öyrənməni geridə qoya bilər. Nəhayət, tam yığın modeli bu barədə bilən insanların fikirlərinə əsaslanır. Onlar təkbuynuzlu deyillər; onları tapa bilərsiniz və ya özünüz hazırlaya bilərsiniz. Bununla belə, onlara yüksək tələbat var və onları cəlb etmək və saxlamaq üçün rəqabətli kompensasiya, güclü korporativ dəyərlər və çətin iş tələb olunur. Şirkət mədəniyyətinizin bunu dəstəklədiyinə əmin olun.

Bütün deyilənlərə baxmayaraq, tam stack modelinin ən yaxşı başlanğıc şərtlərini təmin etdiyinə inanıram. Onlarla başlayın və sonra şüurlu olaraq yalnız tamamilə zəruri olduqda funksional əmək bölgüsünə doğru hərəkət edin.

Funksional ixtisaslaşmanın digər çatışmazlıqları da var. Bu, işçilərin məsuliyyətini itirməsinə və passivliyinə səbəb ola bilər. Smit özü əmək bölgüsünü tənqid edərək, bunun istedadın sönükləşməsinə səbəb olduğunu irəli sürür, yəni. işçilər cahil və geri çəkilir, çünki onların rolları bir neçə təkrarlanan vəzifə ilə məhdudlaşır. İxtisaslaşma prosesin səmərəliliyini təmin edə bilsə də, işçiləri ruhlandırmaq ehtimalı azdır.

Öz növbəsində, çox yönlü rollar iş məmnunluğunu təmin edən hər şeyi təmin edir: muxtariyyət, ustalıq və məqsəd. Muxtariyyət odur ki, uğur qazanmaq üçün heç nədən asılı deyillər. Ustalıq güclü rəqabət üstünlüklərindədir. Məqsəd hissi isə onların yaratdığı biznesə təsir etmək imkanındadır. İnsanları işlərinə həvəsləndirə bilsək və şirkətə böyük təsir göstərə bilsək, qalan hər şey öz yerinə düşəcək.

Mənbə: www.habr.com

Добавить комментарий