Analitiklər, maşın öyrənmə və süni intellekt mütəxəssisləri haqqında eşitmiş ola bilərsiniz, lakin ədalətsiz olaraq artıq maaş alanlar haqqında eşitmisinizmi? Tanış data şarlatan! Gəlirli işlərə cəlb olunan bu sındırmalar real data alimlərinə pis ad verir. Materialda belə insanları təmiz suya necə gətirəcəyini anlayırıq.
Data şarlatanları hər yerdədir
Data şarlatanları göz qabağında gizlənməyi o qədər yaxşı bacarır ki, siz edə bilərsiniz onlardan biri olfərqinə varmadan. Çox güman ki, təşkilatınız illərdir bu hiyləgər uşaqlara sığınacaq verir, lakin yaxşı xəbər budur ki, nə axtaracağınızı bilirsinizsə, onları asanlıqla müəyyən etmək olar.
İlk xəbərdarlıq əlaməti bunu başa düşməməkdir analitika və statistika çox fərqli fənlərdir. Bunu daha ətraflı izah edəcəyəm.
Fərqli fənlər
Statistikaçılar öz məlumatlarından kənara çıxanlar haqqında nəticə çıxarmaq üçün, analitiklər isə məlumat dəstinin məzmununu araşdırmaq üçün öyrədilir. Başqa sözlə desək, analitiklər öz məlumatlarında olanlar haqqında, statistiklər isə məlumatlarda olmayanlar haqqında nəticə çıxarırlar. Analitiklər sizə yaxşı suallar verməyə (fərziyyələr irəli sürməyə) kömək edir, statistiklər isə yaxşı cavablar almağa kömək edir (fərziyyələrinizi sınayın).
İnsanın iki stulda oturmağa çalışdığı qəribə hibrid rollar da var... Niyə də olmasın? Məlumat elminin əsas prinsipi: qeyri-müəyyənliklə məşğul olsanız, istifadə edə bilməzsiniz eyni hipotezlər və sınaq üçün məlumat nöqtəsi. Məlumat məhdud olduqda, qeyri-müəyyənlik statistika və ya analitika arasında seçim etməyə məcbur edir. İzahat .
Statistikalar olmadan siz ilişib qalacaqsınız və indicə tərtib etdiyiniz mühakimənin davam edib-etmədiyini anlaya bilməyəcəksiniz və təhlil etmədən kor-koranə hərəkət edirsiniz, bilinməyənləri ram etmək şansınız azdır. Bu çətin seçimdir.
Şarlatanın bu qarışıqlıqdan çıxış yolu buna məhəl qoymamaq və sonra qəfil baş verənlərə təəccüblənmiş kimi davranmaqdır. Statistik fərziyyələrin sınaqdan keçirilməsinin məntiqi, məlumatların fikrimizi dəyişdirmək üçün bizi kifayət qədər təəccübləndirib-çaşdırmaması sualına gəlir. Əgər məlumatı artıq görmüşüksə, bizi necə təəccübləndirə bilərik?
Şarlatanlar nə vaxt bir nümunə tapsalar, ilham alırlar, sonra yoxlayın eyni məlumatlar uğrunda eyni model, nəticəni onların nəzəriyyəsinin yanında qanuni p-dəyəri və ya iki ilə dərc etmək. Beləliklə, onlar sizə (və bəlkə də özlərinə) yalan danışırlar. Əgər hipotezinizə sadiq qalmasanız, bu p-dəyərinin əhəmiyyəti yoxdur üzrə datanıza necə baxdınız. Şarlatanlar səbəbləri anlamadan analitiklərin və statistiklərin hərəkətlərini təqlid edirlər. Nəticədə, məlumat elminin bütün sahəsi pis bir reputasiya qazanır.
Əsl statistiklər həmişə öz nəticələrini çıxarırlar
Statistiklərin ciddi mülahizələrinə görə demək olar ki, mistik reputasiyası sayəsində Data Science-də saxta məlumatların sayı ən yüksək həddə çatır. Aldatmaq və tutulmamaq asandır, xüsusən də şübhəsiz qurban hər şeyin tənliklər və məlumatlarla bağlı olduğunu düşünürsə. Verilənlər dəsti verilənlər toplusudur, elə deyilmi? Yox. Onu necə istifadə etməyiniz vacibdir.
Xoşbəxtlikdən, şarlatanları tutmaq üçün sizə yalnız bir ipucu lazımdır: onlar “Amerikanı geriyə doğru kəşf edirlər”. Məlumatlarda artıq bildikləri hadisələri yenidən kəşf etməklə.
Şarlatanlardan fərqli olaraq, yaxşı analitiklər açıq fikirlidirlər və başa düşürlər ki, ruhlandırıcı ideyalar çox müxtəlif izahlara malik ola bilər. Eyni zamanda, yaxşı statistiklər öz nəticələrini çıxarmazdan əvvəl diqqətlə müəyyənləşdirirlər.
Analitiklər məsuliyyətdən azaddırlar... məlumatlarının əhatə dairəsində qaldıqları müddətcə. Əgər görmədikləri bir şeyi iddia etməyə tələsirlərsə, bu, tamam başqa bir işdir. Analitik ayaqqabılarını çıxarıb statistik ayaqqabılarını geyinməlidirlər. Axı rəsmi vəzifənin adı nə olursa olsun, istəsən hər iki peşəni oxuya bilməzsən deyə bir qayda yoxdur. Sadəcə onları qarışdırmayın.
Statistikanı yaxşı bildiyiniz üçün analitikada yaxşısınız demək deyil və əksinə. Əgər kimsə sizə əksini söyləməyə çalışırsa, ehtiyatlı olmalısınız. Əgər bu şəxs sizə artıq öyrəndiyiniz məlumatlardan statistik nəticələr çıxarmağın icazəli olduğunu söyləyirsə, bu, ikiqat ehtiyatlı olmaq üçün bir səbəbdir.
Qəribə izahatlar
Təbiətdə məlumat şarlatanlarını müşahidə edərkən, onların müşahidə etdikləri məlumatları “izah etmək” üçün fantastik hekayələr uydurmağı sevdiklərini görəcəksiniz. Nə qədər akademik olsa, bir o qədər yaxşıdır. Bu hekayələrin arxa plana uyğunlaşdırılmasının əhəmiyyəti yoxdur.
Şarlatanlar bunu edəndə - açıq deyim - yalan danışırlar. Heç bir tənlik və ya dəbdəbəli anlayışlar onların nəzəriyyələrinin sıfır sübutunu təqdim etmələrini təmin edə bilməz. Onların izahatlarının nə qədər qeyri-adi olduğuna təəccüblənməyin.
Bu, əvvəlcə əlinizdəki kartlara baxaraq, sonra tutduğunuzu... tutduğunuzu təxmin etməklə "psixik" qabiliyyətlərinizi nümayiş etdirməklə eynidir. Bu, geriyə baxan qərəzdir və məlumat elmi peşəsi bununla doludur.
Analitiklər deyirlər: "Siz indicə Brilyantlar Kraliçası ilə getdiniz." Statistiklər deyirlər: “Mən başlamazdan əvvəl fərziyyələrimi bu kağız parçasına yazdım. Gəlin oynayaq və bəzi məlumatlara baxaq və görək ki, mən haqlıyam”. Şarlatanlar deyir: "Bilirdim ki, bu Brilyantlar Kraliçası olacaqsan, çünki..."
Məlumat mübadiləsi hər kəsin ehtiyac duyduğu sürətli həlldir.
Çox məlumat olmadıqda, statistika və analitika arasında seçim etməlisiniz, lakin kifayət qədər məlumat olduqda, analitikadan aldatmadan istifadə etmək üçün əla fürsət var. и statistika. Şarlatanlara qarşı mükəmməl müdafiəniz var - məlumatların ayrılması və mənim fikrimcə, bu, Data Elmində ən güclü ideyadır.
Özünüzü şarlatanlardan qorumaq üçün sizə lazım olan tək şey bəzi test məlumatlarını onların maraqlı gözlərinin əli çatmayan yerdə saxlamağınızdan əmin olmaq və qalanlarını analitik kimi qəbul etməkdir. Qəbul etmək riski ilə üzləşdiyiniz bir nəzəriyyə ilə qarşılaşdığınız zaman, vəziyyəti qiymətləndirmək üçün ondan istifadə edin və sonra nəzəriyyənin cəfəngiyyat olmadığını yoxlamaq üçün gizli test məlumatlarınızı açıqlayın. Bu qədər sadədir!
Kəşfiyyat mərhələsində heç kimin sınaq məlumatlarına baxmasına icazə verilmədiyinə əmin olun. Bunu etmək üçün tədqiqat məlumatlarına sadiq qalın. Test məlumatları təhlil üçün istifadə edilməməlidir.
Bu, insanların "kiçik məlumat" dövründə alışdıqları ilə müqayisədə böyük bir addımdır, burada nəhayət insanları həqiqətən bir şey bildiyinizə inandırmaq üçün nə bildiyinizi necə izah etməlisiniz.
Eyni qaydaları ML/AI-ə tətbiq edin
Özlərini ML/AI ekspertləri kimi təqdim edən bəzi şarlatanları aşkar etmək də asandır. Siz onları hər hansı digər pis mühəndisi tutduğunuz kimi tutacaqsınız: onların qurmağa çalışdıqları “həlllər” daim uğursuz olur. Erkən xəbərdarlıq əlaməti sənaye standart proqramlaşdırma dilləri və kitabxanaları ilə təcrübənin olmamasıdır.
Bəs işləyən kimi görünən sistemlər yaradan insanlar haqqında nə demək olar? Şübhəli bir şeyin olub olmadığını necə bilirsiniz? Eyni qayda tətbiq olunur! Şarlatan sizə modelin necə yaxşı işlədiyini göstərən pis bir personajdır... modeli yaratmaq üçün istifadə etdikləri eyni məlumatlar.
Dəlicəsinə mürəkkəb bir maşın öyrənmə sistemi qurmusunuzsa, bunun nə qədər yaxşı olduğunu necə bilirsiniz? Siz ona əvvəllər görmədiyi yeni məlumatlarla işlədiyini göstərənə qədər bilməyəcəksiniz.
Proqnozlaşdırmadan əvvəl məlumatları görəndə - bu mümkün deyil əvvəldanışan
Ayırmaq üçün kifayət qədər məlumatınız olduqda, layihəni əsaslandırmaq üçün düsturlarınızın gözəlliyinə istinad etməyə ehtiyac yoxdur (mənim hər yerdə gördüyüm köhnə moda vərdişi, təkcə elmdə deyil). Sən deyə bilərsən: “Mən bunun işlədiyini bilirəm, çünki əvvəllər görmədiyim məlumat dəstini götürə bilərəm və orada nə baş verəcəyini dəqiq proqnozlaşdıra bilərəm... və mən haqlı olacam. Yenidən və yenidən".
Modelinizi/nəzəriyyənizi yeni məlumatlarla sınamaq etimad üçün ən yaxşı əsasdır.
Mən data şarlatanlarına dözmürəm. Fikrinizin müxtəlif hiylələrə əsaslanması məni maraqlandırmır. Mən izahatların gözəlliyinə heyran deyiləm. Mənə göstərin ki, nəzəriyyəniz/modeliniz əvvəllər heç vaxt görmədiyiniz bir çox yeni məlumat üzərində işləyir (və işləməkdə davam edir). Bu, fikrinizin gücünün əsl sınağıdır.
Məlumat Elmi Mütəxəssisləri ilə əlaqə
Bu yumoru anlayan hər kəs tərəfindən ciddi qəbul olunmaq istəyirsinizsə, şəxsi qərəzləri dəstəkləmək üçün dəbdəbəli tənliklərin arxasında gizlənməyi dayandırın. Nəyin olduğunu mənə göstər. Əgər siz onu “anlayanların” sizin nəzəriyyənizə/modelinizə ilham verən poeziyadan daha çox baxmalarını istəyirsinizsə, şahidlərin qarşısında onun tamamilə yeni məlumatlar toplusunda nə qədər yaxşı işlədiyini nümayiş etdirməyə cəsarət edin. !
Rəhbərlərə müraciət
Məlumatlar yoxlanılana qədər onlar haqqında hər hansı "fikirləri" ciddi qəbul etməkdən imtina edin новых data. Səy göstərmək kimi hiss etmirsiniz? Analitikaya sadiq qalın, lakin bu fikirlərə etibar etməyin - onlar etibarsızdır və etibarlılıq üçün sınaqdan keçirilməyib. Üstəlik, bir təşkilatda çoxlu məlumat olduqda, ayrılığı elmdə əsas hala gətirməyin və statistika üçün test məlumatlarına girişi idarə edərək onu infrastruktur səviyyəsində saxlamağın heç bir mənfi tərəfi yoxdur. Bu, sizi aldatmağa çalışan insanların qarşısını almaq üçün əla bir yoldur!
Daha çox şarlatan nümunələri görmək istəyirsinizsə, heç bir xeyri yoxdur - .
Nəticələri
Ayırmaq üçün çox az məlumat olduqda, yalnız bir şarlatan Amerikanı retrospektiv olaraq kəşf edərək, artıq məlumatlarda olduğu bilinən hadisələri riyazi olaraq yenidən kəşf edərək və sürprizi statistik cəhətdən əhəmiyyətli adlandıraraq ilhamı ciddi şəkildə izləməyə çalışır. Bu, onları ilhamla məşğul olan açıq fikirli analitikdən və proqnozlar verərkən sübut təklif edən vasvası statistikdən fərqləndirir.
Çox məlumat olduqda, hər iki dünyanın ən yaxşısına sahib ola bilmək üçün məlumatları bir-birindən ayırmağı vərdiş edin! Orijinal məlumat yığınının ayrı-ayrı alt çoxluqları üçün ayrıca analitika və statistika apardığınızdan əmin olun.
- Analitiklər sizə ilham və açıq fikir təklif edir.
- Statistika sizə ciddi sınaq təklif edir.
- Şarlatanlar Sizə analitik və statistika kimi görünən təhrif olunmuş bir baxış təklif edir.
Yəqin ki, məqaləni oxuduqdan sonra sizdə “mən şarlatanam” fikri yaranacaq? Bu yaxşıdır. Bu düşüncədən qurtulmağın iki yolu var: birincisi, arxaya baxın, nə etdiyinizə baxın, məlumatlarla işinizin praktiki fayda verib-vermədiyinə baxın. İkincisi, siz hələ də öz ixtisaslarınız üzərində işləyə bilərsiniz (bu, şübhəsiz ki, artıq olmaz), xüsusən də biz tələbələrimizə həqiqi məlumat alimi olmağa imkan verən praktiki bacarıq və biliklər verdiyimiz üçün.
Daha çox kurslar
Daha ətraflı ...
Mənbə: www.habr.com