როგორ ამოვიცნოთ შარლატანი მონაცემთა მეცნიერებიდან?

შეიძლება გსმენიათ ანალიტიკოსების, მანქანათმცოდნეობის და ხელოვნური ინტელექტის სპეციალისტების შესახებ, მაგრამ გსმენიათ თუ არა მათ შესახებ, ვინც დაუმსახურებლად ზედმეტად ანაზღაურდება? Შეხვედრა მონაცემები შარლატანი! მომგებიანი სამუშაოებით მოტყუებული ეს თაღლითები ცუდ სახელს აძლევენ რეალურ მონაცემთა მეცნიერებს. მასალაში გვესმის, როგორ მივიყვანოთ ასეთი ადამიანები სუფთა წყალში.

დათა შარლატანები ყველგან არიან

მონაცემთა შარლატანები იმდენად კარგად იმალებიან თვალსაჩინოდ, რომ თქვენ შეგიძლიათ იყავი ერთ-ერთი მათგანიამის გაცნობიერების გარეშეც კი. დიდი შანსია, რომ თქვენი ორგანიზაცია წლების განმავლობაში იცავდა ამ თაღლითებს, მაგრამ კარგი ამბავი ის არის, რომ მათი იდენტიფიცირება ადვილია, თუ იცით, რა უნდა მოძებნოთ.
პირველი გამაფრთხილებელი ნიშანი არის არ მესმის რა ანალიტიკა და სტატისტიკა ძალიან განსხვავებული დისციპლინებია. ამას შემდგომში ავხსნი.

სხვადასხვა დისციპლინები

სტატისტიკოსებს გაწვრთნილი აქვთ დასკვნების გაკეთება იმის შესახებ, თუ რა არის მათი მონაცემების მიღმა, ანალიტიკოსები გაწვრთნილები არიან მონაცემთა ნაკრების შინაარსის შესასწავლად. სხვა სიტყვებით რომ ვთქვათ, ანალიტიკოსები აკეთებენ დასკვნებს იმის შესახებ, თუ რა არის მათ მონაცემებში, ხოლო სტატისტიკოსები აკეთებენ დასკვნებს იმის შესახებ, რაც არ არის მონაცემებში. ანალიტიკოსები გეხმარებათ დასვათ კარგი კითხვები (გამოცნობა), ხოლო სტატისტიკა დაგეხმარებათ მიიღოთ კარგი პასუხები (ტესტის ჰიპოთეზები).

არის უცნაური ჰიბრიდული როლებიც, სადაც ადამიანი ცდილობს ორ სკამზე დაჯდეს... რატომაც არა? მონაცემთა მეცნიერების ძირითადი პრინციპი: თუ გაურკვევლობასთან გაქვთ საქმე, არ გამოიყენოთ იგივე მონაცემთა წერტილი ჰიპოთეზებისა და ტესტირებისთვის. როდესაც მონაცემები შეზღუდულია, გაურკვევლობა აიძულებს ადამიანს აირჩიოს სტატისტიკასა და ანალიტიკას შორის. განმარტება აქ.

სტატისტიკის გარეშე, გაჭედილი იქნებით და ვერ გაიგებთ, ეწინააღმდეგება თუ არა თქვენს მიერ ახლახან ჩამოყალიბებული გადაწყვეტილება კრიტიკას და ანალიზის გარეშე ბრმად მოძრაობთ, უცნობის მოთვინიერების მცირე შანსი გაქვთ. ეს რთული არჩევანია.

შარლატანის გამოსავალი ამ არეულობიდან არის მისი იგნორირება და შემდეგ პრეტენზია გაკვირვებულის გამო, რასაც ის მოულოდნელად ავლენს. სტატისტიკური ჰიპოთეზების ტესტირების ლოგიკა ემყარება კითხვას, გვაოცებს თუ არა ეს მონაცემები იმდენად, რომ აზრი შევცვალოთ. როგორ შეიძლება გაგვიკვირდეს მონაცემები, თუ უკვე ვნახეთ?

როდესაც შარლატანები პოულობენ ნიმუშს, ისინი შთააგონებენ, შემდეგ ამოწმებენ იგივე მონაცემები ამისთვის იგივე ნიმუშიგამოაქვეყნონ შედეგი, ლეგიტიმური p-მნიშვნელობით ან ორი, მათ თეორიასთან ერთად. ამით ისინი ატყუებენ თქვენ (და შესაძლოა საკუთარ თავსაც). ამ p- მნიშვნელობას არ აქვს მნიშვნელობა, თუ არ დაიცავთ თქვენს ჰიპოთეზას. დან როგორ ხედავთ თქვენს მონაცემებს. შარლატანები ბაძავენ ანალიტიკოსთა და სტატისტიკოსთა ქმედებებს მიზეზების გააზრების გარეშე. შედეგად, მონაცემთა მეცნიერების მთელი სფერო ცუდ რეპს იღებს.

ჭეშმარიტი სტატისტიკოსები ყოველთვის აკეთებენ საკუთარ დასკვნებს

მკაცრი მსჯელობისთვის სტატისტიკოსების თითქმის მისტიკური რეპუტაციის წყალობით, მონაცემთა მეცნიერებაში ყალბი ინფორმაციის რაოდენობა ყველა დროის მაღალ დონეზეა. ადვილია მოტყუება და არ დაჭერა, მით უმეტეს, თუ უეჭველი მსხვერპლი ფიქრობს, რომ ეს ყველაფერი განტოლებებსა და მონაცემებზეა. მონაცემთა ნაკრები არის მონაცემთა ნაკრები, არა? არა. მნიშვნელობა აქვს როგორ გამოიყენებ მას.

საბედნიეროდ, თქვენ მხოლოდ ერთი მინიშნება გჭირდებათ შარლატანების დასაჭერად: ისინი "ახლიდან აღმოაჩენენ ამერიკას ფაქტის შემდეგ". ფენომენების ხელახლა აღმოჩენა, რომლებიც მათ უკვე იციან, არის მოცემულ მონაცემებში.

შარლატანებისგან განსხვავებით, კარგი ანალიტიკოსები გონებაგახსნილები არიან და ესმით, რომ ინსპირაციულ იდეებს შეიძლება ჰქონდეს მრავალი განსხვავებული ახსნა. ამავდროულად, კარგი სტატისტიკოსები გულდასმით განსაზღვრავენ თავიანთ დასკვნებს, სანამ გამოიტანენ მათ.

ანალიტიკოსები თავისუფლდებიან პასუხისმგებლობისგან... სანამ ისინი არ სცდებიან თავიანთ მონაცემებს. თუ ისინი ცდუნებას აცხადებენ იმაზე, რაც არ უნახავთ, ეს სხვა საქმეა. მათ, როგორც ანალიტიკოსმა, „ფეხსაცმელი უნდა გაიხადონ“ და სტატისტიკოსის ფეხსაცმელში „გაიცვალონ“. ბოლოს და ბოლოს, როგორიც არ უნდა იყოს ოფიციალური ვაკანსიის დასახელება, არ არსებობს წესი, რომელიც ამბობს, რომ თქვენ არ შეგიძლიათ ორივე პროფესიის შესწავლა, თუ გსურთ. უბრალოდ ნუ აბნევთ მათ.

მხოლოდ იმიტომ, რომ კარგად ხარ სტატისტიკაში, არ ნიშნავს რომ კარგად ხარ ანალიტიკაში და პირიქით. თუ ვინმე ცდილობს სხვაგვარად გითხრათ, ფრთხილად უნდა იყოთ. თუ ეს ადამიანი გეუბნებათ, რომ უფლება გაქვთ, სტატისტიკური დასკვნა გამოიტანოთ უკვე შესწავლილ მონაცემებზე, ეს ორმაგად სიფრთხილის მიზეზია.

უცნაური ახსნა-განმარტებები

როდესაც აკვირდებით მონაცემებს შარლატანებს ველურ ბუნებაში, შეამჩნევთ, რომ მათ უყვართ ფანტასტიკური ისტორიების შედგენა დაკვირვებული მონაცემების "ახსნისთვის". რაც უფრო აკადემიურია მით უკეთესი. არ აქვს მნიშვნელობა, რომ ეს ისტორიები რეტროაქტიულად არის განპირობებული.

როცა შარლატანები ამას აკეთებენ - ნება მომეცით სიტყვებით გულუხვი ვიყო - ტყუიან. არცერთი განტოლება ან ლამაზი კონცეფცია არ ადასტურებს იმ ფაქტს, რომ მათ შესთავაზეს ნულოვანი მტკიცებულება მათი ვერსიების შესახებ. ნუ გაგიკვირდებათ, რამდენად უჩვეულოა მათი ახსნა.

ეს იგივეა, რაც თქვენი „ფსიქიკური“ შესაძლებლობების დემონსტრირებას იმით, რომ ჯერ ათვალიერებთ ბარათებს ხელში, შემდეგ კი იწინასწარმეტყველებთ რა გიჭირავთ... რა გიჭირავთ. ეს უკანა მიკერძოებაა და მონაცემთა მეცნიერის პროფესია ამით არის სავსე.

ანალიტიკოსები ამბობენ: "თქვენ ახლახან წახვედით ბრილიანტების დედოფალთან". სტატისტიკოსები ამბობენ: ”მე დავწერე ჩემი ჰიპოთეზა ამ ფურცელზე, სანამ დავიწყებდით. მოდით ვითამაშოთ, გადავხედოთ მონაცემებს და ვნახოთ, მართალი ვარ თუ არა“. შარლატანები ამბობენ: "ვიცოდი, რომ ბრილიანტების დედოფალი გახდებოდი, რადგან..."

მონაცემთა დაყოფა არის სწრაფი გამოსწორება, რომელიც ყველას სჭირდება.

როდესაც ბევრი მონაცემი არ არის, თქვენ უნდა აირჩიოთ სტატისტიკასა და ანალიტიკას შორის, მაგრამ როდესაც საკმარისზე მეტი მონაცემია, არსებობს შესანიშნავი შესაძლებლობა, გამოიყენოთ ანალიტიკა მოტყუების გარეშე. и სტატისტიკა. თქვენ გაქვთ სრულყოფილი დაცვა შარლატანებისგან - ეს არის მონაცემთა გამიჯვნა და, ჩემი აზრით, ეს არის ყველაზე ძლიერი იდეა მონაცემთა მეცნიერებაში.

შარლატანებისგან თავის დასაცავად, საკმარისია დარწმუნდეთ, რომ ტესტების მონაცემებს არ აშორებთ მათ ცნობილ თვალს და შემდეგ ყველაფერს აფასებთ, როგორც ანალიტიკას. როდესაც თქვენ წააწყდებით თეორიას, რომლის მიღებასაც რისკავთ, გამოიყენეთ იგი სიტუაციის შესაფასებლად და შემდეგ გამოავლინეთ თქვენი საიდუმლო ტესტის მონაცემები, რათა დაადასტუროთ, რომ თეორია არ არის სისულელე. ეს ასე მარტივია!

დარწმუნდით, რომ არავის აქვს უფლება ნახოს ტესტის მონაცემები კვლევის ფაზაში. ამისათვის მიჰყევით კვლევის მონაცემებს. ტესტის მონაცემები არ უნდა იქნას გამოყენებული ანალიზისთვის.

ეს არის დიდი ნაბიჯი იმისგან, რასაც ადამიანები სჩვევიათ „მცირე მონაცემების“ ეპოქაში, სადაც უნდა ახსნათ, როგორ იცით ის, რაც იცით, რათა საბოლოოდ დაარწმუნოთ ხალხი, რომ რაღაც ნამდვილად იცით.

იგივე წესების გამოყენება ML/AI-ზე

ზოგიერთი შარლატანი, რომლებიც წარმოადგენენ ML/AI ექსპერტებს, ასევე ადვილი შესამჩნევია. თქვენ მათ ისევე დაიჭერთ, როგორც ნებისმიერ სხვა ცუდ ინჟინერს: „გადაწყვეტილებები“, რომელთა აშენებას ცდილობენ, გამუდმებით მარცხდება. ადრეული გამაფრთხილებელი ნიშანი არის გამოცდილების ნაკლებობა ინდუსტრიის სტანდარტულ ენებთან და პროგრამირების ბიბლიოთეკებთან.

მაგრამ რაც შეეხება ადამიანებს, რომლებიც ქმნიან სისტემებს, რომლებიც, როგორც ჩანს, მუშაობენ? როგორ იცით, ხდება თუ არა რაიმე საეჭვო? იგივე წესი მოქმედებს! შარლატანი ბოროტი პერსონაჟია, რომელიც გაჩვენებთ, რამდენად კარგად მუშაობდა მოდელი… იმავე მონაცემებზე, რომლებიც გამოიყენეს მოდელის შესაქმნელად.

თუ თქვენ შექმენით საოცრად რთული მანქანათმცოდნეობის სისტემა, როგორ იცით, რამდენად კარგია ის? თქვენ ვერ გაიგებთ, სანამ არ აჩვენებთ მას, რომ ის მუშაობს ახალ მონაცემებთან, რომლებიც აქამდე არ უნახავს.

როცა პროგნოზირებამდე ნახე მონაცემები, ნაკლებად სავარაუდოა ადრეამბობდა.

როდესაც საკმარისი მონაცემები გაქვთ გასაყოფად, თქვენ არ გჭირდებათ თქვენი ფორმულების მშვენიერების გამოძახება პროექტის გასამართლებლად (ძველი მოდური ჩვევა, რომელსაც ყველგან ვხედავ და არა მხოლოდ მეცნიერებაში). Შეგიძლია თქვა: ”ვიცი, რომ მუშაობს, რადგან შემიძლია ავიღო მონაცემთა ნაკრები, რომელიც აქამდე არ მინახავს და ვიწინასწარმეტყველო, რა მოხდება იქ… და მართალი ვიქნები. Ისევ და ისევ".

თქვენი მოდელის/თეორიის ახალი მონაცემების ტესტირება საუკეთესო საფუძველია ნდობისთვის.

მე არ ვეგუები მონაცემთა შარლატანებს. არ მაინტერესებს, თუ თქვენი აზრი სხვადასხვა ჩიპს ეფუძნება. მე არ ვარ აღფრთოვანებული ახსნა-განმარტებების სილამაზით. მაჩვენეთ, რომ თქვენი თეორია/მოდელი მუშაობს (და აგრძელებს მუშაობას) ახალ მონაცემებზე, რომლებიც აქამდე არასოდეს გინახავთ. ეს არის თქვენი აზრის სიძლიერის ნამდვილი გამოცდა.

დაუკავშირდით მონაცემთა მეცნიერებს

თუ გინდათ, რომ სერიოზულად აღიქვათ ვინმემ, ვისაც ესმის ეს იუმორი, შეწყვიტეთ იმალება ლამაზი განტოლებების მიღმა, რათა შეინარჩუნოთ თქვენი პირადი მიკერძოება. აჩვენე რაც გაქვს. თუ გსურთ მათ, ვინც „მიიღეს“, დაინახონ თქვენი თეორია/მოდელი, როგორც უფრო მეტი, ვიდრე უბრალოდ ინსპირაციული პოეზია, გქონდეთ გამბედაობა და წარმოაჩინონ გრანდიოზული ჩვენება, თუ რამდენად კარგად მუშაობს იგი ახალ მონაცემთა ნაკრების მიხედვით... მოწმეების წინაშე!

მიმართეთ ლიდერებს

უარი თქვით მონაცემების შესახებ რაიმე „იდეის“ სერიოზულად მიღებაზე, სანამ არ მოხდება მათი ტესტირება ახალი მონაცემები. არ გსურთ ძალისხმევა? მიჰყევით ანალიტიკას, მაგრამ არ დაეყრდნოთ ამ იდეებს - ისინი არასანდოა და არ არის გამოცდილი სანდოობისთვის. ასევე, როდესაც ორგანიზაციას აქვს მონაცემები უხვად, არ არსებობს უარყოფითი მხარე იმისა, რომ განცალკევება გახდეს მეცნიერების საფუძველი და შეინარჩუნოს იგი ინფრასტრუქტურის დონეზე სტატისტიკისთვის ტესტის მონაცემებზე წვდომის კონტროლით. ეს შესანიშნავი გზაა თქვენი მოტყუების მცდელობის შესაჩერებლად!

თუ გსურთ ნახოთ შარლატანების სხვა მაგალითები, რომლებიც რაღაც ცუდს გეგმავენ - ეს შესანიშნავი ტვიტერის თემაა.

შედეგები

როდესაც მონაცემები ძალიან მცირეა განცალკევებისთვის, მხოლოდ შარლატანი ცდილობს მკაცრად დაიცვას შთაგონება, აღმოაჩინოს ამერიკა რეტროსპექტულად, მათემატიკურად ხელახლა აღმოაჩინოს ფენომენები, რომლებიც უკვე ცნობილია მონაცემებში და სიურპრიზს უწოდებს სტატისტიკურად მნიშვნელოვანს. ეს განასხვავებს მათ ღია აზროვნების ანალიტიკოსისგან, რომელიც ეხება შთაგონებას და ზედმიწევნითი სტატისტიკოსი, რომელიც გვთავაზობს მტკიცებულებებს პროგნოზირებისას.

როდესაც ბევრი მონაცემია, შეიქმენით მონაცემების გაზიარების ჩვევა, რათა გქონდეთ ორივე სამყაროდან საუკეთესო! დარწმუნდით, რომ გააკეთეთ ანალიტიკა და სტატისტიკა ცალ-ცალკე ორიგინალური მონაცემთა წყობის ცალკეული ქვეჯგუფებისთვის.

• ანალიტიკოსები გთავაზობთ შთაგონებას და პერსპექტივას.
• სტატისტიკა გთავაზობთ მკაცრ ტესტირებას.
• შარლატანები შემოგთავაზებთ უკუღმართ მიმოხილვას, რომელიც ვითომ ანალიტიკასა და სტატისტიკას წარმოადგენს.

ალბათ, სტატიის წაკითხვის შემდეგ გაგიჩნდებათ აზრი „მე ვარ შარლატანი“? Ეს კარგია. ამ აზრისგან თავის დაღწევის ორი გზა არსებობს: პირველი, გადახედეთ უკან, ნახეთ, რა გააკეთეთ, მოიტანა თუ არა თქვენმა მუშაობამ მონაცემებთან პრაქტიკული სარგებელი. და მეორეც, თქვენ მაინც შეგიძლიათ იმუშაოთ თქვენს კვალიფიკაციაზე (რაც, რა თქმა უნდა, ზედმეტი არ იქნება), მით უმეტეს, რომ ჩვენ სტუდენტებს ვაძლევთ პრაქტიკულ უნარებსა და ცოდნას, რაც მათ საშუალებას აძლევს გახდნენ მონაცემთა რეალური მეცნიერები.

• მონაცემთა მეცნიერების პროფესიის სწავლება ნულიდან
• მონაცემთა მეცნიერების ონლაინ Bootcamp
• მონაცემთა ანალიტიკოსის პროფესიის მომზადება ნულიდან
• მონაცემთა ანალიტიკა ონლაინ Bootcamp

მეტი კურსები

• მანქანათმცოდნეობის კურსი
• კურსი "მათემატიკა და მანქანათმცოდნეობა მონაცემთა მეცნიერებისთვის"
• დამატებითი კურსი "Machine Learning Pro + Deep Learning"
• მონაცემთა ანალიზის კურსი
• DevOps კურსი
• Python ვებ განვითარების კურსი
• პროფესია ვებ დეველოპერი
• ოკუპაცია iOS დეველოპერი ნულიდან
• Android-ის დეველოპერი ნულიდან
• ჯავის დეველოპერი ნულიდან
• JavaScript კურსი
• პროფესია UX დიზაინერი ნულიდან
• პროფესია ვებ დიზაინერი

დაწვრილებით

• მონაცემები ჩვენში: რას აკეთებენ ბიოინფორმატიკოსები?
• მანქანათმცოდნეობა და კომპიუტერული ხედვა სამთო ინდუსტრიაში

წყარო: www.habr.com