🥇Как да разпознаем шарлатаните в Data Science?

Възможно е да сте чули за аналитиците, специалистите по машинно обучение и изкуствен интелект, но чували ли сте за тези, които незаслужено се заплащат? Запознайте се с шарлатаните на данни! Тези хитреци, които са привлечени от печеливши работни места, създават лоша репутация на истинските специалисти по обработка на данни. В материала анализираме как да изкараме такива хора на чисто.

Шарлатаните на данни са навсякъде

Шарлатаните на данни са толкова добри в това да се крият на видимо място, че може да бъдете един от тях, дори да не осъзнавате това. Вероятно вашата организация е скривала тези хитреци с години, но има добра новина: лесно е да ги идентифицирате, ако знаете какво да търсите.
Първият предупредителен знак е неразбирането на това, че анализът и статистиката са много различни дисциплини. По-нататък ще обясня това.

Различни дисциплини

Статистиците са обучени да правят изводи за неща, които излизат извън техните данни, анализаторите са обучени да проучват съдържанието на набор от данни. С други думи, анализаторите правят изводи за това, което се съдържа в данните им, а статистиците правят изводи за това, което липсва в данните. Анализаторите помагат да се задават добри въпроси (формулират хипотези), а статистиците помагат да се получат добри отговори (тестови хипотези).

Има също така интересни хибридни роли, при които човек се опитва да застане на два стола… Защо не? Основният принцип на науката за данни: ако се справяте с несигурността, не можете да използвате една и съща точка данни за хипотези и проверки. Когато данните са ограничени, несигурността ни принуждава да изберем между статистика или анализ. Обяснение тук..

Без статистика ще се забиете и няма да можете да разберете дали новото формулирано твърдение издържа на критика, а без анализ се движите на сляпо, имайки малки шансове да опитомите неизвестното. Това е труден избор.

Изходът на шарлатана от тази ситуация е да я игнорира, а след това да се прави на учуден от това, което изведнъж се разкрива. Логиката на проверка на статистическите хипотези се свежда до въпроса: достатъчно ли ни изненадват данните, за да променим мнението си. Как можем да бъдем изненадани от данните, ако вече сме ги виждали?

Всеки път, когато шарлатаните намерят модел, те се вдъхновяват, след това проверяват същите данни за на същия модел, за да публикуват резултата с легитимна p-стойност или две, до тяхната теория. По този начин те ви лъжат (а може би и себе си). Тази p-стойност няма значение, ако не спазвате хипотезата си. до за начина, по който са прегледали данните си. Шарлатаните имитират действия на анализатори и статистици без да разбират причините. В резултат на това цялата област на науката за данните получава лоша репутация.

Истинските статистици винаги формулират изводите си.

Благодарение на почти мистичната репутация на специалистите по статистика, занимаващи се с строгите разсъждения, количеството фалшива информация в Data Science достига рекордни нива. Лесно е да бъдеш измамен и да не бъдеш хванат, особено ако нищо неподозиращата жертва вярва, че всичко е въпрос на уравнения и данни. Набор от данни е набор от данни, нали? Не. Важно е как го използвате.

За щастие, ви трябва само един намек, за да хванете шарлатаните: те „откриват Америка постфактум“, преоткривайки явления, които вече са известни от данните.

В контекста на шарлатаните добрите анализатори нямат предразсъдъци и разбират, че вдъхновяващите идеи могат да имат много различни обяснения. В същото време добрите статистици прецизно формулират изводите си, преди да ги направят.

Анализаторите са освободени от отговорност… докато не излязат извън рамките на данните си. Ако им възникне изкушението да заявят неща, които не са наблюдавали, това е съвсем различна работа. Те трябва да „съблекат обувките“ на анализатора и „да се преобуют“ в обувките на статистика. В крайна сметка, каквото и да е официалното наименование на длъжността, не съществува правило, което да забранява изучаването на двете професии, ако желаете. Просто не ги бъркайте.

Ако разбирате добре статистиката, това не означава, че разбирате добре анализа, и обратно. Ако някой се опитва да ви каже обратното, е добре да бъдете нащрек. Ако този човек ви съобщава, че е позволено да правите статистически изводи на данни, които вече сте разгледали, това е двойна причина за притеснение.

Причудливи обяснения

Когато наблюдавате шарлатаните на данни в естествената им среда, ще забележите, че те обичат да измислят фантастични истории, за да "обяснят" наблюдаваните данни. Колкото по-академични, толкова по-добре. Няма значение, че тези истории са настроени ретроспективно.

Когато шарлатаните правят това — позволете ми да не пестя думите — те лъжат. Нито едно количество уравнения или красиви концепции не компенсира факта, че те предлагат нулево доказателство за своите версии. Не се учудвайте на странността на техните обяснения.

Това е все едно да демонстрирате своите "екстра-сензорни" способности, първо поглеждайки картите в ръцете си и след това да предскажете какво държите… това, което държите. Това е предвзета ретроспективна гледна точка, и професията на дата-сайентист е изпълнена с това до край.

Анализаторите казват: "Ти току-що изигра бубновата кралица". Статистиците казват: "Записах своите хипотези на този къс хартия преди да започнем. Да поиграем, да погледнем някои данни и да видим дали съм прав". Шарлатаните казват: "Знаех, че ще изиграеш тази бубнова кралица, защото..."

Разделянето на данните е бързо решение на проблема, от който всеки се нуждае.

Когато данните не са много, трябва да избирате между статистика и аналитика, но когато данните са в изобилие, има чудесна възможност да се възползвате от аналитиката без измама. и Статистиката. Имате идеалната защита от шарлатаните — това е разделянето на данните и, според мен, това е най-силната идея в Data Science.

За да се защитите от шарлатаните, всичко, което трябва да направите, е да се уверите, че имате някои тестови данни извън обсега на техните любопитни очи и след това да подхождате към всичко останало като към аналитика. Когато се сблъскате с теория, която рискувате да приемете, използвайте я, за да оцените ситуацията, а след това разкрийте своите тайни тестови данни, за да проверите дали теорията не е глупост. Толкова е просто!

Уверете се, че никой не е позволено да преглежда тестовите данни на етапа на изследването. Затова се придържайте към изследователските данни. Тестовите данни не трябва да се използват за анализ.

Това е голяма стъпка напред в сравнение с това, което хората свикнаха през ерата на „малките данни“, когато трябваше да обяснявате откъде знаете това, което знаете, за да убедите хората, че наистина знаете нещо.

Приложете същите правила към ML/AI

Лесно може да се разпознаят и някои шарлатани, които се представят за експерти в областта на ML/AI. Ще ги уловите по същия начин, по който бихте уловили всеки друг лош инженер: "решенията", които се опитват да изградят, постоянно се провалят. Ранен предупредителен знак е липсата на опит с стандартни индустриални езици и библиотеки за програмиране.

Но какво ще кажете за хората, които създават системи, които изглеждат работоспособни? Как да разберете, че нещо подозрително се случва? Правилото важи и тук! Шарлатанът е зловеща фигура, която ви показва колко добре е работила моделът… с данните, които са използвали за изграждане на модела.

Ако сте създали безумно сложна система за машинно обучение, как да разберете колко добра е тя? Няма да разберете, докато не покажете, че работи с нови данни, които не е виждала преди.

Когато сте видели данните преди прогнозиране – едва ли е това предказване.

Когато имате достатъчно данни за разделение, не е необходимо да се позовавате на красотата на формулировките си, за да оправдаете проекта (стара навика, която виждам навсякъде, не само в науката). Можете да кажете: "Знам, че работи, защото мога да взема набор от данни, който не съм виждал преди, и точно да предскажа какво ще се случи там… и ще съм прав. Отново и отново."

Тестът на вашия модел/теория с нови данни е най-добрата основа за доверие.

Не търпя шарлатани с данни. Не ме интересува дали вашето мнение се основава на различни трикове. Не ме впечатлява красотата на обясненията. Покажете ми, че вашата теория/модел работи (и продължава да работи) на широк набор от нови данни, които никога преди не сте виждали. Това е истинското изпитание на вероятността на вашето мнение.

Обращение към специалисти в областта на Data Science

Ако искате да ви приемат сериозно всички, които разбират този хумор, спрете да се крият зад странни уравнения, за да поддържате личните си предубеждения. Покажете какво имате. Ако искате онези, които "разбраха", да разглеждат теорията/модела ви като нещо повече от просто вдъхновяваща поезия, имайте смелостта да организирате грандиозно представление за това колко добре работи на съвсем нов набор от данни… пред свидетели!

Обращение към ръководителите

Отказвайте да приемате сериозно всякакви „идеи“ за данни, докато не бъдат проверени на нови данни. Не искате ли да полагате усилия? Придържайте се към аналитиката, но не разчитайте на тези идеи — те са ненадеждни и не са били проверени за надеждност. Освен това, когато организацията разполага с изобилие от данни, няма никакъв недостатък в това да направите разделянето основа в науката и да го поддържате на инфраструктурно ниво, контролирате достъпа до тестови данни за статистика. Това е отличен начин да пресечете опитите да ви измамят!

Ако искате да видите повече примери за шарлатани, замислящи нещо лошо — ето чудесен тред в Twitter.

Итог

Когато данните са твърде малко за разделяне, само шарлатан се опитва строго да спазва вдъхновението, откривайки Америка ретроспективно, математически преоткривайки явления, за които вече е известно, че съществуват в данните, и наричайки удивлението статистически значимо. Това ги отделя от непредубедения аналитик, който се занимава с вдъхновение, и придирчив статистик, който предлага доказателства при прогнозиране.

Когато данните са много, правете си навик да разделяте данните, така ще можете да имате най-доброто от двата свята! Задължително правете аналитика и статистика отделно за отделни подмножества от началния хаос от данни.

Аналитиците вдъхновяват вас и ви предлагат широта на погледа.
Статистиците предлагат ви строго тестване.
Шарлатаните предлагат ви изкривен ретроспективен поглед, който се преструва на аналитика плюс статистика.

След като прочетете статията, може да се запитате "Не съм ли аз самият шарлатан?" Това е напълно нормално. Можете да се справите с тази мисъл по два начина: първо, погледнете назад и вижте какво сте постигнали, дали вашата работа с данните е имала практическа полза. И второ, можете да продължите да работите върху квалификацията си (което определено няма да е излишно), особено след като на своите студенти даваме практически умения и знания, които им позволяват да станат истински специалисти по данни.