Notes Data Scientist: откъде да започна и необходимо ли е?

TL;DR е публикация за въпроси/отговори относно Data Science и как да навлезете в професията и да се развивате в нея. В статията ще анализирам основните принципи и често задавани въпроси и съм готов да отговоря на вашите конкретни въпроси - пишете в коментарите (или в лично съобщение), ще се опитам да отговоря на всичко в рамките на няколко дни.

С появата на поредицата от бележки „Satanist Date“ дойдоха много съобщения и коментари с въпроси как да започнете и къде да копаете, а днес ще анализираме основните умения и въпроси, възникнали след публикациите.

Всичко изложено тук не претендира за истина от последна инстанция и е субективно мнение на автора. Ще разгледаме основните неща, които изглеждат най-важни в процеса.

Защо точно това е необходимо?

За да бъде целта по-достижима, така че да изглежда поне малко специфична - искате да станете DS или Research Scientist във Facebook/Apple/Amazon/Netflix/Google - вижте изискванията, езиците и необходимите умения конкретно за коя позиция. Какъв е процесът на наемане? Как протича един типичен ден в такава роля? Как изглежда средният профил на човек, който работи там?

Често общата картина е, че човек не разбира какво точно иска и не е съвсем ясно как да се подготви за този неясен образ - така че си струва да имате поне груб план какво точно искате.

Конкретизирайте текущия изглед на целта

Дори и да се променя по пътя и обикновено е нормално плановете да се променят по време на играта, струва си да имате цел и да се фокусирате върху нея, като периодично оценявате и преосмисляте.

Ще бъде ли или все още е актуално?

Докато израснете до позиция.

Представете си, че преди позицията ви трябва да вземете докторска степен, да работите 2-3 години в индустрията и като цяло да се подстрижете, докато медитирате в манастир - няма ли ситуацията с Data Science да е същата, както едно време с икономистите и адвокати? Ще се промени ли всичко до неузнаваемост в областта, която искате да преследвате?

Няма ли голям шанс сега всички да се втурнат там и да видим картина, в която има широк слой хора, които се опитват да влязат в професията - и просто ще има оскъдна стартова позиция.

Може би си струва да вземете предвид текущите тенденции, когато избирате път, не само текущото състояние на пазара на труда, но и вашата представа за това как се променя и къде се намира.

Например, авторът не е планирал да стане сатанист, но по време на докторантурата си е работил по проекти на трети страни, които са имали силни умения, общи с DS, и в края на висшето си образование той естествено е преминал към околната среда, виждайки добра позиция.

Ако по време на пиесата се окаже, че ще трябва да се преместим някъде другаде - защото сега има най-много движение и се случват всички най-интересни действия, тогава ние ще се преместим там естествено.

Разбивка на умения

Това са условни категории умения, които ми се струват ключови за пълноценна и ефективна работа в ДС. Ще подчертая английския отделно - научете каквото и да правите в CS. Следват ключовите категории.

Програмиране/Скриптове

С какви езици със сигурност ще се запознаете? Python? Java? Shell скриптове? Луа? Sql? C++?

Какво точно трябва да можете да правите и защо по отношение на програмирането - обхватът на позициите тук варира значително.

Например, често ми се налага да внедрявам сложна логика, заявки, модели, анализи и като цяло да разработвам интерпретирани системи, но почти никога няма изисквания за скоростта на кода, освен най-общите и разумни.

Следователно моят набор от умения е много различен от тези, които пишат библиотеката Tensorflow и мислят за оптимизиране на кода за ефективно използване на l1 кеша и подобни неща, така че вижте какво точно ви трябва и преценете правилния път към обучението.

Например за python хората вече се гримират карта учене на език.

Със сигурност вече има опитни съвети и добри източници за вашите нужди - трябва да вземете решение за списък и да започнете да работите по него.

Разбиране на бизнес процесите

Не можете да отидете никъде без него: трябва да разберете защо сте необходими в този процес, какво правите и защо. Често това е, което може да ви спести много време, да увеличи максимално ползата ви и да не губи време и ресурси за глупости.

Обикновено си задавам следните въпроси:

• Какво точно правя във фирмата?
• Защо?
• Кой и как ще го използва?
• Какви опции имам?
• Какви са границите на параметрите?

Ето малко повече подробности за параметрите: често можете значително да промените работния сценарий, ако знаете, че нещо може да бъде пожертвано: например интерпретируемостта или обратното, няколко процента няма да играят роля тук и имаме много бърз решение и клиентът се нуждае от него, защото той плаща за времето, през което тръбопроводът работи в AWS.

математика

Тук сам си мислиш и разбираш всичко - без познания по елементарна математика не си нищо повече от маймуни с граната (съжалявам Random Forest) - така че трябва да разбираш поне основните неща. Ако трябва да съставя много минимален списък, той ще включва:

• Линейна алгебра - огромен брой ресурси са лесни за търсене в Google, потърсете това, което ви подхожда най-добре;
• Математически анализ - (поне през първите два семестъра);
• Теорията на вероятностите е навсякъде в машинното обучение;
• Комбинаторика – тя всъщност е допълваща теорията;
• Теория на графите – поне BASIC;
• Алгоритми – поне за първите два семестъра (вижте препоръките на Кормен в книгата му);
• Mathlogic - поне основно.

Практически анализ и визуализация на данни

Едно от най-важните неща е да можете да не се страхувате да изцапате ръцете си с данни и да извършите цялостен анализ на набора от данни, проект и да създадете бърза визуализация на данни.

Проучвателният анализ на данни трябва просто да се превърне в нещо естествено, като всички други трансформации на данни и способността да се създаде прост тръбопровод от unix възли (вижте предишните статии) или да се напише четим и разбираем бележник.

Бих искал да спомена визуализацията: по-добре е да видите веднъж, отколкото да чуете сто пъти.

Показването на графика на мениджър е сто пъти по-лесно и по-ясно от набор от числа, така че matplotlib, seaborn и ggplot2 са ваши приятели.

Меки умения

Също толкова важно е да можете да комуникирате вашите идеи, както и резултатите и опасенията (и т.н.) на другите – уверете се, че можете ясно да формулирате задачата както в технически, така и в бизнес термини.

Можете да обясните на колеги, мениджъри, началници, клиенти и всеки друг, който има нужда от това какво се случва, какви данни използвате и какви резултати сте получили.

Вашите диаграми и документация трябва да се четат без вас. Тоест не е нужно да ходите при вас, за да разберете какво е написано там.

Можете да направите ясна презентация, за да разберете идеята и/или да документирате проекта/работата си.

Можете да изразите позицията си по аргументиран и неемоционален начин, да кажете „да/не“ или да поставите под въпрос/подкрепите решение.

обучение

Има много различни места, където можете да научите всичко това. Ще дам кратък списък - пробвах всичко от него и, честно казано, всеки артикул има своите плюсове и минуси. Изпробвайте го и решете какво ви подхожда, но силно препоръчвам да опитате няколко варианта и да не се спирате на един.

• Онлайн курсове: coursera, udacity, Edx и др.;
• Нови училища: онлайн и офлайн - SkillFactory, ShaD, MADE;
• Класически училища: университетски магистърски програми и курсове за повишаване на квалификацията;
• Проекти - можете просто да изберете задачи, които ви интересуват и да ги изрежете, като ги качите в github;
• Стажове - тук е трудно да се предложи нещо; трябва да потърсите какво е налично и да намерите подходящи опции.

Необходимо ли е?

В заключение вероятно ще добавя три лични принципа, които се опитвам да следвам.

• Трябва да е интересно;
• Носете вътрешно удоволствие (= поне не причинявайте страдание);
• — Да бъда твоя.

Защо те? Трудно е да си представите да правите нещо всеки ден и да не ви харесва или да не се интересувате. Представете си, че сте лекар и мразите да общувате с хора - това, разбира се, може по някакъв начин да работи, но постоянно ще се чувствате неудобно от потока от пациенти, които искат да ви попитат нещо. Това не работи в дългосрочен план.

Защо специално споменах вътрешното удоволствие? Струва ми се, че това е необходимо за по-нататъшното развитие и по принцип учебния процес. Наистина ми е приятно, когато успея да завърша някаква сложна функция и да изградя модел или да изчисля важен параметър. Радвам се, когато кодът ми е естетически красив и добре написан. Следователно научаването на нещо ново е интересно и не изисква пряка съществена мотивация.

„Да бъдеш твой“ е същото усещане, че това е приблизително това, което искаш да направиш. Имам една малка история. От дете се интересувах от рок музика (и метъл - SALMON!) и като толкова много други исках да се науча да свиря и това е всичко. Оказа се, че нямам слух и глас - това изобщо не ме притесняваше (и трябва да кажа, че това не притеснява много изпълнители точно на сцената), а когато бях още в училище, взех китара... и стана ясно, че не обичам да седя с часове и да играя на него. Беше трудно, винаги ми се струваше, че излизат някакви глупости - изобщо не получавах никакво удоволствие от това и просто се чувствах гаден, глупав и напълно неспособен. Буквално се принудих да седна за часовете и като цяло не беше добра храна за коня.

В същото време можех съвсем спокойно да седя с часове, разработвайки някаква играчка, използвайки скрипт, за да анимирам нещо на флаш (или нещо друго) и бях диво мотивиран да завърша елементи в играта или да се справя с механиката на движение и/или свързване на библиотеки на трети страни, добавки и всичко останало.

И в един момент осъзнах, че свиренето на китара не е моето нещо и че наистина обичам да слушам, а не да свиря. И очите ми блестяха, когато пишех игри и код (слушах всякакъв вид метъл в този момент) и това ми хареса тогава и това трябваше да правя.

Имате ли други въпроси?

Разбира се, не можахме да разгледаме всички теми и въпроси, така че пишете коментари и ми пишете ЛС - винаги се радвам да имам въпроси.

Източник: www.habr.com