Павел Клеменков, NVIDIA: Опитваме се да намалим разликата между това, което един учен по данни може да направи, и това, което трябва да може да направи

Започна вторият прием на студенти от магистърската програма по наука за данни и бизнес разузнаване Ozon Masters - и за да улесним решаването да оставите заявка и да вземете онлайн теста, попитахме преподавателите по програмата какво да очаквате от обучението и работата с данни.

Главен специалист по данни на NVIDIA и преподавател курсове по Big Data и Data Engineering Павел Клеменков разказа защо математиците трябва да пишат код и да учат в Ozon Masters две години.

— Има ли много компании, които използват алгоритми за наука за данни?

- Всъщност доста. Доста големи компании, които имат наистина големи данни, или започват да работят с тях ефективно, или работят с тях от дълго време. Ясно е, че половината от пазара използва данни, които могат да се поберат в електронна таблица на Excel или могат да бъдат изчислени на голям сървър, но не може да се каже, че има само няколко предприятия, които могат да работят с данни.

— Разкажете ни малко за проектите, в които се използва наука за данни.

— Например, докато работехме в Rambler, ние създавахме рекламна система, която работеше на принципите на RTB (офериране в реално време) - трябваше да изградим много модели, които биха оптимизирали закупуването на реклама или, например, можеха да предвидят вероятността на кликване, реализация и т.н. В същото време рекламният търг генерира много данни: регистрационни файлове на заявки за сайт към потенциални купувачи на реклами, регистрационни файлове на рекламни импресии, регистрационни файлове на кликвания - това са десетки терабайти данни на ден.

Освен това за тези задачи наблюдавахме интересен феномен: колкото повече данни давате за обучение на модела, толкова по-високо е неговото качество. Обикновено след определено количество данни качеството на прогнозата спира да се подобрява и за да подобрите точността, трябва да използвате коренно различен модел, различен подход за подготовка на данни, функции и т.н. Тук качихме повече данни и качеството се повиши.

Това е типичен случай, при който анализаторите трябваше първо да работят с големи набори от данни, за да проведат поне експеримент, и когато беше невъзможно да се мине с малка извадка, която да се побере в уютен MacBook. В същото време имахме нужда от разпределени модели, защото иначе не можеха да бъдат обучени. С въвеждането на компютърното зрение в производството подобни примери стават все по-често срещани, тъй като снимките са голямо количество данни и за да се обучи голям модел, са необходими милиони снимки.

Веднага възниква въпросът: как да съхраняваме цялата тази информация, как да я обработваме ефективно, как да използваме алгоритми за разпределено обучение – фокусът се измества от чистата математика към инженерството. Дори и да не пишете код в производството, трябва да можете да работите с инженерни инструменти, за да проведете експеримент.

— Как се промени подходът към свободните работни места в науката за данни през последните години?

— Големите данни престанаха да бъдат реклама и се превърнаха в реалност. Твърдите дискове са доста евтини, което означава, че е възможно да се съберат всички данни, така че в бъдеще да има достатъчно за тестване на всякакви хипотези. В резултат на това познанията за инструменти за работа с големи данни стават много популярни и в резултат на това се появяват все повече свободни позиции за инженери по данни.

Според моето разбиране резултатът от работата на специалист по данни не е експеримент, а продукт, който е достигнал производство. И точно от тази гледна точка, преди появата на шума около големите данни, процесът беше по-прост: инженерите се занимаваха с машинно обучение за решаване на конкретни проблеми и нямаше проблеми с въвеждането на алгоритмите в производство.

— Какво е необходимо, за да останете търсен специалист?

— Сега много хора са дошли в науката за данните, които са изучавали математика, теорията на машинното обучение и са участвали в състезания за анализ на данни, където е предоставена готова инфраструктура: данните се почистват, показателите се дефинират и няма изисквания решението да бъде възпроизводимо и бързо.

В резултат на това момчетата идват на работа зле подготвени за реалностите на бизнеса и се образува пропаст между начинаещи и опитни разработчици.

С разработването на инструменти, които ви позволяват да сглобите свой собствен модел от готови модули - а Microsoft, Google и много други вече имат такива решения - и автоматизацията на машинното обучение, тази празнина ще стане още по-отчетлива. В бъдеще професията ще бъде търсена за сериозни изследователи, които създават нови алгоритми, и служители с развити инженерни умения, които ще внедряват модели и автоматизират процеси. Курсът Ozon Masters по инженерство на данни е предназначен да развие инженерни умения и способност за използване на разпределени алгоритми за машинно обучение върху големи данни. Опитваме се да намалим разликата между това, което един учен по данни може да направи, и това, което трябва да може да прави на практика.

— Защо един математик с диплома трябва да учи бизнес?

— Руската общност за наука за данни разбра, че уменията и опитът много бързо се превръщат в пари, следователно, веднага щом специалист има практически опит, цената му започва да расте много бързо, най-квалифицираните хора са много скъпи - и това е вярно в настоящия момент на развитие на пазара.

Голяма част от работата на специалиста по данни е да влезе в данните, да разбере какво се крие там, да се консултира с хората, които отговарят за бизнес процесите и да генерира тези данни - и едва след това да ги използва за изграждане на модели. За да започнете да работите с големи данни, е изключително важно да имате инженерни умения – това значително улеснява избягването на острите ъгли, каквито има много в data science.

Типична история: написали сте заявка в SQL, която се изпълнява с помощта на рамката Hive, работеща с големи данни. Заявката се обработва за десет минути, в най-лошия случай - за час-два и често, когато получите изтегляне на тези данни, разбирате, че сте забравили да вземете предвид някакъв фактор или допълнителна информация. Трябва да изпратите отново заявката и да изчакате тези минути и часове. Ако сте гений на ефективността, ще се заемете с друга задача, но, както показва практиката, имаме малко гении на ефективността и хората просто чакат. Затова в курсовете ще отделим много време за ефективността на работата, за да напишем първоначално заявки, които работят не за два часа, а за няколко минути. Това умение умножава производителността, а с това и стойността на специалиста.

– С какво Ozon Masters се различава от другите курсове?

— Ozon Masters се преподава от служители на Ozon, а задачите са базирани на реални бизнес казуси, които се решават в компаниите. Всъщност, в допълнение към липсата на инженерни умения, човек, който е учил data science в университета, има и друг проблем: задачата на бизнеса е формулирана на езика на бизнеса и целта му е съвсем проста: да печелите повече пари. И един математик знае добре как да оптимизира математическите показатели - но намирането на индикатор, който ще корелира с бизнес показател, е трудно. И трябва да разберете, че решавате бизнес проблем и заедно с бизнеса да формулирате показатели, които могат да бъдат математически оптимизирани. Това умение се придобива чрез реални случаи и те се дават от Озон.
И дори да пренебрегнем казусите, училището се преподава от много практици, които решават бизнес проблеми в реални компании. В резултат на това подходът към самото преподаване все още е по-ориентиран към практиката. Поне в моя курс ще се опитам да изместя фокуса върху това как да използвам инструментите, какви подходи съществуват и т.н. Заедно с учениците ще разберем, че всяка задача има свой собствен инструмент и всеки инструмент има своя област на приложение.

— Най-известната програма за обучение по анализ на данни, разбира се, е ShaD — каква точно е разликата от нея?

— Ясно е, че ShAD и Ozon Masters, в допълнение към образователната функция, решават местния проблем с обучението на персонала. Топ завършилите SHAD се набират предимно в Yandex, но уловката е, че Yandex, поради спецификата си - а той е голям и е създаден, когато е имало малко добри инструменти за работа с големи данни - има собствена инфраструктура и инструменти за работа с данни , което означава, че ще трябва да ги овладеете. Ozon Masters има друго послание - ако сте усвоили успешно програмата и Ozon или една от 99% други компании ви покани на работа, ще бъде много по-лесно да започнете да се възползвате от бизнеса; наборът от умения, придобити като част от Ozon Masters ще бъде достатъчно, за да започнете работа.

– Обучението е две години. Защо трябва да отделяте толкова много време за това?

- Добър въпрос. Отнема много време, защото по отношение на съдържанието и нивото на преподавателите това е цялостна магистърска програма, която изисква много време за усвояване, включително домашни.

От моята гледна точка на курса, очакването студентът да отделя 2-3 часа седмично за задачи е обичайно. Първо, задачите се изпълняват на тренировъчен клъстер и всеки споделен клъстер предполага, че няколко души го използват едновременно. Това означава, че ще трябва да изчакате задачата да започне да се изпълнява; някои ресурси могат да бъдат избрани и прехвърлени в опашка с по-висок приоритет. От друга страна, всяка работа с големи данни отнема много време.

Ако имате още въпроси относно програмата, работа с големи данни или инженерни умения, Ozon Masters има онлайн отворен ден в събота, 25 април от 12:00 часа. Срещаме се с учители и ученици в Zoom и YouTube.

Източник: www.habr.com