Yandex tajribali dasturchilar uchun mashinani o'rganish bo'yicha rezidentlik dasturini ochmoqda. Agar siz C++/Python tilida ko'p yozgan bo'lsangiz va bu bilimlarni MLda qo'llamoqchi bo'lsangiz, biz sizga amaliy tadqiqotlarni qanday qilishni o'rgatamiz va tajribali ustozlar bilan ta'minlaymiz. Siz asosiy Yandex xizmatlari ustida ishlaysiz va chiziqli modellar va gradientni kuchaytirish, tavsiyalar tizimlari, tasvirlar, matn va tovushlarni tahlil qilish uchun neyron tarmoqlar kabi sohalarda ko'nikmalarga ega bo'lasiz. Shuningdek, siz oflayn va onlayn ko'rsatkichlar yordamida modellaringizni to'g'ri baholashni o'rganasiz.
Dasturning davomiyligi bir yil bo'lib, ishtirokchilar Yandeksning mashina razvedkasi va tadqiqot bo'limida ishlaydi, shuningdek, ma'ruza va seminarlarda qatnashadi. Ishtirok etish to'lanadi va to'liq ish kunini o'z ichiga oladi: haftasiga 40 soat, joriy yilning 1 iyulidan boshlab. va 1-maygacha davom etadi.
Va endi batafsilroq - biz qanday auditoriyani kutayotganimiz, ish jarayoni qanday bo'lishi va umuman, orqa mutaxassis ML bo'yicha martabaga qanday o'tishi mumkinligi haqida.
Direktivlik
Ko'pgina kompaniyalarda Rezidentlik dasturlari mavjud, jumladan, masalan, Google va Facebook. Ular asosan ML tadqiqotiga qadam tashlashga harakat qilayotgan kichik va o'rta darajadagi mutaxassislarga qaratilgan. Bizning dasturimiz boshqa tomoshabinlar uchun. Biz etarlicha tajribaga ega bo'lgan va o'z vakolatlarida ular MLga o'tishlari, sanoat mashinalarini o'rganish muammolarini hal qilishda olimning ko'nikmalarini emas, balki amaliy ko'nikmalarga ega bo'lishlari kerakligini aniq biladigan backend dasturchilarni taklif qilamiz. Bu biz yosh tadqiqotchilarni qoβllab-quvvatlamaymiz, degani emas. Biz ular uchun alohida dastur tashkil qildik - Ilya Segalovich nomi bilan atalgan, bu sizga Yandex-da ishlash imkonini beradi.
Rezident qayerda ishlaydi?
Mashina razvedkasi va tadqiqotlari bo'limida biz o'zimiz loyiha g'oyalarini ishlab chiqamiz. Ilhomning asosiy manbai ilmiy adabiyotlar, maqolalar va tadqiqot jamoatchiligidagi tendentsiyalardir. Mening hamkasblarim va men o'qiganlarimizni tahlil qilamiz, olimlar tomonidan taklif qilingan usullarni qanday yaxshilash yoki kengaytirishimiz mumkinligini ko'rib chiqamiz. Shu bilan birga, har birimiz o'z bilim sohasi va qiziqishlarini hisobga olamiz, o'zi muhim deb hisoblagan sohalar asosida vazifani shakllantiradi. Loyiha g'oyasi odatda tashqi tadqiqotlar natijalari va o'z vakolatlari chorrahasida tug'iladi.
Ushbu tizim yaxshi, chunki u asosan Yandex xizmatlarining texnologik muammolarini ular paydo bo'lishidan oldin hal qiladi. Xizmat muammoga duch kelganda, uning vakillari bizga kelishadi, katta ehtimol bilan biz tayyorlagan texnologiyalarni olishadi, faqat mahsulotda to'g'ri qo'llanilishi qoladi. Agar biror narsa tayyor bo'lmasa, biz hech bo'lmaganda qaerdan "qazishni boshlashimiz" mumkinligini va qaysi maqolalarda yechim izlashni tezda eslaymiz. Maβlumki, ilmiy yondashuv devlarning yelkasida turishdir.
Nima qilsa bo'ladi
Yandex-da - va hatto bizning boshqaruvimizda - MLning barcha tegishli sohalari ishlab chiqilmoqda. Bizning maqsadimiz keng turdagi mahsulotlar sifatini yaxshilashdir va bu hamma yangi narsalarni sinab ko'rish uchun rag'bat bo'lib xizmat qiladi. Bundan tashqari, yangi xizmatlar muntazam ravishda paydo bo'ladi. Shunday qilib, ma'ruza dasturi sanoatni rivojlantirishda mashinani o'rganishning barcha asosiy (yaxshi isbotlangan) yo'nalishlarini o'z ichiga oladi. Kursning bir qismini tuzishda men Ma'lumotlarni tahlil qilish maktabidagi o'qitish tajribamdan, shuningdek, boshqa SHAD o'qituvchilarining materiallari va ishlaridan foydalandim. Men hamkasblarim ham shunday qilishganini bilaman.
Birinchi oylarda kurs dasturi bo'yicha mashg'ulotlar ish vaqtingizning taxminan 30% ni, keyin esa taxminan 10% ni tashkil qiladi. Ammo shuni tushunish kerakki, ML modellari bilan ishlash barcha bog'liq jarayonlardan taxminan to'rt baravar kamroq davom etadi. Bularga backendni tayyorlash, maΚΌlumotlarni qabul qilish, uni oldindan qayta ishlash uchun quvur liniyasi yozish, kodni optimallashtirish, muayyan uskunaga moslashish va hokazo kiradi. ML muhandisi, agar xohlasangiz, toΚ»liq stek ishlab chiqaruvchisi (faqat mashinani oΚ»rganishga koΚ»proq eΚΌtibor qaratgan holda) , muammoni boshidan oxirigacha hal qila oladi. Hatto tayyor model bo'lsa ham, ehtimol siz yana bir qator amallarni bajarishingiz kerak bo'ladi: uning bajarilishini bir nechta mashinalarda parallellashtirish, tutqich, kutubxona yoki xizmatning o'zi komponentlari ko'rinishida dasturni tayyorlash.
Talaba tanlovi
Agar siz avval backend dasturchisi sifatida ishlab ML muhandisi bo'lish yaxshiroq degan taassurotda bo'lsangiz, bu to'g'ri emas. Xizmatlarni ishlab chiqish, o'rganish va bozorda juda talabchan bo'lish bo'yicha haqiqiy tajribaga ega bo'lmagan bir xil ShADga ro'yxatdan o'tish - bu juda yaxshi variant. Ko'pgina Yandex mutaxassislari shu tarzda o'zlarining hozirgi lavozimlariga ega bo'lishdi. Agar biron bir kompaniya o'qishni tugatgandan so'ng darhol sizga ML sohasida ish taklif qilishga tayyor bo'lsa, ehtimol siz ham taklifni qabul qilishingiz kerak. Tajribali murabbiy bilan yaxshi jamoaga kirishga harakat qiling va ko'p narsalarni o'rganishga tayyor bo'ling.
Odatda ML bilan shug'ullanishingizga nima xalaqit beradi?
Agar backender ML muhandisi bo'lishga intilsa, u rivojlanishning ikkita yo'nalishidan birini tanlashi mumkin - rezidentlik dasturini hisobga olmagan holda.
Birinchidan, ba'zi bir ta'lim kursining bir qismi sifatida o'qing. Coursera sizni asosiy texnikani tushunishga yaqinlashtiradi, ammo o'zingizni kasbga etarlicha singdirish uchun unga ko'proq vaqt ajratishingiz kerak. Masalan, ShADni tugatgan. Yillar davomida ShAD to'g'ridan-to'g'ri mashinani o'rganish bo'yicha turli xil kurslarga ega edi - o'rtacha sakkiztaga yaqin. Ularning har biri haqiqatan ham muhim va foydali, shu jumladan bitiruvchilarning fikriga ko'ra.
Ikkinchidan, siz u yoki bu ML algoritmini amalga oshirishingiz kerak bo'lgan jangovar loyihalarda ishtirok etishingiz mumkin. Biroq, ITni rivojlantirish bozorida bunday loyihalar juda kam: mashinani o'rganish aksariyat vazifalarda qo'llanilmaydi. Hatto ML bilan bog'liq imkoniyatlarni faol o'rganayotgan banklarda ham ma'lumotlar tahlili bilan faqat bir nechtasi shug'ullanadi. Agar siz ushbu jamoalardan biriga qo'shila olmasangiz, sizning yagona variantingiz - o'z loyihangizni boshlash (bu erda siz o'zingizning muddatlaringizni belgilashingiz mumkin va bu jangovar ishlab chiqarish vazifalariga umuman aloqasi yo'q) yoki raqobatni boshlashdir. Kaggle.
Haqiqatan ham, boshqa jamoa a'zolari bilan birlashing va o'zingizni musobaqalarda sinab ko'ring - ayniqsa, agar siz o'z mahoratingizni Coursera-dagi treninglar va aytib o'tilgan kurslar bilan qo'llab-quvvatlasangiz. Har bir tanlovning muddati bor - bu siz uchun rag'bat bo'lib xizmat qiladi va sizni IT-kompaniyalarda xuddi shunday tizimga tayyorlaydi. Bu yaxshi yo'l - ammo bu ham haqiqiy jarayonlardan biroz ajralgan. Kaggle-da sizga har doim ham mukammal bo'lmasa-da, oldindan qayta ishlangan ma'lumotlar beriladi; mahsulotga qo'shadigan hissa haqida o'ylashni taklif qilmang; va eng muhimi, ular ishlab chiqarish uchun mos echimlarni talab qilmaydi. Sizning algoritmlaringiz, ehtimol, ishlaydi va juda aniq bo'ladi, lekin sizning modellaringiz va kodlaringiz turli qismlardan bir-biriga tikilgan Frankenshteynga o'xshaydi - ishlab chiqarish loyihasida butun tuzilma juda sekin ishlaydi, uni yangilash va kengaytirish qiyin bo'ladi (masalan, til va ovoz algoritmlari til rivojlanishi bilan har doim qisman qayta yoziladi). Kompaniyalar sanab o'tilgan ishni nafaqat o'zingiz bajarishingiz mumkinligi (belgisi, siz yechim muallifi sifatida buni amalga oshirishingiz mumkin), balki har qanday hamkasbingiz ham amalga oshirishi mumkinligidan manfaatdor. Sport va sanoat dasturlash o'rtasidagi farq muhokama qilinadi , va Kaggle aniq "sportchilarni" tarbiyalaydi - garchi u buni juda yaxshi qilsa ham, ularga biroz tajriba orttirishga imkon beradi.
Men rivojlanishning ikkita mumkin bo'lgan yo'nalishini tasvirlab berdim - ta'lim dasturlari orqali o'qitish va "jangovarda", masalan, Kaggleda. Rezidentlik dasturi bu ikki usulning birikmasidir. Sizni ShAD darajasidagi ma'ruzalar va seminarlar, shuningdek, chinakam jangovar loyihalar kutmoqda.
Manba: www.habr.com