યાન્ડેક્સ રેસિડેન્ટ પ્રોગ્રામ, અથવા અનુભવી બેકન્ડર કેવી રીતે ML એન્જિનિયર બની શકે છે

Yandex અનુભવી બેકએન્ડ ડેવલપર્સ માટે મશીન લર્નિંગમાં રેસીડેન્સી પ્રોગ્રામ ખોલી રહ્યું છે. જો તમે C++/Python માં ઘણું લખ્યું છે અને આ જ્ઞાનને MLમાં લાગુ કરવા માંગો છો, તો અમે તમને વ્યવહારુ સંશોધન કેવી રીતે કરવું અને અનુભવી માર્ગદર્શકો પ્રદાન કરવા તે શીખવીશું. તમે મુખ્ય યાન્ડેક્ષ સેવાઓ પર કામ કરશો અને લીનિયર મોડલ્સ અને ગ્રેડિયન્ટ બૂસ્ટિંગ, ભલામણ સિસ્ટમ્સ, છબીઓ, ટેક્સ્ટ અને ધ્વનિનું વિશ્લેષણ કરવા માટે ન્યુરલ નેટવર્ક્સ જેવા ક્ષેત્રોમાં કુશળતા પ્રાપ્ત કરશો. તમે મેટ્રિક્સ ઑફલાઇન અને ઑનલાઇનનો ઉપયોગ કરીને તમારા મોડલ્સનું યોગ્ય રીતે મૂલ્યાંકન કેવી રીતે કરવું તે પણ શીખી શકશો.

પ્રોગ્રામનો સમયગાળો એક વર્ષનો છે, જે દરમિયાન સહભાગીઓ યાન્ડેક્સના મશીન ઇન્ટેલિજન્સ અને સંશોધન વિભાગમાં કામ કરશે, તેમજ પ્રવચનો અને સેમિનારોમાં હાજરી આપશે. સહભાગિતા ચૂકવવામાં આવે છે અને તેમાં પૂર્ણ-સમયના કામનો સમાવેશ થાય છે: દર અઠવાડિયે 40 કલાક, આ વર્ષની 1 જુલાઈથી શરૂ થાય છે. અરજીઓ હવે ખુલી છે અને 1 મે સુધી ચાલશે. 

અને હવે વધુ વિગતમાં - અમે કયા પ્રકારના પ્રેક્ષકોની રાહ જોઈ રહ્યા છીએ, કાર્ય પ્રક્રિયા શું હશે અને સામાન્ય રીતે, બેક-એન્ડ નિષ્ણાત ML માં કારકિર્દી તરફ કેવી રીતે સ્વિચ કરી શકે છે તે વિશે.

ફોકસ કરો

ઘણી કંપનીઓ પાસે રેસીડેન્સી પ્રોગ્રામ્સ છે, ઉદાહરણ તરીકે, Google અને Facebook. તેઓ મુખ્યત્વે જુનિયર અને મિડ-લેવલના નિષ્ણાતોને લક્ષ્યમાં રાખે છે જેઓ એમએલ સંશોધન તરફ એક પગલું ભરવાનો પ્રયાસ કરી રહ્યા છે. અમારો કાર્યક્રમ અલગ દર્શકો માટે છે. અમે બેકએન્ડ ડેવલપર્સને આમંત્રિત કરીએ છીએ કે જેમણે પહેલેથી જ પૂરતો અનુભવ મેળવ્યો છે અને તેઓ ખાતરીપૂર્વક જાણે છે કે તેઓને ઔદ્યોગિક મશીન લર્નિંગ સમસ્યાઓના ઉકેલમાં વ્યાવહારિક કૌશલ્યો - અને વૈજ્ઞાનિકની કુશળતા નહીં - મેળવવા માટે ML તરફ જવાની જરૂર છે. આનો અર્થ એ નથી કે અમે યુવા સંશોધકોને સમર્થન આપતા નથી. અમે તેમના માટે એક અલગ કાર્યક્રમનું આયોજન કર્યું છે - પ્રીમિયમ ઇલ્યા સેગાલોવિચના નામ પરથી નામ આપવામાં આવ્યું છે, જે તમને યાન્ડેક્ષમાં પણ કામ કરવાની મંજૂરી આપે છે.

રહેવાસી ક્યાં કામ કરશે?

મશીન ઇન્ટેલિજન્સ અને રિસર્ચ વિભાગમાં, અમે જાતે પ્રોજેક્ટ વિચારો વિકસાવીએ છીએ. પ્રેરણાનો મુખ્ય સ્ત્રોત વૈજ્ઞાનિક સાહિત્ય, લેખો અને સંશોધન સમુદાયમાં વલણો છે. મારા સાથીદારો અને હું અમે જે વાંચીએ છીએ તેનું પૃથ્થકરણ કરીએ છીએ, વૈજ્ઞાનિકો દ્વારા પ્રસ્તાવિત પદ્ધતિઓને આપણે કેવી રીતે સુધારી કે વિસ્તૃત કરી શકીએ છીએ. તે જ સમયે, આપણામાંના દરેક તેના જ્ઞાન અને રુચિઓના ક્ષેત્રને ધ્યાનમાં લે છે, તે જે મહત્વપૂર્ણ માને છે તેના આધારે કાર્ય ઘડે છે. પ્રોજેક્ટ માટેનો વિચાર સામાન્ય રીતે બાહ્ય સંશોધનના પરિણામો અને વ્યક્તિની પોતાની ક્ષમતાઓના આંતરછેદ પર જન્મે છે.

આ સિસ્ટમ સારી છે કારણ કે તે મોટાભાગે યાન્ડેક્સ સેવાઓની તકનીકી સમસ્યાઓ ઊભી થાય તે પહેલાં જ હલ કરે છે. જ્યારે કોઈ સેવાને કોઈ સમસ્યાનો સામનો કરવો પડે છે, ત્યારે તેના પ્રતિનિધિઓ અમારી પાસે આવે છે, મોટાભાગે અમે પહેલેથી જ તૈયાર કરેલી ટેક્નૉલૉજી લેવાની શક્યતા છે, જે બાકી રહે છે તે ઉત્પાદનમાં યોગ્ય રીતે લાગુ કરવાનું છે. જો કંઈક તૈયાર ન હોય, તો અમે ઓછામાં ઓછું ઝડપથી યાદ રાખીશું કે આપણે ક્યાં "ખોદવાનું શરૂ" કરી શકીએ અને કયા લેખોમાં ઉકેલ શોધી શકાય. આપણે જાણીએ છીએ તેમ, વૈજ્ઞાનિક અભિગમ એ જાયન્ટ્સના ખભા પર ઊભા રહેવાનો છે.

શુ કરવુ

યાન્ડેક્સ પર - અને ખાસ કરીને અમારા મેનેજમેન્ટમાં પણ - ML ના તમામ સંબંધિત ક્ષેત્રો વિકસાવવામાં આવી રહ્યા છે. અમારો ધ્યેય વિવિધ પ્રકારના ઉત્પાદનોની ગુણવત્તા સુધારવાનો છે અને આ બધું નવું ચકાસવા માટે પ્રોત્સાહન તરીકે કામ કરે છે. વધુમાં, નવી સેવાઓ નિયમિતપણે દેખાય છે. તેથી લેક્ચર પ્રોગ્રામમાં ઔદ્યોગિક વિકાસમાં મશીન લર્નિંગના તમામ મુખ્ય (સારી રીતે સાબિત) ક્ષેત્રો શામેલ છે. અભ્યાસક્રમના મારા ભાગનું સંકલન કરતી વખતે, મેં શાળા ઓફ ડેટા એનાલિસિસમાં મારા શિક્ષણ અનુભવ તેમજ અન્ય SHAD શિક્ષકોની સામગ્રી અને કાર્યનો ઉપયોગ કર્યો. હું જાણું છું કે મારા સાથીઓએ પણ એવું જ કર્યું હતું.

પ્રથમ મહિનામાં, કોર્સ પ્રોગ્રામ અનુસાર તાલીમ તમારા કામકાજના સમયના આશરે 30%, પછી લગભગ 10% માટે જવાબદાર રહેશે. જો કે, એ સમજવું અગત્યનું છે કે ML મોડલ્સ સાથે કામ કરવું એ બધી સંકળાયેલ પ્રક્રિયાઓ કરતાં લગભગ ચાર ગણો ઓછો સમય લાગશે. આમાં બેકએન્ડ તૈયાર કરવા, ડેટા પ્રાપ્ત કરવા, તેને પ્રીપ્રોસેસ કરવા માટે પાઇપલાઇન લખવા, કોડને ઑપ્ટિમાઇઝ કરવા, ચોક્કસ હાર્ડવેરને અનુકૂલિત કરવા વગેરેનો સમાવેશ થાય છે. એક ML એન્જિનિયર છે, જો તમે ઇચ્છો તો, સંપૂર્ણ-સ્ટેક ડેવલપર (માત્ર મશીન લર્નિંગ પર વધુ ભાર સાથે) , શરૂઆતથી અંત સુધી સમસ્યા હલ કરવા સક્ષમ. તૈયાર મોડેલ સાથે પણ, તમારે કદાચ ઘણી વધુ ક્રિયાઓ કરવાની જરૂર પડશે: તેના અમલને અનેક મશીનોમાં સમાંતર કરો, હેન્ડલ, લાઇબ્રેરી અથવા સેવાના ઘટકોના સ્વરૂપમાં અમલીકરણ તૈયાર કરો.

વિદ્યાર્થીની પસંદગી
જો તમે પહેલા બેકએન્ડ ડેવલપર તરીકે કામ કરીને એમએલ એન્જિનિયર બનવું વધુ સારું છે એવી છાપ હેઠળ હતા, તો આ સાચું નથી. સેવાઓ વિકસાવવાના વાસ્તવિક અનુભવ વિના સમાન SAD માં નોંધણી કરવી, શીખવું અને બજારમાં અત્યંત માંગમાં બનવું એ એક ઉત્તમ વિકલ્પ છે. ઘણા યાન્ડેક્સ નિષ્ણાતો તેમની વર્તમાન સ્થિતિમાં આ રીતે સમાપ્ત થયા. જો કોઈ કંપની તમને સ્નાતક થયા પછી તરત જ એમએલના ક્ષેત્રમાં નોકરીની ઓફર કરવા તૈયાર હોય, તો તમારે કદાચ આ ઓફર પણ સ્વીકારવી જોઈએ. અનુભવી માર્ગદર્શક સાથે સારી ટીમમાં પ્રવેશવાનો પ્રયાસ કરો અને ઘણું શીખવા માટે તૈયાર રહો.

સામાન્ય રીતે તમને ML કરવાથી શું અટકાવે છે?

જો કોઈ સમર્થક ML એન્જિનિયર બનવાની ઈચ્છા ધરાવે છે, તો તે વિકાસના બે ક્ષેત્રોમાંથી પસંદ કરી શકે છે - રેસિડેન્સી પ્રોગ્રામને ધ્યાનમાં લીધા વિના.

પ્રથમ, કેટલાક શૈક્ષણિક અભ્યાસક્રમના ભાગ રૂપે અભ્યાસ કરો. પાઠ કોર્સેરા તમને મૂળભૂત તકનીકોને સમજવાની નજીક લાવશે, પરંતુ તમારી જાતને વ્યવસાયમાં પૂરતા પ્રમાણમાં નિમજ્જિત કરવા માટે, તમારે તેના માટે વધુ સમય ફાળવવાની જરૂર છે. ઉદાહરણ તરીકે, SAD માંથી સ્નાતક. વર્ષોથી, SAD પાસે મશીન લર્નિંગ પર સીધા અભ્યાસક્રમોની સંખ્યા હતી - સરેરાશ, લગભગ આઠ. તેમાંથી દરેક ખરેખર મહત્વપૂર્ણ અને ઉપયોગી છે, જેમાં સ્નાતકોના અભિપ્રાયનો સમાવેશ થાય છે. 

બીજું, તમે લડાઇ પ્રોજેક્ટ્સમાં ભાગ લઈ શકો છો જ્યાં તમારે એક અથવા બીજા ML અલ્ગોરિધમનો અમલ કરવાની જરૂર છે. જો કે, આઇટી ડેવલપમેન્ટ માર્કેટમાં આવા પ્રોજેક્ટ્સ બહુ ઓછા છે: મોટાભાગના કાર્યોમાં મશીન લર્નિંગનો ઉપયોગ થતો નથી. ML-સંબંધિત તકોની સક્રિયપણે શોધખોળ કરતી બેંકોમાં પણ, માત્ર થોડા જ ડેટા વિશ્લેષણમાં રોકાયેલા છે. જો તમે આમાંની એક ટીમમાં જોડાવામાં અસમર્થ હતા, તો તમારો એકમાત્ર વિકલ્પ એ છે કે કાં તો તમારો પોતાનો પ્રોજેક્ટ શરૂ કરો (જ્યાં, મોટે ભાગે, તમે તમારી પોતાની સમયમર્યાદા નક્કી કરશો, અને આનો લડાઇ ઉત્પાદન કાર્યો સાથે બહુ ઓછો સંબંધ નથી), અથવા સ્પર્ધા શરૂ કરો. કાગલે.

ખરેખર, અન્ય સમુદાયના સભ્યો સાથે ટીમ બનાવો અને સ્પર્ધાઓમાં પોતાને અજમાવો પ્રમાણમાં સરળ - ખાસ કરીને જો તમે કોર્સેરા પર તાલીમ અને ઉલ્લેખિત અભ્યાસક્રમો સાથે તમારી કુશળતાનો બેકઅપ લો છો. દરેક સ્પર્ધાની સમયમર્યાદા હોય છે - તે તમારા માટે પ્રોત્સાહન તરીકે કામ કરશે અને તમને IT કંપનીઓમાં સમાન સિસ્ટમ માટે તૈયાર કરશે. આ એક સારો રસ્તો છે - જે, જોકે, વાસ્તવિક પ્રક્રિયાઓથી થોડો છૂટાછેડા પણ છે. Kaggle પર તમને પ્રી-પ્રોસેસ્ડ આપવામાં આવે છે, જોકે હંમેશા સંપૂર્ણ નથી, ડેટા; ઉત્પાદનમાં યોગદાન વિશે વિચારવાની ઓફર કરશો નહીં; અને સૌથી અગત્યનું, તેમને ઉત્પાદન માટે યોગ્ય ઉકેલોની જરૂર નથી. તમારા એલ્ગોરિધમ્સ કદાચ કામ કરશે અને અત્યંત સચોટ હશે, પરંતુ તમારા મોડલ અને કોડ ફ્રેન્કેસ્ટાઇન જેવા હશે જેમ કે જુદા જુદા ભાગોમાંથી એકસાથે ટાંકવામાં આવે છે - ઉત્પાદન પ્રોજેક્ટમાં, આખું માળખું ખૂબ ધીમેથી કામ કરશે, તેને અપડેટ કરવું અને વિસ્તૃત કરવું મુશ્કેલ હશે (ઉદાહરણ તરીકે, ભાષા અને વૉઇસ એલ્ગોરિધમ હંમેશા આંશિક રીતે ભાષાના વિકાસ સાથે ફરીથી લખવામાં આવશે). કંપનીઓને એ હકીકતમાં રસ છે કે સૂચિબદ્ધ કાર્ય ફક્ત તમારા દ્વારા જ નહીં (તે સ્પષ્ટ છે કે તમે, ઉકેલના લેખક તરીકે, આ કરી શકો છો), પણ તમારા કોઈપણ સાથીદારો દ્વારા પણ કરી શકાય છે. રમતગમત અને ઔદ્યોગિક પ્રોગ્રામિંગ વચ્ચેના તફાવતની ચર્ચા કરવામાં આવી છે много, અને કાગલ ચોક્કસ રીતે "એથ્લેટ્સ" ને શિક્ષિત કરે છે - ભલે તે તે ખૂબ જ સારી રીતે કરે છે, તેમને થોડો અનુભવ મેળવવાની મંજૂરી આપે છે.

મેં વિકાસની બે સંભવિત રેખાઓ વર્ણવી છે - શૈક્ષણિક કાર્યક્રમો દ્વારા તાલીમ અને "લડાઇમાં" તાલીમ, ઉદાહરણ તરીકે કાગલ પર. રેસીડેન્સી પ્રોગ્રામ આ બે પદ્ધતિઓનું મિશ્રણ છે. SAD સ્તરે પ્રવચનો અને પરિસંવાદો, તેમજ ખરેખર લડાયક પ્રોજેક્ટ્સ, તમારી રાહ જોશે.

સોર્સ: www.habr.com