Yandex റസിഡന്റ് പ്രോഗ്രാം, അല്ലെങ്കിൽ എങ്ങനെ ഒരു പരിചയസമ്പന്നനായ ബാക്കൻഡർ ഒരു ML എഞ്ചിനീയർ ആകും

പരിചയസമ്പന്നരായ ബാക്കെൻഡ് ഡെവലപ്പർമാർക്കായി മെഷീൻ ലേണിംഗിൽ Yandex ഒരു റെസിഡൻസി പ്രോഗ്രാം തുറക്കുന്നു. നിങ്ങൾ C++/Python-ൽ ധാരാളം എഴുതിയിട്ടുണ്ടെങ്കിൽ, ഈ അറിവ് ML-ൽ പ്രയോഗിക്കാൻ ആഗ്രഹിക്കുന്നുവെങ്കിൽ, പ്രായോഗിക ഗവേഷണം എങ്ങനെ നടത്താമെന്നും പരിചയസമ്പന്നരായ ഉപദേശകരെ നൽകാമെന്നും ഞങ്ങൾ നിങ്ങളെ പഠിപ്പിക്കും. നിങ്ങൾ പ്രധാന Yandex സേവനങ്ങളിൽ പ്രവർത്തിക്കുകയും ലീനിയർ മോഡലുകൾ, ഗ്രേഡിയന്റ് ബൂസ്റ്റിംഗ്, ശുപാർശ സംവിധാനങ്ങൾ, ചിത്രങ്ങൾ, വാചകം, ശബ്ദം എന്നിവ വിശകലനം ചെയ്യുന്നതിനുള്ള ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ തുടങ്ങിയ മേഖലകളിൽ കഴിവുകൾ നേടുകയും ചെയ്യും. ഓഫ്‌ലൈനിലും ഓൺലൈനിലും മെട്രിക്‌സ് ഉപയോഗിച്ച് നിങ്ങളുടെ മോഡലുകളെ എങ്ങനെ ശരിയായി വിലയിരുത്താമെന്നും നിങ്ങൾ പഠിക്കും.

പ്രോഗ്രാമിന്റെ ദൈർഘ്യം ഒരു വർഷമാണ്, ഈ കാലയളവിൽ പങ്കെടുക്കുന്നവർ Yandex-ന്റെ മെഷീൻ ഇന്റലിജൻസ്, ഗവേഷണ വിഭാഗത്തിൽ പ്രവർത്തിക്കും, കൂടാതെ പ്രഭാഷണങ്ങളിലും സെമിനാറുകളിലും പങ്കെടുക്കും. പങ്കാളിത്തം പണം നൽകുകയും മുഴുവൻ സമയ ജോലിയും ഉൾക്കൊള്ളുകയും ചെയ്യുന്നു: ഈ വർഷം ജൂലൈ 40 മുതൽ ആഴ്ചയിൽ 1 മണിക്കൂർ. അപേക്ഷകൾ ഇപ്പോൾ തുറന്നിരിക്കുന്നു മെയ് 1 വരെ നീണ്ടുനിൽക്കുകയും ചെയ്യും. 

ഇപ്പോൾ കൂടുതൽ വിശദമായി - ഞങ്ങൾ ഏതുതരം പ്രേക്ഷകരെയാണ് കാത്തിരിക്കുന്നത്, ജോലി പ്രക്രിയ എന്തായിരിക്കും, പൊതുവേ, ഒരു ബാക്ക്-എൻഡ് സ്പെഷ്യലിസ്റ്റിന് എങ്ങനെ ML-ലെ ഒരു കരിയറിലേക്ക് മാറാം.

ഫോക്കസ് ചെയ്യുക

പല കമ്പനികൾക്കും റെസിഡൻസി പ്രോഗ്രാമുകൾ ഉണ്ട്, ഉദാഹരണത്തിന്, Google, Facebook എന്നിവയുൾപ്പെടെ. ML ഗവേഷണത്തിലേക്ക് ചുവടുവെക്കാൻ ശ്രമിക്കുന്ന ജൂനിയർ, മിഡ് ലെവൽ സ്പെഷ്യലിസ്റ്റുകളെയാണ് അവർ പ്രധാനമായും ലക്ഷ്യമിടുന്നത്. ഞങ്ങളുടെ പ്രോഗ്രാം വ്യത്യസ്ത പ്രേക്ഷകർക്കുള്ളതാണ്. വ്യാവസായിക മെഷീൻ ലേണിംഗ് പ്രശ്‌നങ്ങൾ പരിഹരിക്കുന്നതിനുള്ള പ്രായോഗിക കഴിവുകൾ - അല്ലാതെ ഒരു ശാസ്ത്രജ്ഞന്റെ കഴിവുകളല്ല - അവരുടെ കഴിവുകളിൽ ML-ലേക്ക് മാറേണ്ടതുണ്ടെന്ന് ഉറപ്പായും മതിയായ അനുഭവം നേടിയിട്ടുള്ള ബാക്കെൻഡ് ഡെവലപ്പർമാരെ ഞങ്ങൾ ക്ഷണിക്കുന്നു. ഇതിനർത്ഥം ഞങ്ങൾ യുവ ഗവേഷകരെ പിന്തുണയ്ക്കുന്നില്ല എന്നല്ല. ഞങ്ങൾ അവർക്കായി ഒരു പ്രത്യേക പ്രോഗ്രാം സംഘടിപ്പിച്ചിട്ടുണ്ട് - പ്രീമിയം Yandex-ൽ പ്രവർത്തിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്ന Ilya Segalovich-ന്റെ പേര്.

താമസക്കാരൻ എവിടെ ജോലി ചെയ്യും?

മെഷീൻ ഇന്റലിജൻസ് ആൻഡ് റിസർച്ച് വകുപ്പിൽ, ഞങ്ങൾ സ്വയം പ്രോജക്റ്റ് ആശയങ്ങൾ വികസിപ്പിക്കുന്നു. പ്രചോദനത്തിന്റെ പ്രധാന ഉറവിടം ശാസ്ത്ര സാഹിത്യം, ലേഖനങ്ങൾ, ഗവേഷണ സമൂഹത്തിലെ പ്രവണതകൾ എന്നിവയാണ്. ഞാനും എന്റെ സഹപ്രവർത്തകരും ഞങ്ങൾ വായിക്കുന്നത് വിശകലനം ചെയ്യുന്നു, ശാസ്ത്രജ്ഞർ നിർദ്ദേശിച്ച രീതികൾ എങ്ങനെ മെച്ചപ്പെടുത്താം അല്ലെങ്കിൽ വികസിപ്പിക്കാം എന്ന് നോക്കുന്നു. അതേ സമയം, നമ്മൾ ഓരോരുത്തരും അവന്റെ അറിവിന്റെയും താൽപ്പര്യങ്ങളുടെയും മേഖല കണക്കിലെടുക്കുന്നു, അവൻ പ്രധാനമായി കണക്കാക്കുന്ന മേഖലകളെ അടിസ്ഥാനമാക്കി ചുമതല രൂപപ്പെടുത്തുന്നു. ഒരു പ്രോജക്റ്റിനായുള്ള ആശയം സാധാരണയായി ബാഹ്യ ഗവേഷണ ഫലങ്ങളുടെയും സ്വന്തം കഴിവുകളുടെയും കവലയിലാണ് ജനിക്കുന്നത്.

ഈ സംവിധാനം നല്ലതാണ്, കാരണം Yandex സേവനങ്ങളുടെ സാങ്കേതിക പ്രശ്നങ്ങൾ ഉണ്ടാകുന്നതിന് മുമ്പുതന്നെ ഇത് പരിഹരിക്കുന്നു. ഒരു സേവനത്തിന് ഒരു പ്രശ്‌നം നേരിടുമ്പോൾ, അതിന്റെ പ്രതിനിധികൾ ഞങ്ങളുടെ അടുത്തേക്ക് വരുന്നു, മിക്കവാറും ഞങ്ങൾ ഇതിനകം തയ്യാറാക്കിയ സാങ്കേതികവിദ്യകൾ എടുക്കാൻ സാധ്യതയുണ്ട്, അത് ഉൽപ്പന്നത്തിൽ ശരിയായി പ്രയോഗിക്കുക എന്നതാണ് അവശേഷിക്കുന്നത്. എന്തെങ്കിലും തയ്യാറായില്ലെങ്കിൽ, നമുക്ക് എവിടെ "കുഴിക്കാൻ തുടങ്ങാം" എന്നും ഏത് ലേഖനങ്ങളിൽ പരിഹാരം കാണണമെന്നും ഞങ്ങൾ വേഗത്തിൽ ഓർക്കും. നമുക്കറിയാവുന്നതുപോലെ, ഭീമൻമാരുടെ തോളിൽ നിൽക്കുക എന്നതാണ് ശാസ്ത്രീയ സമീപനം.

എന്തുചെയ്യും

Yandex-ൽ - പ്രത്യേകിച്ച് ഞങ്ങളുടെ മാനേജ്മെന്റിൽ പോലും - ML-ന്റെ എല്ലാ പ്രസക്തമായ മേഖലകളും വികസിപ്പിച്ചുകൊണ്ടിരിക്കുന്നു. വൈവിധ്യമാർന്ന ഉൽപ്പന്നങ്ങളുടെ ഗുണനിലവാരം മെച്ചപ്പെടുത്തുക എന്നതാണ് ഞങ്ങളുടെ ലക്ഷ്യം, പുതിയതെല്ലാം പരീക്ഷിക്കുന്നതിനുള്ള ഒരു പ്രോത്സാഹനമായി ഇത് പ്രവർത്തിക്കുന്നു. കൂടാതെ, പുതിയ സേവനങ്ങൾ പതിവായി പ്രത്യക്ഷപ്പെടുന്നു. അതിനാൽ വ്യാവസായിക വികസനത്തിൽ മെഷീൻ ലേണിംഗിന്റെ എല്ലാ പ്രധാന (നന്നായി തെളിയിക്കപ്പെട്ട) മേഖലകളും ലെക്ചർ പ്രോഗ്രാമിൽ അടങ്ങിയിരിക്കുന്നു. കോഴ്‌സിന്റെ എന്റെ ഭാഗം കംപൈൽ ചെയ്യുമ്പോൾ, സ്‌കൂൾ ഓഫ് ഡാറ്റാ അനാലിസിസിലെ എന്റെ അധ്യാപന അനുഭവവും മറ്റ് SHAD അധ്യാപകരുടെ മെറ്റീരിയലുകളും ജോലിയും ഞാൻ ഉപയോഗിച്ചു. എന്റെ സഹപ്രവർത്തകരും അതുതന്നെ ചെയ്തുവെന്ന് എനിക്കറിയാം.

ആദ്യ മാസങ്ങളിൽ, കോഴ്‌സ് പ്രോഗ്രാം അനുസരിച്ചുള്ള പരിശീലനം നിങ്ങളുടെ ജോലി സമയത്തിന്റെ ഏകദേശം 30% വരും, തുടർന്ന് ഏകദേശം 10%. എന്നിരുന്നാലും, ML മോഡലുകൾക്കൊപ്പം പ്രവർത്തിക്കുന്നത് എല്ലാ അനുബന്ധ പ്രക്രിയകളേക്കാളും ഏകദേശം നാലിരട്ടി കുറവ് എടുക്കുന്നത് തുടരുമെന്ന് മനസ്സിലാക്കേണ്ടത് പ്രധാനമാണ്. ബാക്കെൻഡ് തയ്യാറാക്കൽ, ഡാറ്റ സ്വീകരിക്കൽ, അത് പ്രീപ്രോസസ് ചെയ്യുന്നതിനായി പൈപ്പ് ലൈൻ എഴുതൽ, കോഡ് ഒപ്റ്റിമൈസ് ചെയ്യൽ, നിർദ്ദിഷ്ട ഹാർഡ്‌വെയറുമായി പൊരുത്തപ്പെടൽ തുടങ്ങിയവ ഇതിൽ ഉൾപ്പെടുന്നു. ഒരു ML എഞ്ചിനീയർ നിങ്ങൾക്ക് താൽപ്പര്യമുണ്ടെങ്കിൽ, ഒരു ഫുൾ-സ്റ്റാക്ക് ഡെവലപ്പറാണ് (മെഷീൻ ലേണിംഗിൽ കൂടുതൽ ഊന്നൽ നൽകിക്കൊണ്ട് മാത്രം) , തുടക്കം മുതൽ അവസാനം വരെ ഒരു പ്രശ്നം പരിഹരിക്കാൻ കഴിയും. ഒരു റെഡിമെയ്ഡ് മോഡലിൽ പോലും, നിങ്ങൾ കൂടുതൽ പ്രവർത്തനങ്ങൾ ചെയ്യേണ്ടതുണ്ട്: നിരവധി മെഷീനുകളിൽ അതിന്റെ നിർവ്വഹണം സമാന്തരമാക്കുക, ഒരു ഹാൻഡിൽ, ഒരു ലൈബ്രറി അല്ലെങ്കിൽ സേവനത്തിന്റെ തന്നെ ഘടകങ്ങൾ എന്നിവയുടെ രൂപത്തിൽ ഒരു നടപ്പാക്കൽ തയ്യാറാക്കുക.

വിദ്യാർത്ഥി തിരഞ്ഞെടുപ്പ്
ആദ്യം ഒരു ബാക്കെൻഡ് ഡെവലപ്പറായി ജോലി ചെയ്തുകൊണ്ട് ഒരു ML എഞ്ചിനീയർ ആകുന്നതാണ് നല്ലതെന്ന് നിങ്ങൾ ധാരണയിലായിരുന്നുവെങ്കിൽ, ഇത് ശരിയല്ല. സേവനങ്ങൾ വികസിപ്പിക്കുന്നതിലും പഠിക്കുന്നതിലും വിപണിയിൽ വളരെയധികം ഡിമാൻഡ് ആകുന്നതിലും യഥാർത്ഥ അനുഭവം ഇല്ലാതെ ഒരേ ShAD-ൽ എൻറോൾ ചെയ്യുന്നത് ഒരു മികച്ച ഓപ്ഷനാണ്. പല Yandex സ്പെഷ്യലിസ്റ്റുകളും അവരുടെ നിലവിലെ സ്ഥാനങ്ങളിൽ ഈ രീതിയിൽ അവസാനിച്ചു. ബിരുദം നേടിയ ഉടൻ തന്നെ നിങ്ങൾക്ക് എം‌എൽ മേഖലയിൽ ജോലി വാഗ്ദാനം ചെയ്യാൻ ഏതെങ്കിലും കമ്പനി തയ്യാറാണെങ്കിൽ, നിങ്ങളും ഓഫർ സ്വീകരിക്കണം. പരിചയസമ്പന്നനായ ഒരു ഉപദേഷ്ടാവുമായി ഒരു നല്ല ടീമിൽ ചേരാൻ ശ്രമിക്കുക, ഒരുപാട് പഠിക്കാൻ തയ്യാറാകുക.

ML ചെയ്യുന്നതിൽ നിന്ന് നിങ്ങളെ തടയുന്നത് എന്താണ്?

ഒരു എം‌എൽ എഞ്ചിനീയർ ആകാൻ ഒരു ബാക്ക്‌ഡൻഡർ ആഗ്രഹിക്കുന്നുവെങ്കിൽ, അദ്ദേഹത്തിന് റെസിഡൻസി പ്രോഗ്രാം കണക്കിലെടുക്കാതെ രണ്ട് വികസന മേഖലകളിൽ നിന്ന് തിരഞ്ഞെടുക്കാം.

ഒന്നാമതായി, ചില വിദ്യാഭ്യാസ കോഴ്സിന്റെ ഭാഗമായി പഠിക്കുക. പാഠങ്ങൾ അടിസ്ഥാന സാങ്കേതിക വിദ്യകൾ മനസ്സിലാക്കുന്നതിലേക്ക് Coursera നിങ്ങളെ അടുപ്പിക്കും, എന്നാൽ മതിയായ അളവിൽ ഈ തൊഴിലിൽ മുഴുകാൻ, നിങ്ങൾ അതിനായി കൂടുതൽ സമയം ചെലവഴിക്കേണ്ടതുണ്ട്. ഉദാഹരണത്തിന്, ShAD-ൽ നിന്ന് ബിരുദം. വർഷങ്ങളായി, ShAD-ന് നേരിട്ട് മെഷീൻ ലേണിംഗിൽ വ്യത്യസ്ത കോഴ്‌സുകൾ ഉണ്ടായിരുന്നു - ശരാശരി എട്ട്. ബിരുദധാരികളുടെ അഭിപ്രായം ഉൾപ്പെടെ അവ ഓരോന്നും ശരിക്കും പ്രധാനപ്പെട്ടതും ഉപയോഗപ്രദവുമാണ്. 

രണ്ടാമതായി, നിങ്ങൾക്ക് ഒന്നോ അല്ലെങ്കിൽ മറ്റൊരു ML അൽഗോരിതം നടപ്പിലാക്കേണ്ട പോരാട്ട പദ്ധതികളിൽ പങ്കെടുക്കാം. എന്നിരുന്നാലും, ഐടി വികസന വിപണിയിൽ അത്തരം പ്രോജക്ടുകൾ വളരെ കുറവാണ്: മിക്ക ജോലികളിലും മെഷീൻ ലേണിംഗ് ഉപയോഗിക്കുന്നില്ല. ML-മായി ബന്ധപ്പെട്ട അവസരങ്ങൾ സജീവമായി പര്യവേക്ഷണം ചെയ്യുന്ന ബാങ്കുകളിൽ പോലും, കുറച്ച് പേർ മാത്രമേ ഡാറ്റ വിശകലനത്തിൽ ഏർപ്പെട്ടിട്ടുള്ളൂ. നിങ്ങൾക്ക് ഈ ടീമുകളിലൊന്നിൽ ചേരാൻ കഴിയുന്നില്ലെങ്കിൽ, ഒന്നുകിൽ നിങ്ങളുടെ സ്വന്തം പ്രോജക്റ്റ് ആരംഭിക്കുക എന്നതാണ് നിങ്ങളുടെ ഏക പോംവഴി (എവിടെ, മിക്കവാറും, നിങ്ങൾ നിങ്ങളുടേതായ സമയപരിധി നിശ്ചയിക്കും, ഇതിന് യുദ്ധ ഉൽപ്പാദന ജോലികളുമായി വലിയ ബന്ധമില്ല), അല്ലെങ്കിൽ മത്സരിക്കാൻ തുടങ്ങുക കഗ്ഗ്ലെ.

തീർച്ചയായും, മറ്റ് കമ്മ്യൂണിറ്റി അംഗങ്ങളുമായി ചേർന്ന് മത്സരങ്ങളിൽ സ്വയം പരീക്ഷിക്കുക താരതമ്യേന എളുപ്പമാണ് - പ്രത്യേകിച്ചും കോഴ്‌സറയിലെ പരിശീലനവും സൂചിപ്പിച്ച കോഴ്‌സുകളും ഉപയോഗിച്ച് നിങ്ങളുടെ കഴിവുകൾ ബാക്കപ്പ് ചെയ്യുകയാണെങ്കിൽ. ഓരോ മത്സരത്തിനും ഒരു സമയപരിധിയുണ്ട് - ഇത് നിങ്ങൾക്ക് ഒരു പ്രോത്സാഹനമായി വർത്തിക്കുകയും ഐടി കമ്പനികളിൽ സമാനമായ ഒരു സംവിധാനത്തിനായി നിങ്ങളെ തയ്യാറാക്കുകയും ചെയ്യും. ഇതൊരു നല്ല മാർഗമാണ് - എന്നിരുന്നാലും, ഇത് യഥാർത്ഥ പ്രക്രിയകളിൽ നിന്ന് അൽപ്പം വിവാഹമോചനം നേടിയതാണ്. Kaggle-ൽ നിങ്ങൾക്ക് മുൻകൂട്ടി പ്രോസസ്സ് ചെയ്‌തിരിക്കുന്നു, എല്ലായ്‌പ്പോഴും തികഞ്ഞതല്ലെങ്കിലും, ഡാറ്റ; ഉൽപ്പന്നത്തിനുള്ള സംഭാവനയെക്കുറിച്ച് ചിന്തിക്കാൻ വാഗ്ദാനം ചെയ്യരുത്; ഏറ്റവും പ്രധാനമായി, അവർക്ക് ഉൽപാദനത്തിന് അനുയോജ്യമായ പരിഹാരങ്ങൾ ആവശ്യമില്ല. നിങ്ങളുടെ അൽഗരിതങ്ങൾ ഒരുപക്ഷേ പ്രവർത്തിക്കുകയും വളരെ കൃത്യതയുള്ളതാകുകയും ചെയ്യും, എന്നാൽ നിങ്ങളുടെ മോഡലുകളും കോഡും ഫ്രാങ്കെൻസ്റ്റൈൻ വ്യത്യസ്ത ഭാഗങ്ങളിൽ നിന്ന് തുന്നിച്ചേർക്കുന്നത് പോലെയായിരിക്കും - ഒരു പ്രൊഡക്ഷൻ പ്രോജക്റ്റിൽ, മുഴുവൻ ഘടനയും വളരെ സാവധാനത്തിൽ പ്രവർത്തിക്കും, അത് അപ്ഡേറ്റ് ചെയ്യാനും വികസിപ്പിക്കാനും ബുദ്ധിമുട്ടായിരിക്കും (ഉദാഹരണത്തിന്, ഭാഷ വികസിക്കുമ്പോൾ ഭാഷയും ശബ്ദ അൽഗോരിതങ്ങളും ഭാഗികമായി മാറ്റിയെഴുതും). ലിസ്റ്റുചെയ്തിരിക്കുന്ന ജോലി നിങ്ങൾക്ക് സ്വയം ചെയ്യാൻ കഴിയുമെന്നതിൽ കമ്പനികൾക്ക് താൽപ്പര്യമുണ്ട് (പരിഹാരത്തിന്റെ രചയിതാവെന്ന നിലയിൽ നിങ്ങൾക്ക് ഇത് ചെയ്യാൻ കഴിയുമെന്ന് വ്യക്തമാണ്), മാത്രമല്ല നിങ്ങളുടെ സഹപ്രവർത്തകർക്കും. കായികവും വ്യാവസായിക പ്രോഗ്രാമിംഗും തമ്മിലുള്ള വ്യത്യാസം ചർച്ചചെയ്യുന്നു много, കൂടാതെ കഗ്ഗിൽ "അത്‌ലറ്റുകളെ" കൃത്യമായി പഠിപ്പിക്കുന്നു - അത് വളരെ നന്നായി ചെയ്താലും, അവർക്ക് കുറച്ച് അനുഭവം നേടാൻ അനുവദിക്കുന്നു.

വികസനത്തിന്റെ സാധ്യമായ രണ്ട് വഴികൾ ഞാൻ വിവരിച്ചു - വിദ്യാഭ്യാസ പരിപാടികളിലൂടെയുള്ള പരിശീലനവും "യുദ്ധത്തിൽ" പരിശീലനവും, ഉദാഹരണത്തിന് കഗ്ഗിൽ. ഈ രണ്ട് രീതികളും ചേർന്നതാണ് റെസിഡൻസി പ്രോഗ്രാം. ShAD തലത്തിലുള്ള പ്രഭാഷണങ്ങളും സെമിനാറുകളും അതുപോലെ തന്നെ യഥാർത്ഥ പോരാട്ട പദ്ധതികളും നിങ്ങളെ കാത്തിരിക്കുന്നു.

അവലംബം: www.habr.com