Yandex 레지던트 프로그램 또는 숙련된 백엔더가 ML 엔지니어가 될 수 있는 방법

Yandex는 숙련된 백엔드 개발자를 위한 기계 학습 레지던시 프로그램을 개설하고 있습니다. C++/Python으로 많은 글을 작성했고 이 지식을 ML에 적용하고 싶다면 실용적인 연구 방법을 가르쳐주고 경험이 풍부한 멘토를 제공할 것입니다. 주요 Yandex 서비스에 대해 작업하고 선형 모델 및 그래디언트 부스팅, 추천 시스템, 이미지, 텍스트 및 사운드 분석을 위한 신경망과 같은 분야의 기술을 습득하게 됩니다. 또한 오프라인과 온라인에서 측정항목을 사용하여 모델을 적절하게 평가하는 방법도 알아봅니다.

프로그램 기간은 40년이며, 참가자는 Yandex의 기계 지능 및 연구 부서에서 일하고 강의와 세미나에 참석하게 됩니다. 참가비는 유급이며 풀타임 근무가 포함됩니다: 올해 1월 XNUMX일부터 주당 XNUMX시간. 지금 신청이 가능합니다 그리고 1월 XNUMX일까지 지속됩니다. 

이제 우리가 어떤 종류의 청중을 기다리고 있는지, 작업 프로세스가 어떻게 될지, 일반적으로 백엔드 전문가가 ML 경력으로 전환할 수 있는 방법에 대해 더 자세히 설명합니다.

집중하다

Google, Facebook 등 많은 회사에 레지던시 프로그램이 있습니다. 주로 ML 연구를 향해 한발 더 나아가려는 중급 전문가를 대상으로 합니다. 우리 프로그램은 다양한 청중을 대상으로합니다. 우리는 이미 충분한 경험을 쌓았고 산업 기계 학습 문제를 해결하는 데 있어 과학자의 기술이 아닌 실용적인 기술을 습득하기 위해 자신의 역량을 ML로 전환해야 한다는 것을 확실히 알고 있는 백엔드 개발자를 초대합니다. 그렇다고 해서 우리가 젊은 연구자들을 지원하지 않는다는 뜻은 아닙니다. 우리는 그들을 위해 별도의 프로그램을 마련했습니다. 상 Yandex에서 작업할 수 있는 Ilya Segalovich의 이름을 딴 것입니다.

거주자는 어디에서 일하게 되나요?

기계 지능 및 연구 부서에서는 우리 스스로 프로젝트 아이디어를 개발합니다. 영감의 주요 원천은 과학 문헌, 기사, 연구 커뮤니티의 동향입니다. 동료들과 나는 우리가 읽은 내용을 분석하여 과학자들이 제안한 방법을 어떻게 개선하거나 확장할 수 있는지 살펴봅니다. 동시에 우리 각자는 자신의 지식과 관심 영역을 고려하고 중요하다고 생각하는 영역을 기반으로 작업을 공식화합니다. 프로젝트에 대한 아이디어는 대개 외부 연구 결과와 자신의 역량이 교차하는 지점에서 탄생합니다.

이 시스템은 Yandex 서비스의 기술적 문제가 발생하기 전에도 대부분 해결한다는 점에서 좋습니다. 서비스에 문제가 발생하면 담당자가 우리에게 와서 우리가 이미 준비한 기술을 채택할 가능성이 높으며 남은 것은 제품에 올바르게 적용하는 것뿐입니다. 무언가가 준비되지 않은 경우, 우리는 어디에서 "파고를 시작할" 수 있는지, 어떤 기사에서 해결책을 찾을 수 있는지 빨리 기억할 것입니다. 우리가 알고 있듯이 과학적 접근 방식은 거인의 어깨 위에 서는 것입니다.

해야 할 일

Yandex에서는, 특히 경영진에서도 ML의 모든 관련 영역이 개발되고 있습니다. 우리의 목표는 다양한 제품의 품질을 향상시키는 것이며, 이는 새로운 모든 것을 테스트할 수 있는 인센티브로 작용합니다. 또한, 정기적으로 새로운 서비스가 등장합니다. 따라서 강의 프로그램에는 산업 발전에 있어 머신러닝의 핵심(잘 입증된) 영역이 모두 포함되어 있습니다. 과정의 일부를 편집할 때 데이터 분석 학교에서의 교육 경험과 다른 SHAD 교사의 자료 및 작업을 활용했습니다. 내 동료들도 그랬다는 걸 알아요.

처음 몇 달 동안 과정 프로그램에 따른 교육은 근무 시간의 약 30%를 차지하고 그 다음에는 약 10%를 차지합니다. 그러나 ML 모델 자체로 작업하는 데는 관련된 모든 프로세스보다 약 XNUMX배 더 적은 시간이 소요된다는 점을 이해하는 것이 중요합니다. 여기에는 백엔드 준비, 데이터 수신, 전처리를 위한 파이프라인 작성, 코드 최적화, 특정 하드웨어에 적응 등이 포함됩니다. 원하는 경우 ML 엔지니어는 풀 스택 개발자입니다(기계 학습에 더 중점을 둡니다). , 처음부터 끝까지 문제를 해결할 수 있습니다. 기성 모델을 사용하더라도 여러 시스템에서 실행을 병렬화하고 핸들, 라이브러리 또는 서비스 자체의 구성 요소 형태로 구현을 준비하는 등 여러 가지 추가 작업을 수행해야 할 수 있습니다.

학생의 선택
먼저 백엔드 개발자로 일하면서 ML 엔지니어가 되는 것이 더 낫다는 인상을 받았다면 이는 사실이 아닙니다. 서비스 개발에 대한 실제 경험 없이 동일한 ShAD에 등록하고, 배우고 시장에서 엄청난 수요를 얻는 것은 훌륭한 선택입니다. 많은 Yandex 전문가가 이런 식으로 현재 위치에 있게 되었습니다. 졸업 후 즉시 ML 분야 일자리를 제안할 준비가 되어 있는 회사가 있다면 아마도 당신도 그 제안을 수락해야 할 것입니다. 경험이 풍부한 멘토와 함께 좋은 팀에 들어가 많은 것을 배울 준비를 해보세요.

일반적으로 ML을 수행하는 데 방해가 되는 것은 무엇입니까?

백엔더가 ML 엔지니어가 되고자 한다면 레지던시 프로그램을 고려하지 않고 두 가지 개발 영역 중에서 선택할 수 있습니다.

첫째, 일부 교육 과정의 일부로 공부하십시오. 레슨 Coursera를 사용하면 기본 기술을 더 잘 이해할 수 있지만 직업에 충분히 몰입하려면 훨씬 더 많은 시간을 할애해야 합니다. 예를 들어, ShAD를 졸업합니다. 수년에 걸쳐 ShAD는 기계 학습에 직접적으로 관련된 다양한 과정을 개설했습니다. 평균적으로 약 XNUMX개였습니다. 졸업생의 의견을 포함하여 그들 각각은 정말 중요하고 유용합니다. 

둘째, 하나 이상의 ML 알고리즘을 구현해야 하는 전투 프로젝트에 참여할 수 있습니다. 그러나 IT 개발 시장에는 그러한 프로젝트가 거의 없습니다. 기계 학습은 대부분의 작업에 사용되지 않습니다. ML 관련 기회를 적극적으로 탐색하는 은행에서도 데이터 분석에 참여하는 은행은 소수에 불과합니다. 이 팀 중 하나에 합류할 수 없는 경우 유일한 옵션은 자체 프로젝트를 시작하거나(아마도 자체 마감일을 설정하며 이는 전투 생산 작업과 거의 관련이 없음) 경쟁을 시작하는 것입니다. 캐글.

실제로 다른 커뮤니티 회원과 팀을 이루어 경쟁에 참여해 보세요. 비교적 쉬움 - 특히 교육 및 Coursera에서 언급된 과정을 통해 기술을 뒷받침하는 경우. 각 대회에는 마감일이 있습니다. 이는 귀하에게 인센티브 역할을 하고 IT 회사의 유사한 시스템에 대비할 수 있도록 준비시켜 줍니다. 이것은 좋은 방법이지만 실제 프로세스와는 약간 다릅니다. Kaggle에서는 항상 완벽하지는 않지만 사전 처리된 데이터가 제공됩니다. 제품에 대한 기여에 대해 생각하지 마십시오. 그리고 가장 중요한 것은 생산에 적합한 솔루션이 필요하지 않다는 것입니다. 귀하의 알고리즘은 아마도 작동하고 매우 정확할 것입니다. 그러나 귀하의 모델과 코드는 서로 다른 부분에서 함께 엮은 프랑켄슈타인과 같을 것입니다. 프로덕션 프로젝트에서는 전체 구조가 너무 느리게 작동하고 업데이트 및 확장이 어려울 것입니다(예: 언어 및 음성 알고리즘은 언어가 발전함에 따라 항상 부분적으로 다시 작성됩니다. 회사는 나열된 작업이 귀하 자신(솔루션 작성자로서 이 작업을 수행할 수 있음이 분명함)뿐만 아니라 귀하의 동료에 의해서도 수행될 수 있다는 사실에 관심이 있습니다. 스포츠 프로그래밍과 산업 프로그래밍의 차이점에 대해 논의합니다. много, Kaggle은 정확하게 "운동선수"를 교육합니다. 비록 그것이 매우 잘 수행되더라도 그들이 약간의 경험을 얻을 수 있도록 허용합니다.

나는 교육 프로그램을 통한 훈련과 Kaggle과 같은 "전투 중" 훈련이라는 두 가지 가능한 개발 라인을 설명했습니다. 레지던시 프로그램은 이 두 가지 방식을 결합한 것입니다. ShAD 수준의 강의와 세미나는 물론 진정한 전투적 프로젝트가 여러분을 기다리고 있습니다.

출처 : habr.com