यांडेक्स निवासी कार्यक्रम, किंवा अनुभवी बॅकेंडर एमएल अभियंता कसा बनू शकतो

Yandex अनुभवी बॅकएंड विकसकांसाठी मशीन लर्निंगमध्ये रेसिडेन्सी प्रोग्राम उघडत आहे. जर तुम्ही C++/Python मध्ये बरेच काही लिहिले असेल आणि तुम्हाला हे ज्ञान ML मध्ये लागू करायचे असेल, तर आम्ही तुम्हाला व्यावहारिक संशोधन कसे करावे आणि अनुभवी मार्गदर्शक कसे द्यावे हे शिकवू. तुम्ही प्रमुख Yandex सेवांवर कार्य कराल आणि रेखीय मॉडेल्स आणि ग्रेडियंट बूस्टिंग, शिफारस प्रणाली, प्रतिमा, मजकूर आणि ध्वनी यांचे विश्लेषण करण्यासाठी न्यूरल नेटवर्क यासारख्या क्षेत्रात कौशल्ये मिळवाल. मेट्रिक्स ऑफलाइन आणि ऑनलाइन वापरून आपल्या मॉडेलचे योग्यरित्या मूल्यांकन कसे करावे हे देखील आपण शिकाल.

कार्यक्रमाचा कालावधी एक वर्षाचा आहे, ज्या दरम्यान सहभागी यॅन्डेक्सच्या मशीन इंटेलिजन्स आणि संशोधन विभागात काम करतील, तसेच व्याख्यान आणि चर्चासत्रांना उपस्थित राहतील. सहभाग सशुल्क आहे आणि पूर्णवेळ कामाचा समावेश आहे: या वर्षाच्या 40 जुलैपासून दर आठवड्याला 1 तास. अर्ज आता खुले आहेत आणि 1 मे पर्यंत चालेल. 

आणि आता अधिक तपशीलवार - आम्ही कोणत्या प्रकारच्या प्रेक्षकांची वाट पाहत आहोत, कामाची प्रक्रिया काय असेल आणि सर्वसाधारणपणे, बॅक-एंड तज्ञ एमएलमधील करिअरमध्ये कसे स्विच करू शकतात.

अभिमुखता

अनेक कंपन्यांकडे रेसिडेन्सी प्रोग्राम आहेत, उदाहरणार्थ, Google आणि Facebook. ते प्रामुख्याने कनिष्ठ आणि मध्यम-स्तरीय तज्ञांसाठी आहेत जे एमएल संशोधनाकडे एक पाऊल टाकण्याचा प्रयत्न करीत आहेत. आमचा कार्यक्रम वेगळ्या प्रेक्षकांसाठी आहे. आम्ही अशा बॅकएंड डेव्हलपरना आमंत्रित करतो ज्यांनी आधीच पुरेसा अनुभव मिळवला आहे आणि त्यांना खात्री आहे की त्यांना त्यांच्या कौशल्यांमध्ये एमएलकडे वळणे आवश्यक आहे, व्यावहारिक कौशल्ये मिळविण्यासाठी - आणि एखाद्या शास्त्रज्ञाच्या कौशल्याशिवाय - औद्योगिक मशीन शिक्षण समस्या सोडवण्यासाठी. याचा अर्थ असा नाही की आम्ही तरुण संशोधकांना पाठिंबा देत नाही. आम्ही त्यांच्यासाठी स्वतंत्र कार्यक्रम आयोजित केला आहे - प्रीमियम इल्या सेगालोविचच्या नावावर, जे आपल्याला यांडेक्समध्ये काम करण्यास देखील अनुमती देते.

रहिवासी कुठे काम करतील?

मशीन इंटेलिजन्स आणि रिसर्च विभागात, आम्ही स्वतः प्रकल्प कल्पना विकसित करतो. प्रेरणेचा मुख्य स्त्रोत म्हणजे वैज्ञानिक साहित्य, लेख आणि संशोधन समुदायातील ट्रेंड. माझे सहकारी आणि मी आम्ही जे वाचतो त्याचे विश्लेषण करतो, शास्त्रज्ञांनी प्रस्तावित केलेल्या पद्धतींमध्ये आम्ही सुधारणा किंवा विस्तार कसा करू शकतो हे पाहतो. त्याच वेळी, आपल्यापैकी प्रत्येकजण त्याचे ज्ञान आणि स्वारस्यांचे क्षेत्र विचारात घेतो, त्याला महत्त्वाच्या मानलेल्या क्षेत्रांवर आधारित कार्य तयार करतो. एखाद्या प्रकल्पाची कल्पना सहसा बाह्य संशोधनाच्या परिणामांच्या आणि स्वतःच्या क्षमतांच्या छेदनबिंदूवर जन्माला येते.

ही प्रणाली चांगली आहे कारण ती मोठ्या प्रमाणावर यांडेक्स सेवांच्या तांत्रिक समस्या उद्भवण्यापूर्वीच सोडवते. जेव्हा एखाद्या सेवेला समस्या येतात तेव्हा त्याचे प्रतिनिधी आमच्याकडे येतात, बहुधा आम्ही आधीच तयार केलेले तंत्रज्ञान घेतात, जे उत्पादनामध्ये योग्यरित्या लागू करणे बाकी आहे. जर काहीतरी तयार नसेल, तर आम्ही किमान त्वरीत लक्षात ठेवू की आम्ही कुठे "खोदणे सुरू" करू शकतो आणि कोणत्या लेखांमध्ये उपाय शोधायचा आहे. आपल्याला माहित आहे की, वैज्ञानिक दृष्टीकोन म्हणजे राक्षसांच्या खांद्यावर उभे राहणे.

काय करायचं

Yandex वर - आणि विशेषतः आमच्या व्यवस्थापनात - ML चे सर्व संबंधित क्षेत्र विकसित केले जात आहेत. विविध प्रकारच्या उत्पादनांची गुणवत्ता सुधारणे हे आमचे उद्दिष्ट आहे आणि हे प्रत्येक गोष्टीची नवीन चाचणी करण्यासाठी प्रोत्साहन म्हणून काम करते. याव्यतिरिक्त, नवीन सेवा नियमितपणे दिसतात. म्हणून व्याख्यान कार्यक्रमात औद्योगिक विकासातील मशीन लर्निंगचे सर्व प्रमुख (चांगले सिद्ध) क्षेत्र समाविष्ट आहेत. अभ्यासक्रमाचा माझा भाग संकलित करताना, मी डेटा विश्लेषण शाळेतील माझा शिकवण्याचा अनुभव, तसेच इतर SHAD शिक्षकांचे साहित्य आणि कार्य वापरले. मला माहित आहे की माझ्या सहकाऱ्यांनीही असेच केले.

पहिल्या महिन्यांत, कोर्स प्रोग्रामनुसार प्रशिक्षण तुमच्या कामाच्या वेळेच्या अंदाजे 30%, नंतर सुमारे 10% असेल. तथापि, हे समजून घेणे महत्त्वाचे आहे की स्वतः ML मॉडेल्ससह कार्य करणे सर्व संबंधित प्रक्रियांपेक्षा अंदाजे चार पट कमी वेळ घेते. यामध्ये बॅकएंड तयार करणे, डेटा प्राप्त करणे, ते प्रीप्रोसेस करण्यासाठी पाइपलाइन लिहिणे, कोड ऑप्टिमाइझ करणे, विशिष्ट हार्डवेअरशी जुळवून घेणे इत्यादींचा समावेश आहे. तुम्हाला आवडत असल्यास, एक ML अभियंता पूर्ण-स्टॅक डेव्हलपर आहे (केवळ मशीन लर्निंगवर अधिक जोर देऊन) , सुरुवातीपासून शेवटपर्यंत समस्या सोडविण्यास सक्षम. अगदी रेडीमेड मॉडेलसह, तुम्हाला कदाचित आणखी अनेक क्रिया कराव्या लागतील: त्याची अंमलबजावणी अनेक मशीन्सवर समांतर करा, हँडल, लायब्ररी किंवा सेवेच्या घटकांच्या स्वरूपात अंमलबजावणी तयार करा.

विद्यार्थ्यांची निवड
बॅकएंड डेव्हलपर म्हणून प्रथम काम करून एमएल अभियंता बनणे चांगले आहे अशी तुमची धारणा असल्यास, हे खरे नाही. सेवा विकसित करण्याचा प्रत्यक्ष अनुभव न घेता समान एसएडीमध्ये नावनोंदणी करणे, शिकणे आणि बाजारपेठेत कमालीची मागणी असणे हा एक उत्तम पर्याय आहे. बर्‍याच यांडेक्स तज्ञांनी अशा प्रकारे त्यांच्या सद्य स्थितीत समाप्त केले. जर कोणतीही कंपनी तुम्हाला पदवीनंतर लगेचच एमएलच्या क्षेत्रात नोकरी देण्यास तयार असेल, तर तुम्ही कदाचित ती ऑफर देखील स्वीकारली पाहिजे. अनुभवी मार्गदर्शकासह चांगल्या संघात जाण्याचा प्रयत्न करा आणि बरेच काही शिकण्यासाठी तयार व्हा.

तुम्हाला ML करण्यापासून सहसा काय प्रतिबंधित करते?

जर एखाद्या पाठीराख्याला एमएल अभियंता बनण्याची इच्छा असेल, तर तो विकासाच्या दोन क्षेत्रांमधून निवडू शकतो - निवासी कार्यक्रम विचारात न घेता.

प्रथम, काही शैक्षणिक अभ्यासक्रमाचा भाग म्हणून अभ्यास करा. धडे कोर्सेरा तुम्हाला मूलभूत तंत्रे समजून घेण्याच्या जवळ आणेल, परंतु पुरेशा प्रमाणात या व्यवसायात स्वतःला विसर्जित करण्यासाठी, तुम्हाला त्यात जास्त वेळ घालवणे आवश्यक आहे. उदाहरणार्थ, SAD मधून पदवीधर. वर्षानुवर्षे, एसएडीकडे थेट मशीन लर्निंगवर वेगवेगळ्या अभ्यासक्रमांची संख्या होती - सरासरी, सुमारे आठ. पदवीधरांच्या मतासह, त्यापैकी प्रत्येक खरोखर महत्त्वपूर्ण आणि उपयुक्त आहे. 

दुसरे म्हणजे, आपण लढाऊ प्रकल्पांमध्ये भाग घेऊ शकता जिथे आपल्याला एक किंवा दुसरा एमएल अल्गोरिदम लागू करणे आवश्यक आहे. तथापि, आयटी डेव्हलपमेंट मार्केटमध्ये असे खूप कमी प्रकल्प आहेत: मशीन लर्निंग बहुतेक कामांमध्ये वापरले जात नाही. जरी ML-संबंधित संधी सक्रियपणे शोधत असलेल्या बँकांमध्ये, फक्त काही डेटा विश्लेषणात गुंतलेले आहेत. जर तुम्ही यापैकी एका संघात सामील होऊ शकत नसाल, तर तुमचा एकमेव पर्याय म्हणजे एकतर तुमचा स्वतःचा प्रकल्प सुरू करणे (जेथे, बहुधा, तुम्ही तुमची स्वतःची अंतिम मुदत सेट कराल, आणि याचा लढाऊ उत्पादन कार्यांशी फारसा संबंध नाही), किंवा स्पर्धा सुरू करा. कागले.

खरंच, इतर समुदाय सदस्यांसह संघ करा आणि स्पर्धांमध्ये स्वतःचा प्रयत्न करा तुलनेने सोपे - विशेषत: जर तुम्ही प्रशिक्षण आणि कोर्सेरावरील नमूद अभ्यासक्रमांसह तुमच्या कौशल्यांचा बॅकअप घेतला असेल. प्रत्येक स्पर्धेची एक अंतिम मुदत असते - ती तुमच्यासाठी प्रोत्साहन म्हणून काम करेल आणि आयटी कंपन्यांमधील समान प्रणालीसाठी तुम्हाला तयार करेल. हा एक चांगला मार्ग आहे - जे, तथापि, वास्तविक प्रक्रियांपासून थोडेसे घटस्फोटित आहे. Kaggle वर तुम्हाला पूर्व-प्रक्रिया केलेला डेटा दिला जातो, जरी नेहमी परिपूर्ण नसतो, डेटा; उत्पादनातील योगदानाबद्दल विचार करण्याची ऑफर देऊ नका; आणि सर्वात महत्त्वाचे म्हणजे, त्यांना उत्पादनासाठी योग्य उपायांची आवश्यकता नाही. तुमचे अल्गोरिदम कदाचित कार्य करतील आणि अत्यंत अचूक असतील, परंतु तुमचे मॉडेल आणि कोड फ्रँकेन्स्टाईन सारखे असतील जे वेगवेगळ्या भागांमधून एकत्र जोडलेले असतील - उत्पादन प्रकल्पात, संपूर्ण रचना खूप हळू काम करेल, ते अद्यतनित करणे आणि विस्तृत करणे कठीण होईल (उदाहरणार्थ, भाषा आणि व्हॉइस अल्गोरिदम नेहमी अंशतः भाषा विकसित होताना पुन्हा लिहितात). कंपन्यांना या वस्तुस्थितीत स्वारस्य आहे की सूचीबद्ध केलेले कार्य केवळ आपणच करू शकत नाही (हे स्पष्ट आहे की आपण समाधानाचे लेखक म्हणून हे करू शकता), परंतु आपल्या कोणत्याही सहकाऱ्यांद्वारे देखील केले जाऊ शकते. क्रीडा आणि औद्योगिक प्रोग्रामिंगमधील फरक चर्चा केली आहे भरपूर, आणि Kaggle तंतोतंत "खेळाडूंना" शिक्षित करतात - जरी ते खूप चांगले करत असले तरीही, त्यांना काही अनुभव मिळविण्यास अनुमती देते.

मी विकासाच्या दोन संभाव्य ओळींचे वर्णन केले - शैक्षणिक कार्यक्रमांद्वारे प्रशिक्षण आणि "युद्धात" प्रशिक्षण, उदाहरणार्थ कागल वर. रेसिडेन्सी प्रोग्राम या दोन पद्धतींचे संयोजन आहे. एसएडी स्तरावरील व्याख्याने आणि सेमिनार, तसेच खरोखर लढाऊ प्रकल्प तुमची वाट पाहत आहेत.

स्त्रोत: www.habr.com