Pavel Klemenkov, NVIDIA: हामी डेटा वैज्ञानिकले के गर्न सक्छ र उसले के गर्न सक्षम हुनुपर्छ बीचको खाडल घटाउने प्रयास गर्दैछौं।

डाटा विज्ञान र व्यापार बुद्धिमत्ता Ozon मास्टर्स मा मास्टर कार्यक्रम को विद्यार्थीहरु को दोस्रो सेवन सुरु भएको छ - र एक आवेदन छोड्ने र अनलाइन परीक्षा लिन निर्णय गर्न सजिलो बनाउन, हामीले कार्यक्रम शिक्षकहरूलाई अध्ययन र कामबाट के आशा गर्ने बारे सोध्यौं। डाटा संग।

प्रमुख डाटा वैज्ञानिक NVIDIA र शिक्षक बिग डाटा र डाटा इन्जिनियरिङमा पाठ्यक्रमहरू पावेल क्लेमेन्कोभले किन गणितज्ञहरूले कोड लेख्नुपर्छ र ओजोन मास्टर्समा दुई वर्ष अध्ययन गर्नुपर्छ भन्ने बारेमा कुरा गर्नुभयो।

- के त्यहाँ धेरै कम्पनीहरू छन् जसले डाटा विज्ञान एल्गोरिदमहरू प्रयोग गर्छन्?

- वास्तवमा धेरै धेरै। वास्तवमा ठूला डाटा भएका धेरै ठूला कम्पनीहरूले या त यसको साथ प्रभावकारी रूपमा काम गर्न थालेका छन् वा लामो समयदेखि यसको साथ काम गरिरहेका छन्। यो स्पष्ट छ कि बजारको आधाले डेटा प्रयोग गर्दछ जुन एक्सेल स्प्रेडसिटमा फिट हुन सक्छ वा ठूलो सर्भरमा गणना गर्न सकिन्छ, तर यो भन्न सकिँदैन कि डेटासँग काम गर्न सक्ने केही व्यवसायहरू मात्र छन्।

— डेटा विज्ञान प्रयोग हुने परियोजनाहरूको बारेमा हामीलाई थोरै बताउनुहोस्।

— उदाहरणका लागि, Rambler मा काम गर्दा, हामीले RTB (Real Time Bidding) को सिद्धान्तहरूमा काम गर्ने विज्ञापन प्रणाली बनाइरहेका थियौं - हामीले विज्ञापनको खरिदलाई अनुकूलन गर्ने वा, उदाहरणका लागि, सम्भाव्यता अनुमान गर्न सक्ने धेरै मोडेलहरू निर्माण गर्न आवश्यक छ। एक क्लिक, रूपान्तरण, र यस्तै। एकै समयमा, विज्ञापन लिलामीले धेरै डाटा उत्पन्न गर्दछ: सम्भावित विज्ञापन खरीददारहरूलाई साइट अनुरोधहरूको लग, विज्ञापन छापहरूको लग, क्लिकहरूको लग - यो प्रति दिन डाटाको दसौं टेराबाइट हो।

यसबाहेक, यी कार्यहरूको लागि हामीले एक रोचक घटना अवलोकन गर्यौं: तपाईंले मोडेललाई तालिम दिनको लागि जति धेरै डेटा दिनुहुन्छ, उच्च गुणस्तर। सामान्यतया, डेटाको एक निश्चित मात्रा पछि, पूर्वानुमानको गुणस्तर सुधार गर्न बन्द हुन्छ, र थप शुद्धता सुधार गर्न, तपाईंले आधारभूत रूपमा फरक मोडेल, डेटा, सुविधाहरू, र यस्तै अन्य तयारी गर्नको लागि फरक दृष्टिकोण प्रयोग गर्न आवश्यक छ। यहाँ हामीले थप डाटा अपलोड गर्यौं र गुणस्तर बढ्यो।

यो एक सामान्य मामला हो जहाँ विश्लेषकहरूले कम्तिमा एक प्रयोग सञ्चालन गर्नको लागि सबैभन्दा पहिले ठूला डाटा सेटहरूसँग काम गर्नुपर्थ्यो, र जहाँ आरामदायी म्याकबुकमा फिट हुने सानो नमूनाको साथ प्राप्त गर्न असम्भव थियो। एकै समयमा, हामीलाई वितरित मोडेलहरू चाहिन्छ, किनभने अन्यथा तिनीहरू प्रशिक्षित हुन सक्दैनन्। उत्पादनमा कम्प्यूटर दृष्टिको परिचयको साथ, त्यस्ता उदाहरणहरू अधिक सामान्य हुँदै गइरहेका छन्, किनकि चित्रहरू ठूलो मात्रामा डेटा हुन्, र ठूलो मोडेललाई तालिम दिन लाखौं चित्रहरू आवश्यक पर्दछ।

प्रश्न तुरुन्तै उठ्छ: यो सबै जानकारी कसरी भण्डारण गर्ने, कसरी प्रभावकारी रूपमा प्रशोधन गर्ने, कसरी वितरित शिक्षा एल्गोरिदमहरू प्रयोग गर्ने - फोकस शुद्ध गणितबाट इन्जिनियरिङमा सर्दैछ। यदि तपाईंले उत्पादनमा कोड लेख्नुभएन भने पनि, तपाईंले प्रयोग सञ्चालन गर्न इन्जिनियरिङ उपकरणहरूसँग काम गर्न सक्षम हुन आवश्यक छ।

- हालका वर्षहरूमा डाटा विज्ञान रिक्त पदहरूमा कसरी परिवर्तन भएको छ?

- बिग डाटा हाइप हुन बन्द भएको छ र एक वास्तविकता भएको छ। हार्ड ड्राइभहरू धेरै सस्तो छन्, जसको अर्थ सबै डेटा सङ्कलन गर्न सम्भव छ ताकि भविष्यमा कुनै पनि परिकल्पनाहरू परीक्षण गर्न पर्याप्त हुनेछ। नतिजाको रूपमा, ठूला डाटासँग काम गर्ने उपकरणहरूको ज्ञान धेरै लोकप्रिय हुँदै गइरहेको छ, र परिणाम स्वरूप, डाटा इन्जिनियरहरूका लागि थप र अधिक रिक्त पदहरू देखा पर्दैछन्।

मेरो बुझाइमा, डेटा वैज्ञानिकको कामको नतिजा कुनै प्रयोग होइन, तर उत्पादनमा पुगेको उत्पादन हो। र केवल यस दृष्टिकोणबाट, ठूलो डेटाको वरिपरि हाइपको आगमन अघि, प्रक्रिया सरल थियो: इन्जिनियरहरू विशेष समस्याहरू समाधान गर्न मेसिन लर्निङमा संलग्न थिए, र उत्पादनमा एल्गोरिदम ल्याउनमा कुनै समस्या थिएन।

- खोजिएको विशेषज्ञ बन्न के चाहिन्छ?

— अब धेरै मानिसहरू डेटा विज्ञानमा आएका छन् जसले गणित, मेसिन लर्निङको सिद्धान्त अध्ययन गरेका छन्, र डेटा विश्लेषण प्रतियोगिताहरूमा भाग लिएका छन्, जहाँ एक तयार पूर्वाधार प्रदान गरिएको छ: डाटा सफा गरिएको छ, मेट्रिक्स परिभाषित छन्, र त्यहाँ कुनै पनि छैन। समाधानको लागि पुन: उत्पादन योग्य र छिटो हुन आवश्यकताहरू।

नतिजाको रूपमा, केटाहरू व्यवसायको वास्तविकताहरूको लागि तयार नभएको काम गर्न आउँछन्, र नयाँ र अनुभवी विकासकर्ताहरू बीच एउटा खाडल बनाइन्छ।

उपकरणहरूको विकासले तपाईंलाई तयार मोड्युलहरूबाट आफ्नै मोडेलहरू भेला गर्न अनुमति दिन्छ - र माइक्रोसफ्ट, गुगल र अन्य धेरैसँग पहिले नै त्यस्ता समाधानहरू छन् - र मेसिन लर्निंगको स्वचालन, यो अन्तर अझ स्पष्ट हुनेछ। भविष्यमा, पेशाले नयाँ एल्गोरिदमहरू लिएर आउने गम्भीर अनुसन्धानकर्ताहरू, र विकसित इन्जिनियरिङ सीप भएका कर्मचारीहरूको माग हुनेछ जसले मोडेलहरू लागू गर्नेछन् र प्रक्रियाहरू स्वचालित गर्नेछन्। डाटा ईन्जिनियरिङ् मा Ozon मास्टर्स कोर्स ईन्जिनियरिङ् कौशल र ठूलो डाटा मा वितरित मेसिन लर्निङ एल्गोरिदम प्रयोग गर्ने क्षमता विकास गर्न डिजाइन गरिएको छ। हामी डेटा वैज्ञानिकले के गर्न सक्छ र उसले व्यवहारमा के गर्न सक्षम हुनुपर्छ बीचको अन्तरलाई कम गर्ने प्रयास गर्दैछौं।

- डिप्लोमा भएको गणितज्ञ किन व्यवसाय अध्ययन गर्न जानुपर्छ?

- रूसी डाटा विज्ञान समुदायले बुझेको छ कि सीप र अनुभव धेरै चाँडै पैसामा रूपान्तरण हुन्छ, त्यसैले, एक विशेषज्ञले व्यावहारिक अनुभव पाएपछि, उसको लागत धेरै छिटो बढ्न थाल्छ, सबैभन्दा कुशल व्यक्तिहरू धेरै महँगो हुन्छन् - र यो। विकास बजारको वर्तमान क्षणमा सत्य हो।

डाटा वैज्ञानिकको कामको ठूलो हिस्सा डाटामा जानु, त्यहाँ के छ भनेर बुझ्नु, व्यवसाय प्रक्रियाहरूको लागि जिम्मेवार व्यक्तिहरूसँग परामर्श गर्नु र यो डाटा उत्पन्न गर्नु हो - र त्यसपछि मात्र यसलाई मोडेलहरू निर्माण गर्न प्रयोग गर्नुहोस्। ठूला डाटासँग काम सुरु गर्न, इन्जिनियरिङ् सीपहरू हुनु अत्यन्त महत्त्वपूर्ण छ - यसले तीखो कुनाहरूबाट बच्न धेरै सजिलो बनाउँछ, जसमध्ये डाटा विज्ञानमा धेरै छन्।

एउटा सामान्य कथा: तपाईंले SQL मा एउटा क्वेरी लेख्नुभयो जुन ठूलो डाटामा चलिरहेको Hive फ्रेमवर्क प्रयोग गरी कार्यान्वयन गरिन्छ। अनुरोध दस मिनेटमा प्रशोधन गरिन्छ, सबैभन्दा खराब अवस्थामा - एक वा दुई घण्टामा, र प्रायः, जब तपाइँ यो डेटाको डाउनलोडहरू प्राप्त गर्नुहुन्छ, तपाइँले केहि कारक वा अतिरिक्त जानकारी लिन बिर्सनुभयो भनेर महसुस गर्नुहुन्छ। तपाईंले अनुरोध पुन: पठाउनु पर्छ र यी मिनेट र घण्टा पर्खनुहोस्। यदि तपाईं कुशलता प्रतिभा हुनुहुन्छ भने, तपाईंले अर्को काम लिनुहुनेछ, तर, अभ्यासले देखाउँछ, हामीसँग केही दक्षता प्रतिभाहरू छन्, र मानिसहरू मात्र पर्खिरहेका छन्। त्यसकारण, पाठ्यक्रमहरूमा हामी प्रारम्भिक रूपमा दुई घण्टाको लागि होइन, तर धेरै मिनेटको लागि काम गर्ने प्रश्नहरू लेख्नको लागि कार्यकुशलतामा धेरै समय खर्च गर्नेछौं। यो कौशल उत्पादकता गुणा, र यो एक विशेषज्ञ को मूल्य संग।

- ओजोन मास्टर्स अन्य पाठ्यक्रमहरू भन्दा कसरी फरक छ?

- ओजोन मास्टर्स ओजोन कर्मचारीहरु द्वारा सिकाइएको छ, र कार्यहरु वास्तविक व्यापार मामिलाहरु मा आधारित छन् कि कम्पनीहरु मा हल गरिन्छ। वास्तवमा, ईन्जिनियरिङ् कौशल को कमी को अतिरिक्त, एक व्यक्ति जसले विश्वविद्यालय मा डाटा विज्ञान अध्ययन गरेको छ अर्को समस्या छ: एक व्यापार को कार्य व्यापार को भाषा मा तैयार गरिएको छ, र यसको लक्ष्य एकदम सरल छ: अधिक पैसा कमाउन। र एक गणितज्ञलाई गणितीय मेट्रिक्सलाई कसरी अप्टिमाइज गर्ने भनेर राम्ररी थाहा छ - तर व्यापार मेट्रिकसँग सम्बन्धित हुने सूचक फेला पार्न गाह्रो छ। र तपाईंले यो बुझ्नु आवश्यक छ कि तपाईं एक व्यापार समस्या समाधान गर्दै हुनुहुन्छ, र व्यापार संगै, गणितीय रूपमा अनुकूलित गर्न सकिने मेट्रिक्स बनाउनुहोस्। यो सीप वास्तविक केसहरू मार्फत प्राप्त गरिन्छ, र तिनीहरू ओजोनद्वारा दिइन्छ।
र यदि हामीले केसहरूलाई बेवास्ता गरे पनि, स्कूललाई ​​धेरै व्यवसायीहरूले सिकाउँछन् जसले वास्तविक कम्पनीहरूमा व्यापार समस्याहरू समाधान गर्छन्। नतिजाको रूपमा, शिक्षणको दृष्टिकोण आफैं अझै बढी अभ्यास-उन्मुख छ। कम्तिमा मेरो पाठ्यक्रममा, म उपकरणहरू कसरी प्रयोग गर्ने, कुन दृष्टिकोणहरू अवस्थित छन्, र यस्तै कुराहरूमा ध्यान केन्द्रित गर्ने प्रयास गर्नेछु। विद्यार्थीहरूसँग सँगै, हामी बुझ्नेछौं कि प्रत्येक कार्यको आफ्नै उपकरण छ, र प्रत्येक उपकरणको लागू हुने क्षेत्र छ।

- सबैभन्दा प्रसिद्ध डेटा विश्लेषण प्रशिक्षण कार्यक्रम, निस्सन्देह, SAD हो - वास्तवमा यसबाट के फरक छ?

- यो स्पष्ट छ कि SAD र Ozon मास्टर्स, शैक्षिक समारोह को अतिरिक्त, कर्मचारी प्रशिक्षण को स्थानीय समस्या समाधान। शीर्ष SHAD स्नातकहरू मुख्य रूपमा Yandex मा भर्ती हुन्छन्, तर क्याच यो हो कि Yandex, यसको विशिष्टताका कारण - र यो ठूलो छ र ठूलो डाटासँग काम गर्नका लागि केही राम्रो उपकरणहरू हुँदा सिर्जना गरिएको थियो - यसको आफ्नै पूर्वाधार र डाटासँग काम गर्ने उपकरणहरू छन्। , जसको मतलब, तपाईंले तिनीहरूलाई मास्टर गर्नुपर्नेछ। Ozon Masters को एउटा फरक सन्देश छ - यदि तपाईंले सफलतापूर्वक कार्यक्रममा महारत हासिल गर्नुभएको छ र Ozon वा अन्य 99% कम्पनीहरू मध्ये कुनै एकले तपाईंलाई काम गर्न निम्तो दियो भने, यो व्यवसायलाई लाभान्वित गर्न सुरु गर्न धेरै सजिलो हुनेछ; Ozon Masters को भागको रूपमा हासिल गरिएको सीप सेट। काम सुरु गर्न पर्याप्त हुनेछ।

- पाठ्यक्रम दुई वर्षसम्म रहन्छ। किन यति धेरै समय खर्च गर्न आवश्यक छ?

- राम्रो प्रश्न। यसले लामो समय लिन्छ, किनभने सामग्री र शिक्षकहरूको स्तरको हिसाबले, यो एक अभिन्न मास्टरको कार्यक्रम हो जसमा गृहकार्य सहित मास्टर गर्न धेरै समय चाहिन्छ।

मेरो पाठ्यक्रम परिप्रेक्ष्यबाट, एक विद्यार्थीले असाइनमेन्टहरूमा हप्तामा 2-3 घण्टा खर्च गर्ने अपेक्षा गर्नु सामान्य छ। सबैभन्दा पहिले, कार्यहरू प्रशिक्षण क्लस्टरमा गरिन्छ, र कुनै पनि साझा क्लस्टरले धेरै मानिसहरूले एकै साथ प्रयोग गर्दछ भन्ने संकेत गर्दछ। त्यो हो, तपाईंले कार्य कार्यान्वयन सुरु हुनको लागि पर्खनु पर्नेछ; केही स्रोतहरू चयन गरी उच्च प्राथमिकता लाममा स्थानान्तरण गर्न सकिन्छ। अर्कोतर्फ, ठूलो डाटाको साथ कुनै पनि कामले धेरै समय लिन्छ।

यदि तपाइँसँग कार्यक्रमको बारेमा कुनै थप प्रश्नहरू छन् भने, ठूलो डेटा वा इन्जिनियरिङ सीपहरूसँग काम गर्दै, Ozon Masters शनिबार, अप्रिल 25 मा 12:00 बजे अनलाइन खुला दिन छ। हामी शिक्षक र विद्यार्थीहरूसँग भेट्छौं जूम र मा YouTube.

स्रोत: www.habr.com