પાવેલ ક્લેમેન્કોવ, NVIDIA: ડેટા સાયન્ટિસ્ટ શું કરી શકે અને તેણે શું કરવું જોઈએ તે વચ્ચેના અંતરને ઘટાડવાનો અમે પ્રયાસ કરી રહ્યા છીએ.

ડેટા સાયન્સ અને બિઝનેસ ઇન્ટેલિજન્સ ઓઝોન માસ્ટર્સના માસ્ટર પ્રોગ્રામના વિદ્યાર્થીઓનો બીજો પ્રવેશ શરૂ થયો છે - અને અરજી છોડવાનું અને ઓનલાઈન ટેસ્ટ આપવાનું નક્કી કરવાનું સરળ બનાવવા માટે, અમે પ્રોગ્રામના શિક્ષકોને અભ્યાસ અને કામથી શું અપેક્ષા રાખવી તે વિશે પૂછ્યું. ડેટા સાથે.

મુખ્ય ડેટા સાયન્ટિસ્ટ NVIDIA અને શિક્ષક બિગ ડેટા અને ડેટા એન્જિનિયરિંગ પરના અભ્યાસક્રમો પાવેલ ક્લેમેન્કોવે શા માટે ગણિતશાસ્ત્રીઓને કોડ લખવાની અને ઓઝોન માસ્ટર્સમાં બે વર્ષ અભ્યાસ કરવાની જરૂર છે તે વિશે વાત કરી.

— શું એવી ઘણી કંપનીઓ છે જે ડેટા સાયન્સ અલ્ગોરિધમનો ઉપયોગ કરે છે?

- વાસ્તવમાં ઘણું બધું. ઘણી બધી મોટી કંપનીઓ કે જેની પાસે ખરેખર મોટો ડેટા છે તે તેની સાથે અસરકારક રીતે કામ કરવાનું શરૂ કરી રહી છે અથવા લાંબા સમયથી તેની સાથે કામ કરી રહી છે. તે સ્પષ્ટ છે કે બજારનો અડધો ભાગ ડેટાનો ઉપયોગ કરે છે જે એક્સેલ સ્પ્રેડશીટમાં ફિટ થઈ શકે છે અથવા મોટા સર્વર પર ગણતરી કરી શકાય છે, પરંતુ એવું કહી શકાય નહીં કે માત્ર થોડા વ્યવસાયો છે જે ડેટા સાથે કામ કરી શકે છે.

— ડેટા સાયન્સનો ઉપયોગ કરવામાં આવે છે તે પ્રોજેક્ટ વિશે અમને થોડું કહો.

— ઉદાહરણ તરીકે, રેમ્બલરમાં કામ કરતી વખતે, અમે RTB (રિયલ ટાઈમ બિડિંગ) ના સિદ્ધાંતો પર કામ કરતી જાહેરાત પ્રણાલી બનાવી રહ્યા હતા - અમને ઘણા મૉડલ બનાવવાની જરૂર હતી જે જાહેરાતની ખરીદીને ઑપ્ટિમાઇઝ કરે અથવા, ઉદાહરણ તરીકે, સંભાવનાની આગાહી કરી શકે. એક ક્લિક, રૂપાંતરણ, અને તેથી વધુ. તે જ સમયે, જાહેરાતની હરાજી ઘણો ડેટા જનરેટ કરે છે: સંભવિત જાહેરાત ખરીદદારોને સાઇટની વિનંતીઓનો લોગ, જાહેરાતની છાપના લોગ, ક્લિક્સના લોગ - આ દરરોજ દસ ટેરાબાઇટ ડેટા છે.

તદુપરાંત, આ કાર્યો માટે અમે એક રસપ્રદ ઘટનાનું અવલોકન કર્યું: તમે મોડેલને તાલીમ આપવા માટે જેટલો વધુ ડેટા આપો છો, તેટલી તેની ગુણવત્તા વધારે છે. સામાન્ય રીતે, ડેટાની ચોક્કસ માત્રા પછી, આગાહીની ગુણવત્તામાં સુધારો થવાનું બંધ થઈ જાય છે, અને ચોકસાઈમાં વધુ સુધારો કરવા માટે, તમારે મૂળભૂત રીતે અલગ મોડલ, ડેટા, સુવિધાઓ વગેરે તૈયાર કરવા માટે એક અલગ અભિગમનો ઉપયોગ કરવાની જરૂર છે. અહીં અમે વધુ ડેટા અપલોડ કર્યો અને ગુણવત્તા વધી.

આ એક સામાન્ય કિસ્સો છે જ્યાં વિશ્લેષકોએ ઓછામાં ઓછા એક પ્રયોગ કરવા માટે સૌ પ્રથમ, મોટા ડેટા સેટ સાથે કામ કરવું પડતું હતું, અને જ્યાં હૂંફાળું MacBookમાં બંધબેસતા નાના નમૂના સાથે મેળવવું અશક્ય હતું. તે જ સમયે, અમને વિતરિત મોડેલોની જરૂર હતી, કારણ કે અન્યથા તેઓને તાલીમ આપી શકાતી નથી. ઉત્પાદનમાં કોમ્પ્યુટર વિઝનની રજૂઆત સાથે, આવા ઉદાહરણો વધુ સામાન્ય બની રહ્યા છે, કારણ કે ચિત્રો ડેટાનો મોટો જથ્થો છે, અને મોટા મોડેલને તાલીમ આપવા માટે, લાખો ચિત્રોની જરૂર છે.

પ્રશ્ન તરત જ ઉદ્ભવે છે: આ બધી માહિતી કેવી રીતે સંગ્રહિત કરવી, તેની અસરકારક રીતે પ્રક્રિયા કેવી રીતે કરવી, વિતરિત લર્નિંગ અલ્ગોરિધમ્સનો ઉપયોગ કેવી રીતે કરવો - ધ્યાન શુદ્ધ ગણિતમાંથી એન્જિનિયરિંગ તરફ સ્થળાંતર કરી રહ્યું છે. જો તમે પ્રોડક્શનમાં કોડ લખતા ન હોવ તો પણ, તમારે પ્રયોગ કરવા માટે એન્જિનિયરિંગ ટૂલ્સ સાથે કામ કરવામાં સક્ષમ હોવું જરૂરી છે.

- તાજેતરના વર્ષોમાં ડેટા સાયન્સની ખાલી જગ્યાઓ માટેનો અભિગમ કેવી રીતે બદલાયો છે?

- બિગ ડેટા હાઇપ બનવાનું બંધ કરી દીધું છે અને તે વાસ્તવિકતા બની ગયું છે. હાર્ડ ડ્રાઈવો તદ્દન સસ્તી છે, જેનો અર્થ છે કે તમામ ડેટા એકત્રિત કરવાનું શક્ય છે જેથી ભવિષ્યમાં કોઈપણ પૂર્વધારણાઓ ચકાસવા માટે પૂરતી હશે. પરિણામે, મોટા ડેટા સાથે કામ કરવા માટેના સાધનોનું જ્ઞાન ખૂબ જ લોકપ્રિય બની રહ્યું છે, અને પરિણામે, ડેટા એન્જિનિયરો માટે વધુ અને વધુ ખાલી જગ્યાઓ દેખાઈ રહી છે.

મારી સમજ મુજબ, ડેટા સાયન્ટિસ્ટના કાર્યનું પરિણામ એ પ્રયોગ નથી, પરંતુ ઉત્પાદન સુધી પહોંચ્યું છે. અને માત્ર આ દૃષ્ટિકોણથી, મોટા ડેટાની આસપાસ હાઇપના આગમન પહેલાં, પ્રક્રિયા સરળ હતી: એન્જિનિયરો ચોક્કસ સમસ્યાઓ ઉકેલવા માટે મશીન લર્નિંગમાં રોકાયેલા હતા, અને અલ્ગોરિધમ્સને ઉત્પાદનમાં લાવવામાં કોઈ સમસ્યા નહોતી.

- શોધાયેલા નિષ્ણાત રહેવા માટે શું જરૂરી છે?

— હવે ઘણા લોકો ડેટા સાયન્સમાં આવ્યા છે જેમણે ગણિત, મશીન લર્નિંગના સિદ્ધાંતનો અભ્યાસ કર્યો છે, અને ડેટા વિશ્લેષણ સ્પર્ધાઓમાં ભાગ લીધો છે, જ્યાં એક તૈયાર ઇન્ફ્રાસ્ટ્રક્ચર પ્રદાન કરવામાં આવે છે: ડેટા સાફ કરવામાં આવે છે, મેટ્રિક્સ વ્યાખ્યાયિત કરવામાં આવે છે, અને ત્યાં કોઈ નથી. ઉકેલ પુનઃઉત્પાદનક્ષમ અને ઝડપી બનવા માટેની આવશ્યકતાઓ.

પરિણામે, છોકરાઓ વ્યવસાયની વાસ્તવિકતાઓ માટે અયોગ્ય રીતે તૈયાર કામ કરવા આવે છે, અને નવા અને અનુભવી વિકાસકર્તાઓ વચ્ચે એક અંતર રચાય છે.

ટૂલ્સના વિકાસ સાથે કે જે તમને તૈયાર મોડ્યુલ્સમાંથી તમારા પોતાના મોડલને એસેમ્બલ કરવાની મંજૂરી આપે છે - અને માઇક્રોસોફ્ટ, ગૂગલ અને અન્ય ઘણા લોકો પાસે પહેલેથી જ આવા સોલ્યુશન્સ છે - અને મશીન લર્નિંગના ઓટોમેશનથી, આ તફાવત વધુ સ્પષ્ટ થશે. ભવિષ્યમાં, વ્યવસાય ગંભીર સંશોધકોની માંગમાં હશે જેઓ નવા અલ્ગોરિધમ્સ સાથે આવે છે, અને વિકસિત એન્જિનિયરિંગ કૌશલ્ય ધરાવતા કર્મચારીઓ કે જેઓ મોડેલો અમલમાં મૂકશે અને પ્રક્રિયાઓને સ્વચાલિત કરશે. ડેટા એન્જિનિયરિંગમાં ઓઝોન માસ્ટર્સ કોર્સ એન્જિનિયરિંગ કૌશલ્યો અને મોટા ડેટા પર વિતરિત મશીન લર્નિંગ અલ્ગોરિધમનો ઉપયોગ કરવાની ક્ષમતા વિકસાવવા માટે રચાયેલ છે. ડેટા સાયન્ટિસ્ટ શું કરી શકે અને વ્યવહારમાં તે શું કરી શકે તે વચ્ચેના અંતરને ઘટાડવાનો અમે પ્રયાસ કરી રહ્યા છીએ.

- ડિપ્લોમા ધરાવતા ગણિતશાસ્ત્રીએ વ્યવસાયનો અભ્યાસ કરવા શા માટે જવું જોઈએ?

— રશિયન ડેટા સાયન્સ સમુદાય સમજી ગયો છે કે કૌશલ્ય અને અનુભવ ખૂબ જ ઝડપથી પૈસામાં રૂપાંતરિત થાય છે, તેથી, જેમ જેમ નિષ્ણાતને વ્યવહારુ અનુભવ થાય છે, તેની કિંમત ખૂબ જ ઝડપથી વધવા લાગે છે, સૌથી કુશળ લોકો ખૂબ ખર્ચાળ હોય છે - અને આ વિકાસ બજારની વર્તમાન ક્ષણે સાચું છે.

ડેટા સાયન્ટિસ્ટના કામનો મોટો હિસ્સો એ છે કે ડેટામાં જવું, ત્યાં શું છે તે સમજવું, વ્યવસાયિક પ્રક્રિયાઓ માટે જવાબદાર લોકો સાથે સંપર્ક કરવો અને આ ડેટા જનરેટ કરવો - અને પછી જ તેનો ઉપયોગ મોડલ બનાવવા માટે કરવો. મોટા ડેટા સાથે કામ કરવાનું શરૂ કરવા માટે, એન્જિનિયરિંગ કુશળતા હોવી અત્યંત મહત્વપૂર્ણ છે - આનાથી તીક્ષ્ણ ખૂણાઓને ટાળવાનું ખૂબ સરળ બને છે, જેમાંથી ડેટા વિજ્ઞાનમાં ઘણા છે.

એક લાક્ષણિક વાર્તા: તમે SQL માં એક ક્વેરી લખી છે જે મોટા ડેટા પર ચાલતા Hive ફ્રેમવર્કનો ઉપયોગ કરીને ચલાવવામાં આવે છે. વિનંતી દસ મિનિટમાં પ્રક્રિયા કરવામાં આવે છે, સૌથી ખરાબ કિસ્સામાં - એક કે બે કલાકમાં, અને ઘણીવાર, જ્યારે તમે આ ડેટાના ડાઉનલોડ્સ પ્રાપ્ત કરો છો, ત્યારે તમને ખ્યાલ આવે છે કે તમે કેટલાક પરિબળ અથવા વધારાની માહિતીને ધ્યાનમાં લેવાનું ભૂલી ગયા છો. તમારે વિનંતી ફરીથી મોકલવી પડશે અને આ મિનિટો અને કલાકો રાહ જોવી પડશે. જો તમે કાર્યક્ષમતા પ્રતિભા ધરાવતા હો, તો તમે બીજું કાર્ય હાથમાં લેશો, પરંતુ, પ્રેક્ટિસ બતાવે છે તેમ, અમારી પાસે થોડા કાર્યક્ષમતા પ્રતિભાઓ છે, અને લોકો માત્ર રાહ જોઈ રહ્યા છે. તેથી, અભ્યાસક્રમોમાં અમે કાર્યક્ષમતા માટે ઘણો સમય ફાળવીશું જેથી શરૂઆતમાં ક્વેરી લખી શકાય જે બે કલાક માટે નહીં, પરંતુ ઘણી મિનિટો માટે કામ કરે છે. આ કુશળતા ઉત્પાદકતામાં વધારો કરે છે, અને તેની સાથે નિષ્ણાતનું મૂલ્ય.

- ઓઝોન માસ્ટર્સ અન્ય અભ્યાસક્રમોથી કેવી રીતે અલગ પડે છે?

— ઓઝોન માસ્ટર્સ ઓઝોન કર્મચારીઓ દ્વારા શીખવવામાં આવે છે, અને કાર્યો વાસ્તવિક વ્યવસાયિક કેસો પર આધારિત છે જે કંપનીઓમાં ઉકેલાય છે. હકીકતમાં, એન્જિનિયરિંગ કૌશલ્યોના અભાવ ઉપરાંત, યુનિવર્સિટીમાં ડેટા સાયન્સનો અભ્યાસ કરનાર વ્યક્તિની બીજી સમસ્યા છે: વ્યવસાયનું કાર્ય વ્યવસાયની ભાષામાં ઘડવામાં આવે છે, અને તેનું લક્ષ્ય એકદમ સરળ છે: વધુ પૈસા કમાવવા. અને એક ગણિતશાસ્ત્રી સારી રીતે જાણે છે કે ગાણિતિક મેટ્રિક્સને કેવી રીતે ઑપ્ટિમાઇઝ કરવું - પરંતુ એવા સૂચકને શોધવું કે જે વ્યવસાય મેટ્રિક સાથે સુસંગત હશે. અને તમારે એ સમજવાની જરૂર છે કે તમે વ્યવસાયની સમસ્યા હલ કરી રહ્યાં છો, અને વ્યવસાય સાથે મળીને, મેટ્રિક્સ ઘડશો જે ગાણિતિક રીતે ઑપ્ટિમાઇઝ કરી શકાય. આ કુશળતા વાસ્તવિક કેસો દ્વારા હસ્તગત કરવામાં આવે છે, અને તે ઓઝોન દ્વારા આપવામાં આવે છે.
અને જો આપણે કેસોને અવગણીએ તો પણ, શાળામાં ઘણા પ્રેક્ટિશનરો દ્વારા શીખવવામાં આવે છે જેઓ વાસ્તવિક કંપનીઓમાં વ્યવસાયિક સમસ્યાઓ હલ કરે છે. પરિણામે, ભણાવવાનો અભિગમ હજુ પણ વધુ અભ્યાસ-લક્ષી છે. ઓછામાં ઓછા મારા અભ્યાસક્રમમાં, હું સાધનોનો ઉપયોગ કેવી રીતે કરવો, કયા અભિગમો અસ્તિત્વમાં છે, વગેરે પર ધ્યાન કેન્દ્રિત કરવાનો પ્રયાસ કરીશ. વિદ્યાર્થીઓ સાથે મળીને, અમે સમજીશું કે દરેક કાર્યનું પોતાનું સાધન છે, અને દરેક ટૂલનો તેનો લાગુ વિસ્તાર છે.

— સૌથી પ્રસિદ્ધ ડેટા વિશ્લેષણ તાલીમ કાર્યક્રમ, અલબત્ત, SAD છે — તેનાથી ખરેખર શું તફાવત છે?

- તે સ્પષ્ટ છે કે SAD અને Ozon માસ્ટર્સ, શૈક્ષણિક કાર્ય ઉપરાંત, કર્મચારીઓની તાલીમની સ્થાનિક સમસ્યાનું નિરાકરણ કરે છે. ટોચના SHAD સ્નાતકોને મુખ્યત્વે યાન્ડેક્ષમાં ભરતી કરવામાં આવે છે, પરંતુ કેચ એ છે કે Yandex, તેની વિશિષ્ટતાઓને કારણે - અને તે મોટું છે અને જ્યારે મોટા ડેટા સાથે કામ કરવા માટે થોડા સારા સાધનો હતા ત્યારે બનાવવામાં આવ્યું હતું - તેની પાસે ડેટા સાથે કામ કરવા માટેનું પોતાનું ઈન્ફ્રાસ્ટ્રક્ચર અને સાધનો છે. , જેનો અર્થ છે, તમારે તેમને માસ્ટર કરવું પડશે. ઓઝોન માસ્ટર્સનો એક અલગ સંદેશ છે - જો તમે પ્રોગ્રામમાં સફળતાપૂર્વક નિપુણતા મેળવી લીધી હોય અને ઓઝોન અથવા અન્ય 99% કંપનીઓમાંથી એક તમને કામ કરવા માટે આમંત્રિત કરે છે, તો વ્યવસાયને લાભ આપવાનું શરૂ કરવું વધુ સરળ બનશે; ઓઝોન માસ્ટર્સના ભાગ રૂપે હસ્તગત કરેલ કૌશલ્ય સમૂહ માત્ર કામ શરૂ કરવા માટે પૂરતું હશે.

- કોર્સ બે વર્ષ ચાલે છે. તમારે આમાં આટલો સમય પસાર કરવાની શી જરૂર છે?

- સારો પ્રશ્ન. તે લાંબો સમય લે છે, કારણ કે સામગ્રી અને શિક્ષકોના સ્તરની દ્રષ્ટિએ, આ એક અભિન્ન માસ્ટર પ્રોગ્રામ છે જેમાં હોમવર્ક સહિત માસ્ટર કરવા માટે ઘણો સમય જરૂરી છે.

મારા અભ્યાસક્રમના પરિપ્રેક્ષ્યમાં, વિદ્યાર્થી અસાઇનમેન્ટ પર અઠવાડિયામાં 2-3 કલાક વિતાવે તેવી અપેક્ષા સામાન્ય છે. પ્રથમ, કાર્યો તાલીમ ક્લસ્ટર પર કરવામાં આવે છે, અને કોઈપણ વહેંચાયેલ ક્લસ્ટર સૂચવે છે કે ઘણા લોકો તેનો એક સાથે ઉપયોગ કરે છે. એટલે કે, તમારે કાર્યને અમલમાં મૂકવા માટે રાહ જોવી પડશે; કેટલાક સંસાધનો પસંદ કરી અને ઉચ્ચ અગ્રતા કતારમાં સ્થાનાંતરિત થઈ શકે છે. બીજી બાજુ, મોટા ડેટા સાથેના કોઈપણ કાર્યમાં ઘણો સમય લાગે છે.

જો તમને પ્રોગ્રામ વિશે વધુ કોઈ પ્રશ્નો હોય, મોટા ડેટા અથવા એન્જિનિયરિંગ કૌશલ્યો સાથે કામ કરો, તો ઓઝોન માસ્ટર્સ શનિવાર, 25 એપ્રિલના રોજ 12:00 વાગ્યે ઓનલાઈન ઓપન ડે છે. અમે શિક્ષકો અને વિદ્યાર્થીઓ સાથે મળીએ છીએ મોટું અને પર YouTube.

સોર્સ: www.habr.com