ડેટા એન્જીનીયર વ્યવસાયમાં સૌથી વધુ માંગની કુશળતા

અનુસાર આંકડા 2019, ડેટા એન્જીનીયર હાલમાં એક એવો વ્યવસાય છે જેની માંગ અન્ય કોઈપણ કરતા ઝડપથી વધી રહી છે. ડેટા એન્જિનિયર સંસ્થામાં નિર્ણાયક ભૂમિકા ભજવે છે - પાઇપલાઇન્સ અને ડેટાબેસેસ બનાવવા અને જાળવવા કે જેનો ઉપયોગ ડેટાને પ્રોસેસ કરવા, રૂપાંતરિત કરવા અને સ્ટોર કરવા માટે થાય છે. આ વ્યવસાયના પ્રતિનિધિઓને સૌ પ્રથમ કઈ કુશળતાની જરૂર છે? શું યાદી ડેટા વૈજ્ઞાનિકો માટે જરૂરી છે તેનાથી અલગ છે? તમે મારા લેખમાંથી આ બધું શીખી શકશો.

કઈ ટેક્નોલોજી કૌશલ્યો સૌથી વધુ લોકપ્રિય છે તે સમજવા માટે મેં ડેટા એન્જિનિયરની જગ્યાઓનું વિશ્લેષણ કર્યું કારણ કે તે જાન્યુઆરી 2020 માં છે. પછી મેં ડેટા સાયન્ટિસ્ટની જગ્યા માટેની ખાલી જગ્યાઓના આંકડા સાથે પરિણામોની સરખામણી કરી - અને કેટલાક રસપ્રદ તફાવતો બહાર આવ્યા.

ખૂબ પ્રસ્તાવના વિના, અહીં ટોચની દસ તકનીકો છે જેનો મોટાભાગે જોબ પોસ્ટિંગમાં ઉલ્લેખ કરવામાં આવે છે:

2020 માં ડેટા એન્જિનિયરની જગ્યા માટે ખાલી જગ્યાઓમાં ટેક્નોલોજીનો ઉલ્લેખ

ચાલો તેને આકૃતિ કરીએ.

ડેટા એન્જિનિયરની જવાબદારીઓ

આજે, ડેટા ઇજનેરો જે કાર્ય કરે છે તે સંસ્થાઓ માટે ખૂબ મહત્વ ધરાવે છે - આ તે લોકો છે જે માહિતી સંગ્રહિત કરવા અને તેને એવા સ્વરૂપમાં લાવવા માટે જવાબદાર છે કે અન્ય કર્મચારીઓ તેની સાથે કામ કરી શકે. ડેટા એન્જિનિયરો બહુવિધ સ્ત્રોતોમાંથી ડેટાને સ્ટ્રીમ કરવા અથવા બેચ કરવા માટે પાઇપલાઇન્સ બનાવે છે. પાઈપલાઈન પછી નિષ્કર્ષણ, રૂપાંતર અને લોડિંગ કામગીરી (બીજા શબ્દોમાં કહીએ તો, ETL પ્રક્રિયાઓ) કરે છે, જે ડેટાને વધુ ઉપયોગ માટે વધુ યોગ્ય બનાવે છે. આ પછી, વિશ્લેષકો અને ડેટા વૈજ્ઞાનિકોને ઊંડા પ્રોસેસિંગ માટે ડેટા સબમિટ કરવામાં આવે છે. છેલ્લે, ડેટા ડેશબોર્ડ્સ, રિપોર્ટ્સ અને મશીન લર્નિંગ મોડલ્સમાં તેની મુસાફરી સમાપ્ત કરે છે.

હું એવી માહિતી શોધી રહ્યો હતો જે મને આ ક્ષણે ડેટા એન્જિનિયરના કામમાં કઈ તકનીકોની સૌથી વધુ માંગ છે તે વિશે નિષ્કર્ષ કાઢવાની મંજૂરી આપે.

પદ્ધતિઓ

મેં ત્રણ જોબ સર્ચ સાઇટ્સ પરથી માહિતી એકત્રિત કરી - સિમ્પલિહાયર્ડ, ખરેખર и મોન્સ્ટર અને યુ.એસ.ના રહેવાસીઓને ધ્યાનમાં રાખીને ખાલી જગ્યાઓના ગ્રંથોમાં "ડેટા એન્જિનિયર" સાથે જોડાણમાં કયા કીવર્ડ્સ આવ્યા તે જોયા. આ કાર્ય માટે મેં બે પાયથોન લાઇબ્રેરીઓનો ઉપયોગ કર્યો - અરજીઓ и સુંદર સૂપ. કીવર્ડ્સમાં, મેં ડેટા સાયન્ટિસ્ટના હોદ્દા માટે ખાલી જગ્યાઓનું વિશ્લેષણ કરવા માટે અગાઉની સૂચિમાં સમાવિષ્ટ કરાયેલા અને ડેટા એન્જિનિયર્સ માટેની જોબ ઑફર્સ વાંચતી વખતે મેન્યુઅલી પસંદ કરેલા બંનેનો સમાવેશ કર્યો છે. LinkedIn નો સ્ત્રોતોની યાદીમાં સમાવેશ કરવામાં આવ્યો ન હતો, કારણ કે ડેટા એકત્રિત કરવાના મારા છેલ્લા પ્રયાસ પછી મને ત્યાં પ્રતિબંધિત કરવામાં આવ્યો હતો.

દરેક કીવર્ડ માટે, મેં દરેક સાઇટ પરના ટેક્સ્ટની કુલ સંખ્યામાંથી હિટની ટકાવારીની અલગથી ગણતરી કરી અને પછી ત્રણ સ્ત્રોતો માટે સરેરાશની ગણતરી કરી.

રિઝલ્ટ

નીચે ત્રીસ ટેકનિકલ ડેટા એન્જિનિયરિંગ શરતો છે જે ત્રણેય જોબ સાઇટ્સમાં સૌથી વધુ સ્કોર ધરાવે છે.

અને અહીં સમાન સંખ્યાઓ છે, પરંતુ કોષ્ટક સ્વરૂપમાં પ્રસ્તુત છે:

ચાલો ક્રમમાં જઈએ.

પરિણામોની સમીક્ષા

SQL અને Python બંને બે તૃતીયાંશ કરતાં વધુ નોકરીઓની સમીક્ષામાં દેખાય છે. તે આ બે તકનીકો છે જે પ્રથમ અભ્યાસ કરવા માટે અર્થપૂર્ણ છે. પાયથોન ડેટા સાથે કામ કરવા, વેબસાઈટ બનાવવા અને સ્ક્રિપ્ટ લખવા માટે ઉપયોગમાં લેવાતી ખૂબ જ લોકપ્રિય પ્રોગ્રામિંગ ભાષા છે. એસક્યુએલ સ્ટ્રક્ચર્ડ ક્વેરી લેંગ્વેજ માટે વપરાય છે; તેમાં ભાષાઓના જૂથ દ્વારા અમલમાં મૂકાયેલ ધોરણનો સમાવેશ થાય છે અને તેનો ઉપયોગ રિલેશનલ ડેટાબેઝમાંથી ડેટા પુનઃપ્રાપ્ત કરવા માટે થાય છે. તે લાંબા સમય પહેલા દેખાયો હતો અને તેણે પોતાને અત્યંત પ્રતિરોધક સાબિત કર્યું છે.

લગભગ અડધી જગ્યાઓમાં સ્પાર્કનો ઉલ્લેખ છે. અપાચે સ્પાર્ક સ્ટ્રીમિંગ, SQL, મશીન લર્નિંગ અને ગ્રાફ પ્રોસેસિંગ માટે બિલ્ટ-ઇન મોડ્યુલ્સ સાથેનું એકીકૃત મોટું ડેટા એનાલિટિક્સ એન્જિન છે. તે મોટા ડેટાબેઝ સાથે કામ કરતા લોકોમાં ખાસ કરીને લોકપ્રિય છે.

AWS લગભગ 45% જોબ પોસ્ટિંગમાં દેખાય છે. તે એમેઝોન દ્વારા ઉત્પાદિત ક્લાઉડ કમ્પ્યુટિંગ પ્લેટફોર્મ છે; તે તમામ ક્લાઉડ પ્લેટફોર્મમાં સૌથી મોટો બજાર હિસ્સો ધરાવે છે.
આગળ જાવા અને હડુપ આવે છે - તેમના ભાઈ માટે 40% કરતાં થોડું વધારે. જાવા એક વ્યાપકપણે બોલાતી, યુદ્ધ-પરીક્ષણ ભાષા છે 2019 સ્ટેક ઓવરફ્લો ડેવલપર સર્વે પ્રોગ્રામરોમાં ભયાનકતા પેદા કરતી ભાષાઓમાં દસમું સ્થાન આપવામાં આવ્યું હતું. તેનાથી વિપરીત, પાયથોન બીજી સૌથી વધુ પ્રિય ભાષા હતી. જાવા ભાષા ઓરેકલ દ્વારા ચલાવવામાં આવે છે, અને તમારે તેના વિશે જાણવાની જરૂર છે તે બધું જાન્યુઆરી 2020 થી સત્તાવાર પૃષ્ઠના આ સ્ક્રીનશૉટ પરથી સમજી શકાય છે.

તે ટાઈમ મશીનમાં સવારી કરવા જેવું છે
અપાચે હેડોપ મોટા ડેટા માટે સર્વર ક્લસ્ટરો સાથે MapReduce પ્રોગ્રામિંગ મોડલનો ઉપયોગ કરે છે. હવે આ મોડેલ વધુને વધુ ત્યજી રહ્યું છે.

પછી આપણે Hive, Scala, Kafka અને NoSQL જોઈએ છીએ - આ દરેક ટેક્નોલોજીનો ઉલ્લેખ સબમિટ કરેલી ખાલી જગ્યાઓના એક ક્વાર્ટરમાં છે. Apache Hive એ ડેટા વેરહાઉસ સોફ્ટવેર છે જે "SQL નો ઉપયોગ કરીને વિતરિત સ્ટોર્સમાં રહેતા મોટા ડેટાસેટ્સને વાંચવા, લખવાનું અને મેનેજ કરવાનું સરળ બનાવે છે." સ્કાલા - એક પ્રોગ્રામિંગ ભાષા કે જે મોટા ડેટા સાથે કામ કરતી વખતે સક્રિયપણે ઉપયોગમાં લેવાય છે. ખાસ કરીને, સ્કેલામાં સ્પાર્ક બનાવવામાં આવ્યો હતો. ભયગ્રસ્ત ભાષાઓના પહેલાથી જ ઉલ્લેખિત રેન્કિંગમાં, સ્કેલા અગિયારમા ક્રમે છે. અપાચે કાફકા - સ્ટ્રીમિંગ સંદેશાઓની પ્રક્રિયા કરવા માટે વિતરિત પ્લેટફોર્મ. સ્ટ્રીમિંગ ડેટાના માધ્યમ તરીકે ખૂબ જ લોકપ્રિય.

NoSQL ડેટાબેસેસ પોતાની જાતને SQL સાથે કોન્ટ્રાસ્ટ કરો. તેઓ અલગ છે કે તેઓ બિન-સંબંધિત, અસંરચિત અને આડી રીતે માપી શકાય તેવા છે. NoSQL એ થોડી લોકપ્રિયતા મેળવી છે, પરંતુ અભિગમ માટેનો ક્રેઝ, ભવિષ્યવાણીઓ સુધી કે તે SQL ને પ્રબળ સ્ટોરેજ પેરાડાઈમ તરીકે બદલશે, તે સમાપ્ત થઈ ગયું હોય તેવું લાગે છે.

ડેટા સાયન્ટિસ્ટની ખાલી જગ્યાઓની શરતો સાથે સરખામણી

ડેટા સાયન્સ એમ્પ્લોયરોમાં અહીં ત્રીસ ટેક્નોલોજી શબ્દો સૌથી સામાન્ય છે. ડેટા એન્જિનિયરિંગ માટે ઉપર વર્ણવ્યા પ્રમાણે મેં આ સૂચિ મેળવી છે.

2020 માં ડેટા સાયન્ટિસ્ટની જગ્યા માટે ખાલી જગ્યાઓમાં ટેકનોલોજીનો ઉલ્લેખ

જો આપણે કુલ સંખ્યા વિશે વાત કરીએ તો, અગાઉ ગણવામાં આવેલી ભરતીની તુલનામાં, ત્યાં 28% વધુ ખાલી જગ્યાઓ હતી (12 વિરુદ્ધ 013). ચાલો જોઈએ કે ડેટા એન્જિનિયરો કરતાં ડેટા વૈજ્ઞાનિકો માટે ખાલી જગ્યાઓમાં કઈ તકનીકો ઓછી સામાન્ય છે.

ડેટા એન્જિનિયરિંગમાં વધુ લોકપ્રિય

નીચેનો ગ્રાફ 10% થી વધુ અથવા -10% થી ઓછા ના સરેરાશ તફાવત સાથે કીવર્ડ્સ બતાવે છે.

ડેટા એન્જિનિયર અને ડેટા સાયન્ટિસ્ટ વચ્ચે કીવર્ડ ફ્રીક્વન્સીમાં સૌથી મોટો તફાવત

AWS સૌથી નોંધપાત્ર વધારો દર્શાવે છે: ડેટા એન્જિનિયરિંગમાં તે ડેટા સાયન્સ કરતાં 25% વધુ નિયમિતપણે દેખાય છે (આશરે 45% અને ખાલી જગ્યાઓની કુલ સંખ્યાના 20%). તફાવત નોંધનીય છે!

અહીં થોડી અલગ પ્રસ્તુતિમાં સમાન ડેટા છે - ગ્રાફમાં, ડેટા એન્જિનિયર અને ડેટા સાયન્ટિસ્ટની જગ્યા માટેની ખાલી જગ્યાઓમાં સમાન કીવર્ડ માટેના પરિણામો બાજુની બાજુમાં સ્થિત છે.

ડેટા એન્જિનિયર અને ડેટા સાયન્ટિસ્ટ વચ્ચે કીવર્ડ ફ્રીક્વન્સીમાં સૌથી મોટો તફાવત

મેં નોંધ્યું છે કે પછીનો સૌથી મોટો જમ્પ સ્પાર્કમાં હતો - ડેટા એન્જિનિયરને મોટાભાગે મોટા ડેટા સાથે કામ કરવું પડે છે. કાફકા પણ 20% જેટલો વધારો થયો છે, એટલે કે ડેટા સાયન્ટિસ્ટની ખાલી જગ્યાઓના પરિણામની સરખામણીમાં લગભગ ચાર ગણો વધારો થયો છે. ડેટા ટ્રાન્સફર એ ડેટા એન્જિનિયરની મુખ્ય જવાબદારીઓમાંની એક છે. છેલ્લે, Java, NoSQL, Redshift, SQL અને Hadoop માટે ડેટા એન્જિનિયરિંગના ક્ષેત્રમાં ઉલ્લેખોની સંખ્યા 15% વધુ હતી.

ડેટા એન્જિનિયરિંગમાં ઓછા લોકપ્રિય

હવે ચાલો જોઈએ કે ડેટા એન્જિનિયરની ખાલી જગ્યાઓમાં કઈ તકનીકો ઓછી લોકપ્રિય છે.
ડેટા સાયન્સ સેક્ટરની સરખામણીમાં સૌથી તીવ્ર ઘટાડો ૨૦૧૫માં થયો હતો R: ત્યાં તે લગભગ 56% ખાલી જગ્યાઓમાં દેખાયો, અહીં - ફક્ત 17% માં. પ્રભાવશાળી. R એ એક પ્રોગ્રામિંગ ભાષા છે જે વૈજ્ઞાનિકો અને આંકડાશાસ્ત્રીઓ દ્વારા પસંદ કરવામાં આવે છે, અને તે વિશ્વની આઠમી સૌથી ભયજનક ભાષા છે.

SAS ડેટા એન્જિનિયરની જગ્યા માટે ખાલી જગ્યાઓમાં પણ નોંધપાત્ર રીતે ઓછી વાર જોવા મળે છે - તફાવત 14% છે. SAS એ આંકડા અને ડેટા સાથે કામ કરવા માટે રચાયેલ માલિકીની ભાષા છે. રસપ્રદ મુદ્દો: પરિણામો દ્વારા અભિપ્રાય ડેટા વૈજ્ઞાનિકો માટે નોકરીની તકો અંગેનું મારું સંશોધન, તેણે તાજેતરમાં ઘણું બધું ગુમાવ્યું છે - અન્ય કોઈપણ તકનીક કરતાં વધુ.

ડેટા એન્જિનિયરિંગ અને ડેટા સાયન્સ બંનેમાં માંગ છે

એ નોંધવું જોઈએ કે બંને સેટમાં પ્રથમ દસમાંથી આઠ પોઝિશન સમાન છે. SQL, Python, Spark, AWS, Java, Hadoop, Hive અને Scala એ ડેટા એન્જિનિયરિંગ અને ડેટા સાયન્સ બંને ઉદ્યોગો માટે ટોચના દસમાં સ્થાન મેળવ્યું છે. નીચેના ગ્રાફમાં તમે ડેટા એન્જીનીયર એમ્પ્લોયરોમાં પંદર સૌથી વધુ લોકપ્રિય ટેક્નોલોજીઓ જોઈ શકો છો, અને તેમની બાજુમાં ડેટા વૈજ્ઞાનિકો માટે તેમનો ખાલી જગ્યા દર છે.

ભલામણો

જો તમે ડેટા એન્જીનીયરીંગમાં પ્રવેશ મેળવવા માંગતા હો, તો હું તમને નીચેની ટેક્નોલોજીઓમાં નિપુણતા મેળવવાની સલાહ આપીશ - હું તેમને અંદાજિત પ્રાથમિકતાના ક્રમમાં સૂચિબદ્ધ કરું છું.

SQL શીખો. હું PostgreSQL તરફ ઝુકાવું છું કારણ કે તે ઓપન સોર્સ છે, સમુદાયમાં ખૂબ જ લોકપ્રિય છે અને વિકાસના તબક્કામાં છે. તમે માય મેમોરેબલ એસક્યુએલ પુસ્તકમાંથી ભાષાનો ઉપયોગ કેવી રીતે કરવો તે શીખી શકો છો - તેનું પ્રાયોગિક સંસ્કરણ ઉપલબ્ધ છે અહીં.

માસ્ટર પાયથોન, ભલે સૌથી હાર્ડકોર લેવલ પર ન હોય. મારો યાદગાર પાયથોન ખાસ કરીને નવા નિશાળીયા માટે રચાયેલ છે. પર ખરીદી શકાય છે એમેઝોન, ઇલેક્ટ્રોનિક અથવા ભૌતિક નકલ, તમારી પસંદગી, અથવા pdf અથવા epub ફોર્મેટમાં ડાઉનલોડ કરો તે વેબસાઇટ પર.

એકવાર તમે પાયથોનથી પરિચિત થઈ ગયા પછી, પાંડા પર આગળ વધો, પાયથોન લાઇબ્રેરી જેનો ઉપયોગ ડેટા ક્લિનિંગ અને પ્રોસેસિંગ માટે થાય છે. જો તમે એવી કંપનીમાં કામ કરવાનું ધ્યેય રાખતા હોવ કે જેને પાયથોનમાં લખવાની ક્ષમતાની જરૂર હોય (અને આ તેમાંના મોટા ભાગના છે), તો તમે ખાતરી કરી શકો છો કે પાંડાનું જ્ઞાન ડિફોલ્ટ રૂપે ધારવામાં આવશે. હું હાલમાં પાંડા સાથે કામ કરવા માટે એક પ્રારંભિક માર્ગદર્શિકા તૈયાર કરી રહ્યો છું - તમે કરી શકો છો સબ્સ્ક્રાઇબ કરોજેથી પ્રકાશનની ક્ષણ ચૂકી ન જાય.

માસ્ટર AWS. જો તમે ડેટા એન્જિનિયર બનવા માંગતા હો, તો તમે સ્ટેશમાં ક્લાઉડ પ્લેટફોર્મ વિના કરી શકતા નથી, અને AWS તેમાંથી સૌથી લોકપ્રિય છે. અભ્યાસક્રમોએ મને ઘણી મદદ કરી લિનક્સ એકેડેમીજ્યારે હું ભણતો હતો ગૂગલ ક્લાઉડ પર ડેટા એન્જિનિયરિંગ, મને લાગે છે કે તેમની પાસે AWS પર સારી સામગ્રી પણ હશે.

જો તમે આ આખી યાદી પહેલાથી જ પૂર્ણ કરી લીધી હોય અને ડેટા એન્જિનિયર તરીકે નોકરીદાતાઓની નજરમાં આગળ વધવા માંગતા હો, તો હું મોટા ડેટા સાથે કામ કરવા માટે Apache Spark ઉમેરવાનું સૂચન કરું છું. ડેટા સાયન્ટિસ્ટની ખાલી જગ્યાઓ પરના મારા સંશોધનમાં રસમાં ઘટાડો જોવા મળ્યો હોવા છતાં, ડેટા એન્જિનિયરોમાં તે હજુ પણ લગભગ દરેક સેકન્ડની ખાલી જગ્યામાં દેખાય છે.

અંતે

હું આશા રાખું છું કે તમને ડેટા એન્જીનીયર્સ માટે સૌથી વધુ માંગમાં રહેલી ટેકનોલોજીની આ ઝાંખી ઉપયોગી લાગી હશે. જો તમે આશ્ચર્ય પામી રહ્યાં છો કે વિશ્લેષકોની નોકરીઓ કેવી રીતે ચાલી રહી છે, તો વાંચો મારો બીજો લેખ. હેપી એન્જિનિયરિંગ!

સોર્સ: www.habr.com