የውሂብ ሳይንቲስት እና የውሂብ መሐንዲስ ሙያዎች ብዙውን ጊዜ ግራ ይጋባሉ። እያንዳንዱ ኩባንያ ከውሂብ ጋር አብሮ ለመስራት የራሱ የሆነ ዝርዝር አለው ፣ ለመተንተን የተለያዩ ግቦች እና ከየትኞቹ ስፔሻሊስቶች ውስጥ በየትኛው የሥራ ክፍል ውስጥ መሳተፍ እንዳለበት የተለየ ሀሳብ አለው ፣ ስለሆነም እያንዳንዱ የራሱ መስፈርቶች አሉት ።
በእነዚህ ስፔሻሊስቶች መካከል ያለው ልዩነት ምን እንደሆነ, ምን ዓይነት የንግድ ሥራ ችግሮች እንደሚፈቱ, ምን ዓይነት ክህሎቶች እንዳሉ እና ምን ያህል እንደሚያገኙ እንወቅ. ቁሱ ትልቅ ሆኖ ስለተገኘ በሁለት ጽሑፎች ከፈልን።
በመጀመሪያው አንቀጽ ላይ የኤሌና ገራሲሞቫ የፋኩልቲ ኃላፊ "በኔትዎሎጂ ውስጥ በዳታ ሳይንቲስት እና በዳታ መሐንዲስ መካከል ያለው ልዩነት እና ከየትኞቹ መሳሪያዎች ጋር እንደሚሰሩ ይናገራል።
የመሐንዲሶች እና ሳይንቲስቶች ሚና እንዴት ይለያያል?
የውሂብ መሐንዲስ በአንድ በኩል ከመረጃ ጋር አብሮ ለመስራት መሠረተ ልማቶችን የሚያዳብር፣ የሚፈትሽ እና የሚጠብቅ ልዩ ባለሙያተኛ ነው፤ የውሂብ ጎታዎች፣ ማከማቻዎች እና የጅምላ ማቀነባበሪያ ሥርዓቶች። በሌላ በኩል, ይህ ለተንታኞች እና የውሂብ ሳይንቲስቶች ጥቅም ላይ የሚውለው መረጃን የሚያጸዳ እና "ማበጠሪያ" ነው, ማለትም የመረጃ ማቀነባበሪያ ቧንቧዎችን ይፈጥራል.
የውሂብ ሳይንቲስት የማሽን መማር ስልተ ቀመሮችን እና የነርቭ ኔትወርኮችን በመጠቀም ግምታዊ (እና ተጨማሪ) ሞዴሎችን ይፈጥራል እና ያሠለጥናል፣ ንግዶች የተደበቁ ንድፎችን እንዲያገኙ፣ እድገቶችን እንዲተነብዩ እና ቁልፍ የስራ ሂደቶችን እንዲያሳድጉ ያግዛል።
በዳታ ሳይንቲስት እና በዳታ ኢንጂነር መካከል ያለው ዋና ልዩነት ብዙውን ጊዜ የተለያዩ ግቦች ስላላቸው ነው። ሁለቱም መረጃ ተደራሽ እና ከፍተኛ ጥራት ያለው ለማቆየት ይሰራሉ። ነገር ግን የዳታ ሳይንቲስቱ ለጥያቄዎቹ መልስ አግኝቶ በመረጃ ሥነ-ምህዳር ውስጥ መላምቶችን ይፈትሻል (ለምሳሌ በሃዱፕ ላይ የተመሰረተ) እና የመረጃ መሐንዲሱ በተመሳሳይ የስፓርክ ክላስተር ውስጥ በዳታ ሳይንቲስቱ የተጻፈ የማሽን መማሪያ አልጎሪዝም የአገልግሎት መስመር ፈጠረ። ሥነ ምህዳር.
የውሂብ መሐንዲስ በቡድን በመሥራት ለንግድ ስራ ዋጋ ያመጣል. ተልእኮው በተለያዩ ተሳታፊዎች መካከል እንደ አስፈላጊ አገናኝ ሆኖ መስራት ነው - ከገንቢዎች እስከ የንግድ ተጠቃሚዎች ሪፖርት ማድረግ እና የተንታኞችን ምርታማነት ማሳደግ - ከገበያ እና ምርት እስከ BI.
በሌላ በኩል የዳታ ሳይንቲስቱ በኩባንያው ስትራቴጂ ውስጥ ንቁ ተሳትፎ ያደርጋል እና ግንዛቤዎችን በማውጣት ውሳኔዎችን በማድረግ ፣ አውቶሜሽን አልጎሪዝምን በመተግበር ፣ ሞዴሊንግ እና እሴትን ከመረጃ በማመንጨት።
ከመረጃ ጋር አብሮ መሥራት ለ GIGO (ቆሻሻ ውስጥ - ቆሻሻ መጣያ) መርህ ተገዢ ነው-ተንታኞች እና የውሂብ ሳይንቲስቶች ያልተዘጋጁ እና ሊሆኑ የሚችሉ ትክክል ያልሆኑ መረጃዎችን ካጋጠሙ በጣም የተራቀቁ የትንታኔ ስልተ ቀመሮች እንኳን ውጤቱ የተሳሳተ ይሆናል።
የውሂብ መሐንዲሶች ይህንን ችግር ለመፍታት የቧንቧ መስመሮችን በመገንባት መረጃን ለማቀነባበር, ለማጽዳት እና ለመለወጥ እና የውሂብ ሳይንቲስቱ ከፍተኛ ጥራት ካለው መረጃ ጋር እንዲሰሩ ያስችላቸዋል.
በገበያ ላይ እያንዳንዱን ደረጃ የሚሸፍኑ ብዙ የመረጃ መሳሪያዎች አሉ፡ ከመረጃው ገጽታ እስከ ውፅአት እስከ ዳሽቦርድ ድረስ ለዲሬክተሮች ቦርድ። እና በአጠቃቀማቸው ላይ ውሳኔው መሐንዲሱ መወሰኑ አስፈላጊ ነው, ምክንያቱም ፋሽን ስለሆነ አይደለም, ነገር ግን በሂደቱ ውስጥ ያሉትን ሌሎች ተሳታፊዎች በስራቸው ውስጥ በእውነት ስለሚረዳቸው ነው.
በተለምዶ፡ አንድ ኩባንያ በ BI እና ETL መካከል ግንኙነት መፍጠር ከፈለገ - መረጃን መጫን እና ሪፖርቶችን ማዘመን፣ አንድ የውሂብ መሐንዲስ የሚያጋጥመው የተለመደ የቀድሞ መሠረት እዚህ አለ (በቡድኑ ውስጥ አርክቴክት ካለ ጥሩ ነው)።
የውሂብ መሐንዲስ ኃላፊነቶች
- ከመረጃ ጋር ለመስራት የመሠረተ ልማት ግንባታ, ግንባታ እና ጥገና.
- ስህተቶችን ማስተናገድ እና አስተማማኝ የመረጃ ማቀነባበሪያ ቧንቧዎችን መፍጠር.
- ከተለያዩ ተለዋዋጭ ምንጮች ያልተዋቀረ መረጃን ወደ ተንታኞች ሥራ አስፈላጊ ወደሆነ ቅጽ ማምጣት።
- የውሂብን ወጥነት እና ጥራት ለማሻሻል ምክሮችን መስጠት።
- በመረጃ ሳይንቲስቶች እና የውሂብ ተንታኞች ጥቅም ላይ የዋለውን የመረጃ አርክቴክቸር ማቅረብ እና ማቆየት።
- በአስር ወይም በመቶዎች የሚቆጠሩ አገልጋዮች በተከፋፈለ ክላስተር ውስጥ ያለማቋረጥ እና በብቃት ማካሄድ እና ማከማቸት።
- ከውድቀቶች መትረፍ የሚችሉ ቀላል ግን ጠንካራ አርክቴክቸር ለመፍጠር የመሣሪያዎችን ቴክኒካዊ ግብይቶች ይገምግሙ።
- የውሂብ ፍሰቶችን እና ተዛማጅ ስርዓቶችን መቆጣጠር እና መደገፍ (ክትትል እና ማንቂያዎችን ማዘጋጀት).
በዳታ መሐንዲስ አቅጣጫ ውስጥ ሌላ ልዩ ሙያ አለ - ኤምኤል መሐንዲስ። ባጭሩ እነዚህ መሐንዲሶች የማሽን መማሪያ ሞዴሎችን ወደ ኢንዱስትሪያዊ ጉዲፈቻ እና አጠቃቀም በማምጣት ላይ ያተኮሩ ናቸው። ብዙውን ጊዜ የውሂብ ሳይንቲስት ሞዴል የጥናት አካል ነው እና በውጊያ ላይ ላይሰራ ይችላል.
የውሂብ ሳይንቲስት ኃላፊነቶች
- የማሽን መማር ስልተ ቀመሮችን ለመተግበር ባህሪያትን ከውሂብ ማውጣት።
- በመረጃ ውስጥ ንድፎችን ለመተንበይ እና ለመከፋፈል የተለያዩ የማሽን መማሪያ መሳሪያዎችን መጠቀም።
- የማሽን መማር ስልተ ቀመሮችን በጥሩ ሁኔታ በማስተካከል እና በማመቻቸት የማሽን መማሪያ ስልተ ቀመሮችን አፈጻጸም እና ትክክለኛነት ማሻሻል።
- በኩባንያው ስትራቴጂ መሰረት "ጠንካራ" መላምቶች መፈጠር, ይህም መሞከር አለበት.
የመረጃ መሐንዲሱም ሆነ የዳታ ሳይንቲስቱ ከመረጃ ጋር አብሮ የመስራት ባህል እንዲዳብር የሚያበረክቱት ተጨባጭ አስተዋፅዖ በማዋሃድ አንድ ኩባንያ ትርፉን ለመጨመር ወይም ወጪን ለመቀነስ ያስችላል።
መሐንዲሶች እና ሳይንቲስቶች ከየትኞቹ ቋንቋዎች እና መሳሪያዎች ጋር ይሰራሉ?
ዛሬ ከዳታ ሳይንቲስቶች የሚጠበቁ ነገሮች ተለውጠዋል። ከዚህ ቀደም መሐንዲሶች ትልቅ የ SQL መጠይቆችን ገንብተዋል፣ MapReduce ን በእጅ ጽፈው መረጃን እንደ ኢንፎርማቲካ ኢቲኤል፣ ፔንታሆ ኢቲኤል፣ ታለንድ ያሉ መሳሪያዎችን ተጠቅመዋል።
እ.ኤ.አ. በ 2020 አንድ ስፔሻሊስት የፓይዘንን እና የዘመናዊ የኮምፒዩተር መሳሪያዎችን (ለምሳሌ ፣ የአየር ፍሰት) ፣ ከደመና መድረኮች ጋር የመሥራት መርሆዎችን ግንዛቤን (በሃርድዌር ላይ ለመቆጠብ ፣ የደህንነት መርሆዎችን እየተከታተለ) ሳያውቅ ማድረግ አይችልም።
SAP, Oracle, MySQL, Redis በትልልቅ ኩባንያዎች ውስጥ ባህላዊ የመረጃ መሐንዲስ መሳሪያዎች ናቸው. እነሱ ጥሩ ናቸው, ነገር ግን የፍቃዶች ዋጋ በጣም ከፍተኛ ስለሆነ ከእነሱ ጋር በኢንዱስትሪ ፕሮጀክቶች ውስጥ እንዴት እንደሚሠሩ መማር ብቻ ጠቃሚ ነው. በተመሳሳይ ጊዜ, በ Postgres መልክ ነፃ አማራጭ አለ - ነፃ እና ለመማር ብቻ ሳይሆን ተስማሚ ነው.
ከታሪክ አኳያ፣ የጃቫ እና ስካላ ጥያቄ ብዙ ጊዜ አጋጥሞታል፣ ምንም እንኳን ቴክኖሎጂዎች እና አቀራረቦች እየዳበሩ ሲሄዱ እነዚህ ቋንቋዎች ከበስተጀርባ እየጠፉ ይሄዳሉ።
ሆኖም ሃርድኮር ቢግ ዳታ፡ ሃዱፕ፣ ስፓርክ እና የተቀረው የእንስሳት መካነ አራዊት ለዳታ ኢንጂነር ቅድመ ሁኔታ አይደለም፣ ነገር ግን ባህላዊ ኢቲኤል ሊፈታው የማይችለውን ለችግሮች መፍቻ መሳሪያ አይነት ነው።
አዝማሚያው የተፃፉበትን ቋንቋ ሳያውቁ (ለምሳሌ ሃዱፕ የጃቫ እውቀት ሳይኖራቸው) እንዲሁም የዥረት መረጃን ለማስኬድ ዝግጁ የሆኑ አገልግሎቶችን መስጠት (የድምጽ ወይም የምስል ምስሎችን በቪዲዮ ላይ) ሳያውቁ መሳሪያዎችን የመጠቀም አገልግሎት ነው።
ከኤስኤኤስ እና ከኤስፒኤስኤስ የመጡ የኢንዱስትሪ መፍትሄዎች ታዋቂዎች ሲሆኑ ታቦላዉ፣ ራፒድሚነር፣ ስታታ እና ጁሊያ እንዲሁ በዳታ ሳይንቲስቶች ለሀገር ውስጥ ተግባራት በስፋት ጥቅም ላይ ይውላሉ።
ተንታኞች እና የውሂብ ሳይንቲስቶች የቧንቧ መስመሮችን የመገንባት እድል አግኝተዋል ከጥቂት አመታት በፊት፡ ለምሳሌ፡ በ PostgreSQL ላይ የተመሰረተ ማከማቻ በአንፃራዊነት ቀላል በሆኑ ስክሪፕቶች መላክ ተችሏል።
በተለምዶ የቧንቧ መስመሮችን እና የተቀናጁ የመረጃ አወቃቀሮችን መጠቀም የመረጃ መሐንዲሶች ኃላፊነት ይቀራል. ግን ዛሬ, በተዛማጅ መስኮች ሰፊ ብቃቶች ላላቸው የቲ-ቅርጽ ስፔሻሊስቶች አዝማሚያ ከመቼውም ጊዜ በበለጠ ጠንካራ ነው, ምክንያቱም መሳሪያዎች ያለማቋረጥ እየቀለሉ ናቸው.
ለምን የውሂብ መሐንዲስ እና የውሂብ ሳይንቲስት አብረው ይሰራሉ
ከኢንጂነሮች ጋር በቅርበት በመስራት የውሂብ ሳይንቲስት በምርምር ጎኑ ላይ ሊያተኩር ይችላል, ለመስራት ዝግጁ የሆኑ የማሽን መማሪያ ስልተ ቀመሮችን መገንባት.
እና መሐንዲሶች በማስፋፋት ላይ ማተኮር አለባቸው፣ መረጃን እንደገና ጥቅም ላይ ማዋል እና በእያንዳንዱ ግለሰብ ፕሮጀክት ውስጥ ያሉ የመረጃ ግብአት እና የውጤት ቧንቧዎች ከዓለም አቀፋዊ አርክቴክቸር ጋር የተጣጣሙ መሆናቸውን ማረጋገጥ አለባቸው።
ይህ የተግባር መለያየት በተለያዩ የማሽን መማሪያ ፕሮጀክቶች ላይ በሚሰሩ ቡድኖች መካከል ወጥነት ያለው መሆኑን ያረጋግጣል።
መተባበር ውጤታማ አዳዲስ ምርቶችን ለመፍጠር ይረዳል. ፍጥነት እና ጥራት የሚገኘው ለሁሉም ሰው አገልግሎት መፍጠር (ዓለም አቀፍ ማከማቻ ወይም ዳሽቦርድ ውህደት) እና የእያንዳንዱን ልዩ ፍላጎት ወይም ፕሮጀክት (ከፍተኛ ልዩ የቧንቧ መስመር ፣ የውጭ ምንጮችን በማገናኘት) መካከል ባለው ሚዛን ነው ።
ከዳታ ሳይንቲስቶች እና ተንታኞች ጋር ተቀራርቦ መስራት መሐንዲሶች የተሻለ ኮድ ለመጻፍ የትንታኔ እና የምርምር ክህሎቶችን እንዲያዳብሩ ይረዳል። በመረጃ መጋዘኖች እና በዳታ ሀይቆች ተጠቃሚዎች መካከል የእውቀት መጋራት ይሻሻላል ፣ ይህም ፕሮጀክቶችን የበለጠ ተለዋዋጭ እና የበለጠ ዘላቂ የረጅም ጊዜ ውጤቶችን ይሰጣል ።
ከመረጃ ጋር አብሮ የመስራት ባህልን ለማዳበር እና በእሱ ላይ የተመሰረተ የንግድ ሥራ ሂደቶችን የመገንባት ዓላማ ባላቸው ኩባንያዎች ውስጥ የውሂብ ሳይንቲስት እና ዳታ ኢንጂነር እርስ በርስ ይደጋገፋሉ እና የተሟላ የመረጃ ትንተና ስርዓት ይፈጥራሉ.
በሚቀጥለው ርዕስ ውስጥ, የውሂብ መሐንዲስ እና የውሂብ ሳይንቲስቶች ምን ዓይነት ትምህርት ሊኖራቸው እንደሚገባ, ምን ዓይነት ክህሎቶችን ማዳበር እንዳለባቸው እና ገበያው እንዴት እንደሚሰራ እንነጋገራለን.
ከኔቶሎጂ አዘጋጆች
የዳታ ኢንጂነር ወይም ዳታ ሳይንቲስት ሙያን እየተመለከቱ ከሆነ የትምህርቶቻችንን ፕሮግራሞች እንዲያጠኑ እንጋብዝዎታለን-
- ሙያ "».
- ሙያ "».
ምንጭ: hab.com