მონაცემთა ინჟინერი და მონაცემთა მეცნიერი: რა განსხვავებაა?

მონაცემთა მეცნიერისა და მონაცემთა ინჟინერის პროფესიები ხშირად ერთმანეთში აირია. თითოეულ კომპანიას აქვს მონაცემებით მუშაობის საკუთარი სპეციფიკა, მათი ანალიზის სხვადასხვა მიზნები და განსხვავებული წარმოდგენა, თუ რომელი სპეციალისტი უნდა გაუმკლავდეს სამუშაოს რომელ ნაწილს, ამიტომ თითოეულს აქვს საკუთარი მოთხოვნები. 

მოდით გავარკვიოთ, რა განსხვავებაა ამ სპეციალისტებს შორის, რა ბიზნეს პრობლემებს წყვეტენ ისინი, რა უნარები აქვთ და რამდენს შოულობენ. მასალა დიდი აღმოჩნდა, ამიტომ ორ პუბლიკაციაად დავყავით.

პირველ სტატიაში ელენა გერასიმოვა, ფაკულტეტის ხელმძღვანელი ”მონაცემთა მეცნიერება და ანალიტიკანეტოლოგიაში გვიყვება რა განსხვავებაა მონაცემთა მეცნიერსა და მონაცემთა ინჟინერს შორის და რა ინსტრუმენტებთან მუშაობენ ისინი.

როგორ განსხვავდება ინჟინრებისა და მეცნიერების როლები

მონაცემთა ინჟინერი არის სპეციალისტი, რომელიც, ერთი მხრივ, ავითარებს, ამოწმებს და ინახავს მონაცემთა ინფრასტრუქტურას: მონაცემთა ბაზებს, შენახვისა და მასობრივი დამუშავების სისტემებს. მეორეს მხრივ, ეს არის ის, ვინც ასუფთავებს და „ავარცხნებს“ მონაცემებს ანალიტიკოსებისა და მონაცემთა მეცნიერების გამოსაყენებლად, ანუ ქმნის მონაცემთა დამუშავების მილსადენებს.

მონაცემთა მეცნიერი ქმნის და ავარჯიშებს პროგნოზირებულ (და სხვა) მოდელებს მანქანური სწავლების ალგორითმებისა და ნერვული ქსელების გამოყენებით, ეხმარება ბიზნესს ფარული შაბლონების პოვნაში, განვითარების პროგნოზირებაში და ძირითადი ბიზნეს პროცესების ოპტიმიზაციაში.

მონაცემთა მეცნიერსა და მონაცემთა ინჟინერს შორის მთავარი განსხვავება ისაა, რომ მათ ჩვეულებრივ აქვთ განსხვავებული მიზნები. ორივე მუშაობს იმისთვის, რომ მონაცემები იყოს ხელმისაწვდომი და მაღალი ხარისხის. მაგრამ მონაცემთა მეცნიერი პოულობს პასუხებს თავის კითხვებზე და ამოწმებს ჰიპოთეზებს მონაცემთა ეკოსისტემაში (მაგალითად, Hadoop-ზე დაყრდნობით) და მონაცემთა ინჟინერი ქმნის მილსადენს მანქანური სწავლის ალგორითმის მოსამსახურებლად, რომელიც დაწერილია მონაცემთა მეცნიერის მიერ Spark კლასტერში იმავე ფარგლებში. ეკოსისტემა. 

მონაცემთა ინჟინერს მოაქვს ღირებულება ბიზნესისთვის გუნდის ნაწილად მუშაობით. მისი ამოცანაა იმოქმედოს როგორც მნიშვნელოვანი რგოლი სხვადასხვა მონაწილეებს შორის: დეველოპერებიდან დაწყებული ანგარიშგების ბიზნეს მომხმარებლამდე და გაზარდოს ანალიტიკოსების პროდუქტიულობა, მარკეტინგიდან და პროდუქტიდან BI-მდე. 

პირიქით, მონაცემთა მეცნიერი აქტიურ მონაწილეობას იღებს კომპანიის სტრატეგიაში და აგროვებს შეხედულებებს, იღებს გადაწყვეტილებებს, ახორციელებს ავტომატიზაციის ალგორითმებს, მოდელირებას და მონაცემთა ღირებულების გენერირებას.


მონაცემებთან მუშაობა ექვემდებარება GIGO-ს (ნაგავი - ნაგავი გარეთ) პრინციპს: თუ ანალიტიკოსები და მონაცემთა მეცნიერები გაუმკლავდებიან მოუმზადებელ და პოტენციურად არასწორ მონაცემებს, მაშინ შედეგები, თუნდაც ყველაზე დახვეწილი ანალიზის ალგორითმების გამოყენებით, არასწორი იქნება. 

მონაცემთა ინჟინრები ამ პრობლემას წყვეტენ მილსადენების აშენებით მონაცემთა დამუშავების, გაწმენდისა და ტრანსფორმაციისთვის და მონაცემთა მეცნიერებს საშუალებას აძლევს იმუშაონ მაღალი ხარისხის მონაცემებთან. 

ბაზარზე არსებობს მრავალი ინსტრუმენტი მონაცემებთან მუშაობისთვის, რომლებიც მოიცავს ყველა ეტაპს: მონაცემების გამოჩენიდან დაწყებული, დამთავრებული დირექტორთა საბჭოს დაფამდე. და მნიშვნელოვანია, რომ მათი გამოყენების გადაწყვეტილება მიიღოს ინჟინერმა - არა იმიტომ, რომ ეს მოდურია, არამედ იმიტომ, რომ ის ნამდვილად დაეხმარება პროცესში სხვა მონაწილეების მუშაობას. 

პირობითად: თუ კომპანიას სჭირდება BI-სა და ETL-ს შორის კავშირის დამყარება - მონაცემების ჩატვირთვა და ანგარიშების განახლება, აქ არის ტიპიური მემკვიდრეობითი საფუძველი, რომელთანაც მონაცემთა ინჟინერი უნდა გაუმკლავდეს (კარგია, თუ გუნდში ასევე არის არქიტექტორი).

მონაცემთა ინჟინრის პასუხისმგებლობა

• მონაცემთა დამუშავების ინფრასტრუქტურის განვითარება, მშენებლობა და მოვლა.
• შეცდომების დამუშავება და მონაცემთა დამუშავების საიმედო მილსადენების შექმნა.
• სხვადასხვა დინამიური წყაროებიდან არასტრუქტურირებული მონაცემების ანალიტიკოსთა მუშაობისთვის აუცილებელ ფორმაში მოყვანა.
• რეკომენდაციების მიწოდება მონაცემთა თანმიმდევრულობისა და ხარისხის გასაუმჯობესებლად.
• მონაცემთა მეცნიერებისა და მონაცემთა ანალიტიკოსების მიერ გამოყენებული მონაცემთა არქიტექტურის უზრუნველყოფა და შენარჩუნება.
• დაამუშავეთ და შეინახეთ მონაცემები თანმიმდევრულად და ეფექტურად ათობით ან ასობით სერვერის განაწილებულ კლასტერში.
• შეაფასეთ ინსტრუმენტების ტექნიკური კომპრომისები, რათა შეიქმნას მარტივი, მაგრამ ძლიერი არქიტექტურა, რომელიც გადარჩება შეფერხებას.
• მონაცემთა ნაკადების და მასთან დაკავშირებული სისტემების კონტროლი და მხარდაჭერა (მონიტორინგის და სიგნალიზაციის დაყენება).

მონაცემთა ინჟინერის ტრაექტორიაში არის კიდევ ერთი სპეციალობა - ML ინჟინერი. მოკლედ, ეს ინჟინრები სპეციალიზირებულნი არიან მანქანათმცოდნეობის მოდელების ინდუსტრიულ განხორციელებამდე და გამოყენებაში. ხშირად მონაცემთა მეცნიერისგან მიღებული მოდელი კვლევის ნაწილია და შეიძლება არ იმუშაოს საბრძოლო პირობებში.

მონაცემთა მეცნიერის პასუხისმგებლობა

• ფუნქციების ამოღება მონაცემებიდან მანქანური სწავლების ალგორითმების გამოსაყენებლად.
• სხვადასხვა მანქანათმცოდნეობის ხელსაწყოების გამოყენება მონაცემების შაბლონების პროგნოზირებისა და კლასიფიკაციისთვის.
• მანქანური სწავლების ალგორითმების მუშაობისა და სიზუსტის გაუმჯობესება ალგორითმების დაზუსტებით და ოპტიმიზაციის გზით.
• კომპანიის სტრატეგიის შესაბამისად „ძლიერი“ ჰიპოთეზების ჩამოყალიბება, რომლებიც შესამოწმებელია.

ორივე მონაცემთა ინჟინერი და მონაცემთა მეცნიერი იზიარებენ ხელშესახებ წვლილს მონაცემთა კულტურის განვითარებაში, რომლის მეშვეობითაც კომპანიას შეუძლია დამატებითი მოგების გამომუშავება ან ხარჯების შემცირება.

რა ენებზე და ინსტრუმენტებზე მუშაობენ ინჟინრები და მეცნიერები?

დღეს მონაცემთა მეცნიერების მოლოდინები შეიცვალა. ადრე, ინჟინრები აგროვებდნენ დიდ SQL შეკითხვებს, ხელით წერდნენ MapReduce და ამუშავებდნენ მონაცემებს ისეთი ინსტრუმენტების გამოყენებით, როგორიცაა Informatica ETL, Pentaho ETL, Talend. 

2020 წელს სპეციალისტს არ შეუძლია Python-ის და თანამედროვე გამოთვლითი ინსტრუმენტების ცოდნის გარეშე (მაგალითად, Airflow), ღრუბლოვან პლატფორმებთან მუშაობის პრინციპების გაგება (მათი გამოყენება აპარატურაზე დაზოგვისას, უსაფრთხოების პრინციპების დაცვით).

SAP, Oracle, MySQL, Redis არის ტრადიციული ინსტრუმენტები მონაცემთა ინჟინრებისთვის დიდ კომპანიებში. ისინი კარგია, მაგრამ ლიცენზიების ღირებულება იმდენად მაღალია, რომ მათთან მუშაობის სწავლას აზრი მხოლოდ ინდუსტრიულ პროექტებში აქვს. ამავდროულად, არსებობს უფასო ალტერნატივა Postgres-ის სახით - ის უფასოა და შესაფერისია არა მხოლოდ ვარჯიშისთვის. 

ისტორიულად, Java და Scala-ს მოთხოვნები ხშირად გვხვდება, თუმცა ტექნოლოგიებისა და მიდგომების განვითარებასთან ერთად ეს ენები უკანა პლანზე ქრება.

თუმცა, Hardcore BigData: Hadoop, Spark და დანარჩენი ზოოპარკი აღარ არის წინაპირობა მონაცემთა ინჟინერისთვის, არამედ ერთგვარი ინსტრუმენტები პრობლემების გადასაჭრელად, რომელთა გადაჭრა შეუძლებელია ტრადიციული ETL-ით. 

ტენდენციაა ინსტრუმენტების გამოყენების სერვისები ენის ცოდნის გარეშე, რომელშიც ისინი იწერება (მაგალითად, Hadoop Java-ს ცოდნის გარეშე), ასევე მზა სერვისების მიწოდება ნაკადის მონაცემების დასამუშავებლად (ხმის ამოცნობა ან გამოსახულების ამოცნობა ვიდეოზე). ).

SAS-ისა და SPSS-ის სამრეწველო გადაწყვეტილებები პოპულარულია, ხოლო Tableau, Rapidminer, Stata და Julia ასევე ფართოდ გამოიყენება მონაცემთა მეცნიერების მიერ ადგილობრივი ამოცანებისთვის.

თავად მილსადენების აშენების შესაძლებლობა ანალიტიკოსებს და მონაცემთა მეცნიერებს მხოლოდ რამდენიმე წლის წინ გაუჩნდათ: მაგალითად, უკვე შესაძლებელია მონაცემების გაგზავნა PostgreSQL-ზე დაფუძნებულ საცავში შედარებით მარტივი სკრიპტების გამოყენებით. 

როგორც წესი, მილსადენებისა და მონაცემთა ინტეგრირებული სტრუქტურების გამოყენება რჩება მონაცემთა ინჟინრების პასუხისმგებლობაში. მაგრამ დღეს, T- ფორმის სპეციალისტების ტენდენცია, რომლებსაც აქვთ ფართო კომპეტენცია დაკავშირებულ სფეროებში, უფრო ძლიერია, ვიდრე ოდესმე, რადგან ინსტრუმენტები მუდმივად გამარტივებულია.

რატომ მუშაობენ მონაცემთა ინჟინერი და მონაცემთა მეცნიერი ერთად

ინჟინრებთან მჭიდრო თანამშრომლობით, მონაცემთა მეცნიერებს შეუძლიათ ფოკუსირება მოახდინონ კვლევის მხარეზე, შექმნან წარმოებისთვის მზა მანქანათმცოდნეობის ალგორითმები.
და ინჟინრებმა უნდა გაამახვილონ ყურადღება მასშტაბურობაზე, მონაცემთა ხელახლა გამოყენებაზე და უზრუნველყონ, რომ მონაცემთა შეყვანისა და გამომავალი მილსადენები თითოეულ ცალკეულ პროექტში შეესაბამება გლობალურ არქიტექტურას.

პასუხისმგებლობების ეს გამიჯვნა უზრუნველყოფს გუნდების თანმიმდევრულობას, რომლებიც მუშაობენ სხვადასხვა მანქანათმცოდნეობის პროექტებზე. 

თანამშრომლობა ხელს უწყობს ახალი პროდუქტების ეფექტურად შექმნას. სიჩქარე და ხარისხი მიიღწევა ბალანსით ყველასთვის სერვისის შექმნას (გლობალური საცავი ან დაფის ინტეგრაცია) და თითოეული კონკრეტული საჭიროების ან პროექტის განხორციელებას შორის (უაღრესად სპეციალიზებული მილსადენი, გარე წყაროების დამაკავშირებელი). 

მონაცემთა მეცნიერებთან და ანალიტიკოსებთან მჭიდრო თანამშრომლობა ეხმარება ინჟინრებს განავითარონ ანალიტიკური და კვლევითი უნარები უკეთესი კოდის დასაწერად. ცოდნის გაზიარება საწყობისა და მონაცემთა ტბის მომხმარებლებს შორის უმჯობესდება, რაც პროექტებს უფრო მოქნილს ხდის და უფრო მდგრად გრძელვადიან შედეგებს იძლევა.

კომპანიებში, რომლებიც მიზნად ისახავს განავითარონ მონაცემებთან მუშაობის კულტურა და მათზე დაფუძნებული ბიზნეს პროცესები, Data Scientist და Data Engineer ავსებენ ერთმანეთს და ქმნიან მონაცემთა ანალიზის სრულ სისტემას. 

შემდეგ სტატიაში ვისაუბრებთ იმაზე, თუ როგორი განათლება უნდა ჰქონდეთ მონაცემთა ინჟინერს და მონაცემთა მეცნიერებს, რა უნარ-ჩვევები უნდა განივითარონ და როგორ მუშაობს ბაზარი.

ნეტოლოგიის რედაქტორებიდან

თუ თქვენ ეძებთ მონაცემთა ინჟინრის ან მონაცემთა მეცნიერის პროფესიას, გეპატიჟებით შეისწავლოთ ჩვენი კურსის პროგრამები:

• პროფესია"მონაცემთა ინჟინერი".  
• პროფესია"მონაცემთა მეცნიერი".

წყარო: www.habr.com