მონაცემთა ინჟინრის პროფესიაში ყველაზე მოთხოვნადი უნარები

მიხედვით სტატისტიკა 2019 წელი, მონაცემთა ინჟინერი ამჟამად არის პროფესია, რომლის მოთხოვნა უფრო სწრაფად იზრდება, ვიდრე ნებისმიერი სხვა. მონაცემთა ინჟინერი გადამწყვეტ როლს ასრულებს ორგანიზაციაში - ქმნის და ინარჩუნებს მილსადენებსა და მონაცემთა ბაზებს, რომლებიც გამოიყენება მონაცემების დასამუშავებლად, ტრანსფორმაციისა და შესანახად. რა უნარები სჭირდებათ პირველ რიგში ამ პროფესიის წარმომადგენლებს? არის თუ არა სია განსხვავებული იმისგან, რაც მონაცემთა მეცნიერებს მოეთხოვებათ? ამ ყველაფრის შესახებ ჩემი სტატიიდან შეიტყობთ.

მე გავაანალიზე ვაკანსიები მონაცემთა ინჟინრის თანამდებობაზე, როგორც ეს არის 2020 წლის იანვარში, რათა გავიგო, რომელი ტექნოლოგიური უნარებია ყველაზე პოპულარული. შემდეგ შედეგები შევადარე სტატისტიკას მონაცემთა მეცნიერის თანამდებობაზე ვაკანსიების შესახებ - და გამოჩნდა რამდენიმე საინტერესო განსხვავება.

ბევრი პრეამბულის გარეშე, აქ არის ტოპ ტექნოლოგიების ათეული, რომლებიც ყველაზე ხშირად არის ნახსენები სამუშაო განცხადებებში:

ტექნოლოგიების ხსენება ვაკანსიებზე მონაცემთა ინჟინრის პოზიციაზე 2020 წელს

გავიგოთ.

მონაცემთა ინჟინრის მოვალეობები

დღეს, სამუშაოს, რომელსაც მონაცემთა ინჟინრები აკეთებენ, ძალიან დიდი მნიშვნელობა აქვს ორგანიზაციებს - ეს ის ადამიანები არიან, რომლებიც პასუხისმგებელნი არიან ინფორმაციის შენახვაზე და მის ფორმაში მოყვანაზე, რომ სხვა თანამშრომლებმა შეძლონ მასთან მუშაობა. მონაცემთა ინჟინრები აშენებენ მილსადენებს მრავალი წყაროდან მონაცემების გადასაცემად ან ჯგუფურად. შემდეგ მილსადენები ასრულებენ მოპოვების, ტრანსფორმაციის და დატვირთვის ოპერაციებს (სხვა სიტყვებით, ETL პროცესებს), რაც მონაცემებს უფრო შესაფერისს ხდის შემდგომი გამოყენებისთვის. ამის შემდეგ, მონაცემები ეგზავნება ანალიტიკოსებს და მონაცემთა მეცნიერებს უფრო ღრმა დამუშავებისთვის. საბოლოოდ, მონაცემები ამთავრებს თავის მოგზაურობას დაფებში, ანგარიშებსა და მანქანათმცოდნეობის მოდელებში.

ვეძებდი ინფორმაციას, რომელიც საშუალებას მომცემდა გამომეტანა დასკვნა იმის შესახებ, თუ რომელ ტექნოლოგიებზეა ყველაზე მოთხოვნადი მონაცემთა ინჟინრის მუშაობაში ამჟამად.

მეთოდები

შევაგროვე ინფორმაცია სამუშაოს ძიების სამი საიტიდან − SimplyHired, ნამდვილად и Monster და შეხედა რა საკვანძო სიტყვებს შეხვდა „მონაცემთა ინჟინერი“-სთან ერთად ვაკანსიების ტექსტებში, რომლებიც განკუთვნილია აშშ-ს მაცხოვრებლებისთვის. ამ ამოცანისთვის გამოვიყენე პითონის ორი ბიბლიოთეკა − მოთხოვნა и ლამაზი წვნიანი. საკვანძო სიტყვებს შორის მე ჩავრთე როგორც წინა სიაში მონაცემთა მეცნიერის თანამდებობის ვაკანსიების გასაანალიზებლად, ასევე ის, რაც ხელით შევარჩიე მონაცემთა ინჟინრების სამუშაო შეთავაზებების წაკითხვისას. LinkedIn არ იყო შეტანილი წყაროების სიაში, რადგან მე აკრძალეს იქ მონაცემების შეგროვების ბოლო მცდელობის შემდეგ.

თითოეული საკვანძო სიტყვისთვის მე გამოვთვალე ჰიტების პროცენტი თითოეულ საიტზე ცალ-ცალკე ტექსტების მთლიანი რაოდენობით და შემდეგ გამოვთვალე საშუალო სამი წყაროსთვის.

დასკვნები

ქვემოთ მოცემულია ოცდაათი ტექნიკური მონაცემების საინჟინრო ტერმინი სამივე სამუშაო ადგილზე ყველაზე მაღალი ქულით.

და აქ არის იგივე რიცხვები, მაგრამ წარმოდგენილია ცხრილის სახით:

წავიდეთ თანმიმდევრობით.

შედეგების მიმოხილვა

ორივე SQL და Python ჩნდება განხილული ვაკანსიების ორ მესამედზე მეტში. სწორედ ამ ორ ტექნოლოგიას აქვს აზრი პირველ რიგში შესწავლას. Python არის ძალიან პოპულარული პროგრამირების ენა, რომელიც გამოიყენება მონაცემებთან მუშაობისთვის, ვებსაიტების შესაქმნელად და სკრიპტების დასაწერად. SQL დგას Structured Query Language; იგი მოიცავს სტანდარტს, რომელიც განხორციელებულია ენების ჯგუფის მიერ და გამოიყენება მონაცემთა ბაზებიდან მონაცემების მისაღებად. ის დიდი ხნის წინ გამოჩნდა და დაამტკიცა, რომ მაღალი გამძლეობაა.

ნაპერწკალი ნახსენებია ვაკანსიების დაახლოებით ნახევარში. Apache Spark არის „დიდი მონაცემების ერთიანი ანალიტიკური ძრავა ჩაშენებული მოდულებით სტრიმინგისთვის, SQL, მანქანათმცოდნეობისა და გრაფიკის დამუშავებისთვის“. ის განსაკუთრებით პოპულარულია მათ შორის, ვინც მუშაობს დიდ მონაცემთა ბაზებთან.

AWS ჩნდება ვაკანსიების დაახლოებით 45%-ში. ეს არის Amazon-ის მიერ წარმოებული ღრუბლოვანი გამოთვლითი პლატფორმა; მას აქვს ყველაზე დიდი ბაზრის წილი ყველა ღრუბლოვან პლატფორმას შორის.
შემდეგი მოდის Java და Hadoop - 40% -ზე ცოტა მეტი მათი ძმისთვის. Java არის ფართოდ გავრცელებული, ბრძოლაში გამოცდილი ენა, რომელიც 2019 წლის Stack Overflow დეველოპერების გამოკითხვა მიენიჭა მეათე ადგილი იმ ენებს შორის, რომლებიც საშინელებებს იწვევს პროგრამისტებში. ამის საპირისპიროდ, პითონი იყო მეორე ყველაზე საყვარელი ენა. Java ენას მართავს Oracle და ყველაფერი, რაც თქვენ უნდა იცოდეთ ამის შესახებ, შეგიძლიათ გაიგოთ ოფიციალური გვერდის ამ ეკრანის ანაბეჭდიდან 2020 წლის იანვრიდან.

დროის მანქანაში ტარებას ჰგავს
აპაჩ ჰადოოპი იყენებს MapReduce პროგრამირების მოდელს სერვერების კლასტერებით დიდი მონაცემებისთვის. ახლა ეს მოდელი სულ უფრო და უფრო მიტოვებული ხდება.

შემდეგ ჩვენ ვხედავთ Hive-ს, Scala-ს, Kafka-ს და NoSQL-ს - თითოეული ეს ტექნოლოგია მითითებულია წარმოდგენილი ვაკანსიების მეოთხედში. Apache Hive არის მონაცემთა საწყობის პროგრამული უზრუნველყოფა, რომელიც „აადვილებს SQL-ის გამოყენებით განაწილებულ მაღაზიებში მცხოვრები დიდი მონაცემთა ნაკრების წაკითხვას, ჩაწერას და მართვას“. მასშტაბის – პროგრამირების ენა, რომელიც აქტიურად გამოიყენება დიდ მონაცემებთან მუშაობისას. კერძოდ, Spark შეიქმნა Scala-ში. საშიშ ენების უკვე აღნიშნულ რეიტინგში Scala მეთერთმეტე ადგილზეა. Apache Kafka – განაწილებული პლატფორმა ნაკადი შეტყობინებების დასამუშავებლად. ძალიან პოპულარულია, როგორც მონაცემთა ნაკადის საშუალება.

NoSQL მონაცემთა ბაზები ეწინააღმდეგება თავს SQL-თან. ისინი განსხვავდებიან იმით, რომ ისინი არარელატიური, არასტრუქტურირებული და ჰორიზონტალურად მასშტაბირებადია. NoSQL-მა გარკვეული პოპულარობა მოიპოვა, მაგრამ მიდგომის სიგიჟე, წინასწარმეტყველებამდეც კი, რომ ის ჩაანაცვლებს SQL-ს, როგორც შენახვის დომინანტურ პარადიგმას, დასრულებულია.

მონაცემთა მეცნიერის ვაკანსიების ტერმინებთან შედარება

აქ არის ოცდაათი ტექნოლოგიური ტერმინი, რომელიც ყველაზე გავრცელებულია მონაცემთა მეცნიერების დამსაქმებლებს შორის. მე მივიღე ეს სია ისევე, როგორც ზემოთ აღწერილი მონაცემთა ინჟინერიისთვის.

ტექნოლოგიების ხსენება ვაკანსიებზე მონაცემთა მეცნიერის თანამდებობაზე 2020 წელს

თუ მთლიან რაოდენობაზე ვსაუბრობთ, ადრე განხილულ დაქირავებასთან შედარებით, ვაკანსიები 28%-ით მეტი იყო (12 013-ის წინააღმდეგ). ვნახოთ, რომელი ტექნოლოგიებია ნაკლებად გავრცელებული მონაცემთა მეცნიერთა ვაკანსიებზე, ვიდრე მონაცემთა ინჟინრებისთვის.

უფრო პოპულარული მონაცემთა ინჟინერიაში

ქვემოთ მოცემული გრაფიკი გვიჩვენებს საკვანძო სიტყვებს საშუალო სხვაობით 10%-ზე მეტი ან -10%-ზე ნაკლები.

ყველაზე დიდი განსხვავება საკვანძო სიტყვების სიხშირეში მონაცემთა ინჟინერსა და მონაცემთა მეცნიერს შორის

AWS აჩვენებს ყველაზე მნიშვნელოვან ზრდას: მონაცემთა ინჟინერიაში ის 25%-ით უფრო რეგულარულად ჩანს, ვიდრე მონაცემთა მეცნიერებაში (დაახლოებით 45% და 20% ვაკანსიების საერთო რაოდენობის შესაბამისად). განსხვავება შესამჩნევია!

აქ არის იგივე მონაცემები ოდნავ განსხვავებულ პრეზენტაციაში - გრაფიკში, მონაცემთა ინჟინრისა და მონაცემთა მეცნიერის თანამდებობის ვაკანსიებში იგივე საკვანძო სიტყვის შედეგები განთავსებულია გვერდიგვერდ.

ყველაზე დიდი განსხვავება საკვანძო სიტყვების სიხშირეში მონაცემთა ინჟინერსა და მონაცემთა მეცნიერს შორის

შემდეგი უდიდესი ნახტომი, რომელიც მე აღვნიშნე, იყო Spark-ში - მონაცემთა ინჟინერი ხშირად უწევს დიდ მონაცემებთან მუშაობას. კაფკა ასევე გაიზარდა 20%-ით, ანუ თითქმის ოთხჯერ შედარებით მონაცემთა მეცნიერის ვაკანსიების შედეგებთან შედარებით. მონაცემთა გადაცემა მონაცემთა ინჟინრის ერთ-ერთი მთავარი პასუხისმგებლობაა. და ბოლოს, ხსენებების რაოდენობა 15%-ით მეტი იყო მონაცემთა ინჟინერიის სფეროში Java, NoSQL, Redshift, SQL და Hadoop-ისთვის.

ნაკლებად პოპულარულია მონაცემთა ინჟინერიაში

ახლა ვნახოთ, რომელი ტექნოლოგიებია ნაკლებად პოპულარული მონაცემთა ინჟინრის ვაკანსიებზე.
ყველაზე მკვეთრი ვარდნა მონაცემთა მეცნიერების სექტორთან შედარებით დაფიქსირდა R: იქ ის გამოჩნდა ვაკანსიების დაახლოებით 56%-ში, აქ - მხოლოდ 17%-ში. Შთამბეჭდავი. R არის პროგრამირების ენა, რომელსაც მხარს უჭერენ მეცნიერები და სტატისტიკოსები და მერვე ყველაზე საშიში ენაა მსოფლიოში.

SAS ასევე გვხვდება მონაცემთა ინჟინრის თანამდებობის ვაკანსიებზე საგრძნობლად ნაკლებად ხშირად - სხვაობა 14%-ია. SAS არის საკუთრების ენა, რომელიც შექმნილია სტატისტიკასთან და მონაცემებთან მუშაობისთვის. საინტერესო წერტილი: შედეგების მიხედვით ვიმსჯელებთ ჩემი კვლევა მონაცემთა მეცნიერთა სამუშაო ადგილების შესახებ, მან ბოლო დროს დაკარგა ბევრი ადგილი — უფრო მეტი ვიდრე ნებისმიერ სხვა ტექნოლოგიამ.

მოთხოვნადია როგორც მონაცემთა ინჟინერიაში, ასევე მონაცემთა მეცნიერებაში

აღსანიშნავია, რომ ორივე სეტში პირველი ათიდან რვა ერთნაირია. SQL, Python, Spark, AWS, Java, Hadoop, Hive და Scala მოხვდნენ ათეულში როგორც მონაცემთა ინჟინერიის, ასევე მონაცემთა მეცნიერების ინდუსტრიისთვის. ქვემოთ მოცემულ გრაფიკზე შეგიძლიათ იხილოთ თხუთმეტი ყველაზე პოპულარული ტექნოლოგია მონაცემთა ინჟინრების დამსაქმებლებს შორის და მათ გვერდით არის მათი ვაკანსიის მაჩვენებელი მონაცემთა მეცნიერებისთვის.

რეკომენდაციები

თუ გსურთ ჩაერთოთ მონაცემთა ინჟინერიაში, გირჩევთ, დაეუფლოთ შემდეგ ტექნოლოგიებს - ჩამოვთვლი მათ მიახლოებითი პრიორიტეტის მიხედვით.

ისწავლეთ SQL. მე მიდრეკილი ვარ PostgreSQL-ისკენ, რადგან ის ღია წყაროა, ძალიან პოპულარულია საზოგადოებაში და ზრდის ფაზაშია. ენის გამოყენების სწავლა შეგიძლიათ წიგნიდან My Memorable SQL - ხელმისაწვდომია მისი საპილოტე ვერსია აქ.

ოსტატი პითონი, თუნდაც არა ყველაზე მძიმე დონეზე. ჩემი დასამახსოვრებელი პითონი შექმნილია სპეციალურად დამწყებთათვის. მისი შეძენა შესაძლებელია Amazon, ელექტრონული ან ფიზიკური ასლი, თქვენი არჩევანი, ან გადმოწერეთ pdf ან epub ფორმატში ამ საიტზე.

მას შემდეგ რაც გაეცანით პითონს, გადადით პანდაზე, პითონის ბიბლიოთეკაზე, რომელიც გამოიყენება მონაცემთა გაწმენდისა და დამუშავებისთვის. თუ თქვენ აპირებთ მუშაობას კომპანიაში, რომელიც მოითხოვს პითონში წერის უნარს (და ეს მათი უმრავლესობაა), შეგიძლიათ დარწმუნებული იყოთ, რომ პანდების ცოდნა ნაგულისხმევად იქნება მიღებული. მე ამჟამად ვასრულებ პანდებთან მუშაობის შესავალი სახელმძღვანელოს - შეგიძლიათ გამოწერარათა არ გამოტოვოთ გათავისუფლების მომენტი.

სამაგისტრო AWS. თუ გსურთ გახდეთ მონაცემთა ინჟინერი, არ შეგიძლიათ ღრუბლოვანი პლატფორმის გარეშე შენახვაში და AWS მათგან ყველაზე პოპულარულია. კურსები ძალიან დამეხმარა Linux აკადემიაროცა ვსწავლობდი მონაცემთა ინჟინერია Google Cloud-ზე, ვფიქრობ, რომ მათაც ექნებათ კარგი მასალები AWS-ზე.

თუ თქვენ უკვე დაასრულეთ მთელი ეს სია და გსურთ კიდევ უფრო გაიზარდოთ დამსაქმებლების თვალში, როგორც მონაცემთა ინჟინერი, გირჩევთ დაამატოთ Apache Spark დიდ მონაცემებთან მუშაობისთვის. მიუხედავად იმისა, რომ მონაცემთა მეცნიერის ვაკანსიებზე ჩემმა კვლევამ აჩვენა ინტერესის შემცირება, მონაცემთა ინჟინრებს შორის ის მაინც ჩნდება თითქმის ყოველ მეორე ვაკანსიაზე.

ბოლოს

ვიმედოვნებ, რომ თქვენთვის სასარგებლო აღმოჩნდა მონაცემთა ინჟინრებისთვის ყველაზე მოთხოვნადი ტექნოლოგიების ეს მიმოხილვა. თუ გაინტერესებთ, როგორ მიდის ანალიტიკოსის სამუშაოები, წაიკითხეთ ჩემი სხვა სტატია. ბედნიერი ინჟინერია!

წყარო: www.habr.com