დიდი მონაცემთა ანალიტიკა - რეალობა და პერსპექტივები რუსეთსა და მსოფლიოში

დღეს მხოლოდ ადამიანებს, რომლებსაც არ აქვთ გარე კავშირი გარე სამყაროსთან, არ სმენიათ დიდი მონაცემების შესახებ. Habré-ზე პოპულარულია Big Data ანალიტიკისა და მასთან დაკავშირებული თემების თემა. მაგრამ არასპეციალისტებისთვის, რომლებსაც სურთ დიდი მონაცემების შესწავლას დაუთმონ, ყოველთვის არ არის ნათელი, რა პერსპექტივები აქვს ამ სფეროს, სად შეიძლება გამოიყენოს დიდი მონაცემთა ანალიტიკა და რისი იმედი აქვს კარგ ანალიტიკოსს. შევეცადოთ გავერკვეთ.

ადამიანების მიერ გამომუშავებული ინფორმაციის რაოდენობა ყოველწლიურად იზრდება. 2020 წლისთვის შენახული მონაცემების რაოდენობა გაიზრდება 40-44 ზეტაბაიტამდე (1 ZB ~ 1 მილიარდი GB). 2025 წლისთვის - დაახლოებით 400 ზეტაბაიტამდე. შესაბამისად, სტრუქტურირებული და არასტრუქტურირებული მონაცემების მართვა თანამედროვე ტექნოლოგიების გამოყენებით არის სფერო, რომელიც სულ უფრო მნიშვნელოვანი ხდება. დიდი მონაცემებით დაინტერესებულია როგორც ცალკეული კომპანიები, ასევე მთელი ქვეყნები.

სხვათა შორის, სწორედ საინფორმაციო ბუმისა და ადამიანის მიერ წარმოებული მონაცემების დამუშავების მეთოდების განხილვისას გაჩნდა ტერმინი Big Data. ითვლება, რომ ის პირველად 2008 წელს შემოგვთავაზა ჟურნალ Nature-ის რედაქტორმა კლიფორდ ლინჩმა.

მას შემდეგ დიდი მონაცემთა ბაზარი ყოველწლიურად იზრდება რამდენიმე ათეული პროცენტით. და ეს ტენდენცია, ექსპერტების აზრით, გაგრძელდება. ამრიგად, კომპანიის შეფასებით ყინვა და სალივანი 2021 წელს მთლიანი გლობალური დიდი მონაცემების ანალიტიკის ბაზარი გაიზრდება $67,2 მილიარდამდე, წლიური ზრდა იქნება დაახლოებით 35,9%.

რატომ გვჭირდება დიდი მონაცემების ანალიტიკა?

ეს საშუალებას გაძლევთ ამოიცნოთ ძალიან ღირებული ინფორმაცია სტრუქტურირებული ან არასტრუქტურირებული მონაცემთა ნაკრებიდან. ამის წყალობით, ბიზნესს შეუძლია, მაგალითად, ტენდენციების იდენტიფიცირება, წარმოების შესრულების პროგნოზირება და საკუთარი ხარჯების ოპტიმიზაცია. ნათელია, რომ ხარჯების შემცირების მიზნით კომპანიები მზად არიან განახორციელონ უახლესი გადაწყვეტილებები.

ტექნოლოგიები და ანალიზის მეთოდები, რომლებიც გამოიყენება დიდი მონაცემების გასაანალიზებლად:

• Მონაცემების მოპოვება;
• crowdsourcing;
• მონაცემთა შერევა და ინტეგრაცია;
• მანქანათმცოდნეობა;
• ხელოვნური ნერვული ქსელები;
• ნიმუშის ამოცნობა;
• პროგნოზირებადი ანალიტიკა;
• სიმულაციური მოდელირება;
• სივრცითი ანალიზი;
• სტატისტიკური ანალიზი;
• ანალიტიკური მონაცემების ვიზუალიზაცია.

დიდი მონაცემების ანალიტიკა მსოფლიოში

დიდი მონაცემების ანალიტიკას ამჟამად მსოფლიოში კომპანიების 50%-ზე მეტი იყენებს. მიუხედავად იმისა, რომ 2015 წელს ეს მაჩვენებელი მხოლოდ 17% იყო. Big Data-ს ყველაზე აქტიურად იყენებენ სატელეკომუნიკაციო და ფინანსური მომსახურების სექტორში მოქმედი კომპანიები. შემდეგ არის კომპანიები, რომლებიც სპეციალიზირებულნი არიან ჯანდაცვის ტექნოლოგიებში. Big Data ანალიტიკის მინიმალური გამოყენება საგანმანათლებლო კომპანიებში: უმეტეს შემთხვევაში, ამ სფეროს წარმომადგენლები აცხადებდნენ უახლოეს მომავალში ტექნოლოგიების გამოყენების განზრახვას.

შეერთებულ შტატებში ყველაზე აქტიურად გამოიყენება Big Data ანალიტიკა: ამ ტექნოლოგიით მუშაობს სხვადასხვა სფეროს კომპანიების 55%-ზე მეტი. ევროპასა და აზიაში დიდი მონაცემების ანალიტიკაზე მოთხოვნა არ არის გაცილებით დაბალი - დაახლოებით 53%.

რაც შეეხება რუსეთს?

IDC-ის ანალიტიკოსების აზრით, რუსეთი არის უდიდესი რეგიონალური ბაზარი დიდი მონაცემთა ანალიტიკური გადაწყვეტილებებისთვის. ცენტრალურ და აღმოსავლეთ ევროპაში ასეთი გადაწყვეტილებების ბაზრის ზრდა საკმაოდ აქტიურია, ეს მაჩვენებელი ყოველწლიურად 11%-ით იზრდება. 2022 წლისთვის ის რაოდენობრივად 5,4 მილიარდ დოლარს მიაღწევს.

მრავალი თვალსაზრისით, ბაზრის ეს სწრაფი განვითარება განპირობებულია ამ ტერიტორიის ზრდით რუსეთში. 2018 წელს რუსეთის ფედერაციაში შესაბამისი გადაწყვეტილებების რეალიზაციიდან მიღებული შემოსავალი შეადგენდა მთელ რეგიონში დიდი მონაცემთა დამუშავების ტექნოლოგიებში მთლიანი ინვესტიციის 40%-ს.

რუსეთის ფედერაციაში კომპანიები საბანკო და საჯარო სექტორებიდან, სატელეკომუნიკაციო ინდუსტრიიდან და ინდუსტრიიდან ყველაზე მეტს ხარჯავენ დიდი მონაცემების დამუშავებაზე.

რას აკეთებს დიდი მონაცემთა ანალიტიკოსი და რამდენს შოულობს რუსეთში?

დიდი მონაცემების ანალიტიკოსი პასუხისმგებელია დიდი რაოდენობით ინფორმაციის გამოკვლევაზე, როგორც ნახევრად სტრუქტურირებული, ასევე არასტრუქტურირებული. საბანკო ორგანიზაციებისთვის ეს არის ტრანზაქციები, ოპერატორებისთვის - ზარები და ტრაფიკი, საცალო ვაჭრობაში - კლიენტების ვიზიტები და შესყიდვები. როგორც ზემოთ აღინიშნა, დიდი მონაცემთა ანალიზი საშუალებას გვაძლევს აღმოვაჩინოთ კავშირი სხვადასხვა ფაქტორებს შორის „ნედლეული ინფორმაციის ისტორიაში“, მაგალითად, წარმოების პროცესს ან ქიმიურ რეაქციას. ანალიზის მონაცემებზე დაყრდნობით, შემუშავებულია ახალი მიდგომები და გადაწყვეტილებები სხვადასხვა სფეროში - წარმოებიდან მედიცინამდე.

დიდი მონაცემების ანალიტიკოსისთვის საჭირო უნარები:

• უნარი სწრაფად გაიგოს თვისებები იმ სფეროში, რომლისთვისაც ტარდება ანალიზი და ჩაეფლო სასურველი არეალის ასპექტებში. ეს შეიძლება იყოს საცალო ვაჭრობა, ნავთობისა და გაზის მრეწველობა, მედიცინა და ა.შ.
• სტატისტიკური მონაცემების ანალიზის მეთოდების ცოდნა, მათემატიკური მოდელების აგება (ნერვული ქსელები, ბაიესის ქსელები, კლასტერირება, რეგრესია, ფაქტორების, ვარიაციებისა და კორელაციური ანალიზები და სხვ.).
• შეძლოს მონაცემების ამოღება სხვადასხვა წყაროდან, გარდაქმნას ანალიზისთვის და ჩატვირთოს ანალიტიკურ მონაცემთა ბაზაში.
• ფლობს SQL-ს.
• ინგლისური ენის ცოდნა საკმარისად ტექნიკური დოკუმენტაციის ადვილად წასაკითხად.
• Python-ის (მინიმუმ საფუძვლების), Bash-ის ცოდნა (ამის გარეშე ძალიან რთულია მუშაობის პროცესში), პლუს სასურველია იცოდე Java-სა და Scala-ს საფუძვლები (საჭიროა Spark-ის აქტიური გამოყენებისთვის, ერთ-ერთი. ყველაზე პოპულარული ჩარჩოები დიდ მონაცემებთან მუშაობისთვის).
• Hadoop-თან მუშაობის უნარი.

აბა, რამდენს შოულობს დიდი მონაცემთა ანალიტიკოსი?

დიდი მონაცემთა სპეციალისტები ახლა დეფიციტი არიან, მოთხოვნა აღემატება მიწოდებას. ეს იმიტომ ხდება, რომ ბიზნესი აცნობიერებს: განვითარებას ახალი ტექნოლოგიები სჭირდება, ტექნოლოგიების განვითარება კი სპეციალისტებს.

ასე რომ, მონაცემთა მეცნიერი და მონაცემთა ანალიტიკა აშშ-ში შევიდა 3 წლის ტოპ 2017 საუკეთესო პროფესიაში რეკრუტირების სააგენტო Glassdoor-ის ცნობით. ამერიკაში ამ სპეციალისტების საშუალო ხელფასი $100 ათასიდან იწყება.

რუსეთში, მანქანათმცოდნეობის სპეციალისტები იღებენ 130-დან 300 ათას რუბლს თვეში, დიდი მონაცემების ანალიტიკოსები - 73-დან 200 ათას რუბლამდე თვეში. ეს ყველაფერი დამოკიდებულია გამოცდილებაზე და კვალიფიკაციაზე. რა თქმა უნდა, არის ვაკანსიები დაბალი ხელფასით და სხვები უფრო მაღალი. მაქსიმალური მოთხოვნა დიდი მონაცემების ანალიტიკოსებზე მოსკოვსა და პეტერბურგში. მოსკოვი, რაც გასაკვირი არ არის, აქტიური ვაკანსიების დაახლოებით 50%-ს შეადგენს (hh.ru-ს მიხედვით). გაცილებით ნაკლები მოთხოვნაა მინსკსა და კიევში. აღსანიშნავია, რომ ზოგიერთი ვაკანსია გთავაზობთ მოქნილ საათებს და დისტანციურ მუშაობას. მაგრამ ზოგადად, კომპანიებს სჭირდებათ სპეციალისტები, რომლებიც მუშაობენ ოფისში.

დროთა განმავლობაში შეიძლება ველოდოთ მოთხოვნის ზრდას Big Data ანალიტიკოსებზე და მასთან დაკავშირებული სპეციალობების წარმომადგენლებზე. როგორც ზემოთ აღინიშნა, ტექნიკის სექტორში კადრების დეფიციტი არ გაუქმებულა. მაგრამ, რა თქმა უნდა, იმისათვის, რომ გახდეთ დიდი მონაცემთა ანალიტიკოსი, თქვენ უნდა ისწავლოთ და იმუშაოთ, გააუმჯობესოთ როგორც ზემოთ ჩამოთვლილი, ასევე დამატებითი უნარები. დიდი მონაცემთა ანალიტიკოსის გზის დასაწყებად ერთ-ერთი შესაძლებლობა არის დარეგისტრირდით Geekbrains-ის კურსზე და სცადეთ თქვენი ძალა დიდ მონაცემებთან მუშაობაში.

წყარო: www.habr.com