დიდი მონაცემების ეპოქის დაცემა

ბევრი უცხოელი ავტორი თანხმდება, რომ დიდი მონაცემების ეპოქა დასრულდა. და ამ შემთხვევაში, ტერმინი Big Data ეხება Hadoop-ზე დაფუძნებულ ტექნოლოგიებს. ბევრ ავტორს შეუძლია დამაჯერებლად დაასახელოს ის თარიღი, როდესაც Big Data წავიდა ამ სამყაროდან და ეს თარიღია 05.06.2019/XNUMX/XNUMX.

რა მოხდა ამ მნიშვნელოვან დღეს?

ამ დღეს MAPR-მა პირობა დადო, რომ შეაჩერებს მუშაობას, თუ შემდგომი ფუნქციონირებისთვის სახსრებს ვერ გამონახავს. MAPR მოგვიანებით HP-მ შეიძინა 2019 წლის აგვისტოში. მაგრამ ივნისს რომ დავუბრუნდეთ, არ შეიძლება არ აღვნიშნოთ ამ პერიოდის ტრაგედია დიდი მონაცემთა ბაზრისთვის. ამ თვეში დაეცა CLOUDERA-ს, ბაზრის წამყვანი მოთამაშის, აქციების ფასების კოლაფსი, რომელიც იმავე წლის იანვარში გაერთიანდა ქრონიკულად წამგებიანი HORTOWORKS-თან. კოლაფსი საკმაოდ მნიშვნელოვანი იყო და შეადგინა 43%, საბოლოოდ CLOUDERA-ს კაპიტალიზაცია 4,1-დან 1,4 მილიარდ დოლარამდე შემცირდა.

შეუძლებელია არ ითქვას, რომ Hadoop-ზე დაფუძნებული ტექნოლოგიების სფეროში ბუშტის შესახებ ჭორები გავრცელდა 2014 წლის დეკემბრიდან, მაგრამ ის გაბედულად გაგრძელდა თითქმის ხუთი წლის განმავლობაში. ეს ჭორები ეფუძნებოდა Google-ის, კომპანიის, საიდანაც Hadoop ტექნოლოგია წარმოიშვა, უარი თქვა მის გამოგონებაზე. მაგრამ ტექნოლოგიამ საფუძველი ჩაუყარა კომპანიების ღრუბლის დამუშავების ინსტრუმენტებზე გადასვლისა და ხელოვნური ინტელექტის სწრაფ განვითარებას. ამიტომ, უკანმოუხედავად, შეგვიძლია დარწმუნებით ვთქვათ, რომ სიკვდილი მოსალოდნელი იყო.

ამრიგად, Big Data-ის ეპოქა დასრულდა, მაგრამ დიდ მონაცემებზე მუშაობის პროცესში კომპანიებმა გააცნობიერეს მასზე მუშაობის ყველა ნიუანსი, სარგებელი, რაც Big Data-ს შეუძლია მოუტანოს ბიზნესს და ასევე ისწავლეს ხელოვნური გამოყენება. ინტელექტი ნედლი მონაცემებიდან ღირებულების ამოსაღებად.

უფრო საინტერესო ხდება კითხვა, რა ჩაანაცვლებს ამ ტექნოლოგიას და როგორ განვითარდება ანალიტიკური ტექნოლოგიები შემდგომში.

გაძლიერებული ანალიტიკა

აღწერილი მოვლენების დროს, კომპანიები, რომლებიც მუშაობენ მონაცემთა ანალიზის სფეროში, არ ისხდნენ. რა შეიძლება ვიმსჯელოთ 2019 წელს მომხდარი ტრანზაქციების შესახებ ინფორმაციის საფუძველზე. წელს ბაზარზე ყველაზე დიდი ტრანზაქცია განხორციელდა - ანალიტიკური პლატფორმა Tableau შეიძინა Salesforce-მა $15,7 მილიარდად. უფრო მცირე გარიგება მოხდა Google-სა და Looker-ს შორის. და რა თქმა უნდა, არ შეიძლება არ აღინიშნოს Qlik-ის მიერ დიდი მონაცემთა პლატფორმის Attunity-ის შეძენა.

BI ბაზრის ლიდერები და Gartner-ის ექსპერტები აცხადებენ მონაცემების ანალიზისადმი მიდგომების მონუმენტურ ცვლილებას, ეს ცვლილება მთლიანად გაანადგურებს BI ბაზარს და გამოიწვევს BI-ს AI-ით ჩანაცვლებას. ამ კონტექსტში, უნდა აღინიშნოს, რომ აბრევიატურა AI არის არა „ხელოვნური ინტელექტი“, არამედ „გაძლიერებული ინტელექტი“. მოდით უფრო ახლოს მივხედოთ რა დგას სიტყვების "გაძლიერებული ანალიტიკა" უკან.

გაძლიერებული ანალიტიკა, ისევე როგორც გაძლიერებული რეალობა, ეფუძნება რამდენიმე ზოგად პოსტულატს:

• NLP (Natural Language Processing) გამოყენებით კომუნიკაციის უნარი, ე.ი. ადამიანის ენაზე;
• ხელოვნური ინტელექტის გამოყენება, ეს ნიშნავს, რომ მონაცემები წინასწარ იქნება დამუშავებული მანქანური ინტელექტის მიერ;
• და რა თქმა უნდა, სისტემის მომხმარებლისთვის ხელმისაწვდომი რეკომენდაციები, რომლებიც გენერირებული იყო ხელოვნური ინტელექტის მიერ.

ანალიტიკური პლატფორმების მწარმოებლების თქმით, მათი გამოყენება ხელმისაწვდომი იქნება მომხმარებლებისთვის, რომლებსაც არ აქვთ სპეციალური უნარები, როგორიცაა SQL ან მსგავსი სკრიპტირების ენის ცოდნა, რომლებსაც არ აქვთ სტატისტიკური ან მათემატიკური მომზადება, რომლებსაც არ აქვთ პოპულარული ენების ცოდნა. სპეციალიზირებულია მონაცემთა დამუშავებასა და შესაბამის ბიბლიოთეკებში. ასეთ ადამიანებს, რომლებსაც „მოქალაქე მონაცემთა მეცნიერებს“ უწოდებენ, მხოლოდ გამორჩეული ბიზნეს კვალიფიკაცია უნდა ჰქონდეთ. მათი ამოცანაა აითვისონ ბიზნესის შეხედულებები იმ რჩევებიდან და პროგნოზებიდან, რომლებსაც ხელოვნური ინტელექტი მისცემს მათ და მათ შეუძლიათ დახვეწონ თავიანთი ვარაუდები NLP-ის გამოყენებით.

ამ კლასის სისტემებთან მომხმარებელთა მუშაობის პროცესის აღწერისას შეიძლება წარმოიდგინოთ შემდეგი სურათი. ადამიანი, რომელიც სამსახურში მოდის და იწყებს შესაბამის აპლიკაციას, გარდა ანგარიშებისა და დაფების ჩვეულებრივი ნაკრებისა, რომელიც შეიძლება გაანალიზდეს სტანდარტული მიდგომების გამოყენებით (დახარისხება, დაჯგუფება, არითმეტიკული ოპერაციების შესრულება), ხედავს გარკვეულ რჩევებს და რეკომენდაციებს, როგორიცაა: იმისათვის, რომ მიაღწიოთ KPI-ს, გაყიდვების რაოდენობას, უნდა გამოიყენოთ ფასდაკლება პროდუქტებზე „მებაღეობის“ კატეგორიიდან“. გარდა ამისა, ადამიანს შეუძლია დაუკავშირდეს კორპორატიულ მესენჯერს: Skype, Slack და ა.შ. შეუძლია რობოტს დაუსვას კითხვები ტექსტით ან ხმით: „მომეცი ხუთი ყველაზე მომგებიანი კლიენტი“. შესაბამისი პასუხის მიღების შემდეგ მან უნდა მიიღოს საუკეთესო გადაწყვეტილება თავისი ბიზნეს გამოცდილებიდან გამომდინარე და მოგება მოუტანოს კომპანიას.

თუ თქვენ გადადგამთ ნაბიჯით უკან და შეხედავთ გასაანალიზებელი ინფორმაციის შემადგენლობას და ამ ეტაპზე, გაძლიერებული ანალიტიკის პროდუქტებს შეუძლიათ გააადვილონ ადამიანების ცხოვრება. იდეალურ შემთხვევაში, ვარაუდობენ, რომ მომხმარებელს დასჭირდება მხოლოდ ანალიტიკური პროდუქტის მითითება სასურველი ინფორმაციის წყაროებზე, ხოლო პროგრამა თავად იზრუნებს მონაცემთა მოდელის შექმნაზე, ცხრილების დაკავშირებაზე და მსგავს ამოცანებზე.

ამ ყველაფერმა, პირველ რიგში, უნდა უზრუნველყოს მონაცემთა „დემოკრატიზაცია“, ე.ი. ნებისმიერ ადამიანს შეუძლია გააანალიზოს კომპანიისთვის ხელმისაწვდომი ინფორმაციის მთელი მასივი. გადაწყვეტილების მიღების პროცესი უნდა იყოს მხარდაჭერილი სტატისტიკური ანალიზის მეთოდებით. მონაცემთა წვდომის დრო უნდა იყოს მინიმალური, ასე რომ არ არის საჭირო სკრიპტების და SQL მოთხოვნების დაწერა. და რა თქმა უნდა, შეგიძლიათ დაზოგოთ ფული მაღალანაზღაურებადი მონაცემთა მეცნიერების სპეციალისტებზე.

ჰიპოთეტურად, ტექნოლოგია ძალიან ნათელ პერსპექტივებს სთავაზობს ბიზნესს.

რა ცვლის დიდ მონაცემებს

მაგრამ, ფაქტობრივად, ჩემი სტატია დავიწყე დიდი მონაცემებით. და მე ვერ განვავითარებდი ამ თემას მოკლე ექსკურსიის გარეშე თანამედროვე BI ინსტრუმენტებში, რომლის საფუძველი ხშირად დიდი მონაცემებია. დიდი მონაცემების ბედი ახლა ნათლად არის განსაზღვრული და ეს არის ღრუბლოვანი ტექნოლოგია. მე ყურადღება გავამახვილე BI მომწოდებლებთან განხორციელებულ ტრანზაქციებზე, რათა მეჩვენებინა, რომ ახლა ყველა ანალიტიკურ სისტემას აქვს ღრუბლოვანი საცავი მის უკან, ხოლო ღრუბლოვან სერვისებს აქვთ BI, როგორც წინა ნაწილი.

არ დავივიწყოთ ისეთი საყრდენები მონაცემთა ბაზების სფეროში, როგორიცაა ORACLE და Microsoft, აუცილებელია აღვნიშნოთ მათ მიერ არჩეული ბიზნესის განვითარების მიმართულება და ეს არის ღრუბელი. ყველა შემოთავაზებული სერვისის ნახვა შესაძლებელია ღრუბელში, მაგრამ ზოგიერთი ღრუბლოვანი სერვისი აღარ არის ხელმისაწვდომი შენობაში. მათ მნიშვნელოვანი სამუშაო გააკეთეს მანქანური სწავლების მოდელების გამოყენებაზე, შექმნეს მომხმარებლებისთვის ხელმისაწვდომი ბიბლიოთეკები და დააკონფიგურირეს ინტერფეისები მოდელებთან მუშაობის გასაადვილებლად, მათი შერჩევით დაწყების დროის დაყენებამდე.

ღრუბლოვანი სერვისების გამოყენების კიდევ ერთი მნიშვნელოვანი უპირატესობა, რომელსაც მწარმოებლები ახმოვანებენ, არის თითქმის შეუზღუდავი მონაცემთა ნაკრების არსებობა სასწავლო მოდელებისთვის ნებისმიერ თემაზე.

თუმცა, იბადება კითხვა: რამდენად გაიღებს ფესვებს ღრუბლოვანი ტექნოლოგიები ჩვენს ქვეყანაში?

წყარო: www.habr.com