Gartner MQ 2020 მიმოხილვა: მანქანათმცოდნეობის და ხელოვნური ინტელექტის პლატფორმები

შეუძლებელია იმის ახსნა, თუ რატომ წავიკითხე ეს. უბრალოდ დრო მქონდა და მაინტერესებდა როგორ მუშაობს ბაზარი. და ეს უკვე სრულფასოვანი ბაზარია Gartner-ის მიხედვით 2018 წლიდან. 2014-2016 წლებში მას ერქვა მოწინავე ანალიტიკა (ფესვები BI-ში), 2017 წელს - მონაცემთა მეცნიერება (არ ვიცი როგორ ვთარგმნო ეს რუსულად). მათთვის, ვინც დაინტერესებულია მოვაჭრეების მოძრაობებით მოედნის გარშემო, შეგიძლიათ აქ შეხედე. და მე ვისაუბრებ 2020 წლის მოედანზე, მით უმეტეს, რომ იქ ცვლილებები 2019 წლიდან მინიმალურია: SAP გადავიდა და Altair-მა იყიდა Datawatch.

ეს არ არის სისტემატური ანალიზი ან ცხრილი. ინდივიდუალური ხედვა, ასევე გეოფიზიკოსის თვალსაზრისით. მაგრამ მე ყოველთვის მაინტერესებს Gartner MQ წაკითხვა, ისინი მშვენივრად აყალიბებენ ზოგიერთ პუნქტს. ასე რომ, აქ არის ის, რასაც ყურადღება მივაქციე როგორც ტექნიკურად, საბაზრო და ფილოსოფიურად.

ეს არ არის მათთვის, ვინც ღრმად არის ჩართული ML-ის თემაში, არამედ მათთვის, ვინც დაინტერესებულია იმით, რაც ზოგადად ხდება ბაზარზე.

თავად DSML ბაზარი ლოგიკურად ბუდობს BI და Cloud AI დეველოპერის სერვისებს შორის.

ჯერ საყვარელი ციტატები და ტერმინები:

• "ლიდერი შეიძლება არ იყოს საუკეთესო არჩევანი" — ბაზრის ლიდერი სულაც არ არის ის, რაც გჭირდებათ. Ძალიან აქტუალურია! ფუნქციონალური მომხმარებლის არარსებობის შედეგად, ისინი ყოველთვის ეძებენ „საუკეთესო“ გადაწყვეტას, ვიდრე „შესაფერისს“.
• "მოდელის ოპერაციონალიზაცია" - შემოკლებით MOPs. და ყველას უჭირს პაგები! – (მაგარი პაგის თემა მოდელს ამუშავებს).
• "ნოუთბუქის გარემო" არის მნიშვნელოვანი კონცეფცია, სადაც კოდი, კომენტარები, მონაცემები და შედეგები გაერთიანებულია. ეს არის ძალიან ნათელი, პერსპექტიული და შეუძლია მნიშვნელოვნად შეამციროს UI კოდის რაოდენობა.
• "დაფუძნებულია OpenSource-ში" - კარგად ნათქვამი - ფესვებს იღებს ღია წყაროში.
• "მოქალაქეების მონაცემთა მეცნიერები" - ასეთი მარტივი ბიჭები, ასეთი ლამერები და არა ექსპერტები, რომლებსაც სჭირდებათ ვიზუალური გარემო და ყველა სახის დამხმარე ნივთი. ისინი არ დაშიფრავენ.
• "დემოკრატია" — ხშირად გამოიყენება როგორც „ხელმისაწვდომი გახდე ხალხის ფართო სპექტრისთვის“. ჩვენ შეგვიძლია ვთქვათ „მონაცემების დემოკრატიზაცია“ სახიფათო „მონაცემების გათავისუფლების“ ნაცვლად, რომელსაც ჩვენ ვიყენებდით. „დემოკრატიზაცია“ ყოველთვის გრძელი კუდია და ყველა გამყიდველი გარბის მასზე. ცოდნის ინტენსივობის დაკარგვა - ხელმისაწვდომობის მიღწევა!
• "საძიებო მონაცემთა ანალიზი - EDA" - ამ ხელმისაწვდომი საშუალებების გათვალისწინება. ზოგიერთი სტატისტიკა. ცოტა ვიზუალიზაცია. რასაც ყველა აკეთებს ამა თუ იმ ხარისხით. არ ვიცოდი, რომ ამას სახელი ერქვა
• "განმეორებადობა" - ყველა გარემოსდაცვითი პარამეტრის, შეყვანისა და გამოსავლის მაქსიმალური დაცვა ისე, რომ ექსპერიმენტი განმეორდეს განხორციელების შემდეგ. ყველაზე მნიშვნელოვანი ტერმინი ექსპერიმენტული ტესტის გარემოსთვის!

ასე რომ:

ალტერიქსი

მაგარი ინტერფეისი, ისევე როგორც სათამაშო. მასშტაბურობა, რა თქმა უნდა, ცოტა რთულია. შესაბამისად, ინჟინრების მოქალაქეთა თანამეგობრობა ირგვლივ იგივე ჩოჩკებით უნდა ითამაშოს. ანალიტიკა ყველაფერი თქვენია ერთ ბოთლში. გამახსენდა სპექტრულ-კორელაციური მონაცემთა ანალიზის კომპლექსი კოსკადი, რომელიც დაპროგრამებული იყო 90-იან წლებში.

anaconda

საზოგადოება Python და R ექსპერტების გარშემო. შესაბამისად ღია წყარო დიდია. აღმოჩნდა, რომ ჩემი კოლეგები მას მუდმივად იყენებენ. მაგრამ არ ვიცოდი.

DataBricks

შედგება სამი ღია წყაროს პროექტისგან - Spark-ის დეველოპერებმა 2013 წლიდან მოყოლებული ჯოჯოხეთური ფული შეაგროვეს. მე ნამდვილად მომიწევს ვიკის ციტირება:

„2013 წლის სექტემბერში Databricks-მა გამოაცხადა, რომ მან 13.9 მილიონი დოლარი შეაგროვა ანდრესენ ჰოროვიცისგან. კომპანიამ დამატებით მოიზიდა $33 მილიონი 2014 წელს, $60 მილიონი 2016 წელს, $140 მილიონი 2017 წელს, $250 მილიონი 2019 წელს (თებერვალში) და $400 მილიონი 2019 წელს (ოქტომბერი)”!!!

ზოგიერთმა დიდმა ადამიანმა მოჭრა Spark. არ ვიცი, ბოდიში!

და პროექტებია:

• დელტას ტბა - ცოტა ხნის წინ გამოვიდა ACID on Spark (რაზეც ვოცნებობდით Elasticsearch-თან ერთად) - აქცევს მას მონაცემთა ბაზად: ხისტი სქემა, ACID, აუდიტი, ვერსიები...
• ML ნაკადი - მოდელების თვალყურის დევნება, შეფუთვა, მართვა და შენახვა.
• კოალასი - Pandas DataFrame API Spark-ზე - Pandas - Python API ცხრილებთან და ზოგადად მონაცემებთან მუშაობისთვის.

თქვენ შეგიძლიათ ნახოთ Spark მათთვის, ვინც არ იცის ან დაავიწყდა: ლინკები. მე ვუყურე ვიდეოებს ოდნავ მოსაწყენი, მაგრამ დეტალური საკონსულტაციო კოდალას მაგალითებით: DataBricks for Data Science (ლინკები) და მონაცემთა ინჟინერიისთვის (ლინკები).

მოკლედ, Databricks ამოიღებს Spark-ს. ყველას, ვისაც სურს გამოიყენოს Spark ჩვეულებრივ ღრუბელში, უყოყმანოდ იღებს DataBricks-ს, როგორც ეს იყო დაგეგმილი 🙂 Spark აქ მთავარი დიფერენციატორია.
გავიგე, რომ Spark Streaming არ არის ნამდვილი ყალბი რეალურ დროში ან მიკრობაჩინგი. და თუ რეალურ რეალურ დროში გჭირდებათ, ეს არის Apache STORM-ში. ყველა იმასაც ამბობს და წერს, რომ Spark ჯობია MapReduce-ს. ეს არის სლოგანი.

DATAIKU

მაგარი რამეა ბოლომდე. ბევრი რეკლამაა. ვერ გავიგე რითი განსხვავდება ალტერიქსისგან?

DataRobot

მონაცემთა მომზადებისთვის Paxata არის ცალკე კომპანია, რომელიც შეიძინა Data Robots-მა 2019 წლის დეკემბერში. ჩვენ შევძელით 20 MUSD და გავყიდეთ. ყველაფერი 7 წელიწადში.

მონაცემთა მომზადება Paxata-ში და არა Excel-ში - იხილეთ აქ: ლინკები.
არსებობს ავტომატური ძიება და წინადადებები შეერთებისთვის ორ მონაცემთა ნაკრებს შორის. მშვენიერია - მონაცემების გასაგებად, კიდევ უფრო მეტი აქცენტი გაკეთდება ტექსტურ ინფორმაციაზე (ლინკები).
მონაცემთა კატალოგი არის უსარგებლო "ცოცხალი" მონაცემთა ნაკრების შესანიშნავი კატალოგი.
ასევე საინტერესოა, როგორ იქმნება დირექტორიები Paxata-ში (ლინკები).

„ანალიტიკოსი ფირმის მიხედვით Ovum, პროგრამული უზრუნველყოფა შესაძლებელი ხდება მიღწევებით პროგნოზირებადი ანალიტიკა, მანქანა სწავლის და NoSQL მონაცემთა ქეშირების მეთოდოლოგია.[15] პროგრამული უზრუნველყოფა იყენებს სემანტიკური ალგორითმები მონაცემთა ცხრილის სვეტების მნიშვნელობის გასაგებად და ნიმუშის ამოცნობის ალგორითმები მონაცემთა ნაკრების პოტენციური დუბლიკატების მოსაძებნად.[15][7] ის ასევე იყენებს ინდექსირებას, ტექსტის ნიმუშის ამოცნობას და სხვა ტექნოლოგიებს, რომლებიც ტრადიციულად გვხვდება სოციალურ მედიასა და საძიებო პროგრამულ უზრუნველყოფაში.

Data Robot-ის მთავარი პროდუქტია აქ. მათი სლოგანია მოდელიდან საწარმოს აპლიკაციამდე! კრიზისთან დაკავშირებით ნავთობის ინდუსტრიისთვის კონსულტაცია აღმოვაჩინე, მაგრამ ძალიან ბანალური და უინტერესო იყო: ლინკები. მე ვუყურე მათ ვიდეოებს Mops ან Mlops-ზე (ლინკები). ეს არის ასეთი ფრანკენშტეინი, რომელიც აწყობილია სხვადასხვა პროდუქტის 6-7 შენაძენიდან.

რა თქმა უნდა, ცხადი ხდება, რომ მონაცემთა მეცნიერთა დიდ გუნდს სწორედ ასეთი გარემო უნდა ჰქონდეს მოდელებთან მუშაობისთვის, წინააღმდეგ შემთხვევაში ისინი ბევრ მათგანს გამოიმუშავებენ და არასდროს არაფერს განათავსებენ. და ჩვენს ნავთობისა და გაზის ზემოთ რეალობაში, მხოლოდ ერთი წარმატებული მოდელის შექმნა რომ შეგვეძლოს, ეს დიდი პროგრესი იქნებოდა!

თავად პროცესი ძალიან მოგაგონებდათ სამუშაოს საპროექტო სისტემებთან, მაგალითად, გეოლოგია-გეოფიზიკაში Petrel. ყველა, ვინც არ არის ძალიან ზარმაცი, აკეთებს და ცვლის მოდელებს. შეაგროვეთ მონაცემები მოდელში. შემდეგ გააკეთეს საცნობარო მოდელი და გაგზავნეს წარმოებაში! მაგალითად, გეოლოგიურ მოდელსა და ML მოდელს შორის, თქვენ შეგიძლიათ იპოვოთ ბევრი საერთო.

Domino

აქცენტი ღია პლატფორმაზე და თანამშრომლობაზე. ბიზნეს მომხმარებლების დაშვება უფასოა. მათი მონაცემთა ლაბორატორია ძალიან ჰგავს sharepoint-ს. (და სახელი ძლიერად ასდის IBM-ს). ყველა ექსპერიმენტი უკავშირდება თავდაპირველ მონაცემთა ბაზას. რამდენად ნაცნობია ეს :) როგორც ჩვენს პრაქტიკაში - მოდელში გადაიტანეს გარკვეული მონაცემები, შემდეგ გაიწმინდა და მოწესრიგდა მოდელში და ეს ყველაფერი უკვე იქ ცხოვრობს მოდელში და ბოლოები ვერ მოიძებნება წყაროს მონაცემებში. .

Domino-ს აქვს მაგარი ინფრასტრუქტურის ვირტუალიზაცია. წამში იმდენი ბირთვი ავაწყე, რამდენიც საჭირო იყო და დასათვლელად წავედი. როგორ გაკეთდა ეს დაუყოვნებლივ არ არის ნათელი. დოკერი ყველგანაა. ბევრი თავისუფლება! უახლესი ვერსიების ნებისმიერი სამუშაო ადგილის დაკავშირება შესაძლებელია. ექსპერიმენტების პარალელურად დაწყება. წარმატებულთა თვალყურის დევნება და შერჩევა.

იგივეა რაც DataRobot - შედეგები ქვეყნდება ბიზნეს მომხმარებლებისთვის აპლიკაციების სახით. განსაკუთრებით ნიჭიერი „დაინტერესებულებისთვის“. ასევე კონტროლდება მოდელების რეალური გამოყენება. ყველაფერი Pugs-ისთვის!

მე ბოლომდე არ მესმის, რამდენად რთული მოდელები მთავრდება წარმოებაში. გარკვეული სახის API არის მოწოდებული მათი მონაცემების შესანახად და შედეგების მისაღებად.

H2O

Driveless AI არის ძალიან კომპაქტური და ინტუიციური სისტემა ზედამხედველობითი ML-ისთვის. ყველაფერი ერთ ყუთში. ეს არ არის სრულიად ნათელი დაუყოვნებლივ შესახებ backend.

მოდელი ავტომატურად შეფუთულია REST სერვერზე ან Java აპლიკაციაში. ეს დიდი იდეაა. ბევრი რამ გაკეთდა ინტერპრეტაციისა და ახსნისთვის. მოდელის შედეგების ინტერპრეტაცია და ახსნა (რა არსებითად არ უნდა იყოს ახსნილი, წინააღმდეგ შემთხვევაში ადამიანს შეუძლია იგივე გამოთვალოს?).
პირველად, საქმის შესწავლა არასტრუქტურირებული მონაცემების შესახებ და NLP. მაღალი ხარისხის არქიტექტურული სურათი. და ზოგადად სურათები მომეწონა.

არსებობს დიდი ღია წყარო H2O ჩარჩო, რომელიც ბოლომდე არ არის ნათელი (ალგორითმების/ბიბლიოთეკების ნაკრები?). საკუთარი ვიზუალური ლეპტოპი იუპიტერის მსგავსი პროგრამირების გარეშე (ლინკები). ასევე წავიკითხე Pojo და Mojo - ჯავაში გახვეული H2O მოდელები. პირველი არის პირდაპირი, მეორე ოპტიმიზაცია. H20 ერთადერთია(!), ვისაც გარტნერმა ჩამოთვალა ტექსტის ანალიტიკა და NLP, როგორც მათი ძლიერი მხარე, ისევე როგორც მათი ძალისხმევა განმარტებადობასთან დაკავშირებით. ეს ძალიან მნიშვნელოვანია!

იმავე ადგილას: მაღალი წარმადობა, ოპტიმიზაცია და ინდუსტრიის სტანდარტი აპარატურასთან და ღრუბლებთან ინტეგრაციის სფეროში.

და სისუსტე ლოგიკურია - Driverles AI სუსტი და ვიწროა მათ ღია წყაროსთან შედარებით. მონაცემთა მომზადება პაქსატასთან შედარებით კოჭლია! და ისინი უგულებელყოფენ ინდუსტრიულ მონაცემებს - ნაკადი, გრაფიკი, გეო. ისე, ყველაფერი უბრალოდ არ შეიძლება იყოს კარგი.

დრო

მომეწონა 6 ძალიან კონკრეტული, ძალიან საინტერესო ბიზნეს საქმე მთავარ გვერდზე. ძლიერი OpenSource.

გარტნერმა ისინი ლიდერებიდან ვიზიონერებად დაამცირა. ფულის ცუდად შოვნა მომხმარებლისთვის კარგი ნიშანია, იმის გათვალისწინებით, რომ ლიდერი ყოველთვის არ არის საუკეთესო არჩევანი.

საკვანძო სიტყვა, როგორც H2O-ში, არის გაზრდილი, რაც ნიშნავს ღარიბი მოქალაქეების მონაცემთა მეცნიერების დახმარებას. ეს არის პირველი შემთხვევა, როდესაც ვინმე გააკრიტიკეს მიმოხილვაში შესრულების გამო! საინტერესოა? ანუ იმდენი გამოთვლითი ძალაა, რომ შესრულება საერთოდ არ შეიძლება იყოს სისტემური პრობლემა? Gartner აქვს ამ სიტყვას "Augmented" ცალკე სტატია, რომლის მიღწევაც ვერ მოხერხდა.
და KNIME, როგორც ჩანს, პირველი არაამერიკელია მიმოხილვაში! (და ჩვენს დიზაინერებს ძალიან მოეწონათ მათი სადესანტო გვერდი. უცნაური ხალხი.

მათემატიკური სამუშაოები

MatLab არის ყველასთვის ცნობილი ძველი საპატიო თანამებრძოლი! ხელსაწყოების ყუთები ცხოვრების ყველა სფეროსა და სიტუაციისთვის. რაღაც ძალიან განსხვავებული. სინამდვილეში, ბევრი, ბევრი და ბევრი მათემატიკა ყველა შემთხვევისთვის ცხოვრებაში!

Simulink-ის დამატებითი პროდუქტი სისტემის დიზაინისთვის. ციფრული ტყუპების ხელსაწყოთა ყუთებში ჩავძირე - ამის შესახებ არაფერი მესმის, მაგრამ აქ ბევრი დაიწერა. ამისთვის ნავთობის მრეწველობა. ზოგადად, ეს არის ფუნდამენტურად განსხვავებული პროდუქტი მათემატიკისა და ინჟინერიის სიღრმისგან. კონკრეტული მათემატიკის ხელსაწყოების შერჩევა. Gartner-ის აზრით, მათი პრობლემები იგივეა, რაც ჭკვიანი ინჟინრების პრობლემები - არავითარი თანამშრომლობა - ყველა ირგვლივ იკვლევს საკუთარ მოდელს, არა დემოკრატია, არა ახსნა.

RapidMiner

ადრე (Matlab-თან ერთად) ბევრი შემხვედრი და მოვისმინე კარგი ღია წყაროს კონტექსტში. ჩვეულებისამებრ, ტურბოპრეპში ცოტა ჩავძირე. მე მაინტერესებს როგორ მივიღო სუფთა მონაცემები ბინძური მონაცემებისგან.

ისევ ხედავთ, რომ ხალხი კარგია 2018 წლის მარკეტინგული მასალებისა და საშინელი ინგლისურენოვანი ხალხის საფუძველზე მხატვრული დემოში.

და ხალხი დორტმუნდიდან 2001 წლიდან ძლიერი გერმანული წარმომავლობით)

მე ჯერ კიდევ არ მესმის საიტიდან, რა არის ხელმისაწვდომი ღია წყაროში - საჭიროა უფრო ღრმად გათხრა. კარგი ვიდეოები განლაგების და AutoML კონცეფციების შესახებ.

არაფერია განსაკუთრებული RapidMiner სერვერის ბექენდთან დაკავშირებით. ის ალბათ კომპაქტური იქნება და კარგად იმუშავებს პრემიუმზე ყუთიდან. ის შეფუთულია დოკერში. გაზიარებული გარემო მხოლოდ RapidMiner სერვერზე. და შემდეგ არის Radoop, მონაცემები Hadup-დან, რითმების დათვლა Spark-დან Studio Workflow-ში.

როგორც მოსალოდნელი იყო, ახალგაზრდა გამყიდველებმა „ზოლიანი ჯოხების გამყიდველებმა“ ისინი გადმოიტანეს. თუმცა, Gartner პროგნოზირებს მათ მომავალ წარმატებას Enterprise-ის სივრცეში. იქ შეგიძლიათ ფულის შეგროვება. გერმანელებმა იციან ეს წმიდა-წმიდაო :) არ ახსენოთ SAP!!!

ისინი ბევრს აკეთებენ მოქალაქეებისთვის! მაგრამ გვერდიდან ხედავთ, რომ Gartner ამბობს, რომ ისინი იბრძვიან გაყიდვების ინოვაციასთან და იბრძვიან არა დაფარვის სიგანისთვის, არამედ მომგებიანობისთვის.

დარჩა SAS и ტიბკო ტიპიური BI გამყიდველები ჩემთვის... და ორივე მაღლა დგას, რაც ადასტურებს ჩემს რწმენას, რომ ნორმალური DataScience ლოგიკურად იზრდება
BI-დან და არა ღრუბლებიდან და Hadoop ინფრასტრუქტურებიდან. ბიზნესიდან, ანუ და არა IT-დან. მაგალითად, გაზპრომნეფტის მსგავსად: ლინკები,მომწიფებული DSML გარემო იზრდება ძლიერი BI პრაქტიკიდან. მაგრამ, შესაძლოა, ეს არის მზაკვრული და მიკერძოებული MDM-ის და სხვა საგნების მიმართ, ვინ იცის.

SAS

ბევრი არაფერია სათქმელი. მხოლოდ აშკარა რამ.

TIBCO

სტრატეგია იკითხება საყიდლების სიაში, რომელიც განთავსებულია გვერდიანი ვიკის გვერდზე. კი, გრძელი ამბავი, მაგრამ 28!!! ჩარლზ. ვიყიდე BI Spotfire (2007) ჩემს ტექნო-ახალგაზრდობაში. და ასევე მოხსენება Jaspersoft-ისგან (2014), შემდეგ სამი პროგნოზირებადი ანალიტიკის მომწოდებლისგან: Insightful (S-plus) (2008), Statistica (2017) და Alpine Data (2017), ღონისძიებების დამუშავება და სტრიმინგი Streambase System (2013), MDM Orchestra Networks (2018) და Snappy Data (2019) მეხსიერების პლატფორმა.

გამარჯობა ფრენკი!

წყარო: www.habr.com