Suurtagal maaha in la sharaxo sababta aan tan u akhriyay. Hadda waxaan helay waqti waxaana xiiseynayay sida suuqu u shaqeeyo. Tanina waaba suuq buuxa sida uu qabo Gartner ilaa 2018. Laga soo bilaabo 2014-2016 waxaa loo yaqaan falanqaynta horumarsan (xididdada BI), 2017 - Sayniska Xogta (Ma aqaano sida tan loogu turjumo Ruushka). Kuwa xiisaynaya dhaqdhaqaaqyada iibiyaasha agagaarka fagaaraha, waad awoodaa fiiri. Oo waxaan ka hadli doonaa laba jibaaran 2020, gaar ahaan maadaama isbeddelada halkaas ka jira tan iyo 2019 ay yar yihiin: SAP way guurtay Altairna waxay iibsatay Datawatch.
Tani maaha falanqayn nidaamsan ama miis. Aragti shakhsi ah, sidoo kale laga soo bilaabo aragtida geophysicist. Laakiin had iyo jeer waxaan xiiseeyaa inaan akhriyo Gartner MQ, waxay u dejiyaan qodobbada qaarkood. Haddaba waa kuwan waxyaabihii aan u fiirsaday labadaba farsamo ahaan, suuq ahaanba, iyo falsafad ahaanba.
Tani maahan dadka si qoto dheer u galay mawduuca ML, laakiin loogu talagalay dadka xiiseynaya waxa guud ahaan ka dhacaya suuqa.
Suuqa DSML laftiisa si macquul ah buul buu u dhexeeyaa adeegyada horumarinta BI iyo Cloud AI.
Xigashooyinka iyo shuruudaha ugu horreeya:
- "Hogaamiyuhu ma noqon karo doorashada ugu fiican" - Hogaamiye suuqeed maahan waxa aad u baahan tahay. Aad degdeg ah! Natiijo ahaan la'aanta macaamiil shaqeynaya, waxay had iyo jeer raadinayaan "xalka ugu fiican", halkii ay ka heli lahaayeen "ku habboon".
- "Modelka hawlgelinta" - oo loo soo gaabiyo MOOPs. Qof walbana waqti adag ayuu ku leeyahay pugs! - (mawduuca qabow wuxuu ka dhigayaa moodalku inuu shaqeeyo).
- "Bay'adda Xusuus-qorka" waa fikrad muhiim ah halkaas oo koodka, faallooyinka, xogta iyo natiijooyinka la isugu keeno. Tani waa mid aad u cad, rajo leh oo si weyn u dhimi karta qadarka koodhka UI.
- "Rooted in OpenSource" - si fiican loo yidhi - waxay xidid ku noqotaa il furan.
- "Saynisyahanada Xogta Muwaadiniinta" - Dudes fudud sida, lamers sida, ma khubaro, kuwaas oo u baahan jawi muuqaal ah iyo dhammaan noocyada kala duwan ee wax caawiye ah. Ma codayn doonaan.
- "Dimuqraadiyad" - badiyaa loo isticmaalo in loola jeedo "ka dhig mid la heli karo dad kala duwan." Waxaan dhihi karnaa "dimuqraadiyeynta xogta" halkii ay ka ahaan lahayd khatarta ah "xogta xorta ah" ee aan isticmaalnay. "Dimuqraadiyeynta" had iyo jeer waa dabo dheer oo dhammaan waratada ayaa daba socda. Lumi xoojinta aqoonta - kasbashada helitaanka!
- "Falanqaynta Xogta Sahanka - EDA" - tixgelinta hababkan la heli karo. Tirakoobyada qaar Muuqaal yar. Wax qof kastaa sameeyo hal darajo ama mid kale. Maan ogayn inuu magac u jiro kan
- "Dib u soo saarid" - ilaalinta ugu badan ee dhammaan xuduudaha deegaanka, wax-soo-saarka iyo wax-soo-saarka si tijaabada lagu celiyo mar la sameeyo. Erayga ugu muhiimsan ee deegaanka tijaabada tijaabada ah!
Sidaas awgeed:
Alteryx
Interface qabow, sida toy oo kale. Miisaanka, dabcan, waa xoogaa adag. Sidaas awgeed, bulshada muwaadinka ah ee injineerada ku xeeran oo leh tchochkes si ay u ciyaaraan. Falanqaynta dhammaan adigaa leh hal dhalo. Waxay i xasuusisay kakan oo ah falanqaynta xogta xidhiidhka-spectral-ka , kaas oo la qorsheeyay sagaashamaadkii.
anaconda
Bulshada ku xeeran Python iyo khubarada R. Isha furan ayaa sidaas u weyn. Waxaa soo baxday in asxaabteyda ay isticmaalaan mar walba. Laakiin maan garanayn.
XogtaBricks
Waxay ka kooban tahay saddex mashruuc oo il furan - horumarinta Spark waxay soo ururiyeen jahannamo lacag badan tan iyo 2013. Runtii waa inaan soo xigtay wiki:
Bishii Sebtembar 2013, Databricks waxay ku dhawaaqday inay $13.9 milyan ka ururisay Andreessen Horowitz. Shirkaddu waxay ururisay $33 milyan oo dheeri ah 2014, $60 milyan 2016, $140 milyan 2017, $250 milyan 2019 (Feb) iyo $400 milyan 2019 (Oct)β!!!
Qaar ka mid ah dadka waaweyn ayaa gooyay Spark. Ma garanayo, ka xumahay!
Mashaariicdana waa:
- Harada Delta - ACID ee Spark dhawaan ayaa la sii daayay (waxa aan ku riyoonay Elasticsearch) - waxay u beddeshaa xog-ururin: schema adag, ACID, xisaabin, noocyo...
- Socodka ML - raadraaca, baakaynta, maaraynta iyo kaydinta moodooyinka.
- koalas Pandas DataFrame API ee Spark - Pandas - Python API ee la shaqaynta miisaska iyo xogta guud ahaan.
Waxaad u eegi kartaa Spark kuwa aan garanayn ama illoobay: . Waxaan daawaday fiidiyowyo wata tusaalayaal laga soo qaatay xaabada la talinta oo faahfaahsan:Bricks for Science Data (iyo injineernimada xogta ().
Marka la soo koobo, Databricks waxay soo saartaa Spark. Qof kasta oo raba inuu si caadi ah u isticmaalo Spark ee daruuraha wuxuu qaataa DataBricks isagoon ka labalabayn, sida loogu talagalay π Spark waa kala duwanaanshaha ugu weyn halkan.
Waxaan bartay in Spark Streaming aysan ahayn been-abuurka dhabta ah ee dhabta ah ama microbatching. Oo haddii aad u baahan tahay waqtiga dhabta ah ee dhabta ah, waxay ku jirtaa Apache STORM. Qof kastaa wuxuu kaloo dhahaa oo qoraa in Spark uu ka fiican yahay MapReduce. Waa kan halhaysku.
DATAIKU
Wax qabow-dhammaad-ilaa-dhammaad. Waxaa jira xayaysiisyo badan. Ma fahmin sida ay uga duwan tahay Alteryx?
XogtaRobot
Paxata ee diyaarinta xogta waa shirkad gaar ah oo ay iibsadeen Data Robots Diseembar 2019. Waxaan soo aruurinay 20 MUSD oo aan iibinay. Dhammaan 7 sano gudahood.
Diyaarinta xogta ee Paxata, ma aha Excel - halkan ka eeg: .
Waxaa jira baaritaanno toos ah iyo soo jeedinno ku saabsan ku biirista labada xog-ururin. Wax aad u fiican - si loo fahmo xogta, waxaa jiri doona in xooga la saaro macluumaadka qoraalka ah ().
Xogta Xogta waa buug aad u wanaagsan oo ah kaydka xogta "nool" ee aan faa'iido lahayn.
Waxa kale oo xiiso leh sida hagayaasha looga sameeyay Paxata ().
"Sida laga soo xigtay shirkadda falanqeeya , software-ka waxaa lagu suurtageliyay horumarinta gudaha , iyo habka kaydinta xogta. Software-ka ayaa isticmaala algorithms si loo fahmo macnaha tiirarka shaxda xogta iyo algorithms aqoonsiga hannaanka si aad u hesho nuqul ka mid ah xogta- set. Waxa kale oo ay adeegsataa tusmaynta, aqoonsiga qaabka qoraalka iyo teknoolojiyadda kale ee dhaqan ahaan laga helo warbaahinta bulshada iyo software-ka raadinta.
Alaabada ugu weyn ee Robot Data waa . Halkudhiggoodu waa Model ilaa Codsiga Ganacsiga! Waxaan ka helay la-talinta warshadaha saliidda ee la xidhiidha dhibaatada, laakiin waxay ahayd mid aad u xun oo aan xiiso lahayn: . Waxaan fiidiyowyadooda ku daawaday Mops ama MLops (). Tani waa Frankenstein sida laga soo ururiyay 6-7 iibsashada alaabooyin kala duwan.
Dabcan, way caddaatay in koox weyn oo Saynisyahano Xogta ah ay tahay inay lahaadaan jawi noocaas oo kale ah oo ay ku shaqeeyaan moodooyinka, haddii kale waxay soo saari doonaan wax badan oo iyaga ka mid ah oo aan waligood geynin wax. Iyo xaqiiqda dhabta ah ee saliida iyo gaaska, haddii kaliya aan abuuri karno hal nooc oo guuleysta, taasi waxay noqon lahayd horumar weyn!
Habka laftiisa ayaa ahaa mid aad u xasuusan shaqada nidaamyada naqshadeynta ee juqraafi-geophysics, tusaale ahaan . Qof kasta oo aan caajis ahayn wuxuu sameeyaa oo beddelaa moodallo. Uruur xogta qaabka. Kadibna waxay sameeyeen tusaale tixraac ah waxayna u direen wax soo saarka! Inta u dhaxaysa, dheh, qaabka juqraafiyeed iyo nooca ML, waxaad ka heli kartaa wax badan oo ay wadaagaan.
domino
In xooga la saaro madal furan iyo wada shaqayn. Isticmaalayaasha ganacsiga waxaa lagu seexiyaa lacag la'aan. Shaybaarkooda Xogta ayaa aad ugu eg sharepoint. (Magacana si xoog leh ayuu u garaacay IBM). Dhammaan tijaabooyinku waxay ku xidhaan xogta asalka ah. Sidee loo yaqaanaa tan:) Sida dhaqankeena - xogta qaar ayaa lagu soo jiiday qaabka, ka dibna waa la nadiifiyay oo la hagaajiyay qaabka, iyo dhammaan waxaas oo dhan waxay horeyba ugu nool yihiin qaabka iyo dhamaadka lagama heli karo xogta isha. .
Domino waxa uu leeyahay qaab-dhismeedka kaabayaasha wanaagsan. Mashiinkii ayaan soo ururiyay intii loo baahnaa ilbidhiqsi gudahood, waxaanan aaday inaan tiriyo. Sida loo sameeyay ilaa hadda ma cadda. Docker waa meel walba. Xoriyad badan! Goob kasta oo shaqo oo noocyadii ugu dambeeyay ah ayaa lagu xidhi karaa. Bilawga isbarbar-dhigga ee tijaabooyinka. Dabagalka iyo xulashada kuwa guulaystay.
Isla sida DataRobot - natiijooyinka waxaa loo daabacay isticmaalayaasha ganacsiga qaab codsiyo ah. Gaar ahaan kuwa hibada leh " daneeyayaasha " Iyo isticmaalka dhabta ah ee moodooyinka sidoo kale waa la kormeeraa. Wax walba oo loogu talagalay Pugs!
Si buuxda uma fahmin sida moodooyinka kakan ay ugu dambeeyaan wax soo saarka. Nooc API ah ayaa la bixiyaa si ay u quudiyaan iyaga xogta oo ay u helaan natiijooyin.
H2O
Driveless AI waa nidaam dareen leh oo ML ah oo la kormeero. Wax kasta oo ku jira hal sanduuq. Si buuxda uma cadda isla markaaba ku saabsan dhabarka dambe.
Qaabka ayaa si toos ah loogu baakadeeyay server-ka REST ama Java App. Tani waa fikrad fiican. Wax badan ayaa loo qabtay Fasiraadda iyo Sharaxaada. Fasiraadda iyo sharraxaadda natiijooyinka tusaalaha (Maxay tahay in aan la macnayn karin, haddii kale qofku wuxuu xisaabin karaa isla?).
Markii ugu horeysay, daraasad xaaladeed oo ku saabsan xogta aan qaabaysan iyo . Sawir dhisme oo tayo sare leh. Guud ahaanna waxaan ka helay sawirada.
Waxa jira qaab-dhismeedka H2O oo furan oo aan si buuxda u caddayn (waxyaalo algorithms/maktabado ah?). Laptop adiga kuu gaar ah oo muuqaal ah oo aan lahayn barnaamij sida Jupiter (). Waxaan sidoo kale wax ka akhriyay moodooyinka Pojo iyo Mojo - H2O oo ku duudduubay Java. Midka hore waa mid toos ah, kan labaadna wuxuu leeyahay hagaajin. H20 waa kuwa keliya (!) kuwaas oo Gartner ku taxaabay falanqaynta qoraalka iyo NLP inay yihiin awoodooda, iyo sidoo kale dadaalkooda ku saabsan Sharaxaada. Aad bay muhiim u tahay!
Isla meel: waxqabadka sare, hagaajinta iyo heerka warshadaha ee goobta isdhexgalka ee qalabka iyo daruuraha.
Iyo daciifnimada waa macquul - Driverles AI waa daciif oo cidhiidhi ah marka loo eego il furan. Diyaarinta xogta waa curyaan marka loo eego Paxata! Oo waxay iska indhatiraan xogta warshadaha - stream, graph, geo. Hagaag, wax walba ma noqon karaan kuwo wanaagsan.
Waqti
Waxaan ka helay 6-da kiisas ganacsi oo aad u gaar ah, oo aad u xiiso badan oo ku yaal bogga ugu weyn. Source OpenSource.
Gartner waxa uu ka soo dejiyey hogaamiyayaal ilaa aragtiyo. Ku kasbashada lacag liidata waxay calaamad wanaagsan u tahay isticmaalayaasha, marka loo eego in Hogaamiyuhu aanu had iyo jeer ahayn doorashada ugu fiican.
Ereyga muhiimka ah, sida H2O, waa la kordhiyey, taas oo macnaheedu yahay caawinta saynisyahannada xogta muwaadiniinta saboolka ah. Tani waa markii ugu horeysay ee qof lagu dhaleeceeyo waxqabadka dib u eegista! Xiiso leh? Taasi waa, waxaa jira awood xisaabeed aad u badan oo wax qabadku aanu noqon karin dhibaato habaysan gabi ahaanba? Gartner waxa uu ka haystaa ereygan "La Kordhiyey" , kaas oo la gaari waayey.
Iyo KNIME waxay u muuqataa inay tahay qofka ugu horreeya ee aan Maraykan ahayn ee dib u eegista! (Iyo nashqadeenayaasheena ayaa runtii jeclaaday boggooda degitaanka. Dad qalaad.
MathWorks
MatLab waa saaxiib sharafeed hore oo qof walba loo yaqaan! Sanduuqyada qalabka ee dhammaan qaybaha nolosha iyo xaaladaha. Wax aad uga duwan. Dhab ahaantii, tiro badan iyo tiro badan iyo xisaab badan oo wax kasta oo nolosha ah!
Alaabada lagu daro Simulink ee naqshadaynta nidaamka. Waxaan dhex qoday sanduuqyada qalabka loogu talagalay mataanaha dhijitaalka ah - waxba kama fahmin, laakiin wax badan ayaa la qoray. Waayo . Guud ahaan, kani waa badeecad asal ahaan ka duwan qoto dheer ee xisaabta iyo injineernimada. Si aad u doorato xirmooyin xisaabeed gaar ah. Sida laga soo xigtay Gartner, dhibaatooyinkoodu waxay la mid yihiin kuwa injineerada caqliga leh - ma jiraan wax wada shaqayn ah - qof kastaa wuxuu ku meermeerayaa qaabkiisa, ma jiro dimoqraadiyad, ma jirto wax caddayn ah.
RapidMiner
Waxaan la kulmay oo maqlay wax badan ka hor (oo ay la socdaan Matlab) ee macnaha guud ee il furan oo wanaagsan. Waxaan wax yar ka qoday TurboPrep sidii caadiga ahayd. Waxaan xiiseeyaa sida aan xogta nadiifka ah uga helo xogta wasakhaysan.
Mar labaad waxaad arki kartaa in dadku ay ku fiican yihiin iyada oo ku saleysan qalabka suuq-geynta 2018 iyo dadka Ingiriisiga ku hadla ee laga cabsado ee muuqaalka muuqaalka.
Iyo dad ka yimid Dortmund ilaa 2001 oo asal Jarmal xoog leh)
Wali ma fahmin goobta waxa saxda ah ee laga heli karo ilo furan - waxaad u baahan tahay inaad si qoto dheer u qoddo. Fiidiyowyo wanaagsan oo ku saabsan geynta iyo fikradaha AutoML.
Ma jiraan wax gaar ah oo ku saabsan dhabarka dambe ee Server-ka RapidMiner midkoodna. Waxay u badan tahay inay noqon doonto mid is haysta oo si fiican ugu shaqayn doonta premium ka baxsan sanduuqa. Waxa lagu baakadeeyay Docker. Deegaanka la wadaago kaliya server-ka RapidMiner. Ka dibna waxaa jira Radoop, xogta Hadoop, tirinta heesaha Spark ee socodka shaqada Studio.
Sida la filayo, iibiyaasha yaryar ee kulul "iibiyeyaasha ulaha xariijimaha ah" ayaa hoos u dhaadhiciyay. Gartner, si kastaba ha ahaatee, wuxuu saadaaliyay guushooda mustaqbalka ee goobta ganacsiga. Waxaad halkaas lacag ka ururin kartaa. Jarmalku way yaqaaniin sida tan loo sameeyo, quduus-quduus :) Ha sheegin SAP !!!
Wax badan ayey u qabtaan muwaadiniinta! Laakiin bogga waxaad arki kartaa in Gartner uu sheegay in ay la halgamayaan hal-abuurka iibka oo aysan u dagaallamin baaxadda caymiska, laakiin faa'iidada.
Joogtay SAS ΠΈ Tibco Iibiyeyaasha caadiga ah ee BI aniga... Labaduba waa kuwa ugu sarreeya, taas oo xaqiijinaysa kalsoonida aan ku qabo in DataScience caadiga ah ay si macquul ah u korayso
ka BI, oo aan ka iman daruuraha iyo kaabayaasha Hadoop. Laga soo bilaabo ganacsiga, taas oo ah, oo aan ka iman IT. Sida Gazpromneft tusaale ahaan: , Deegaanka DSML ee qaan-gaadhka ahi waxa uu ka soo baxaa dhaqamada BI ee xooggan. Laakiin waxaa laga yaabaa in ay tahay mid jilicsan oo u janjeera dhanka MDM iyo waxyaabo kale, yaa yaqaan.
SAS
Wax badan oo la yiraahdo ma jiraan. Kaliya waxyaabaha muuqda.
TIBCO
Istaraatiijiyada waxaa lagu akhriyaa liiska wax iibsiga ee bogga Wiki ee bogga-dheer. Haa, sheeko dheer, laakiin 28 !!! Charles. Waxaan iibsaday BI Spotfire (2007) dib ugu noqoshada dhallinyaranimadaydii. Iyo sidoo kale ka warbixinta Jaspersoft (2014) , ka dibna ilaa saddex iibiyeyaasha falanqaynta saadaalinta ee Insightful (S-plus) (2008), Statistica (2017) iyo Alpine Data (2017), habaynta dhacdooyinka iyo qulqulka nidaamka Streambase (2013), MDM Orchestra Shabakadaha (2018) iyo Xogta Snappy (2019) ee goobta xusuusta.
Hello Frankie!
Source: www.habr.com