Tha e do-dhèanta an adhbhar a leugh mi seo a mhìneachadh. Cha robh agam ach ùine agus bha ùidh agam ann an mar a tha a’ mhargaidh ag obair. Agus tha seo mar-thà na mhargaid làn-chuimseach a rèir Gartner bho 2018. Bho 2014-2016 chaidh ainmeachadh mar anailisean adhartach (freumhan ann am BI), ann an 2017 - Saidheans Dàta (chan eil fhios agam ciamar a dh’ eadar-theangaichear seo gu Ruiseanach). Dhaibhsan aig a bheil ùidh ann an gluasadan luchd-reic timcheall a’ cheàrnaig, faodaidh tu seall. Agus bruidhnidh mi mu cheàrnag 2020, gu sònraichte leis gu bheil na h-atharrachaidhean an sin bho 2019 glè bheag: ghluais SAP a-mach agus cheannaich Altair Datawatch.
Chan e mion-sgrùdadh eagarach no clàr a tha seo. Sealladh fa leth, cuideachd bho shealladh geo-fhiosaig. Ach tha mi an-còmhnaidh neònach Gartner MQ a leughadh, bidh iad a’ cur ri chèile cuid de phuingean gu foirfe. Mar sin seo na rudan air an tug mi aire an dà chuid gu teicneòlach, sa mhargaidh, agus gu feallsanachail.
Chan eil seo airson daoine a tha domhainn a-steach don chuspair ML, ach dhaibhsan aig a bheil ùidh anns na tha a’ tachairt sa mhargaidh san fharsaingeachd.
Tha margaidh DSML fhèin gu loidsigeach a’ neadachadh eadar seirbheisean leasaiche BI agus Cloud AI.
Na briathran agus na teirmean as fheàrr leat an toiseach:
- "Is dòcha nach e Ceannard an roghainn as fheàrr" - Is dòcha nach e stiùiriche margaidh na tha a dhìth ort. Gu math èiginneach! Mar thoradh air dìth neach-ceannach gnìomh, tha iad an-còmhnaidh a’ coimhead airson am fuasgladh “as fheàrr”, seach am fear “freagarrach”.
- "Co-obrachadh modail" - air a ghiorrachadh mar MOPn. Agus tha ùine chruaidh aig a h-uile duine le pugs! - (bidh cuspair pug fionnar a’ toirt air a’ mhodail obrachadh).
- "Àrainneachd leabhar notaichean" na bhun-bheachd cudromach far a bheil còd, beachdan, dàta agus toraidhean a’ tighinn còmhla. Tha seo gu math soilleir, gealltanach agus faodaidh e lùghdachadh mòr a thoirt air an ìre de chòd UI.
- "Rooted in OpenSource" - air a ràdh gu math - a’ gabhail freumh ann an stòr fosgailte.
- "Luchd-saidheans dàta saoranaich" - cho furasta dudes, leithid lamers, chan e eòlaichean, a dh'fheumas àrainneachd lèirsinneach agus a h-uile seòrsa de rudan cuideachail. Cha dèan iad còd.
- "Deamocrasaidh" - gu tric air a chleachdadh airson a bhith a’ ciallachadh “a bhith ri fhaighinn do raon nas fharsainge de dhaoine.” Faodaidh sinn “deamocratachadh an dàta” a ràdh an àite an “saor an dàta” cunnartach a chleachd sinn. Tha “Democratise” an-còmhnaidh na earball fada agus bidh gach neach-reic a’ ruith às a dhèidh. Caill ann an dian eòlais - buannachd ann an ruigsinneachd!
- "Mion-sgrùdadh dàta rannsachail - EDA" - beachdachadh air na dòighean sin a tha rim faighinn. Cuid de staitistig. Beagan lèirsinn. Rud a nì a h-uile duine gu ìre no gu ìre. Cha robh fios gu robh ainm airson seo
- "Ath-riochdachadh" - gleidheadh as àirde de pharamadairean àrainneachd, cuir a-steach agus toradh gus an urrainnear an deuchainn a dhèanamh a-rithist aon uair ‘s gu bheil e air a dhèanamh. An teirm as cudromaiche airson àrainneachd deuchainn deuchainneach!
Mar sin:
Alteryx
Eadar-aghaidh fionnar, dìreach mar dhèideag. Tha scalability, gu dearbh, beagan duilich. A rèir sin, coimhearsnachd nan Saoranach de innleadairean timcheall air an aon rud le tchotchkes ri chluich. Is ann leatsa a tha Analytics uile ann an aon bhotal. Chuir mi nam chuimhne measgachadh de mhion-sgrùdadh dàta co-dhàimh speactra , a chaidh a phrògramadh anns na 90an.
Anaconda
Coimhearsnachd timcheall air eòlaichean Python agus R. Tha stòr fosgailte mòr a rèir sin. Thionndaidh e a-mach gu bheil mo cho-obraichean ga chleachdadh fad na h-ùine. Ach cha robh fios agam.
Bricks Dàta
Air a dhèanamh suas de thrì pròiseactan opensource - tha luchd-leasachaidh Spark air tòrr airgid a thogail bho 2013. Feumaidh mi an uici a ràdh:
“San t-Sultain 2013, dh’ ainmich Databricks gun robh iad air $ 13.9 millean a thogail bho Andreessen Horowitz. Thog a ’chompanaidh $ 33 millean a bharrachd ann an 2014, $ 60 millean ann an 2016, $ 140 millean ann an 2017, $ 250 millean ann an 2019 (Gearran) agus $ 400 millean ann an 2019 (Dàmhair)” !!!
Gheàrr cuid de dhaoine mòra Spark. Chan eil fhios 'am, duilich!
Agus is iad na pròiseactan:
- Loch Delta - Chaidh ACID on Spark a leigeil ma sgaoil o chionn ghoirid (na bha sinn a’ bruadar le Elasticsearch) - ga thionndadh gu bhith na stòr-dàta: sgeama teann, ACID, sgrùdadh, dreachan ...
- Sruth ML - tracadh, pacadh, riaghladh agus stòradh mhodalan.
- Coalas - Pandas DataFrame API air Spark - Pandas - Python API airson a bhith ag obair le clàran agus dàta san fharsaingeachd.
Faodaidh tu coimhead air Spark dhaibhsan aig nach eil fios no a dhìochuimhnich: . Choimhead mi bhideothan le eisimpleirean bho cho-chomhairleachadh beagan dòrainneach ach mionaideach: DataBricks airson Saidheans Dàta () agus airson Innleadaireachd Dàta ().
Ann an ùine ghoirid, bidh Databricks a’ tarraing a-mach Spark. Bidh neach sam bith a tha airson Spark a chleachdadh gu h-àbhaisteach san sgòth a’ toirt DataBricks gun stad, mar a bha dùil 🙂 Is e Spark am prìomh eadar-dhealachadh an seo.
Dh’ ionnsaich mi nach e fìor-ùine meallta no microbatching a th’ ann an Spark Streaming. Agus ma tha feum agad air fìor àm fìor, tha e ann an Apache STORM. Tha a h-uile duine cuideachd ag ràdh agus a 'sgrìobhadh gu bheil Spark nas fheàrr na MapReduce. Is e seo an sluagh-ghairm.
DATAIKU
Rud fionnar deireadh-gu-deireadh. Tha tòrr sanasan ann. Chan eil mi a’ tuigsinn mar a tha e eadar-dhealaichte bho Alteryx?
DàtaRobot
Tha Paxata airson ullachadh dàta na chompanaidh air leth a chaidh a cheannach le Data Robots san Dùbhlachd 2019. Thog sinn 20 MUSD agus reic sinn. Uile ann an 7 bliadhna.
Ullachadh dàta ann am Paxata, chan e Excel - faic an seo: .
Tha rannsachaidhean fèin-ghluasadach agus molaidhean airson ceanglaichean eadar dà sheata dàta. Rud math - gus an dàta a thuigsinn, bhiodh eadhon barrachd cuideam air fiosrachadh teacsa ().
Tha Catalog Dàta na dheagh chatalog de stòran-dàta “beò” gun fheum.
Tha e inntinneach cuideachd mar a tha clàran air an cruthachadh ann am Paxata ().
“A rèir companaidh anailis , tha am bathar-bog air a dhèanamh comasach tro adhartasan ann an , agus a ' dòigh-obrach airson tasgadh dàta. Bidh am bathar-bog a’ cleachdadh algorithms gus brìgh colbhan clàr dàta agus algoirmean aithneachadh pàtrain a thuigsinn gus dùblaidhean a lorg ann an seata dàta. Bidh e cuideachd a’ cleachdadh clàr-amais, aithneachadh pàtran teacsa agus teicneòlasan eile a lorgar gu traidiseanta anns na meadhanan sòisealta agus bathar-bog sgrùdaidh.”
Is e prìomh toradh Data Robot . Tha an sluagh-ghairm aca bho Model gu Iarrtas Iomairt! Lorg mi co-chomhairleachadh airson gnìomhachas na h-ola co-cheangailte ris an èiginn, ach bha e gu math banal agus neo-inntinneach: . Choimhead mi na bhideothan aca air Mops no MLops (). Is e seo a leithid de Frankenstein air a chruinneachadh bho 6-7 togail de dhiofar thoraidhean.
Gu dearbh, bidh e soilleir gum feum sgioba mòr de Luchd-saidheans Dàta a bhith ann an àrainneachd cho math airson a bhith ag obair le modalan, air neo bheir iad a-mach tòrr dhiubh agus cha chuir iad dad gu feum. Agus nar fìrinn ola is gas shuas an abhainn, nam b’ urrainn dhuinn dìreach aon mhodail shoirbheachail a chruthachadh, bhiodh sin na adhartas math!
Bha am pròiseas fhèin gu math cuimhneachail air an obair le siostaman dealbhaidh ann an geòlas-geophysics, mar eisimpleir . Bidh a h-uile duine nach eil ro leisg a 'dèanamh agus ag atharrachadh mhodailean. Cruinnich dàta a-steach don mhodail. An uairsin rinn iad modal iomraidh agus chuir iad gu cinneasachadh e! Eadar, can, modail geòlais agus modail ML, gheibh thu tòrr ann an cumantas.
Domino
Cuideam air àrd-ùrlar fosgailte agus co-obrachadh. Tha luchd-cleachdaidh gnìomhachais air an leigeil a-steach an-asgaidh. Tha an Lab Dàta aca glè choltach ri sharepoint. (Agus tha an t-ainm a 'toirt buaidh làidir air IBM). Bidh a h-uile deuchainn a’ ceangal ris an dàta tùsail. Dè cho eòlach 'sa tha seo 🙂 Mar a tha anns a' chleachdadh againn - chaidh cuid de dhàta a shlaodadh a-steach don mhodail, an uairsin chaidh a ghlanadh agus a chuir ann an òrdugh anns a 'mhodail, agus tha seo uile a' fuireach ann mar-thà anns a 'mhodail agus chan fhaighear na cinn anns an stòr dàta.
Tha virtualization bun-structair fionnar aig Domino. Chruinnich mi an inneal na h-uimhir de choraichean a bha a dhìth ann an diog agus chaidh mi a chunntadh. Chan eil e soilleir sa bhad ciamar a chaidh a dhèanamh. Tha docker anns a h-uile àite. Tòrr saorsa! Faodar raointean-obrach sam bith de na dreachan as ùire a cheangal. Cur air bhog co-shìnte de dheuchainnean. Lorg agus taghadh de fheadhainn soirbheachail.
An aon rud ri DataRobot - tha na toraidhean air am foillseachadh airson luchd-cleachdaidh gnìomhachais ann an cruth thagraidhean. Airson “luchd-ùidh” gu sònraichte tàlantach. Agus thathas cuideachd a’ cumail sùil air fìor chleachdadh nam modalan. A h-uile càil airson Pugs!
Chan eil mi gu tur a’ tuigsinn cho iom-fhillte ‘s a tha modalan iom-fhillte a’ tighinn gu crìch ann an cinneasachadh. Tha seòrsa de API air a thoirt seachad gus dàta a bhiadhadh agus toraidhean fhaighinn.
H2O
Tha Driveless AI na shiostam gu math toinnte agus intuitive airson ML fo stiùir. A h-uile rud ann an aon bhogsa. Chan eil e gu tur soilleir sa bhad mun chùl-raon.
Tha am modail air a phacaigeadh gu fèin-ghluasadach a-steach do fhrithealaiche REST no Java App. Is e deagh bheachd a tha seo. Chaidh mòran a dhèanamh airson Eadar-mhìneachaidh agus Soilleireachd. Mìneachadh agus mìneachadh air toraidhean a 'mhodail (Dè nach bu chòir a bhith furasta a mhìneachadh, air neo faodaidh neach an aon àireamhachadh?).
Airson a’ chiad uair, chaidh sgrùdadh cùise mu dhàta neo-structaraichte agus . Dealbh de dh'àrd-chàileachd ailtireachd. Agus san fharsaingeachd chòrd na dealbhan rium.
Tha frèam mòr fosgailte H2O nach eil gu tur soilleir (seata de algorithms/leabharlannan?). An laptop lèirsinneach agad fhèin gun phrògramadh mar Jupiter (). Leugh mi cuideachd mu dheidhinn Pojo agus Mojo - modalan H2O air am pasgadh ann an Java. Tha a 'chiad fhear sìmplidh, an dàrna fear le optimization. Is e H20 an aon fheadhainn (!) Dha an robh Gartner a’ liostadh mion-sgrùdadh teacsa agus NLP mar an neartan, a bharrachd air na h-oidhirpean aca a thaobh Mìneachadh. Tha e glè chudromach!
Anns an aon àite: àrd-choileanadh, optimization agus ìre gnìomhachais ann an raon amalachadh le bathar-cruaidh is sgòthan.
Agus tha an laigse loidsigeach - tha Driverles AI lag agus cumhang an taca ris an stòr fosgailte aca. Tha ullachadh dàta cuagach an taca ri Paxata! Agus bidh iad a’ seachnadh dàta gnìomhachais - sruth, graf, geo. Uill, chan urrainn dha a h-uile dad a bhith math.
GNIOMHARA
Chòrd na cùisean gnìomhachais sònraichte 6 rium gu math inntinneach air a’ phrìomh dhuilleag. OpenSource làidir.
Chuir Gartner sìos iad bho stiùirichean gu luchd-seallaidh. Tha a bhith a’ cosnadh airgead gu dona na chomharra math dha luchd-cleachdaidh, leis nach e an Leader an-còmhnaidh an roghainn as fheàrr.
Tha am prìomh fhacal, mar ann an H2O, air a leudachadh, a tha a’ ciallachadh a bhith a’ cuideachadh luchd-saidheans dàta saoranach bochd. Is e seo a’ chiad uair a chaidh cuideigin a chàineadh airson coileanadh ann an lèirmheas! Inntinneach? Is e sin, tha uimhir de chumhachd coimpiutaireachd ann nach urrainn coileanadh a bhith na dhuilgheadas siostamach idir? Tha Gartner mun fhacal seo “Augmented” , air nach gabhadh ruigsinn.
Agus tha e coltach gur e KNIME a’ chiad neo-Ameireaganach san ath-sgrùdadh! (Agus chòrd an duilleag tighinn air tìr againn gu mòr ris na dealbhadairean againn. Daoine neònach.
MathWorks
Tha MatLab na sheann chompanach urramach a tha aithnichte don h-uile duine! Bogsaichean innealan airson gach raon de bheatha agus suidheachadh. Rud gu math eadar-dhealaichte. Gu dearbh, tòrr is tòrr is tòrr matamataig airson a h-uile rud nad bheatha!
Bathar add-on Simulink airson dealbhadh siostam. Chladhaich mi a-steach do bhogsaichean inneal airson Digital Twins - chan eil mi a’ tuigsinn dad mu dheidhinn, ach chaidh tòrr a sgrìobhadh. Airson . San fharsaingeachd, is e toradh gu tur eadar-dhealaichte a tha seo bho dhoimhneachd matamataig agus innleadaireachd. Gus innealan matamataig sònraichte a thaghadh. A rèir Gartner, tha na duilgheadasan aca co-chosmhail ri duilgheadasan innleadairean snasail - gun cho-obrachadh - bidh a h-uile duine a’ ruith mun cuairt anns a ’mhodal aca fhèin, gun deamocrasaidh, gun mhìneachadh.
RapidMiner
Tha mi air tighinn a-null agus air tòrr a chluinntinn roimhe (còmhla ri Matlab) ann an co-theacsa stòr fosgailte math. Chladhaich mi beagan a-steach do TurboPrep mar as àbhaist. Tha ùidh agam mar a gheibh mi dàta glan bho dhàta salach.
A-rithist chì thu gu bheil na daoine math stèidhichte air stuthan margaidheachd 2018 agus na daoine uamhasach Beurla aig an demo feart.
Agus daoine à Dortmund bho 2001 le cùl-raon làidir Gearmailteach)
Chan eil mi fhathast a’ tuigsinn bhon làrach dè dìreach a tha ri fhaighinn ann an stòr fosgailte - feumaidh tu cladhach nas doimhne. Bhideothan math mu chleachdadh agus bun-bheachdan AutoML.
Chan eil dad sònraichte mu dheidhinn backend an fhrithealaiche RapidMiner nas motha. Is dòcha gum bi e teann agus obraichidh e gu math air premium a-mach às a’ bhogsa. Tha e air a phacaigeadh ann an Docker. Àrainneachd roinnte a-mhàin air an fhrithealaiche RapidMiner. Agus an uairsin tha Radoop, dàta bho Hadoop, a’ cunntadh rannan bho shruth-obrach Spark in Studio.
Mar a bhiodh dùil, chuir luchd-reic teth òg “luchd-reic mhaidean stiallach” sìos iad. Tha Gartner, ge-tà, a’ dèanamh ro-innse gum bi iad soirbheachail ann an raon na h-Iomairt. Faodaidh tu airgead a thogail an sin. Tha fios aig na Gearmailtich mar a nì iad seo, naomh-naomh :) Na toir iomradh air SAP !!!
Bidh iad a’ dèanamh tòrr airson saoranaich! Ach bhon duilleag chì thu gu bheil Gartner ag ràdh gu bheil iad a 'strì ri ùr-ghnàthachadh reic agus nach eil iad a' sabaid airson farsaingeachd còmhdach, ach airson prothaid.
Air fhàgail SAS и Tibco luchd-reic àbhaisteach BI dhòmhsa ... Agus tha an dà chuid aig a 'mhullach, a tha a' dearbhadh mo mhisneachd gu bheil DataScience àbhaisteach a 'fàs gu loidsigeach
bho BI, agus chan ann bho sgòthan agus bun-structaran Hadoop. Bho ghnìomhachas, is e sin, agus chan ann bho IT. Mar ann an Gazpromneft mar eisimpleir: , Bidh àrainneachd DSML aibidh a’ fàs a-mach à cleachdaidhean làidir BI. Ach is dòcha gu bheil e smacky agus claon a dh’ ionnsaigh MDM agus rudan eile, cò aig tha fios.
SAS
Chan eil mòran ri ràdh. A-mhàin na rudan follaiseach.
TIBCO
Tha an ro-innleachd air a leughadh ann an liosta bhùthan air duilleag Wiki fad-duilleig. Seadh, sgeulachd fhada, ach 28!!! Teàrlach. Cheannaich mi BI Spotfire (2007) air ais nam òige techno. Agus cuideachd ag aithris bho Jaspersoft (2014), an uairsin suas ri trì luchd-reic anailis ro-innse Insightful (S-plus) (2008), Statistica (2017) agus Alpine Data (2017), giollachd tachartais agus sruthadh Streambase System (2013), MDM Orchestra Àrd-ùrlar cuimhne Networks (2018 ) agus Snappy Data (2019).
Halo Frankie!
Source: www.habr.com