Mae'n amhosibl esbonio'r rheswm pam y darllenais hwn. Roedd gen i amser ac roedd gen i ddiddordeb mewn sut mae'r farchnad yn gweithio. Ac mae hon eisoes yn farchnad lawn yn ôl Gartner ers 2018. O 2014-2016 fe'i galwyd yn ddadansoddeg uwch (gwreiddiau yn BI), yn 2017 - Gwyddor Data (nid wyf yn gwybod sut i gyfieithu hwn i Rwsieg). I'r rhai sydd â diddordeb yn symudiadau gwerthwyr o amgylch y sgwâr, gallwch chi edrych. A byddaf yn siarad am sgwâr 2020, yn enwedig gan fod y newidiadau yno ers 2019 yn fach iawn: symudodd SAP allan a phrynodd Altair Datawatch.
Nid yw hwn yn ddadansoddiad systematig nac yn dabl. Golygfa unigol, hefyd o safbwynt geoffisegydd. Ond rydw i bob amser yn chwilfrydig i ddarllen Gartner MQ, maen nhw'n llunio rhai pwyntiau'n berffaith. Felly dyma'r pethau y rhoddais sylw iddynt yn dechnegol, yn ddoeth i'r farchnad ac yn athronyddol.
Nid yw hyn ar gyfer pobl sy'n ddwfn i bwnc ML, ond ar gyfer pobl sydd â diddordeb yn yr hyn sy'n digwydd yn gyffredinol yn y farchnad.
Mae'r farchnad DSML ei hun yn nythu'n rhesymegol rhwng gwasanaethau datblygwyr BI a Cloud AI.
Hoff ddyfyniadau a thermau yn gyntaf:
- "Efallai nad Arweinydd yw'r dewis gorau" — Nid arweinydd marchnad yw'r hyn sydd ei angen arnoch o reidrwydd. Brys iawn! O ganlyniad i ddiffyg cwsmer swyddogaethol, maent bob amser yn chwilio am yr ateb “gorau”, yn hytrach na'r un “addas”.
- "Gweithrediad model" - wedi'i dalfyrru fel MOPs. Ac mae pawb yn cael amser caled gyda pugs! – (mae thema pug cŵl yn gwneud i’r model weithio).
- "Amgylchedd llyfr nodiadau" yn gysyniad pwysig lle mae cod, sylwadau, data a chanlyniadau yn dod at ei gilydd. Mae hyn yn glir iawn, yn addawol a gall leihau'n sylweddol faint o god UI.
- "Gwreiddiau yn OpenSource" - wedi'i ddweud yn dda - yn gwreiddio mewn ffynhonnell agored.
- "Gwyddonwyr Data Dinesydd" - dudes hawdd o'r fath, lamerau o'r fath, nid arbenigwyr, sydd angen amgylchedd gweledol a phob math o bethau ategol. Ni fyddant yn codio.
- "Democratiaeth" — yn aml yn cael ei ddefnyddio i olygu “rhoi ar gael i ystod ehangach o bobl.” Gallwn ddweud “democrateiddio’r data” yn lle’r “rhyddiwch y data” peryglus yr oeddem yn arfer ei ddefnyddio. Mae “Democrateiddio” bob amser yn gynffon hir ac mae pob gwerthwr yn rhedeg ar ei ôl. Colli dwyster gwybodaeth - ennill hygyrchedd!
- "Dadansoddiad Data Archwiliadol - EDA" — ystyried y dulliau hyn sydd ar gael. Rhai ystadegau. Ychydig o ddelweddu. Rhywbeth y mae pawb yn ei wneud i ryw raddau. Ddim yn gwybod bod enw ar hwn
- "Atgynhyrchu" — cadw'r holl baramedrau, mewnbynnau ac allbynnau amgylcheddol ar y mwyaf fel y gellir ailadrodd yr arbrawf ar ôl ei gynnal. Y term pwysicaf ar gyfer amgylchedd prawf arbrofol!
Felly:
Alteryx
Rhyngwyneb oer, yn union fel tegan. Mae graddadwyedd, wrth gwrs, ychydig yn anodd. Yn unol â hynny, mae'r gymuned Dinesydd o beirianwyr o gwmpas yr un peth â tchotchkes i chwarae. Mae dadansoddeg yn eiddo i chi i gyd mewn un botel. Wedi fy atgoffa o gymhleth o ddadansoddi data cydberthynas sbectrol , a raglennwyd yn y 90au.
Anaconda
Cymuned o amgylch arbenigwyr Python ac R. Mae ffynhonnell agored yn fawr yn unol â hynny. Mae'n troi allan bod fy nghydweithwyr yn ei ddefnyddio drwy'r amser. Ond wyddwn i ddim.
Brics Data
Mae'n cynnwys tri phrosiect ffynhonnell agored - mae datblygwyr Spark wedi codi uffern o arian ers 2013. Mae'n rhaid i mi ddyfynnu'r wici mewn gwirionedd:
“Ym mis Medi 2013, cyhoeddodd Databricks ei fod wedi codi $13.9 miliwn gan Andreessen Horowitz. Cododd y cwmni $33 miliwn ychwanegol yn 2014, $60 miliwn yn 2016, $140 miliwn yn 2017, $250 miliwn yn 2019 (Chwefror) a $400 miliwn yn 2019 (Hydref)”!!!
Mae rhai pobl wych yn torri Spark. Wn i ddim, sori!
A’r prosiectau yw:
- Llyn Delta - Rhyddhawyd ACID on Spark yn ddiweddar (yr hyn yr oeddem yn breuddwydio amdano gydag Elasticsearch) - mae'n ei droi'n gronfa ddata: sgema anhyblyg, ACID, archwilio, fersiynau ...
- Llif ML — olrhain, pecynnu, rheoli a storio modelau.
- coalas - Pandas DataFrame API ar Spark - Pandas - API Python ar gyfer gweithio gyda thablau a data yn gyffredinol.
Gallwch edrych ar Spark ar gyfer y rhai nad ydynt yn gwybod neu sydd wedi anghofio: . Gwyliais fideos gydag enghreifftiau o gnocellau ymgynghorol braidd yn ddiflas ond manwl: DataBricks for Data Science () ac ar gyfer Peirianneg Data ().
Yn fyr, mae Databricks yn tynnu Spark allan. Mae unrhyw un sydd eisiau defnyddio Spark fel arfer yn y cwmwl yn cymryd DataBricks heb betruso, fel y bwriadwyd 🙂 Spark yw'r prif wahaniaethwr yma.
Dysgais nad yw Spark Streaming yn amser real ffug go iawn nac yn ficrobatching. Ac os oes angen amser Real go iawn arnoch chi, mae yn Apache STORM. Mae pawb hefyd yn dweud ac yn ysgrifennu bod Spark yn well na MapReduce. Dyma'r slogan.
DATAIKU
Peth oer o'r dechrau i'r diwedd. Mae yna lawer o hysbysebion. Dydw i ddim yn deall sut mae'n wahanol i Alteryx?
DataRobot
Mae Paxata ar gyfer paratoi data yn gwmni ar wahân a brynwyd gan Data Robots ym mis Rhagfyr 2019. Codasom 20 MUSD a gwerthu. Y cyfan mewn 7 mlynedd.
Paratoi data yn Paxata, nid Excel - gweler yma: .
Ceir chwiliadau awtomatig a chynigion ar gyfer uniadau rhwng dwy set ddata. Peth gwych - i ddeall y data, byddai hyd yn oed mwy o bwyslais ar wybodaeth destunol ().
Mae’r Catalog Data yn gatalog ardderchog o setiau data “byw” diwerth.
Mae hefyd yn ddiddorol sut mae cyfeiriaduron yn cael eu ffurfio yn Paxata ().
“Yn ôl cwmni dadansoddol , mae'r meddalwedd yn bosibl trwy ddatblygiadau yn , a methodoleg cadw data. Mae'r meddalwedd yn defnyddio algorithmau i ddeall ystyr colofnau tabl data ac algorithmau adnabod patrwm i ddod o hyd i ddyblygiadau posibl mewn set ddata. Mae hefyd yn defnyddio mynegeio, adnabod patrymau testun a thechnolegau eraill a geir yn draddodiadol mewn cyfryngau cymdeithasol a meddalwedd chwilio.”
Prif gynnyrch Data Robot yw . Mae eu slogan o Fodel i Gymhwysiad Menter! Cefais ymgynghoriad ar gyfer y diwydiant olew mewn cysylltiad â’r argyfwng, ond roedd yn ddi-hid ac yn anniddorol iawn: . Gwyliais eu fideos ar Mops neu MLops (). Mae hwn yn fath Frankenstein ymgynnull o 6-7 caffaeliad o gynhyrchion amrywiol.
Wrth gwrs, daw'n amlwg bod yn rhaid i dîm mawr o Wyddonwyr Data gael amgylchedd o'r fath ar gyfer gweithio gyda modelau, fel arall byddant yn cynhyrchu llawer ohonynt a byth yn defnyddio unrhyw beth. Ac yn ein realiti olew a nwy i fyny'r afon, petaem ond yn gallu creu un model llwyddiannus, byddai hynny'n gynnydd gwych!
Roedd y broses ei hun yn atgoffa rhywun iawn o'r gwaith gyda systemau dylunio mewn daeareg-geoffiseg, er enghraifft . Mae pawb sydd ddim yn rhy ddiog yn gwneud ac yn addasu modelau. Casglu data i mewn i'r model. Yna gwnaethant fodel cyfeirio a'i anfon i'r cynhyrchiad! Rhwng, dyweder, model daearegol a model ML, gallwch chi ddod o hyd i lawer yn gyffredin.
Domino
Pwyslais ar lwyfan agored a chydweithio. Mae defnyddwyr busnes yn cael mynediad am ddim. Mae eu Labordy Data yn debyg iawn i sharepoint. (Ac mae'r enw yn smacio IBM yn gryf). Mae pob arbrawf yn cysylltu â'r set ddata wreiddiol. Pa mor gyfarwydd yw hyn :) Fel yn ein harfer - llusgwyd rhywfaint o ddata i'r model, yna cafodd ei lanhau a'i roi mewn trefn yn y model, ac mae hyn i gyd eisoes yn byw yno yn y model ac ni ellir dod o hyd i'r pennau yn y data ffynhonnell .
Mae gan Domino rhithwiroli seilwaith cŵl. Cydosodais y peiriant cymaint o greiddiau ag oedd eu hangen mewn eiliad ac es i gyfrif. Nid yw sut y cafodd ei wneud yn glir ar unwaith. Mae Docker ym mhobman. Llawer o ryddid! Gellir cysylltu unrhyw weithfannau o'r fersiynau diweddaraf. Lansiad cyfochrog o arbrofion. Olrhain a dewis rhai llwyddiannus.
Yr un peth â DataRobot - cyhoeddir y canlyniadau ar gyfer defnyddwyr busnes ar ffurf ceisiadau. Ar gyfer “rhanddeiliaid” hynod ddawnus. Ac mae defnydd gwirioneddol y modelau hefyd yn cael ei fonitro. Popeth i Pugs!
Dydw i ddim yn deall yn iawn pa mor gymhleth yw modelau cynhyrchu yn y pen draw. Darperir rhyw fath o API i fwydo data iddynt a chael canlyniadau.
H2O
Mae AI di-yrru yn system gryno a greddfol iawn ar gyfer ML dan Oruchwyliaeth. Popeth mewn un blwch. Nid yw'n gwbl glir ar unwaith am y cefndir.
Mae'r model yn cael ei becynnu'n awtomatig i weinydd REST neu Java App. Mae hwn yn syniad gwych. Mae llawer wedi'i wneud ar gyfer Dehongladwyedd ac Eglurhad. Dehongli ac esboniad o ganlyniadau'r model (Beth yn gynhenid na ddylai fod yn eglur, fel arall gall person gyfrifo'r un peth?).
Am y tro cyntaf, mae astudiaeth achos am ddata anstrwythuredig a . Llun pensaernïol o ansawdd uchel. Ac yn gyffredinol roeddwn i'n hoffi'r lluniau.
Mae yna fframwaith H2O ffynhonnell agored fawr nad yw'n gwbl glir (set o algorithmau/llyfrgelloedd?). Eich gliniadur gweledol eich hun heb raglennu fel Iau (). Darllenais hefyd am Pojo a Mojo - modelau H2O wedi'u lapio mewn Java. Mae'r cyntaf yn syml, yr ail gydag optimeiddio. H20 yw'r unig rai(!) y rhestrodd Gartner ddadansoddeg testun a NLP fel eu cryfderau, yn ogystal â'u hymdrechion o ran Eglurhad. Mae'n bwysig iawn!
Yn yr un lle: perfformiad uchel, optimeiddio a safon y diwydiant ym maes integreiddio â chaledwedd a chymylau.
Ac mae'r gwendid yn rhesymegol - mae Driverles AI yn wan ac yn gul o'i gymharu â'u ffynhonnell agored. Mae paratoi data yn gloff o'i gymharu â Paxata! Ac maent yn anwybyddu data diwydiannol - ffrwd, graff, geo. Wel, ni all popeth fod yn dda yn unig.
GWYBOD
Hoffais y 6 achos busnes penodol iawn, diddorol iawn ar y brif dudalen. Ffynhonnell Agored Cryf.
Darostyngodd Gartner nhw o fod yn arweinwyr i fod yn weledigaethwyr. Mae ennill arian yn wael yn arwydd da i ddefnyddwyr, o ystyried nad yr Arweinydd yw'r dewis gorau bob amser.
Ychwanegir at y gair allweddol, fel yn H2O, sy'n golygu helpu gwyddonwyr data dinasyddion tlawd. Dyma'r tro cyntaf i rywun gael ei feirniadu am berfformiad mewn adolygiad! Diddorol? Hynny yw, mae cymaint o bŵer cyfrifiadurol fel na all perfformiad fod yn broblem systemig o gwbl? Mae gan Gartner am y gair hwn “Augmented” , na ellid ei gyrraedd.
Ac mae'n ymddangos mai KNIME yw'r di-Americanaidd cyntaf yn yr adolygiad! (Ac roedd ein dylunwyr yn hoff iawn o'u tudalen lanio. Pobl ryfedd.
MathGwaith
Mae MatLab yn hen gymrawd anrhydeddus sy'n adnabyddus i bawb! Bocsys offer ar gyfer pob maes o fywyd a sefyllfaoedd. Rhywbeth gwahanol iawn. Yn wir, llawer a llawer a llawer o fathemateg ar gyfer popeth mewn bywyd!
Cynnyrch atodol Simulink ar gyfer dylunio system. Cloddiais i mewn i focsys offer ar gyfer Gefeilliaid Digidol - dydw i ddim yn deall dim byd amdano, ond mae llawer wedi'i ysgrifennu. Canys . Yn gyffredinol, mae hwn yn gynnyrch sylfaenol wahanol i ddyfnderoedd mathemateg a pheirianneg. I ddewis pecynnau cymorth mathemateg penodol. Yn ôl Gartner, mae eu problemau yr un fath â rhai peirianwyr smart - dim cydweithredu - mae pawb yn chwilota o gwmpas yn eu model eu hunain, dim democratiaeth, dim esboniad.
CyflymMiner
Rwyf wedi dod ar draws a chlywed llawer o'r blaen (ynghyd â Matlab) yng nghyd-destun ffynhonnell agored dda. Cloddiais ychydig i TurboPrep fel arfer. Mae gen i ddiddordeb mewn sut i gael data glân o ddata budr.
Unwaith eto gallwch weld bod y bobl yn dda yn seiliedig ar ddeunyddiau marchnata 2018 a'r bobl ofnadwy Saesneg eu hiaith yn y demo nodwedd.
A phobl o Dortmund ers 2001 sydd â chefndir Almaenig cryf)
Dwi dal ddim yn deall o'r wefan beth yn union sydd ar gael mewn ffynhonnell agored - mae angen i chi gloddio'n ddyfnach. Fideos da am ddefnyddio a chysyniadau AutoML.
Nid oes unrhyw beth arbennig am backend Gweinydd RapidMiner chwaith. Mae'n debyg y bydd yn gryno ac yn gweithio'n dda ar premiwm allan o'r bocs. Mae wedi'i becynnu yn Docker. Amgylchedd a rennir yn unig ar y gweinydd RapidMiner. Ac yna mae Radoop, data o Hadoop, yn cyfrif rhigymau o Spark yn llif gwaith Stiwdio.
Yn ôl y disgwyl, fe wnaeth gwerthwyr poeth ifanc “gwerthwyr ffyn streipiog” eu symud i lawr. Fodd bynnag, mae Gartner yn rhagweld eu llwyddiant yn y dyfodol yn y gofod Menter. Gallwch godi arian yno. Mae'r Almaenwyr yn gwybod sut i wneud hyn, sanctaidd-sanctaidd :) Peidiwch â sôn am SAP!!!
Maen nhw'n gwneud llawer i ddinasyddion! Ond o'r dudalen gallwch weld bod Gartner yn dweud eu bod yn cael trafferth gydag arloesi gwerthu ac nad ydynt yn ymladd am ehangder y sylw, ond am broffidioldeb.
Aros SAS и Tibco gwerthwyr BI nodweddiadol i mi ... Ac mae'r ddau ar y brig, sy'n cadarnhau fy hyder bod DataScience arferol yn tyfu'n rhesymegol
o BI, ac nid o gymylau ac isadeileddau Hadoop. O fusnes, hynny yw, ac nid o TG. Fel yn Gazpromneft er enghraifft: ,Mae amgylchedd DSML aeddfed yn tyfu allan o arferion BI cryf. Ond efallai ei fod yn smaclyd ac yn rhagfarnllyd tuag at MDM a phethau eraill, pwy a wyr.
SAS
Does dim llawer i'w ddweud. Dim ond y pethau amlwg.
TIBCO
Mae'r strategaeth yn cael ei darllen mewn rhestr siopa ar dudalen Wiki tudalen o hyd. Ie, stori hir, ond 28!!! Charles. Prynais BI Spotfire (2007) yn ôl yn fy ieuenctid techno. A hefyd yn adrodd gan Jaspersoft (2014), yna cymaint â thri gwerthwr dadansoddeg rhagfynegol Insightful (S-plus) (2008), Statistica (2017) ac Alpine Data (2017), prosesu digwyddiadau a ffrydio Streambase System (2013), MDM Orchestra Llwyfan cof Rhwydweithiau (2018 ) a Snappy Data (2019).
Helo Frankie!
Ffynhonnell: hab.com