Imposible nga ipasabut ang hinungdan ngano nga gibasa nako kini. Naa koy oras ug interesado kung giunsa ang paglihok sa merkado. Ug kini usa na ka hingpit nga merkado sumala ni Gartner sukad sa 2018. Gikan sa 2014-2016 gitawag kini nga advanced analytics (roots sa BI), sa 2017 - Data Science (wala ko kahibalo unsaon paghubad niini sa Russian). Alang sa mga interesado sa mga lihok sa mga vendor sa palibot sa square, mahimo nimo tan-awa. Ug hisgutan ko ang bahin sa 2020 square, labi na kay ang mga pagbag-o didto sukad sa 2019 gamay ra: Ang SAP mibalhin ug gipalit ni Altair ang Datawatch.
Dili kini usa ka sistematikong pagtuki o usa ka lamesa. Usa ka indibidwal nga panglantaw, gikan usab sa punto sa panglantaw sa usa ka geophysicist. Apan ako kanunay nga interesado sa pagbasa sa Gartner MQ, sila naghimo sa pipila ka mga punto nga hingpit. Mao nga ania ang mga butang nga akong gihatagan ug pagtagad sa parehas nga teknikal, maalamon sa merkado, ug pilosopikal.
Dili kini alang sa mga tawo nga lawom sa hilisgutan sa ML, apan alang sa mga tawo nga interesado sa kasagaran nga nahitabo sa merkado.
Ang merkado sa DSML mismo lohikal nga nagsalag taliwala sa mga serbisyo sa developer sa BI ug Cloud AI.
Paborito nga mga kinutlo ug termino una:
- "Ang usa ka Lider mahimong dili ang pinakamaayo nga pagpili" β Ang usa ka lider sa merkado dili kinahanglan kung unsa ang imong kinahanglan. Dinalian kaayo! Ingon usa ka sangputanan sa kakulang sa usa ka magamit nga kostumer, sila kanunay nga nangita alang sa "labing maayo" nga solusyon, kaysa sa usa nga "angay".
- "Pag-operasyon sa modelo" - gipamubo nga MOPs. Ug ang tanan naglisud sa mga pugs! - (Ang cool nga tema sa pug naghimo sa modelo nga molihok).
- "Kalibotan sa Notebook" usa ka importante nga konsepto diin ang code, mga komentaryo, datos ug mga resulta magkahiusa. Kini tin-aw kaayo, nagsaad ug makapakunhod pag-ayo sa gidaghanon sa UI code.
- "Nakagamot sa OpenSource" - maayo ang giingon - mogamot sa open source.
- "Mga Siyentista sa Data sa Lungsuranon" - sa ingon sayon ββdudes, ingon nga lamers, dili eksperto, nga nagkinahanglan sa usa ka biswal nga palibot ug sa tanan nga mga matang sa auxiliary nga mga butang. Dili sila mag-code.
- "Demokrasya" - kasagaran gigamit sa pagpasabot "paghimo nga magamit sa usa ka mas lapad nga mga tawo." Mahimo natong isulti nga "i-demokratize ang datos" imbes nga ang peligro nga "libre ang datos" nga among gigamit kaniadto. Ang "Democratise" kanunay nga usa ka taas nga ikog ug ang tanan nga mga vendor nagsunod niini. Mawad-an sa kusog sa kahibalo - pag-angkon sa pagka-access!
- "Pagtuki sa Data sa Eksploratory - EDA" - konsiderasyon niining mga magamit nga paagi. Pipila ka estadistika. Usa ka gamay nga visualization. Usa ka butang nga gibuhat sa tanan sa usa ka degree o sa lain. Wala nahibal-an nga adunay ngalan alang niini
- "Pagbalik-balik" β labing taas nga pagpreserbar sa tanan nga mga parameter sa kalikopan, mga input ug mga output aron ang eksperimento mahimong masubli sa higayon nga mahimo. Ang labing hinungdanon nga termino alang sa usa ka palibot nga pagsulay sa eksperimento!
Busa:
Alteryx
Cool nga interface, sama sa usa ka dulaan. Ang scalability, siyempre, medyo lisud. Busa, ang Citizen nga komunidad sa mga inhenyero sa palibot sa mao usab nga uban sa tchotchkes sa pagdula. Anaa ra ang Analytics sa usa ka botelya. Nagpahinumdom kanako sa usa ka komplikado sa spectral-correlation data analysis , nga giprograma sa dekada 90.
Anaconda
Komunidad sa palibot sa mga eksperto sa Python ug R. Ang open source dako kaayo sumala niana. Kini nahimo nga gigamit kini sa akong mga kauban sa tanan nga oras. Pero wala ko kabalo.
DataBricks
Naglangkob sa tulo ka opensource nga mga proyekto - ang mga developer sa Spark nakatigom og daghang salapi sukad sa 2013. Kinahanglan gyud nako nga mokutlo sa wiki:
"Niadtong Setyembre 2013, gipahibalo sa Databricks nga nakataas kini $13.9 milyon gikan sa Andreessen Horowitz. Ang kompanya nakataas ug dugang nga $33 milyon sa 2014, $60 milyon sa 2016, $140 milyon sa 2017, $250 milyon sa 2019 (Peb) ug $400 milyon sa 2019 (Okt)β!!!
Ang ubang mga bantugan nga mga tawo miputol sa Spark. Wala ko kabalo, sorry!
Ug ang mga proyekto mao ang:
- Lanaw ang Delta - Ang ACID sa Spark bag-o lang gipagawas (kung unsa ang among gipangandoy sa Elasticsearch) - gihimo kini nga database: rigid schema, ACID, pag-awdit, mga bersyon...
- Agos sa ML - pagsubay, pagputos, pagdumala ug pagtipig sa mga modelo.
- Koala - Pandas DataFrame API sa Spark - Pandas - Python API alang sa pagtrabaho sa mga lamesa ug datos sa kinatibuk-an.
Mahimo nimong tan-awon ang Spark para sa mga wala kaila o nakalimot: . Nagtan-aw ko sa mga video nga adunay mga pananglitan gikan sa gamay nga boring apan detalyado nga pagkonsulta nga mga woodpecker: DataBricks para sa Data Science () ug para sa Data Engineering ().
Sa laktud, gikuha sa Databricks ang Spark. Bisan kinsa nga gusto nga mogamit sa Spark nga normal sa panganod nagkuha sa DataBricks nga walaβy pagduha-duha, ingon nga gituyo π Ang Spark mao ang panguna nga kalainan dinhi.
Nahibal-an nako nga ang Spark Streaming dili tinuod nga peke nga realtime o microbatching. Ug kung kinahanglan nimo ang tinuod nga Tinuod nga oras, naa kini sa Apache STORM. Ang tanan usab nag-ingon ug nagsulat nga ang Spark mas maayo kaysa MapReduce. Kini ang slogan.
DATAIKU
Cool nga end-to-end nga butang. Adunay daghang mga ad. Wala ko kasabot kung unsa kini lahi sa Alteryx?
DataRobot
Ang Paxata alang sa pag-andam sa datos usa ka bulag nga kompanya nga gipalit sa Data Robots kaniadtong Disyembre 2019. Gipataas namo ang 20 MUSD ug gibaligya. Tanan sa 7 ka tuig.
Pag-andam sa datos sa Paxata, dili Excel - tan-awa dinhi: .
Adunay mga awtomatik nga pagpangita ug mga sugyot alang sa pag-apil tali sa duha ka mga dataset. Usa ka maayo nga butang - aron masabtan ang datos, adunay labi pa nga paghatag gibug-aton sa kasayuran sa teksto ().
Ang Data Catalog usa ka maayo kaayo nga katalogo sa walay pulos nga "live" nga mga dataset.
Makapainteres usab kung giunsa ang mga direktoryo naporma sa Paxata ().
"Sumala sa analista nga kompanya , ang software nahimong posible pinaagi sa pag-uswag sa , ug ang pamaagi sa pag-cache sa datos. Ang software naggamit mga algorithm aron masabtan ang kahulogan sa mga kolum sa lamesa sa datos ug mga algorithm sa pag-ila sa pattern aron makit-an ang potensyal nga mga duplicate sa usa ka set sa datos. Gigamit usab niini ang pag-indeks, pag-ila sa pattern sa teksto ug uban pang mga teknolohiya nga tradisyonal nga nakit-an sa social media ug software sa pagpangita.
Ang panguna nga produkto sa Data Robot mao ang . Ang ilang slogan gikan sa Model to Enterprise Application! Nakit-an nako ang pagkonsulta alang sa industriya sa lana nga may kalabotan sa krisis, apan kini bawal ug dili makapainteres: . Gitan-aw nako ang ilang mga video sa Mops o MLops (). Kini usa ka Frankenstein nga gitigum gikan sa 6-7 nga pag-angkon sa lainlaing mga produkto.
Siyempre, kini nahimong tin-aw nga ang usa ka dako nga team sa Data Scientists kinahanglan nga adunay ingon nga usa ka palibot alang sa pagtrabaho uban sa mga modelo, kon dili sila makahimo og daghan niini ug dili gayud mag-deploy bisan unsa. Ug sa atong oil ug gas upstream reality, kung makahimo pa lang ta ug usa ka malampuson nga modelo, dako na kana nga pag-uswag!
Ang proseso mismo makapahinumdom kaayo sa trabaho nga adunay mga sistema sa disenyo sa geology-geophysics, pananglitan . Ang tanan nga dili kaayo tapolan naghimo ug nag-usab sa mga modelo. Pagkolekta sa datos sa modelo. Dayon naghimo sila og reference nga modelo ug gipadala kini sa produksyon! Taliwala, ingnon ta, usa ka modelo sa geological ug usa ka modelo sa ML, makit-an nimo ang daghang parehas.
Domino
Pagpasiugda sa bukas nga plataporma ug kolaborasyon. Ang mga tiggamit sa negosyo gidawat nga walay bayad. Ang ilang Data Lab parehas kaayo sa sharepoint. (Ug ang ngalan kusganon nga gipunting sa IBM). Ang tanang eksperimento nagsumpay sa orihinal nga dataset. Unsa ka pamilyar kini :) Sama sa among praktis - pipila ka mga datos ang giguyod sa modelo, unya kini gilimpyohan ug gibutang sa kahusay sa modelo, ug kining tanan nagpuyo na didto sa modelo ug ang mga tumoy dili makit-an sa tinubdan nga datos .
Ang Domino adunay cool nga virtualization sa imprastraktura. Gitigum nako ang makina sa daghang mga core nga gikinahanglan sa usa ka segundo ug miadto sa pag-ihap. Giunsa kini pagbuhat dili dayon klaro. Ang Docker bisan asa. Daghang kagawasan! Ang bisan unsang mga workspace sa pinakabag-o nga mga bersyon mahimong konektado. Parallel nga paglunsad sa mga eksperimento. Pagsubay ug pagpili sa mga malampuson.
Sama sa DataRobot - ang mga resulta gipatik alang sa mga tiggamit sa negosyo sa porma sa mga aplikasyon. Para sa labi na nga mga "stakeholders". Ug ang aktuwal nga paggamit sa mga modelo gibantayan usab. Tanan para sa Pugs!
Dili nako hingpit nga masabtan kung giunsa ang komplikado nga mga modelo natapos sa produksiyon. Usa ka matang sa API ang gihatag aron pakan-on sila sa datos ug makakuha og mga resulta.
H2O
Ang Driveless AI usa ka compact ug intuitive nga sistema alang sa Supervised ML. Ang tanan sa usa ka kahon. Dili kini hingpit nga klaro dayon bahin sa backend.
Ang modelo awtomatiko nga giputos sa usa ka REST server o Java App. Nindot ni nga ideya. Daghan na ang nahimo para sa Interpretability ug Explainability. Paghubad ug pagpatin-aw sa mga resulta sa modelo (Unsa ang kinaiyanhon nga dili ikapatin-aw, kung dili ang usa ka tawo makakalkula sa parehas?).
Sa unang higayon, usa ka case study mahitungod sa unstructured data ug . Taas nga kalidad nga litrato sa arkitektura. Ug sa kinatibuk-an ganahan ko sa mga hulagway.
Adunay usa ka dako nga open source H2O framework nga dili hingpit nga klaro (usa ka hugpong sa mga algorithm / librarya?). Ang imong kaugalingong biswal nga laptop nga walay programming sama sa Jupiter (). Gibasa usab nako ang bahin sa Pojo ug Mojo - H2O nga mga modelo nga giputos sa Java. Ang una prangka, ang ikaduha nga adunay pag-optimize. Ang H20 mao lamang ang(!) Kang kinsa gilista ni Gartner ang text analytics ug NLP isip ilang mga kalig-on, ingon man ang ilang mga paningkamot mahitungod sa Explanability. Importante kaayo kini!
Sa parehas nga lugar: taas nga pasundayag, pag-optimize ug sumbanan sa industriya sa natad sa panagsama sa hardware ug panganod.
Ug lohikal ang kahuyang - Ang Driverles AI huyang ug pig-ot kon itandi sa ilang open source. Ang pag-andam sa datos bakol kon itandi sa Paxata! Ug wala nila gibalewala ang data sa industriya - stream, graph, geo. Aw, ang tanan dili mahimong maayo.
KAHAYAG
Ganahan ko sa 6 nga espesipiko kaayo, makapaikag kaayo nga mga kaso sa negosyo sa main page. Lig-on nga OpenSource.
Gipaubos sila ni Gartner gikan sa mga lider ngadto sa mga bisyonaryo. Ang dili maayo nga pagkita sa salapi usa ka maayong timaan alang sa mga tiggamit, tungod kay ang Lider dili kanunay ang labing kaayo nga kapilian.
Ang yawe nga pulong, sama sa H2O, gipadako, nga nagpasabut sa pagtabang sa mga kabus nga siyentista sa datos sa lungsuranon. Kini ang unang higayon nga adunay gisaway tungod sa pasundayag sa usa ka pagrepaso! Makapainteres? Sa ato pa, adunay daghan kaayo nga gahum sa pag-compute nga ang pasundayag dili mahimo nga usa ka sistematikong problema sa tanan? Si Gartner adunay bahin sa kini nga pulong nga "Gidugangan" , nga dili maabot.
Ug ang KNIME daw mao ang una nga dili Amerikano sa pagrepaso! (Ug ang among mga tigdesinyo ganahan kaayo sa ilang landing page. Katingad-an nga mga tawo.
MathWorks
Ang MatLab usa ka karaan nga honorary nga kauban nga nailhan sa tanan! Toolboxes alang sa tanang bahin sa kinabuhi ug sitwasyon. Usa ka butang nga lahi kaayo. Sa tinuud, daghan ug daghan ug daghang matematika alang sa tanan sa kinabuhi!
Usa ka Simulink add-on nga produkto alang sa disenyo sa sistema. Nagkutkot ako sa mga toolbox alang sa Digital Twins - Wala ako makasabut bisan unsa bahin niini, apan daghan na ang nasulat. Kay . Sa kinatibuk-an, kini usa ka sukaranan nga lahi nga produkto gikan sa giladmon sa matematika ug engineering. Aron makapili ug piho nga mga toolkit sa matematika. Matod ni Gartner, ang ilang mga problema parehas sa mga intelihente nga inhenyero - walaβy kolaborasyon - ang tanan naglibot sa ilang kaugalingon nga modelo, walaβy demokrasya, walaβy katin-awan.
RapidMiner
Nakakita na ako ug daghang nadungog kaniadto (kauban ang Matlab) sa konteksto sa maayong bukas nga gigikanan. Nagkalot ko gamay sa TurboPrep sama sa naandan. Interesado ko kon unsaon pagkuha og limpyo nga datos gikan sa hugaw nga datos.
Pag-usab imong makita nga ang mga tawo maayo base sa 2018 nga mga materyales sa marketing ug ang makalilisang nga mga tawo nga nagsultig Iningles sa feature demo.
Ug ang mga tawo gikan sa Dortmund sukad 2001 nga adunay lig-on nga background sa Aleman)
Wala gihapon ko makasabut gikan sa site kung unsa gyud ang magamit sa bukas nga gigikanan - kinahanglan nimo nga magkalot og lawom. Maayo nga mga video bahin sa pag-deploy ug mga konsepto sa AutoML.
Walaβy espesyal bahin sa backend sa RapidMiner Server. Mahimo kini nga compact ug molihok nga maayo sa premium nga wala sa kahon. Giputos kini sa Docker. Gipaambit nga palibot lamang sa RapidMiner server. Ug unya adunay Radoop, data gikan sa Hadoop, pag-ihap sa mga rhymes gikan sa Spark sa Studio workflow.
Sama sa gipaabot, ang mga batan-ong mainit nga tigbaligya nga "nagbaligya sa mga striped sticks" nagpalihok kanila. Si Gartner, bisan pa, nagtagna sa ilang umaabot nga kalampusan sa wanang sa Enterprise. Makatigom ka ug kuwarta didto. Kabalo ang mga German kung unsaon pagbuhat ani, holy-holy :) Ayaw hisgoti ang SAP!!!
Daghan silag nahimo para sa mga lungsoranon! Apan gikan sa panid imong makita nga si Gartner nag-ingon nga sila nanlimbasug sa kabag-ohan sa pagbaligya ug wala nakig-away alang sa gilapdon sa coverage, apan alang sa ganansya.
Nagpabilin SAS ΠΈ Tibco tipikal nga mga tigbaligya sa BI alang kanako ... Ug ang duha anaa sa pinakataas, nga nagpamatuod sa akong pagsalig nga ang normal nga DataScience lohikal nga nagtubo
gikan sa BI, ug dili gikan sa mga panganod ug mga imprastraktura sa Hadoop. Gikan sa negosyo, kana, ug dili gikan sa IT. Sama sa Gazpromneft pananglitan: , Ang usa ka hamtong nga palibot sa DSML mitubo gikan sa lig-on nga mga gawi sa BI. Apan tingali kini smacky ug mapihigon ngadto sa MDM ug uban pang mga butang, kinsa nahibalo.
SAS
Wala kaayoy ikasulti. Lamang ang klaro nga mga butang.
TIBCO
Ang estratehiya gibasa sa usa ka shopping list sa usa ka panid nga panid sa Wiki. Oo, taas nga istorya, apan 28!!! Charles. Gipalit nako ang BI Spotfire (2007) sa akong techno-youth. Ug usab ang pagtaho gikan sa Jaspersoft (2014), dayon kutob sa tulo ka predictive analytics vendors Insightful (S-plus) (2008), Statistica (2017) ug Alpine Data (2017), pagproseso sa panghitabo ug streaming Streambase System (2013), MDM Orchestra Networks (2018) ug Snappy Data (2019) in-memory nga plataporma.
Hello Frankie!
Source: www.habr.com