Ba shi yiwuwa a bayyana dalilin da ya sa na karanta wannan. Ina da lokaci kawai kuma ina sha'awar yadda kasuwa ke aiki. Kuma wannan ya riga ya zama cikakkiyar kasuwa a cewar Gartner tun daga 2018. Daga 2014-2016 an kira shi ci-gaba analytics (tushen a BI), a cikin 2017 - Data Science (Ban san yadda za a fassara wannan zuwa Rasha). Ga masu sha'awar motsin masu siyarwa a kusa da dandalin, za ku iya duba. Kuma zan yi magana game da murabba'in 2020, musamman tunda canje-canjen can tun daga 2019 ba su da yawa: SAP ya ƙaura kuma Altair ya sayi Datawatch.
Wannan ba tsarin bincike ba ne ko tebur. Ra'ayin mutum ɗaya, kuma daga ra'ayi na geophysicist. Amma koyaushe ina sha'awar karanta Gartner MQ, suna tsara wasu maki daidai. Don haka ga abubuwan da na ba da hankali ga duka biyun ta hanyar fasaha, ta kasuwa, da falsafa.
Wannan ba ga mutanen da ke zurfi cikin batun ML ba, amma ga mutanen da ke sha'awar abin da ke faruwa gabaɗaya a kasuwa.
Kasuwar DSML ita kanta tana cikin ma'ana tsakanin ayyukan BI da Cloud AI masu haɓakawa.
Abubuwan da aka fi so da sharuddan farko:
- "Shugaba bazai zama mafi kyawun zabi ba" - Shugaban kasuwa ba lallai ba ne abin da kuke buƙata. Mai gaggawar gaggawa! Sakamakon rashin abokin ciniki mai aiki, koyaushe suna neman mafita "mafi kyau", maimakon "dace".
- "Model aiki aiki" - MOPs. Kuma kowa yana da wahala tare da pugs! - (jigon pug mai sanyi yana sa samfurin yayi aiki).
- "Yanayin littafin rubutu" muhimmin ra'ayi ne inda lamba, sharhi, bayanai da sakamako suka taru. Wannan a bayyane yake, alƙawarin kuma yana iya rage adadin lambar UI sosai.
- "Kafe a OpenSource" - da kyau - yana da tushe a buɗaɗɗen tushe.
- "Masana Kimiyyar Bayanan Jama'a" - irin waɗannan dudes masu sauƙi, irin waɗannan lamers, ba masana ba, waɗanda ke buƙatar yanayin gani da kowane nau'i na kayan taimako. Ba za su yi code ba.
- "Dimokradiyya" - sau da yawa ana amfani da shi don nufin "sadar da mutane da yawa." Za mu iya cewa "demokradiyya da bayanai" maimakon "yantar da bayanan" mai haɗari da muke amfani da su. "Dimokradiyya" koyaushe doguwar wutsiya ce kuma duk dillalai suna bin ta. Rasa cikin ƙarfin ilimi - samun damar shiga!
- "Binciken Bayanai - EDA" - la'akari da waɗannan hanyoyin da ake da su. Wasu ƙididdiga. Dan gani kadan. Wani abu da kowa ya yi zuwa mataki ɗaya ko wani. Ban san akwai suna don wannan ba
- "Reproducibility" - Matsakaicin adana duk sigogin muhalli, bayanai da abubuwan da aka fitar ta yadda za a iya maimaita gwajin da zarar an aiwatar. Kalma mafi mahimmanci don yanayin gwaji na gwaji!
Saboda haka:
Alteryx
Cool interface, kamar abin wasan yara. Scalability, ba shakka, yana da ɗan wahala. Saboda haka, jama'ar Citizen na injiniyoyi a kusa da su tare da tchochkes don yin wasa. Nazari duk naku ne a cikin kwalba daya. Tunatar da ni game da hadaddun nazarin bayanan da suka dace , wanda aka tsara a cikin 90s.
Anaconda
Al'umma a kusa da Python da masana R. Bude tushen yana da girma daidai da haka. Ya zama cewa abokan aiki na suna amfani da shi koyaushe. Amma ban sani ba.
DataBricks
Ya ƙunshi ayyukan buɗewa guda uku - masu haɓaka Spark sun tara kuɗi mai yawa tun daga 2013. Dole ne in faɗi wiki:
"A cikin Satumba 2013, Databrick ya sanar da cewa ya tara dala miliyan 13.9 daga Andreessen Horowitz. Kamfanin ya tara ƙarin dala miliyan 33 a cikin 2014, $ 60 miliyan a 2016, $ 140 miliyan a 2017, $ 250 miliyan a 2019 (Feb) da $ 400 miliyan a 2019 (Oktoba)”!!!
Wasu manyan mutane sun yanke Spark. Ban sani ba, yi hakuri!
Kuma ayyukan sune:
- Lake Delta - ACID akan Spark an fito da shi kwanan nan (abin da muka yi mafarki game da Elasticsearch) - ya juya shi zuwa bayanan bayanai: m makirci, ACID, dubawa, sigogin ...
- Gudun ML - bin diddigin, marufi, gudanarwa da adana samfuran.
- koalas Pandas DataFrame API akan Spark - Pandas - Python API don aiki tare da teburi da bayanai gabaɗaya.
Kuna iya duba Spark ga waɗanda ba su sani ba ko suka manta: . Na kalli bidiyo tare da misalan daga ɗan ƙaramin gungu amma cikakkun bayanai masu ba da shawara na itace: DataBricks don Kimiyyar Bayanai (kuma don Injiniyan Data ().
A takaice, Databrick yana fitar da Spark. Duk wanda yake son amfani da Spark akai-akai a cikin gajimare yana ɗaukar DataBricks ba tare da jinkiri ba, kamar yadda aka yi niyya 🙂 Spark shine babban mai bambanta anan.
Na koyi cewa Spark Streaming ba ainihin lokacin karya ba ne ko microbatching. Kuma idan kuna buƙatar ainihin ainihin lokacin, yana cikin Apache STORM. Kowa kuma ya ce ya rubuta cewa Spark ya fi MapReduce kyau. Wannan ita ce taken.
DATAIKU
Cool karshen-zuwa-ƙarshen abu. Akwai tallace-tallace da yawa. Ban gane yadda ya bambanta da Alteryx ba?
DataRobot
Paxata don shirya bayanai wani kamfani ne daban wanda Data Robots ya siya a watan Disamba 2019. Mun tara MUSD 20 muka sayar. Duk a cikin shekaru 7.
Shirye-shiryen bayanai a cikin Paxata, ba Excel ba - duba nan: .
Akwai dubawa ta atomatik da shawarwari don haɗawa tsakanin saitin bayanai guda biyu. Babban abu - don fahimtar bayanan, za a sami ƙarin fifiko kan bayanan rubutu ().
Kas ɗin bayanai shine ingantaccen katalojin na bayanan “rayuwa” mara amfani.
Yana da ban sha'awa kuma yadda ake ƙirƙirar kundin adireshi a cikin Paxata ().
“A cewar kamfanin manazarta , software ɗin yana yiwuwa ta hanyar ci gaba a ciki , da Hanyar caching data. Software yana amfani Algorithms don fahimtar ma'anar ginshiƙan tebur na bayanai da algorithms gane ƙirar don nemo yuwuwar kwafi a cikin saitin bayanai. Har ila yau, tana amfani da firikwensin ƙididdiga, fahimtar tsarin rubutu da sauran fasahohin da aka saba samu a cikin kafofin watsa labarun da software na bincike."
Babban samfurin Robot Data shine . Taken su yana daga Model zuwa Aikace-aikacen Kasuwanci! Na sami tuntuɓar masana'antar mai dangane da rikicin, amma abin banal da rashin sha'awa: . Na kalli bidiyon su akan Mops ko MLops (). Wannan shi ne irin wannan Frankenstein tattara daga 6-7 sayayya na daban-daban kayayyakin.
Tabbas, ya bayyana a fili cewa babban ƙungiyar Masanan Kimiyyar Bayanai dole ne su sami irin wannan yanayin don aiki tare da samfuran, in ba haka ba za su samar da yawancin su kuma ba za su taɓa tura wani abu ba. Kuma a cikin gaskiyar man fetur da iskar gas ɗinmu, idan da za mu iya ƙirƙirar samfuri ɗaya mai nasara, wannan zai zama babban ci gaba!
Tsarin da kansa ya kasance yana tunawa da aikin tare da tsarin ƙira a cikin ilimin geology-geophysics, alal misali . Duk wanda bai yi kasala ba yana yin kuma yana gyara samfura. Tattara bayanai a cikin samfurin. Sa'an nan kuma sun yi samfurin tunani kuma sun aika da shi zuwa samarwa! Tsakanin, ka ce, samfurin ƙasa da samfurin ML, za ka iya samun abubuwa da yawa a cikin kowa.
domino
Ƙaddamarwa kan dandalin buɗe ido da haɗin gwiwa. Ana shigar da masu amfani da kasuwanci kyauta. Su Data Lab yayi kama da sharepoint. (Kuma sunan yana da ƙarfi na IBM). Duk gwaje-gwajen suna haɗe zuwa saitunan bayanan asali. Yadda aka saba da wannan :) Kamar yadda a cikin aikinmu - an jawo wasu bayanai a cikin samfurin, sa'an nan kuma an tsaftace shi kuma an tsara shi a cikin tsari, kuma duk wannan ya riga ya rayu a can a cikin samfurin kuma ba za a iya samun iyakar ba a cikin bayanan tushen. .
Domino yana da kyawawan abubuwan more rayuwa. Na haɗa injin ɗin gwargwadon buƙatun da ake buƙata a cikin daƙiƙa guda kuma na je ƙidayar. Har yanzu dai ba a bayyana yadda aka yi ba. Docker yana ko'ina. Yawancin 'yanci! Ana iya haɗa kowane wuraren aiki na sabbin sigogin. Daidaita ƙaddamar da gwaje-gwaje. Bibiya da zaɓin waɗanda suka yi nasara.
Daidai da DataRobot - ana buga sakamakon don masu amfani da kasuwanci ta hanyar aikace-aikace. Domin musamman masu hazaka "masu ruwa da tsaki". Kuma ana lura da ainihin amfani da samfuran. Komai don Pugs!
Ban fahimci cikakken yadda hadaddun samfura ke ƙarewa a samarwa ba. Ana ba da wasu nau'ikan API don ciyar da su bayanai da samun sakamako.
H2O
Driveless AI babban tsari ne mai saurin fahimta don ML mai kulawa. Komai a cikin akwati daya. Ba a bayyana gaba ɗaya ba nan da nan game da baya.
Ana tattara samfurin ta atomatik cikin sabar REST ko Java App. Wannan babban ra'ayi ne. An yi abubuwa da yawa don Fassara da Bayyanawa. Fassara da bayanin sakamakon samfurin (Abin da ya kamata ba za a iya bayyana shi ba, in ba haka ba mutum zai iya lissafin wannan?).
A karo na farko, nazarin shari'ar game da bayanan da ba a tsara ba da kuma . Hoton gine-gine mai inganci. Kuma gabaɗaya ina son hotuna.
Akwai babban tsarin H2O mai buɗaɗɗen tushe wanda bai fito fili ba (saitin algorithms/laburare?). Naku kwamfutar tafi-da-gidanka na gani ba tare da shirye-shirye kamar Jupiter ba (). Na kuma karanta game da samfuran Pojo da Mojo - H2O da aka nannade cikin Java. Na farko shine madaidaiciya, na biyu tare da ingantawa. H20 su ne kawai (!) waɗanda Gartner ya jera ƙididdigar rubutu da NLP azaman ƙarfin su, da kuma ƙoƙarinsu game da Bayyanawa. Yana da matukar muhimmanci!
A cikin wuri guda: babban aiki, haɓakawa da daidaitattun masana'antu a fagen haɗin kai tare da kayan aiki da girgije.
Kuma raunin yana da ma'ana - Driverles AI yana da rauni kuma kunkuntar idan aka kwatanta da bude tushen su. Shirye-shiryen bayanan gurgu ne idan aka kwatanta da Paxata! Kuma suna watsi da bayanan masana'antu - rafi, jadawali, geo. To, komai ba zai iya zama mai kyau kawai ba.
SANI
Ina son 6 takamaiman takamaiman, shari'o'in kasuwanci masu ban sha'awa akan babban shafi. Mai ƙarfi OpenSource.
Gartner ya rage su daga shugabanni zuwa masu hangen nesa. Samun kuɗi mara kyau alama ce mai kyau ga masu amfani, ganin cewa Jagora ba koyaushe shine mafi kyawun zaɓi ba.
Mabuɗin kalmar, kamar yadda yake a cikin H2O, an ƙara shi, wanda ke nufin taimakawa masana kimiyyar bayanan ɗan ƙasa matalauta. Wannan shi ne karo na farko da aka soki wani don yin aiki a cikin bita! Abin sha'awa? Wato, akwai ƙarfin kwamfuta da yawa wanda aikin ba zai iya zama matsalar tsarin kwata-kwata ba? Gartner yana da game da wannan kalmar "Augmented" , wanda ba a iya isa gare shi ba.
Kuma KNIME alama ita ce ba Ba-Amurke ta farko a cikin bita! (Kuma masu zanen mu suna matukar son shafin saukar su. Mutane masu ban mamaki.
MathWorks
MatLab tsohon abokin girmamawa ne wanda kowa ya sani! Akwatunan kayan aiki don kowane fage na rayuwa da yanayi. Wani abu daban. A zahiri, kuri'a da yawa da yawa na lissafi don komai na rayuwa!
Ƙarar samfurin Simulink don ƙirar tsarin. Na tona cikin akwatunan kayan aiki don Twins na Dijital - Ban fahimci komai game da shi ba, amma an rubuta da yawa. Domin . Gabaɗaya, wannan samfuri ne na asali daban-daban daga zurfin ilimin lissafi da injiniyanci. Don zaɓar takamaiman kayan aikin lissafi. A cewar Gartner, matsalolinsu iri daya ne da na injiniyoyi masu kaifin basira - babu hadin kai - kowa yana ta yayatawa a tsarin nasa, babu dimokuradiyya, babu fayyace.
RajiNin
Na ci karo kuma na ji da yawa a baya (tare da Matlab) a cikin mahallin ingantaccen tushe mai kyau. Na tona kadan cikin TurboPrep kamar yadda na saba. Ina sha'awar yadda ake samun tsaftataccen bayanai daga bayanan datti.
Bugu da ƙari, za ku iya ganin cewa mutane suna da kyau bisa ga kayan kasuwancin 2018 da kuma mugayen masu magana da Ingilishi a fasalin fasalin.
Kuma mutane daga Dortmund tun 2001 tare da asalin Jamusanci)
Har yanzu ban gane daga rukunin yanar gizon menene ainihin samuwa a buɗaɗɗen tushe ba - kuna buƙatar zurfafa zurfafa. Kyakkyawan bidiyo game da turawa da ra'ayoyin AutoML.
Babu wani abu na musamman game da goyon bayan RapidMiner Server ko dai. Zai yiwu ya zama m kuma yayi aiki da kyau akan ƙima daga cikin akwatin. An shirya shi a cikin Docker. Mahalli da aka raba kawai akan sabar RapidMiner. Sannan akwai Radoop, bayanai daga Hadoop, kirga waƙoƙi daga Spark a cikin aikin Studio.
Kamar yadda aka sa ran, matasa masu sayar da zafi "masu sayar da sandunan tsiri" sun motsa su. Gartner, duk da haka, ya annabta nasarar su a nan gaba a sararin Kasuwanci. Kuna iya tara kuɗi a can. Jamusawa sun san yadda ake yin wannan, mai tsarki-tsarki :) Kada ku ambaci SAP !!!
Suna yi wa ’yan ƙasa da yawa! Amma daga shafin za ku iya ganin cewa Gartner ya ce suna kokawa da haɓaka tallace-tallace kuma ba su yin gwagwarmaya don girman ɗaukar hoto, amma don riba.
Tsaya SAS и Tibco masu sayar da BI na al'ada a gare ni ... Kuma duka biyun suna kan gaba sosai, wanda ke tabbatar da kwarin gwiwa na cewa al'ada DataScience yana girma a hankali.
daga BI, kuma ba daga gizagizai da abubuwan more rayuwa na Hadoop ba. Daga kasuwanci, wato, ba daga IT ba. Kamar a cikin Gazpromneft misali: , Babban yanayin DSML yana girma daga ayyukan BI masu ƙarfi. Amma watakila yana da smaky da son zuciya ga MDM da sauran abubuwa, wanda ya sani.
SAS
Babu da yawa da za a ce. Sai abubuwan bayyane.
TIBCO
Ana karanta dabarun a cikin jerin siyayya akan shafin Wiki mai tsayin shafi. Ee, dogon labari, amma 28 !!! Charles. Na sayi BI Spotfire (2007) baya a cikin samari na fasaha. Hakanan kuma bayar da rahoto daga Jaspersoft (2014), sannan kusan masu siyar da ƙididdigar tsinkaya guda uku Insightful (S-plus) (2008), Statistica (2017) da Alpine Data (2017), sarrafa taron da tsarin Streambase System (2013), MDM Orchestra Hanyoyin sadarwa (2018) da Snappy Data (2019) dandali na ƙwaƙwalwar ajiya.
Hello Frankie!
source: www.habr.com