ʻAʻole hiki ke wehewehe i ke kumu o kaʻu heluhelu ʻana i kēia. Ua loaʻa iaʻu ka manawa a makemake wau i ka hana ʻana o ka mākeke. A ʻo kēia kahi mākeke piha piha e like me Gartner mai 2018. Mai ka makahiki 2014-2016, ua kapa ʻia ʻo ia ka analytics holomua (roots in BI), ma 2017 - Data Science (ʻAʻole maopopo iaʻu pehea e unuhi ai i kēia i ka Lūkini). No ka poʻe hoihoi i ka neʻe ʻana o nā mea kūʻai aku a puni ka square, hiki iā ʻoe nana aku. A e kamaʻilio wau e pili ana i ka square 2020, ʻoi aku ka liʻiliʻi o nā loli ma laila mai ka makahiki 2019: neʻe aku ʻo SAP a kūʻai ʻo Altair iā Datawatch.
ʻAʻole kēia he loiloi ʻōnaehana a i ʻole he papa. He manaʻo hoʻokahi, mai ka manaʻo o kahi geophysicist. Akā makemake mau wau e heluhelu iā Gartner MQ, hoʻokumu lākou i kekahi mau kikoʻī. No laila, eia nā mea aʻu i nānā ai i ka ʻenehana, ka mākeke, a me ka noʻonoʻo.
ʻAʻole kēia no ka poʻe hohonu i ke kumuhana o ML, akā no ka poʻe hoihoi i nā mea maʻamau i ka mākeke.
ʻO ka mākeke DSML ponoʻī ka pūnana ma waena o nā lawelawe hoʻomohala BI a me Cloud AI.
Nā huaʻōlelo punahele a me nā huaʻōlelo mua:
- "ʻAʻole paha ʻo kahi alakaʻi ke koho maikaʻi loa" — ʻAʻole ʻo ke alakaʻi mākeke ka mea āu e pono ai. Kokoke loa! Ma muli o ka nele o ka mea kūʻai aku hana, ke ʻimi mau nei lākou i ka hopena "maikaʻi", ma mua o ka "kūpono".
- "Ka hana hoʻohālike" - i pōkole ʻia e like me nā MOP. A pilikia nā kānaka a pau me nā pugs! - (ʻoluʻolu pug theme hana ke kumu hoʻohālike).
- "Kaiapuni puke puke" He manaʻo koʻikoʻi kahi e hui pū ai ke code, nā manaʻo, ka ʻikepili a me nā hopena. He maopopo loa kēia, hoʻohiki a hiki ke hōʻemi nui i ka nui o ka code UI.
- "Kuhi ʻia ma OpenSource" - ʻōlelo maikaʻi - e aʻa i ke kumu ākea.
- "Ka Poʻe ʻepekema ʻIke Makaʻāinana" - nā kāne maʻalahi, nā lamers, ʻaʻole nā poʻe akamai, ka poʻe pono i kahi ʻano ʻike a me nā ʻano mea kōkua āpau. ʻAʻole lākou e code.
- "Democracy" — hoʻohana pinepine ʻia i ka manaʻo "e hoʻolako i kahi ākea o ka poʻe." Hiki iā mākou ke ʻōlelo "demokratize i ka ʻikepili" ma kahi o ka "hoʻokuʻu i ka ʻikepili" weliweli a mākou i hoʻohana ai. He huelo lōʻihi ka "Democratise" a holo nā mea kūʻai a pau ma hope o ia. Nalo i ka ʻike ikaika - loaʻa i ka hiki ke loaʻa!
- "Ka Ikepili Ikepili - EDA" - noʻonoʻo i kēia mau mea i loaʻa. Kekahi mau helu. ʻO kahi hiʻohiʻona liʻiliʻi. ʻO kahi mea e hana ai kēlā me kēia kanaka i kekahi degere a i ʻole. ʻAʻole i ʻike he inoa no kēia
- "Reproducibility" - ka mālama nui ʻana o nā ʻāpana kaiapuni āpau, nā mea hoʻokomo a me nā mea hoʻopuka i hiki ke hana hou ʻia ka hoʻokolohua hoʻokahi. ʻO ka huaʻōlelo koʻikoʻi no kahi kaiapuni hoʻokolohua hoʻokolohua!
No laila:
ʻO ke alaka
Maikaʻi, e like me ka pāʻani. Scalability, ʻoiaʻiʻo, he mea paʻakikī. No laila, ʻo ke kaiāulu Citizen o nā ʻenekini a puni ka like me nā tchotchkes e pāʻani. Nau wale nō nā Analytics i loko o ka ʻōmole hoʻokahi. Hoʻomanaʻo mai iaʻu i kahi paʻakikī o ka nānā ʻana i ka spectral-correlation data , i hoʻolālā ʻia i nā makahiki 90.
Anaconda
Kaiāulu a puni ʻo Python a me nā loea R. He nui ka open source. Ua ʻike ʻia ua hoʻohana koʻu mau hoa hana i nā manawa a pau. Akā ʻaʻole wau i ʻike.
ʻIkepili Pilikino
Loaʻa i ʻekolu mau papahana opensource - ua hoʻonui nā mea hoʻomohala Spark i ka nui o ke kālā mai ka makahiki 2013. Pono wau e ʻōlelo i ka wiki:
"I Kepakemapa 2013, ua hoʻolaha ʻo Databricks ua hoʻāla ʻo ia i $13.9 miliona mai Andreessen Horowitz. Ua hoʻonui ka hui i $ 33 miliona ma 2014, $ 60 miliona ma 2016, $ 140 miliona ma 2017, $ 250 miliona ma 2019 (Feb) a me $ 400 miliona ma 2019 (ʻOkakopa) "!!!
Ua ʻoki kekahi poʻe nui iā Spark. ʻAʻole maopopo iaʻu, e kala mai!
A ʻo nā papahana:
- ʻO Delta Lake - Ua hoʻokuʻu ʻia ʻo ACID ma Spark (ka mea a mākou i moeʻuhane ai me Elasticsearch) - hoʻohuli iā ia i kahi waihona: rigid schema, ACID, auditing, versions...
- Kahe ML - ka nānā ʻana, ka hoʻopaʻa ʻana, ka hoʻokele a me ka mālama ʻana i nā kumu hoʻohālike.
- Koala - Pandas DataFrame API ma Spark - Pandas - Python API no ka hana ʻana me nā papa a me nā ʻikepili ma ka laulā.
Hiki iā ʻoe ke nānā iā Spark no ka poʻe ʻike ʻole a poina paha: . Ua nānā au i nā wikiō me nā hiʻohiʻona mai ka poʻe kālai lāʻau ʻoluʻolu akā kikoʻī kikoʻī: DataBricks for Data Science () a no ka ʻenehana ʻikepili ().
I ka pōkole, huki ʻo Databricks iā Spark. ʻO ka mea makemake e hoʻohana maʻamau iā Spark i ke ao e lawe iā DataBricks me ka kānalua ʻole, e like me ka manaʻo 🙂 ʻO Spark ka mea ʻokoʻa nui ma aneʻi.
Ua aʻo au ʻaʻole ʻo Spark Streaming i ka manawa maoli a i ʻole microbatching. A inā makemake ʻoe i ka manawa maoli maoli, aia ma Apache STORM. 'Ōlelo a kākau nā kānaka a pau ʻoi aku ka maikaʻi o Spark ma mua o MapReduce. ʻO kēia ka slogan.
DATAIKU
ʻO ka mea hope loa. Nui nā hoʻolaha. ʻAʻole maopopo iaʻu pehea ka ʻokoʻa me Alteryx?
ʻRlelo
ʻO Paxata no ka hoʻomākaukau ʻana i ka ʻikepili kahi hui ʻokoʻa i kūʻai ʻia e Data Robots i Dekemaba 2019. Hoʻonui mākou i 20 MUSD a kūʻai aku. Pau nā makahiki 7.
Hoʻomākaukau ʻikepili ma Paxata, ʻaʻole Excel - ʻike ma aneʻi: .
Aia nā ʻimi ʻimi a me nā noi no ka hui ʻana ma waena o ʻelua mau ʻikepili. He mea nui - e hoʻomaopopo i ka ʻikepili, e ʻoi aku ka nui o ka manaʻo i ka ʻike kikokikona ().
ʻO ka Data Catalog kahi papa inoa maikaʻi loa o nā ʻikepili "ola" pono ʻole.
He mea hoihoi nō hoʻi i ka hoʻokumu ʻia ʻana o nā papa kuhikuhi ma Paxata ().
"E like me ka ʻoihana loiloi , hiki ke lako polokalamu ma o nā holomua i loko , a me ka ʻano hoʻopaʻa ʻikepili. Hoʻohana ka polokalamu algorithms no ka hoʻomaopopo ʻana i ke ʻano o nā kolamu o ka papa ʻikepili a me nā algorithm e ʻike ai i nā kumu hoʻohālike e ʻimi ai i nā kope kope i loko o kahi pūʻulu ʻikepili. Hoʻohana pū ia i ka indexing, text pattern recognition a me nā ʻenehana ʻē aʻe i ʻike maʻamau i loko o ka media media a me ka polokalamu hulina.
ʻO ka huahana nui a Data Robot . ʻO kā lākou slogan mai Model to Enterprise Application! Ua loaʻa iaʻu ke kūkākūkā ʻana no ka ʻoihana ʻaila e pili ana i ka pilikia, akā he banal a hoihoi ʻole ia: . Ua nānā au i kā lākou wikiō ma Mops a i ʻole MLops (). ʻO kēia kahi Frankenstein i hōʻuluʻulu ʻia mai 6-7 loaʻa o nā huahana like ʻole.
ʻOiaʻiʻo, ʻike maopopo ʻia e loaʻa i kahi hui nui o Data Scientists kahi ʻano like ʻole no ka hana ʻana me nā hiʻohiʻona, i ʻole e hana nui lākou a ʻaʻole e kau i kekahi mea. A i loko o kā mākou ʻaila a me ka ʻeaea maoli i uka, inā hiki iā mākou ke hana i hoʻokahi kumu hoʻohālike kūleʻa, ʻo ia ka holomua nui!
ʻO ke kaʻina hana ponoʻī he mea hoʻomanaʻo loa i ka hana me nā ʻōnaehana hoʻolālā i ka geology-geophysics, no ka laʻana . ʻO nā mea a pau ʻaʻole palaualelo e hana a hoʻololi i nā hiʻohiʻona. E hōʻiliʻili i ka ʻikepili i loko o ke kumu hoʻohālike. A laila hana lākou i kahi kumu hoʻohālike a hoʻouna iā ia i ka hana! Ma waena, e ʻōlelo, kahi ʻano hoʻohālike geological a me kahi hiʻohiʻona ML, hiki iā ʻoe ke ʻike i nā mea like.
Domino
ʻO ke koʻikoʻi i ka paepae ākea a me ka laulima. ʻAe ʻia nā mea hoʻohana ʻoihana me ka uku ʻole. Ua like loa kā lākou Data Lab me ka sharepoint. (A ua paʻa ka inoa iā IBM). Hoʻopili nā hoʻokolohua a pau i ka ʻikepili kumu. Pehea ka kamaʻāina o kēia :) E like me kā mākou hana - ua huki ʻia kekahi mau ʻikepili i loko o ke kumu hoʻohālike, a laila hoʻomaʻemaʻe ʻia a hoʻonohonoho ʻia i loko o ke kumu hoʻohālike, a ke noho nei kēia mau mea a pau i ke kumu hoʻohālike a ʻaʻole hiki ke loaʻa nā hopena i ka ʻikepili kumu. .
Loaʻa ʻo Domino i ka virtualization infrastructure maikaʻi. Ua hōʻuluʻulu au i ka mīkini i ka nui o nā cores e like me ka mea e pono ai i ke kekona a hele wau e helu. ʻAʻole maopopo koke ke ʻano o ka hana ʻana. Aia ʻo Docker ma nā wahi āpau. Nui ke kuokoa! Hiki ke hoʻohui ʻia nā wahi hana o nā mana hou loa. Hoʻomaka like o nā hoʻokolohua. Ka hahai ʻana a me ke koho ʻana i nā mea kūleʻa.
E like me DataRobot - ua paʻi ʻia nā hopena no nā mea hoʻohana ʻoihana ma ke ʻano o nā noi. No nā "mea pili". A ke nānā ʻia nei ka hoʻohana maoli ʻana o nā hiʻohiʻona. Nā mea a pau no Pugs!
ʻAʻole maopopo iaʻu i ka hopena o nā hiʻohiʻona paʻakikī i ka hana. Hāʻawi ʻia kekahi ʻano API e hānai iā lākou i ka ʻikepili a loaʻa nā hopena.
H2O
He ʻōnaehana koʻikoʻi a intuitive ʻo Driveless AI no Supervised ML. ʻO nā mea a pau i loko o ka pahu hoʻokahi. ʻAʻole maopopo loa e pili ana i ka hope.
Hoʻopili ʻia ke kumu hoʻohālike i kahi kikowaena REST a i ʻole Java App. He manaʻo maikaʻi kēia. Nui nā mea i hana ʻia no ka Interpretability and Explainability. Ka wehewehe ʻana a me ka wehewehe ʻana i nā hopena o ke kumu hoʻohālike (He aha ka mea pono ʻole e wehewehe ʻia, inā ʻaʻole hiki i ke kanaka ke helu like?).
No ka manawa mua, kahi noiʻi hihia e pili ana i ka ʻikepili i kūkulu ʻole ʻia a . Kiʻi hoʻolālā kiʻekiʻe. A ma ka laulā makemake au i nā kiʻi.
Aia kahi hoʻolālā H2O open source nui ʻaʻole maopopo loa (kahi o nā algorithms / hale waihona puke?). ʻO kāu kamepiula ʻike ponoʻī me ka ʻole o ka polokalamu e like me Jupiter (). Heluhelu pū wau e pili ana iā Pojo a me Mojo - H2O nā hiʻohiʻona i kāʻei ʻia i Java. ʻO ka mua he pololei, ʻo ka lua me ka optimization. ʻO H20 wale nō ka mea (!) Na Gartner i hoʻopaʻa inoa i nā ʻikepili kikokikona a me NLP i ko lākou ikaika, a me kā lākou hoʻoikaika ʻana e pili ana i ka wehewehe. He mea nui loa ia!
Ma kahi hoʻokahi: hana kiʻekiʻe, optimization a me ka maʻamau o ka ʻoihana ma ke kahua o ka hoʻohui ʻana me nā lako a me nā ao.
A pololei ka nawaliwali - He nāwaliwali a haiki ʻo Driverles AI i ko lākou kumu wehe. He ʻoʻopa ka hoʻomākaukau ʻikepili i hoʻohālikelike ʻia me Paxata! A haʻalele lākou i ka ʻikepili ʻenehana - stream, graph, geo. ʻAe, ʻaʻole hiki ke maikaʻi nā mea a pau.
KNIME
Ua makemake au i ka 6 kiko'ī, nā hihia pāʻoihana hoihoi loa ma ka ʻaoʻao nui. OpenSource ikaika.
Ua hoʻohaʻahaʻa ʻo Gartner iā lākou mai nā alakaʻi i ka poʻe ʻike. ʻO ka loaʻa ʻana o ke kālā maikaʻi ʻole he hōʻailona maikaʻi ia no nā mea hoʻohana, ʻoiai ʻaʻole ʻo ke alakaʻi ke koho maikaʻi loa.
ʻO ka huaʻōlelo nui, e like me ka H2O, ua hoʻonui ʻia, ʻo ia hoʻi ke kōkua ʻana i nā ʻepekema data kamaʻāina ʻilihune. ʻO kēia ka manawa mua i hoʻohewa ʻia kekahi no ka hana ma ka loiloi! hoihoi? ʻO ia hoʻi, he nui ka mana helu i hiki ʻole i ka hana ke lilo i pilikia ʻōnaehana? Ua pili ʻo Gartner i kēia huaʻōlelo "Hoʻonui" , hiki ole ke kii.
A ʻo KNIME ka mea mua ʻaʻole ʻAmelika i ka loiloi! (A makemake nui kā mākou mea hoʻolālā i kā lākou ʻaoʻao pae. Ka poʻe ʻē.
MathWorks
He hoa hanohano kahiko ʻo MatLab i ʻike ʻia e nā mea a pau! Nā pahu hana no nā wahi a pau o ke ola a me nā kūlana. He mea ʻokoʻa loa. ʻOiaʻiʻo, nui a nui a nui nā makemakika no nā mea āpau o ke ola!
He huahana hoʻohui Simulink no ka hoʻolālā ʻōnaehana. Ua ʻeli au i loko o nā pahu hana no Digital Twins - ʻaʻole maopopo iaʻu i kekahi mea e pili ana i ia mea, akā nui i kakauia. No ka mea . Ma keʻano laulā, he huahana ʻokoʻa loa kēia mai ka hohonu o ka makemakika a me ka ʻenekinia. No ke koho ʻana i nā mea hana makemakika kikoʻī. Wahi a Gartner, ua like ko lākou mau pilikia me ka poʻe ʻenekinia akamai - ʻaʻohe hui - ʻimi nā mea a pau i kā lākou kumu hoʻohālike, ʻaʻohe demokala, ʻaʻohe wehewehe.
RapidMiner
Ua loaʻa iaʻu a lohe nui ma mua (me Matlab) i ka pōʻaiapili o ke kumu wehe maikaʻi. Ua ʻeli au i loko o TurboPrep e like me ka mea maʻamau. Makemake au i ka loaʻa ʻana o ka ʻikepili maʻemaʻe mai ka ʻikepili lepo.
Hiki iā ʻoe ke ʻike i ka maikaʻi o ka poʻe ma muli o nā mea kūʻai aku 2018 a me nā poʻe ʻōlelo Pelekane weliweli ma ka hiʻohiʻona demo.
A me nā poʻe mai Dortmund mai ka makahiki 2001 me kahi kūlana Kelemania ikaika)
ʻAʻole maopopo iaʻu mai ka pūnaewele i ka mea i loaʻa ma ka open source - pono ʻoe e ʻeli hohonu. Nā wikiō maikaʻi e pili ana i ka hoʻolālā a me nā manaʻo AutoML.
ʻAʻohe mea kūikawā e pili ana i ka RapidMiner Server backend. E paʻa paha ia a hana maikaʻi ma ka premium ma waho o ka pahu. Hoʻopili ʻia ia ma Docker. Kaiapuni kaʻana wale ma ka kikowaena RapidMiner. A laila aia ʻo Radoop, ʻikepili mai Hadoop, helu ʻana i nā mele mai Spark ma Studio workflow.
E like me ka mea i manaʻo ʻia, ua hoʻoneʻe nā mea kūʻai ʻōpio wela "nā mea kūʻai aku i nā lāʻau ʻoniʻoni". Ua wānana naʻe ʻo Gartner i kā lākou kūleʻa i ka wā e hiki mai ana i ka Space Enterprise. Hiki iā ʻoe ke loaʻa kālā ma laila. ʻIke ka poʻe Kelemānia pehea e hana ai i kēia, holy-holy :) Mai haʻi iā SAP!!!
Nui kā lākou hana no nā makaʻāinana! Akā mai ka ʻaoʻao hiki iā ʻoe ke ʻike ua ʻōlelo ʻo Gartner e hakakā nei lākou me nā mea kūʻai aku a ʻaʻole hakakā no ka laulā o ka uhi, akā no ka loaʻa kālā.
Noho SAS и ʻO Tibco nā mea kūʻai maʻamau BI noʻu ... A aia lāua ʻelua ma luna loa, e hōʻoia ana i koʻu hilinaʻi e ulu pono ana ka DataScience maʻamau.
mai BI, ʻaʻole mai nā ao a me nā ʻōnaehana Hadoop. Mai ka ʻoihana, ʻo ia hoʻi, ʻaʻole mai IT. E like me Gazpromneft no ka laʻana: ,Ke ulu nei kahi kaiapuni DSML makua mai nā hana BI ikaika. Akā paha he smacky a me ke ʻano i ka MDM a me nā mea ʻē aʻe, ʻo wai ka mea ʻike.
SAS
ʻAʻole nui ka ʻōlelo. ʻO nā mea maopopo wale nō.
TIBCO
Heluhelu ʻia ka hoʻolālā ma kahi papa kūʻai ma kahi ʻaoʻao Wiki lōʻihi. ʻAe, lōʻihi ka moʻolelo, akā 28!!! Charles. Ua kūʻai au iā BI Spotfire (2007) i koʻu wā ʻōpio. A e hōʻike pū ana hoʻi mai Jaspersoft (2014), a laila e like me ʻekolu mau mea kūʻai ʻikepili wānana Insightful (S-plus) (2008), Statistica (2017) a me Alpine Data (2017), ka hoʻoponopono hanana a me ka streaming Streambase System (2013), MDM Orchestra Pūnaehana (2018) a me Snappy Data (2019) i ka paepae hoʻomanaʻo.
Aloha Frankie!
Source: www.habr.com