Molts autors estrangers coincideixen que l'era del Big Data ha arribat a la seva fi. I en aquest cas, el terme Big Data fa referència a tecnologies basades en Hadoop. Molts autors poden fins i tot indicar amb confiança la data en què Big Data va deixar aquest món i aquesta data és el 05.06.2019/XNUMX/XNUMX.
Què va passar en aquest dia tan significatiu?
Aquest dia, el MAPR es va comprometre a suspendre la seva feina si no trobava fons per a més operacions. MAPR va ser adquirit posteriorment per HP l'agost de 2019. Però tornant al juny, no es pot deixar de notar la tragèdia d'aquest període per al mercat del Big Data. Aquest mes s'ha produït un enfonsament de les cotitzacions de les accions de CLOUDERA, líder del mercat, que es va fusionar amb la crònicament poc rendible HORTOWORKS el gener del mateix any. El col·lapse va ser força important i va ascendir al 43%; en definitiva, la capitalització de CLOUDERA va disminuir de 4,1 a 1,4 milions de dòlars.
És impossible no dir que des del desembre de 2014 circulen rumors d'una bombolla en el camp de les tecnologies basades en Hadoop, però s'ha aguantat de valent durant gairebé cinc anys més. Aquests rumors es basaven en la negativa de Google, l'empresa on es va originar la tecnologia Hadoop, al seu invent. Però la tecnologia va arrelar durant la transició de les empreses a eines de processament al núvol i el ràpid desenvolupament de la intel·ligència artificial. Per tant, mirant enrere, podem afirmar amb confiança que s'esperava la mort.
Així, l'era del Big Data ha arribat a la seva fi, però en el procés de treball del Big Data, les empreses s'han adonat de tots els matisos de treballar-hi, dels beneficis que el Big Data pot aportar al negoci, i també han après a utilitzar l'artificial. intel·ligència per extreure valor de dades en brut.
Com més interessant esdevé la qüestió de què substituirà aquesta tecnologia i com es desenvoluparan les tecnologies d'anàlisi.
Analítica augmentada
Durant els actes descrits, les empreses que treballen en l'àmbit de l'anàlisi de dades no es van quedar quiets. Què es pot jutjar a partir de la informació sobre les transaccions que es van produir el 2019. Aquest any s'ha dut a terme la transacció més gran del mercat: l'adquisició de la plataforma analítica Tableau per part de Salesforce per 15,7 milions de dòlars. S'ha produït un acord més petit entre Google i Looker. I, per descomptat, no es pot deixar de notar l'adquisició per part de Qlik de la plataforma de big data Attunity.
Els líders del mercat de BI i els experts de Gartner anuncien un canvi monumental en els enfocaments de l'anàlisi de dades; aquest canvi destruirà completament el mercat de BI i portarà a la substitució de la BI per AI. En aquest context, cal assenyalar que l'abreviatura AI no és “Intel·ligència artificial” sinó “Intel·ligència augmentada”. Fem una ullada més de prop a què hi ha darrere de les paraules "Analytics augmentats".
L'anàlisi augmentada, com la realitat augmentada, es basa en diversos postulats generals:
- la capacitat de comunicar-se mitjançant PNL (Natural Language Processing), és a dir. en llenguatge humà;
- l'ús de la intel·ligència artificial, això vol dir que les dades seran preprocessades per la intel·ligència de la màquina;
- i per descomptat, recomanacions a disposició de l'usuari del sistema, que van ser generades per intel·ligència artificial.
Segons els fabricants de plataformes analítiques, el seu ús estarà a disposició dels usuaris que no tinguin habilitats especials, com ara coneixements d'SQL o un llenguatge de script similar, que no tinguin formació estadística o matemàtica, que no tinguin coneixements d'idiomes populars. especialitzat en tractament de dades i biblioteques corresponents. Aquestes persones, anomenades "Citizen Data Scientists", només han de tenir qualificacions empresarials destacades. La seva tasca és capturar coneixements empresarials a partir dels consells i les previsions que els donarà la intel·ligència artificial, i poden refinar les seves conjectures mitjançant la PNL.
Descrivint el procés dels usuaris que treballen amb sistemes d'aquesta classe, es pot imaginar la següent imatge. Una persona, que arriba a la feina i posa en marxa l'aplicació corresponent, a més del conjunt habitual d'informes i quadres de comandament que es poden analitzar mitjançant enfocaments estàndard (ordenació, agrupació, realització d'operacions aritmètiques), veu certs consells i recomanacions, com: “En per assolir el KPI, nombre de vendes, hauríeu d'aplicar un descompte als productes de la categoria "Jardinària". A més, una persona pot contactar amb un missatger corporatiu: Skype, Slack, etc. Pot fer preguntes al robot, per text o veu: "Dóna'm els cinc clients més rendibles". Després d'haver rebut la resposta adequada, ha de prendre la millor decisió basada en la seva experiència empresarial i aportar beneficis a l'empresa.
Si feu un pas enrere i observeu la composició de la informació que s'analitza i, en aquesta fase, els productes d'anàlisi augmentada poden facilitar la vida de les persones. Idealment, s'assumeix que l'usuari només haurà d'apuntar el producte analític a les fonts de la informació desitjada, i el mateix programa s'encarregarà de crear un model de dades, enllaçar taules i tasques similars.
Tot això hauria de garantir, en primer lloc, la “democratització” de les dades, és a dir. Qualsevol persona pot analitzar tota la informació de què disposa l'empresa. El procés de presa de decisions s'ha de recolzar en mètodes d'anàlisi estadístic. El temps d'accés a les dades ha de ser mínim, de manera que no cal escriure scripts ni consultes SQL. I, per descomptat, podeu estalviar diners amb especialistes en ciència de dades molt ben pagats.
Hipotèticament, la tecnologia ofereix perspectives molt brillants per als negocis.
Què substitueix el Big Data
Però, de fet, vaig començar el meu article amb Big Data. I no podria desenvolupar aquest tema sense una breu excursió a les eines de BI modernes, la base de les quals sovint és Big Data. El destí de les grans dades ara està clarament determinat, i és la tecnologia al núvol. Em vaig centrar en les transaccions fetes amb proveïdors de BI per demostrar que ara tots els sistemes analítics tenen emmagatzematge al núvol al darrere i que els serveis al núvol tenen BI com a front-end.
Sense oblidar-se d'aquests pilars en l'àmbit de les bases de dades com ORACLE i Microsoft, cal destacar la direcció escollida per al desenvolupament del negoci i aquest és el núvol. Tots els serveis oferts es poden trobar al núvol, però alguns serveis al núvol ja no estan disponibles a les instal·lacions. Han fet un treball important en l'ús de models d'aprenentatge automàtic, han creat biblioteques disponibles per als usuaris i han configurat interfícies per facilitar el treball amb models, des de seleccionar-los fins a establir l'hora d'inici.
Un altre avantatge important d'utilitzar serveis al núvol, que els fabricants expressen, és la disponibilitat de conjunts de dades gairebé il·limitats sobre qualsevol tema per als models d'entrenament.
Tanmateix, sorgeix la pregunta: fins a quin punt arrelaran les tecnologies del núvol al nostre país?
Font: www.habr.com