De nombreux auteurs étrangers s’accordent à dire que l’ère du Big Data est révolue. Et dans ce cas, le terme Big Data fait référence aux technologies basées sur Hadoop. De nombreux auteurs peuvent même nommer avec confiance la date à laquelle le Big Data a quitté ce monde et cette date est le 05.06.2019/XNUMX/XNUMX.
Que s'est-il passé en ce jour important ?
Ce jour-là, le MAPR a promis de suspendre ses travaux s'il ne parvenait pas à trouver des fonds pour poursuivre ses opérations. MAPR a ensuite été acquis par HP en août 2019. Mais revenons au mois de juin, on ne peut s'empêcher de constater le drame de cette période pour le marché du Big Data. Ce mois-ci a été marqué par l'effondrement du cours des actions de CLOUDERA, un acteur majeur du marché, qui a fusionné avec la société HORTOWORKS, chroniquement non rentable, en janvier de la même année. L'effondrement a été assez important et s'est élevé à 43% ; au final, la capitalisation de CLOUDERA est passée de 4,1 à 1,4 milliards de dollars.
Il est impossible de ne pas dire que les rumeurs d'une bulle dans le domaine des technologies basées sur Hadoop circulent depuis décembre 2014, mais elles ont courageusement tenu pendant près de cinq ans supplémentaires. Ces rumeurs reposaient sur le refus de Google, la société à l'origine de la technologie Hadoop, de son invention. Mais la technologie a pris racine lors de la transition des entreprises vers les outils de traitement cloud et le développement rapide de l’intelligence artificielle. Par conséquent, avec le recul, nous pouvons affirmer avec certitude que le décès était attendu.
Ainsi, l'ère du Big Data a pris fin, mais en travaillant sur le Big Data, les entreprises ont réalisé toutes les nuances du travail dessus, les avantages que le Big Data peut apporter aux entreprises, et ont également appris à utiliser des technologies artificielles. intelligence pour extraire de la valeur des données brutes.
La question de savoir par quoi remplacera cette technologie et comment les technologies d’analyse continueront à se développer devient d’autant plus intéressante.
Analyse augmentée
Lors des événements décrits, les entreprises travaillant dans le domaine de l’analyse des données ne sont pas restées inactives. Que peut-on juger sur la base des informations sur les transactions effectuées en 2019. Cette année, la plus grande transaction du marché a été réalisée : l'acquisition de la plateforme analytique Tableau par Salesforce pour 15,7 milliards de dollars. Un accord plus modeste a eu lieu entre Google et Looker. Et bien sûr, on ne peut manquer de noter le rachat par Qlik de la plateforme big data Attunity.
Les leaders du marché de la BI et les experts de Gartner annoncent un changement monumental dans les approches d'analyse des données ; ce changement détruira complètement le marché de la BI et conduira au remplacement de la BI par l'IA. Dans ce contexte, il convient de préciser que l’abréviation IA ne signifie pas « Intelligence Artificielle » mais « Intelligence Augmentée ». Examinons de plus près ce qui se cache derrière les mots « Analyse augmentée ».
L’analyse augmentée, comme la réalité augmentée, repose sur plusieurs postulats généraux :
- la capacité de communiquer en utilisant le NLP (Natural Language Processing), c'est-à-dire en langage humain;
- l'utilisation de l'intelligence artificielle, cela signifie que les données seront prétraitées par l'intelligence artificielle ;
- et bien sûr, des recommandations à la disposition de l'utilisateur du système, générées par l'intelligence artificielle.
Selon les fabricants de plateformes analytiques, leur utilisation sera accessible aux utilisateurs qui n'ont pas de compétences particulières, comme la connaissance de SQL ou d'un langage de script similaire, qui n'ont pas de formation statistique ou mathématique, qui n'ont pas de connaissance des langages populaires. spécialisé dans le traitement des données et les bibliothèques correspondantes. Ces personnes, appelées « Citizen Data Scientists », doivent uniquement posséder des qualifications commerciales exceptionnelles. Leur tâche consiste à capturer des informations commerciales à partir des conseils et des prévisions que l’intelligence artificielle leur fournira, et ils peuvent affiner leurs suppositions grâce à la PNL.
Décrivant le processus des utilisateurs travaillant avec des systèmes de cette classe, on peut imaginer l'image suivante. Une personne, venant travailler et lançant l'application correspondante, en plus de l'ensemble habituel de rapports et de tableaux de bord qui peuvent être analysés à l'aide d'approches standards (tri, regroupement, réalisation d'opérations arithmétiques), voit certains conseils et recommandations, quelque chose comme : « Dans Afin d'atteindre le KPI, nombre de ventes, vous devez appliquer une remise sur les produits de la catégorie « Jardinage ». De plus, une personne peut contacter une messagerie d'entreprise : Skype, Slack, etc. Peut poser des questions au robot, par SMS ou vocalement : « Donnez-moi les cinq clients les plus rentables. » Après avoir reçu la réponse appropriée, il doit prendre la meilleure décision en fonction de son expérience commerciale et apporter des bénéfices à l'entreprise.
Si vous prenez du recul et examinez la composition des informations analysées, et à ce stade, les produits d'analyse augmentée peuvent faciliter la vie des gens. Idéalement, on suppose que l'utilisateur n'aura qu'à pointer le produit analytique vers les sources des informations souhaitées, et le programme lui-même se chargera de créer un modèle de données, de relier les tableaux et des tâches similaires.
Tout cela doit avant tout assurer la « démocratisation » des données, c’est-à-dire N’importe qui peut analyser l’ensemble des informations dont dispose l’entreprise. Le processus de prise de décision doit être soutenu par des méthodes d’analyse statistique. Le temps d’accès aux données doit être minimal, il n’est donc pas nécessaire d’écrire des scripts ni des requêtes SQL. Et bien sûr, vous pouvez économiser de l’argent sur les spécialistes de la science des données hautement rémunérés.
En théorie, la technologie offre des perspectives très prometteuses pour les entreprises.
Ce qui remplace le Big Data
Mais en fait, j’ai commencé mon article par le Big Data. Et je ne pourrais pas développer ce sujet sans une brève excursion dans les outils BI modernes, dont la base est souvent le Big Data. Le sort du Big Data est désormais clairement déterminé : il s’agit de la technologie cloud. Je me suis concentré sur les transactions effectuées avec les fournisseurs de BI afin de démontrer que désormais chaque système analytique dispose d'un stockage cloud et que les services cloud ont la BI comme front-end.
Sans oublier des piliers dans le domaine des bases de données comme ORACLE et Microsoft, il faut noter la direction qu'ils ont choisie pour le développement commercial et c'est le cloud. Tous les services proposés peuvent être trouvés dans le cloud, mais certains services cloud ne sont plus disponibles sur site. Ils ont effectué un travail important sur l'utilisation de modèles d'apprentissage automatique, créé des bibliothèques disponibles pour les utilisateurs et configuré des interfaces pour faciliter l'utilisation des modèles, depuis leur sélection jusqu'à la définition de l'heure de début.
Un autre avantage important de l'utilisation des services cloud, exprimé par les fabricants, est la disponibilité d'ensembles de données presque illimités sur n'importe quel sujet pour les modèles de formation.
Cependant, la question se pose : jusqu’où les technologies cloud vont-elles s’implanter dans notre pays ?
Source: habr.com