Au cours de l'2013 IBS, qui semblait alors créer Division des données, m'a demandé de faire un tel braindump (exclusivement basé sur l'expérience d'interaction avec des entreprises clientes du pétrole et du gaz) concernant la problématique du Big Data et des données en général. Alors je suis tombé dessus 7 ans plus tard et j'ai trouvé ça drôle. Certaines choses sont évidentes. Certaines ne se sont pas révélées tout à fait vraies, mais... 7 ans se sont écoulés.
J'ai écrit en anglais et maintenant je pensais le traduire en russe. Et si quelque chose était toujours d’actualité maintenant ? (Je traduirai les bulletins, mais laisserai les panneaux en anglais par paresse. Le vert c'est bien, le rouge c'est dangereux, le bleu c'est un rêve).
Je formaliserai les commentaires minimes de « aujourd’hui » italienafin qu'il soit clair et distinguable.
Alors, DONNÉES ! Des données pour nous...
La Division Données est la Division Sang, car les données peuvent être comparées, par exemple, au sang qui coule dans les veines et les artères d'une entreprise. Cependant, même si le sang est le même, les organismes sont différents et donc production très difficile, mais cela représente aussi une opportunité de développement.
Il y a des gens pour qui les données leur sautent aux yeux - ce sont Nous.
Et il y a des gens qui, malheureusement, ne voient pas les données à bout portant. Ceci, encore une fois, hélas, est le nôtre Les clients!
ainsi, principes commerciaux...
- Vendre affairesEt ce n'est pas IT (que tous les informaticiens me pardonnent immédiatement) parce que nous résolvons les problèmes du monde et, enfin, plus d’argent.
- Tous les problèmes commerciaux sont concentrés autour de secteurs industriels thématiques et nécessiteront des spécialisations.
- Tentatives de prouver valeur de "données" ou, plus difficile encore, la valeur de la « gestion des données » pour une entreprise est une souffrance et une douleur éternelles. En gros, c’est comme venir vers une personne qui se sent bien et lui dire : « Mec, on va soigner ton sang maintenant, et, mec, c’est cher !
- Mon « rêve » est de vendre « l'extraction de données » et « l'analyse » dans le modèle SaaS petites et moyennes entreprisesqui a grimpé dans 123 services cloud avec des interfaces sympas : gestion de projet, helpdesk, comptabilité, CRM, paie, reporting des temps, marketing, ... vous l'appelez, et s'est enfoui dans les données. Youcalc et Successfactors (il n'y en a probablement plus) C'est bon!
- Recherchez des personnes qui aiment bricoler "croquer" avec des données. Elles sont rares et étranges (comme les feuilles de thé), mais essentielles aux affaires. Un poète, par exemple, peut être très doué en corrélation.
- Ingénieurs nécessaire! Nécessaire pour transformer les problèmes que les Crunchers ont extraits des données en solutions. Et le succès ou l’échec de la décision dépend entièrement d’eux.
- Développement opensource projets est d’une grande valeur et permet d’« assembler » des solutions complexes pratiquement à partir de zéro.
- Mais... il ne faut pas oublier que Hadoop est une bibliothèque, et Lucene est aussi une bibliothèque, et la distance entre bibliothèque et produit industriel beaucoup!
- Les solutions construites devront être considérablement adaptées, car modularité и intégrabilité - points clés.
- Agile (pardonne-moi seigneur) est une technique clé dans l'interaction avec le client et la vérification hypothèses, il y en aura beaucoup.
- Il est notamment possible et nécessaire d’externaliser l’ensemble du codage et de l’interface utilisateur. Toutes les analyses et spécifications commerciales back-end besoin de partir à l'intérieur et considérée comme une compétence de base.
- Les décideurs des entreprises doivent être constamment « informés » sur la nécessité de travailler correctement avec les données et constamment à la recherche de nouvelles façons de les analyser. La combinaison des compétences techniques et commerciales de nos employés contribuera à élever le statut de l'ensemble de l'organisation dans son ensemble.
- Internet – il existe une source d’inspiration inépuisable (il n'y avait pas beaucoup de chats à l'époque) en ce qui concerne les approches de gestion des données d'entreprise, même si les objectifs et la portée varient considérablement.
Postulats technologiques...
- Il existe un énorme potentiel de développement dans simplification comment les données sont présentées aux gens. Vous pouvez appeler cela le mot « iPhoneisation ».
- Malgré le fait que les fournisseurs de BI affirment qu'ils sont directement apporter des analyses aux utilisateurs finaux, (et ils vont certainement dans cette direction) - la percée n'a pas encore eu lieu. Les gens ne comprennent tout simplement pas bien multidimensionnel les données.
- Une interface utilisateur représentant des données plus ou moins complexes et peu structurées dans à facettes forme - présente également un nombre infini de problèmes. Conclusion : plus c'est plat, mieux c'est.
- Une plateforme construite sur la base de l’extraction automatique de données à partir de sources (qui ne sont pas toujours conçues pour une telle extraction) dépend fortement des sources, de la stabilité des connecteurs et de l’infrastructure. La plateforme (messenger) sera toujours blâmée pour ne pas avoir fourni de résultats. Confiance – capitale de ce genre de plateformes. Un capital difficile à gagner et facile à perdre.
- D’un point de vue business, il n’y a aucune différence entre l’analyse Big Data et Juste des données. Souvent, derrière des chiffres aussi simples que 2x2 se cachent des opportunités valant des millions de dollars. Un bon exemple est celui des données sur la fin de vie des éléments d’infrastructure sur le plateau norvégien. A quand toutes les dates des futures casquettes. les réparations de tout l'équipement ont été placées sur un axe et ils ont découvert que dans N années l'étagère Armageddon arrivait - un homme très riche s'est levé de sa chaise et s'est précipité hors de la pièce avec les mots : « Désolé, je ne le fais pas. J’ai beaucoup de temps, je dois préparer la flotte… »
- Excel, et essentiellement une présentation tabulaire claire et concise des données, a un pouvoir énorme et un grand avenir. Je crois aux belles tables (et encore) et c'est tout!
- L’arc principal de toute cette « analyse » est automatisation des décisions. Il y a les plus grandes opportunités, mais aussi les risques les plus élevés, c'est pour ça que les opportunités sont riches, c'est pour ça qu'il y a des risques, c'est pour ça qu'il y a des opportunités, c'est pour ça qu'elles sont caramel... 🙂 La gestion des forages de puits, par exemple...
- Si « l’intégrabilité » est une caractéristique clé, alors les données doivent de facto être présentées comme un service. REST règles, mais il ne faut pas oublier l'optimisation productivité, qui est désormais souvent sacrifié au profit de l'intégrabilité à mesure que la puissance de calcul continue de croître.
- Données de base - c'est ce qui doit être localisé, extrait, standardisé avant d'aborder toute problématique métier. Les données de base sont petites, mais les problèmes qui les concernent sont importants ! Comme le disent les frères de la sémantique, 50 % de tous les problèmes du monde sont dus au fait que les gens appellent les mêmes choses par des noms différents, et les 50 % restants sont dus au fait qu'ils appellent des choses différentes par le même nom.
- Tout encapsulation au niveau du stockage, cela limite l’ouverture de la solution et conduit à une SILO-fication. C'est bien si vous êtes un gros vendeur, sinon c'est couci-couça. (Ici, nous ne parlons bien sûr pas du niveau de bloc ni d'AWS S3, qui avait déjà 6 ans à l'époque, mais de fichiers.).
- Modélisation relationnelle les données ne sont plus nos amies. RDF et valeur-clé – cool ! Nous avons assisté à des transformations magiques de bases de données relationnelles avec des modèles de 2000 tables en 15 tables, et aucun utilisateur n'a rien perdu.
- Internet fonctionne parce qu'il existe URL comme méthode d'adressage unifiée. L'importance de l'URL ou plutôt URI pour les ressources d'information de l'entreprise, il est difficile de surestimer.
- L’exploration de texte et la PNL sont populaires. Sur Internet. Mais même dans le secteur des entreprises, de grands succès peuvent être obtenus en extrayant des données structurées à partir de données d'entreprise non structurées.
- Synergie entre les données structurées et les informations extraites de données non structurées, c'est-à-dire fichiers – Klondike analytique.
- Lors de l'extraction de données, n'oubliez pas les droits et droits d'auteur.
- La société d'extraction de données doit former unedépartement des hackers, dans le bon sens du terme. Inspiré par la bataille acharnée contre les systèmes de protection contre les robots d'exploration des Pages Jaunes.
- Avant de travailler avec des données, il est nécessaire de "voir" dans son intégralité. C'est difficile à expliquer. Les formes tabulaires me viennent à l’esprit. Pour certains, des représentations graphiques, mais tout graphique est déjà une interprétation. D’une manière ou d’une autre… « voir » !
- Répéter le problème de la « confiance » des utilisateurs dans le frontend. Confiance dans les connecteurs/processus de génération de données, confiance dans les données, confiance dans les décisions prises.
Source: habr.com