🥇Division des données. Année 2013. Rétrospective

En 2013 IBS, qui à l'époque semblaient créer Division des données, m'ont demandé de faire un brainstorming (exclusivement basé sur l'expérience avec des clients d'entreprise dans le secteur pétrolier et gazier) concernant le domaine problématique des Big Data, et des données en général. Voici que je suis tombé sur ça après 7 ans et ça m'a semblé amusant. Certaines choses sont évidentes. Certaines se sont révélées inexactes, mais… 7 ans se sont écoulés.

J'ai écrit en anglais et je me suis dit que je devrais traduire en français. Peut-être que certaines choses sont encore d'actualité ? (Je traduirai les points, et laisserai les tableaux en anglais par paresse. Le vert – c'est bien, le rouge – c'est dangereux, le bleu — c'est un rêve).

Je ferai des commentaires minimaux de « aujourd'hui » en italique, pour que ce soit clair et distinct.

Donc, DONNÉES ! Nous avons besoin de données…

La Division des Données – c'est la Division du Sang, car les données peuvent être comparées, par exemple, à du sang circulant dans les veines et artères de l'organisme commercial. Cependant, bien que le sang soit unique – les organismes sont différents et donc la productisation est très difficile, mais elle représente également une opportunité de développement.

Il y a des gens chez qui les données sautent aux yeux – ce sont Nous.
Et il y a des gens qui, hélas, ne voient pas les données. Cela, encore une fois hélas, concerne nos Clients!

Alors, postulats commerciaux…

Nous vendons aux entreprises, pas IT (que tous les informaticiens me pardonnent immédiatement) car nous résolvons des problèmes mondiaux, et puis nous avons besoin de plus d'argent.
Tous les problèmes commerciaux sont concentrés autour des verticales sectorielles thématiques et nécessiteront une spécialisation.
Les tentatives de prouver la valeur des « données » ou, ce qui est encore plus difficile, la valeur de la « gestion des données » pour l'entreprise – c'est une souffrance éternelle. En fait, c'est comme aller voir une personne qui se sent assez bien et lui dire : « Mec, nous allons te traiter ton sang, et, mec, cela coûte cher ! »
Mon rêve immédiat serait, dans le cadre d'un modèle SaaS, de vendre « l'extraction de données » et « l'analytique » aux PME, qui se sont plongées dans 123 services cloud avec des interfaces sympas : gestion de projet, service d'assistance, comptabilité, CRM, paie, rapports de temps, marketing,… vous nommez, et se sont enfoncées dans les données. Youcalc et Successfactors (il n'en existe probablement plus) c'est bien !
Cherchez des gens qui aiment s'occuper de « crunch » des données. Ils sont rares et étranges (comme des voyants avec des marc de café), mais essentiels pour l'entreprise. Un poète, par exemple, peut très bien comprendre la corrélation.
Ingénieurs ils sont nécessaires ! Ils sont nécessaires pour transformer les problèmes que les Crunchers ont extraits des données en solutions. Et le succès ou l'échec des solutions dépend entièrement d'eux.
Développement open source des projets représente une immense valeur et permet de « construire » des solutions complexes pratiquement « à partir de zéro ».
Mais… il ne faut pas oublier que Hadoop est une bibliothèque, et Lucene est aussi une bibliothèque, et la distance entre la bibliothèque et le produit industriel est significative !
Les solutions construites devront être considérablement adaptées, car la modularité et l'intégrabilité sont des points clés.
L'Agile (Dieu nous en préserve) est une technique clé pour interagir avec le client et valider les hypothèses, qui seront nombreuses.
Il est tout à fait approprié et nécessaire d'externaliser tout le codage et l'UI. Toute l'analyse commerciale et les spécifications du backend doivent être conservées à l'intérieur et considérées comme une compétence clé.
Les décideurs d'entreprise doivent être constamment « informés » de la nécessité de travailler correctement avec les données et de rechercher en permanence de nouvelles façons de les analyser. La combinaison des compétences techniques et commerciales de nos employés contribuera à élever le statut de toute l'organisation dans son ensemble.
Internet est une source infinie d'inspiration (et à ce moment-là, il n'y avait pas encore tant de chatons) en ce qui concerne les approches de la gouvernance d'entreprise des données, malgré les variations de problèmes et de portée.

Les postulats technologiques…

Il existe un énorme potentiel de développement dans la simplification de la manière dont les données sont présentées aux gens. On peut l'appeler « l'iPhone-isation ».
Bien que les fournisseurs de BI affirment qu'ils apportent directement l'analyse aux utilisateurs finaux , (et ils progressent sans aucun doute dans cette direction) – la rupture n'a pas encore eu lieu. Les gens comprennent tout simplement malles données multidimensionnelles. Une interface utilisateur qui présente des données moins ou plus complexes et faiblement structurées sous une forme facettée – pose également une infinité de problèmes. Conclusion : plus cela est plat (flatter) – mieux c'est.
La plateforme, construite sur la base de l'extraction automatique de données à partir de sources (qui ne sont pas toujours destinées à une telle extraction), dépend considérablement des sources, de la robustesse des connecteurs, et de l'infrastructure. Dans l'incapacité d'assurer un résultat, on blâmera toujours la plateforme (le messager). facetté en vidéo – cela représente également un nombre infini de problèmes. Conclusion : plus c'est plat (flatter) – mieux c'est.
La plateforme, construite sur la base d'une extraction automatique de données à partir de sources (qui ne sont pas toujours destinées à cette extraction) est fortement dépendante des sources, de la stabilité des connecteurs et de l'infrastructure. En cas d'incapacité à fournir des résultats, la plateforme (messager) sera toujours tenue pour responsable. Confiance – capital de ce type de plateformes. Un capital difficile à gagner et facile à perdre.
Du point de vue des affaires, il n’y a aucune différence entre l'analyse des Big Data et Des Données Simples. Souvent, derrière des chiffres aussi simples que 2 fois 2 se cachent des opportunités de millions de dollars. Un bon exemple est les données sur la fin de vie des éléments d'infrastructure sur le plateau continental norvégien. Lorsque toutes les dates des futurs travaux de maintenance de tout l'équipement ont été mises sur un même axe et qu'il a été découvert qu'après N années, un Armageddon continental se prépare – un homme très riche s'est levé de son siège et, s'inclinant rapidement, a quitté la pièce en disant : « Désolé, je n'ai pas beaucoup de temps, je dois préparer ma flotte… »
Excel, et en réalité, une représentation de données claire et précise en tableau possède une immense puissance et un grand avenir. Je crois aux beaux tableaux (et je le fais encore) et c'est tout !
Le nœud principal de toute cette « analyse » est l'automatisation de la prise de décision. C'est là que se trouvent les plus grandes opportunités, mais aussi les plus grands risques, car les opportunités sont juteuses, tout comme les risques, donc les opportunités et les risques… 🙂 La gestion du forage des puits, par exemple…
Si « intégrabilité » est la fonctionnalité clé, alors les données doivent de facto être présentées sous forme de service. REST c'est génial, mais il ne faut pas oublier l'optimisation performance, qui est souvent sacrifiée sur l'autel de l'intégrabilité, car la puissance de calcul continue d'augmenter.
Les données maîtresses sont celles qu'il faut localiser, extraire, standardiser avant d'aborder des questions commerciales. Les données maîtresses sont petites, mais les problèmes qui en découlent sont grands ! Comme le disent les frères sémantiques - 50 % des problèmes mondiaux viennent du fait que les gens appellent les mêmes choses par des noms différents, et les 50 % restants viennent du fait qu'ils appellent des choses différentes par un même nom.
N'importe quel l'encapsulation au niveau du stockage limite l'ouverture de la solution et conduit à la SILO-ification. C'est bien si vous êtes un grand fournisseur, sinon - ce n'est pas génial. (Il ne s'agit bien sûr pas du niveau bloc et pas de AWS S3, qui avait déjà 6 ans à ce moment-là, mais de fichiers).
La modélisation relationnelle des données n'est plus notre amie. RDF et key-value - c'est génial ! Nous avons vu des transformations magiques de bases de données relationnelles passant de 2000 tables à 15 tables, et aucun des utilisateurs n'a rien perdu.
Internet fonctionne parce qu'il existe URL comme méthode unique d'adressage. L'importance de l'URL ou plutôt URI pour les ressources informatives de l'entreprise est difficile à surestimer.
Text mining et NLP sont populaires. sur Internet. Mais dans le secteur corporatif, il est également possible d'atteindre d'énormes succès en extrayant des données structurées à partir de données d'entreprise non structurées.
Synergie entre les données structurées et les informations extraites des données non structurées, c'est-à-dire des fichiers - un véritable Klondike analytique.
En extrayant des données, n'oublions pas les droits et droits d'auteur.
Une entreprise spécialisée dans l'extraction de données doit former undépartement de hackers, dans le bon sens du terme. Inspiré par la lutte acharnée contre les systèmes de protection des Pages Jaunes par les robots d'indexation.
Avant de travailler avec des données, il est nécessaire de les « voir » dans toute leur ampleur. C'est difficile à expliquer. Je pense aux formes tabulaires. Pour d'autres, aux représentations graphiques, mais après tout, tout graphique est déjà une interprétation. Quoi qu'il en soit... « voir » !
Se répétant dans la question de la « confiance » des utilisateurs envers le frontend. Confiance envers les connecteurs/processus générant des données, confiance envers les données, confiance envers les décisions prises.

Source : habr.com