Nel 2013 IBS, che allora sembrava stesse creando il Dipartimento Dati, mi hanno chiesto di fare un brain dump (esclusivamente basato sull'esperienza con clienti del settore petrolifero e del gas) riguardo l'area problematica dei Big Data e dei Dati in generale. L'ho ritrovato dopo 7 anni e mi è sembrato divertente. Alcune cose sono evidenti. Alcune si sono rivelate non del tutto corrette, ma… sono passati 7 anni.
Ho scritto in inglese e ho pensato di tradurre in italiano. Magari è ancora rilevante? (Tradurrò i punti elenco, mentre le tabelle le lascerò in inglese per pigrizia. Verde – bene, rosso – pericoloso, blu – sogno).
Fornirò commenti minimi dal "oggi" corsivo, per chiarire e distinguere.
Quindi, DATI! Abbiamo bisogno di dati…
Il Dipartimento Dati è come un Dipartimento del Sangue, perché i dati possono essere paragonati, ad esempio, al sangue che scorre nelle vene e nelle arterie dell'organismo aziendale. Tuttavia, sebbene il sangue sia unico, gli organismi sono diversi e quindi la produttizzazione è molto difficile, ma rappresenta anche un'opportunità di sviluppo.
Ci sono persone che vedono i dati con chiarezza – sono Noi.
E ci sono persone che, purtroppo, non vedono i dati nemmeno da vicino. Questa, purtroppo, è la nostra Clientela!
Quindi, i postulati aziendali…
- Vendiamo alle aziende, e non IT (che tutti gli informatici mi perdonino) poiché risolviamo problemi globali, e ovviamente cerchiamo di guadagnare di più.
- Tutti i problemi aziendali si concentrano attorno a verticali settoriali tematiche e richiedono una specializzazione.
- Le prove della valore dei "dati" o, ancor più difficile, il valore della "gestione dei dati" per le aziende – è una sofferenza e un dolore eterni. In sostanza, è come andare da una persona che sta bene e dire: “Amico, ti cureremo il sangue, e, amico, sarà costoso!”
- Il mio sogno "umido" è di vendere “estrazione dei dati” e “analisi” attraverso un modello SaaS alle piccole e medie imprese, che si sono immerse in 123 servizi cloud con interfacce accattivanti: project management, helpdesk, contabilità, CRM, paghe, reportistica, marketing, … chiamalo come vuoi, e si sono sepolte nei dati. Youcalc e Successfactors (non ci sono più probabilmente) va bene!
- Cercate persone che amano giocare con “crunch” i dati. Sono rare e strane (come i divinatori del caffè), ma fondamentali per il business. Un poeta, ad esempio, può comprendere molto bene la correlazione.
- Gli ingegneri sono necessari! Sono necessari per trasformare i problemi che i "Cruncher" estraggono dai dati in soluzioni. E il successo, o il fallimento, della soluzione dipende totalmente da loro.
- Sviluppo opensource i progetti rappresentano un enorme valore e offrono la possibilità di "costruire" soluzioni complesse praticamente "da zero".
- Ma… non si può dimenticare che Hadoop è una libreria, e Lucene è anch'essa una libreria, e la distanza tra una libreria e un prodotto industriale è significativa!
- Le soluzioni strutturate dovranno essere adattate sostanzialmente, quindi la modularità e l'integrabilità sono punti chiave.
- L'Agile (perdona, Signore) è una tecnica chiave nell'interazione con il cliente e nella verifica delle ipotesi, che saranno numerose.
- Esternalizzare qualsiasi codifica e UI, soprattutto, è possibile e necessario. Tutta l'analisi aziendale e le specifiche del backend dovrebbero rimanere all'interno e considerarsi come una competenza chiave.
- Le persone che prendono decisioni aziendali devono essere costantemente "informate" sulla necessità di un corretto utilizzo dei dati e sulla continua ricerca di nuovi modi per analizzarli. La combinazione di competenze tecniche e aziendali dei nostri dipendenti aiuterà a elevare lo status dell'intera organizzazione.
- Internet è una fonte infinita di ispirazione (all'epoca c'erano meno gattini) in termini di approcci alla gestione aziendale dei dati, nonostante le sfide e le dimensioni siano sostanzialmente diverse.
I postulati tecnologici…
- C'è un enorme potenziale di sviluppo nel semplificare come i dati vengono mostrati alle persone. Potremmo chiamarlo “iPhoneizzazione”.
- Nonostante i fornitori di BI affermino di portare direttamente l'analisi agli utenti finali, (e stanno assolutamente facendo progressi in questa direzione) – una vera e propria svolta non è ancora avvenuta. Le persone non comprendono semplicemente i dati multidimensionali. L'interfaccia utente, che presenta dati poco strutturati in modo abbastanza complesso in
- forma sfaccettata presenta anch'essa un'infinità di problemi. Morale: più piatta è (flatter) – meglio è. Una piattaforma costruita su un sistema di estrazione automatica dei dati da fonti (che non sono sempre destinate a tale estrazione) è in sostanziale dipendenza dalle fonti, dalla stabilità dei connettori e dall'infrastruttura. Nell'impossibilità di garantire un risultato, la piattaforma (il messaggero) sarà sempre accusata.
- La piattaforma basata sull'estrazione automatica dei dati da fonti (che non sempre sono destinate a tale estrazione) dipende fortemente dalle fonti, dalla stabilità dei connettori e dall'infrastruttura. In caso di impossibilità a garantire un risultato, si darà sempre la colpa alla piattaforma (messaggero). Fiducia – capitale di questo tipo di piattaforme. Un capitale difficile da guadagnare e facile da perdere.
- Dal punto di vista aziendale, non c'è differenza tra l'analisi dei Big Data e Dati semplici. Spesso dietro a semplici dati come 2x2 si nascondono opportunità da milioni di dollari. Un buon esempio sono i dati sulla scadenza dei componenti infrastrutturali nel campo norvegese. Quando tutte le date dei futuri interventi di manutenzione di tutta l'attrezzatura sono state mappate su un asse e si è scoperto che tra N anni ci sarebbe stato un vero e proprio Armageddon sul campo, un uomo molto ricco si è alzato dalla sedia e, dopo aver fatto un veloce inchino, è uscito dalla stanza dicendo: «Scusate, ho poco tempo, devo preparare la flotta…»
- Excel, e in sostanza una chiara e precisa rappresentazione tabellare dei dati, ha un'enorme potenza e un grande futuro. Credo nelle belle tabelle (e ancora oggi) e tutto qui!
- Il punto focale di tutta questa «analitica» è l'automazione del processo decisionale. Qui si trovano le opportunità più lucrative, ma anche i rischi più elevati, quindi ci sono opportunità significative e rischi, e così via… 🙂 La gestione della perforazione dei pozzi, per esempio…
- Se l'«integrabilità» è una caratteristica chiave, i dati di fatto devono essere presentati sotto forma di servizio. REST è importante, ma non si può dimenticare l'ottimizzazione prestazioni, spesso sacrificata all'integrabilità, poiché la potenza di calcolo continua a crescere.
- I dati master sono ciò che deve essere localizzato, estratto, standardizzato, prima di affrontare qualsiasi questione aziendale. I dati master sono piccoli, ma i problemi ad essi associati sono grandi! Come dicono i fratelli della semantica, il 50% di tutti i problemi del mondo deriva dal fatto che le persone chiamano le stesse cose con nomi diversi e l'altro 50% deriva dal fatto che chiamano cose diverse con lo stesso nome.
- Qualsiasi l'incapsulamento a livello di storage limita la trasparenza della soluzione e porta alla SILO-izzazione. Va bene se sei un grande vendor, altrimenti non è ideale. (Qui non si parla ovviamente di livello blocco né di AWS S3, che allora aveva già 6 anni, ma di file).
- La modellazione relazionale dei dati non è più nostra amica. RDF e key-value sono fantastici! Abbiamo visto trasformazioni straordinarie di database relazionali con modelli da 2000 tabelle a 15 tabelle, e nessun utente ha perso nulla.
- Internet funziona perché esiste URL un modo univoco di indirizzare. L'importanza dell'URL o piuttosto URI per le risorse informative aziendali è difficile da sottovalutare.
- Il text mining e l'NLP sono popolari. Su Internet. Ma anche nel settore aziendale si possono raggiungere enormi successi estraendo dati strutturati da dati aziendali non strutturati.
- La sinergia tra dati strutturati e informazioni estratte da dati non strutturati, cioè file, è un vero e proprio Klondike analitico.
- Estraendo i dati, non dimentichiamo i diritti e i copyright..
- Un'azienda specializzata nell'estrazione dei dati deve formare undipartimento di hacker, nel senso migliore del termine. Ispirato dalla durissima lotta contro i sistemi di protezione delle pagine gialle dai bot di ricerca.
- Prima di lavorare con i dati, è necessario «vederli» in tutta la loro pienezza. È difficile da spiegare. Mi vengono in mente le forme tabellari. Ad alcuni potrebbero venire in mente rappresentazioni grafiche, ma qualsiasi grafico è già un'interpretazione. In ogni caso... «vedere»!
- Riflettendo sulla questione della «fiducia» degli utenti nel front-end. Fiducia nei connettori/processi di generazione dei dati, fiducia nei dati, fiducia nelle decisioni prese..
Fonte: habr.com
