Nel 2013 IBS, che allora, sembra, stessero creando Divisione dati, mi hanno chiesto di fare un brain dump (esclusivamente basato sulla mia esperienza con i clienti aziendali nel settore petrolifero e del gas) riguardo all'area problematica dei Big Data e dei Dati in generale. Così l'ho visto di nuovo dopo 7 anni ed è stato divertente. Alcune cose sono ovvie. Alcune si sono rivelate non del tutto corrette, ma... sono passati 7 anni.
Scrivevo in inglese e ho pensato di tradurre in russo. Magari qualcosa è ancora attuale? (Tradurrò i punti, mentre lascerò le tabelle in inglese per pigrizia. Verde - bene, rosso - pericoloso, blu - sogno).
Farò commenti minimi da "oggi" in corsivo, per rendere chiaro e distinguibile.
Quindi, DATI! Abbiamo bisogno di dati...
La Divisione Dati è la Divisione Sangue, perché i dati possono essere paragonati, ad esempio, al sangue che scorre nelle vene e nelle arterie degli organismi aziendali. Tuttavia, sebbene il sangue sia unico, gli organismi sono diversi e quindi la produttizzazione è molto difficile, ma rappresenta anche un'opportunità per lo sviluppo.
Ci sono persone a cui i dati saltano proprio agli occhi - queste sono Noi.
E ci sono persone che purtroppo non vedono i dati nemmeno da vicino. Questi, purtroppo, sono i nostri Clienti!
Quindi, i postulati aziendali...
- Vendiamo alle aziende, e non IT (perdonate subito tutti gli informatici) poiché risolviamo problemi globali e, beh, per guadagnare di più.
- Tutti i problemi aziendali sono concentrati attorno a verticali settoriali tematiche e richiederanno adeguata specializzazione.
- Le prove della valore dei "dati" o, ancora più difficile, il valore della "gestione dei dati" per le aziende è una sofferenza eterna. In sostanza, è come andare da una persona che si sente abbastanza bene e dire: “Ehi, ti cureremo il sangue, e, ehi, questo è costoso!”
- Il mio "umido sogno" è vendere "estrazione dati" e "analisi" alle piccole e medie imprese, che si sono immerse in 123 servizi cloud con interfacce interessanti: gestione progetti, helpdesk, contabilità, CRM, payroll, report del tempo, marketing... chiamalo come vuoi, e si sono immerse nei dati. Youcalc e Successfactors (probabilmente non esistono più) è fantastico!
- Cercate persone che amano sporcarsi le mani "crunch" con i dati. Sono rari e strani (come i divinatori del caffè), ma chiave per il business. Un poeta, ad esempio, può avere una buona comprensione della correlazione.
- Gli ingegneri sono necessari! Necessari per trasformare i problemi che i Cruncher hanno estratto dai dati in soluzioni. E il successo o il fallimento della soluzione dipende interamente da loro.
- Sviluppo opensource i progetti rappresentano un enorme valore e offrono la possibilità di "collezionare" soluzioni complesse praticamente "da zero".
- Ma... non bisogna dimenticare che Hadoop è una libreria e Lucene è anch'essa una libreria, e la distanza tra una libreria e un prodotto industriale è significativa!
- Le soluzioni costruite dovranno essere notevolmente adattate, perché la modularità e l'integrabilità sono punti chiave.
- Agile (perdonami, Signore) è una tecnica chiave nell'interazione con il cliente e nella verifica delle ipotesi, ce ne saranno molte.
- E' possibile e necessario esternalizzare qualsiasi codifica e UI. Tutta l'analisi aziendale e le specifiche del backend devono essere lasciate all'interno e considerate come una competenza chiave.
- Le persone che prendono decisioni a livello aziendale devono essere costantemente "informate" sulla necessità di lavorare correttamente con i dati e di cercare continuamente nuovi modi per analizzarli. La combinazione delle competenze tecniche e aziendali dei nostri dipendenti aiuterà a elevare lo status dell'intera organizzazione.
- Internet è una fonte infinita di ispirazione (all'epoca c'erano ancora pochi gatti) riguardo agli approcci alla gestione aziendale dei dati, nonostante i compiti e le scale differiscano notevolmente.
Postulati tecnologici...
- C'è un enorme potenziale di sviluppo nel semplificare come i dati vengono presentati alle persone. Si potrebbe chiamarlo "iPhoneizzazione".
- Nonostante i fornitori di BI affermino di portare direttamente l'analisi agli utenti finali, (e si stanno ovviamente muovendo in questa direzione) - la rottura non è ancora avvenuta. Le persone semplicemente non comprendono bene i dati multidimensionali. L'interfaccia utente che rappresenta dati più o meno complessi e debolmente strutturati in
- forma facettata presenta anch'essa un'infinita quantità di problemi. Conclusione: maggiore è la piattezza (flatter) - migliore è. Il video presenta anche un numero infinito di problemi. Conclusione: maggiore è la planarità (flatter), migliore è.
- La piattaforma, costruita sulla base dell'estrazione automatica dei dati da fonti (che non sono sempre destinate a tale estrazione), è fortemente dipendente dalle fonti, dalla stabilità dei connettori e dall'infrastruttura. In caso di inability a garantire risultati, si incolperà sempre la piattaforma (il messaggero). Fiducia – il capitale di questo tipo di piattaforme. Un capitale che è difficile guadagnare e facile perdere.
- Dal punto di vista aziendale, non c'è alcuna differenza tra l'analisi dei Big Data e Dati Semplici. Spesso dietro numeri semplici come 2x2 si nascondono opportunità da milioni di dollari. Un buon esempio è rappresentato dai dati sulla scadenza della vita utile degli elementi infrastrutturali nel mare della Norvegia. Quando tutte le date dei futuri interventi di manutenzione di tutta l'attrezzatura sono state collocate su un'unica asse e si è scoperto che dopo N anni si prospettava un vero e proprio Armageddon offshore, un uomo molto facoltoso si è alzato dalla sedia e, scusandosi, è uscito dalla stanza dicendo: “Scusate, ho poco tempo, devo preparare la flotta...”
- Excel, e in sostanza una chiara e precisa rappresentazione tabellare dei dati, ha un enorme potere e un grande futuro. Credo nelle belle tabelle (e fino ad oggi) e basta!
- Il principale nastro di tutta questa "analitica" è l'automazione del processo decisionale. Qui si trovano le opportunità più succulente, ma anche i rischi più elevati, così le opportunità sono succulente, così i rischi, e così le opportunità, così i rischi… 🙂 La gestione della perforazione dei pozzi, ad esempio…
- Se "integrabilità" è la funzionalità chiave, i dati de facto devono essere presentati sotto forma di servizio. REST è nella guida, ma non bisogna dimenticare l'ottimizzazione delle prestazioni, che spesso viene sacrificata sull'altare dell'integrabilità, poiché la potenza di calcolo continua a crescere.
- I dati master sono ciò che deve essere localizzato, estratto, standardizzato, prima di affrontare qualsiasi questione imprenditoriale. I dati master sono piccoli, ma i problemi con essi sono grandi! Come dicono i fratelli della semantica - il 50% di tutti i problemi mondiali è dovuto al fatto che le persone chiamano le stesse cose con nomi diversi, e l'altro 50% è dovuto al fatto che chiamano cose diverse con lo stesso nome.
- Velocità della porta l'incapsulamento a livello di archiviazione limita l'apertura della soluzione e porta alla SILO-ificazione. Va bene se sei un grande fornitore, altrimenti è così così.Qui si parla, ovviamente, non del livello block e non di AWS S3, che già aveva 6 anni all'epoca, ma di file).
- Modellazione relazionale non è più nostro amico. RDF e key-value sono fantastici! Abbiamo visto trasformazioni magiche di database relazionali da modelli con 2000 tabelle a 15 tabelle, e nessun utente ha perso nulla.
- Internet funziona perché c'è URL come un unico modo di indirizzarlo. L'importanza delle URL, o meglio URI per le risorse informative dell'azienda è difficile da sovrastimare.
- Il text mining e il NLP sono popolari. Su Internet. Ma anche nel settore aziendale si possono ottenere enormi successi estraendo dati strutturati da dati aziendali non strutturati.
- Sinergia tra dati strutturati e informazioni estratte da dati non strutturati, ovvero file – un Klondike analitico.
- Estraendo dati – non dimentichiamo i diritti e i diritti d'autore.
- Un'azienda che si occupa di estrazione di dati deve formare undipartimento di hacker, nel buon senso della parola. Ispirato dalla dura lotta contro i sistemi di protezione delle Pagine Gialle dai bot di ricerca.
- Prima di lavorare con i dati, è necessario «vederli» in tutta la loro pienezza. È difficile da spiegare. Mi vengono in mente moduli tabellari. A qualcuno piacciono le rappresentazioni grafiche, ma ogni grafico è già un'interpretazione. In un modo o nell'altro… «vedere»!
- Ripetendosi nella questione della «fiducia» degli utenti nel front-end. Fiducia nei connettori/processi di generazione dei dati, fiducia nei dati, fiducia nelle decisioni prese.
Fonte: habr.com
