I 2013 IBS, som dengang, synes jeg, skabte Data Division, bad de mig om at lave sådan en brain dump (udelukkende baseret på erfaringen fra interaktion med erhvervslivet i olie- og gasindustrien) om problemområderne for Big Data og data generelt. Her er jeg faldet over det 7 år senere og syntes, det var sjovt. Nogle ting er åbenlyse. Nogle viste sig ikke at være helt rigtige, men… 7 år er gået.
Jeg skrev på engelsk og tænkte så på at oversætte til dansk. Måske er noget stadig aktuelt? (Jeg oversætter bullets, men lader tabellerne være på engelsk af dovenskab. Grøn er god, rød er farlig, blå er drøm).
Minimale kommentarer fra "i dag" vil jeg sætte i kursiv, så det er klart og adskilt.
Så, DATA! Vi har brug for data…
Data Division er som Bloddivisionen, fordi data kan sammenlignes med blod, der løber gennem venerne og arterierne i forretningsorganismen. Men mens blodet er det samme, er organisationerne forskellige, og derfor produktivisering er meget vanskeligt, men det udgør også en mulighed for udvikling.
Der er mennesker, der ser data lige i øjnene – det er Vi.
Og der er mennesker, der desværre ikke ser data. Det er, igen desværre, vores Kunder!
Så, forretningspostulater…
- Vi sælger til virksomheder, ikke IT (tilgive mig alle IT-folk med det samme) fordi vi løser verdensproblemer, og naturligvis også skal tjene flere penge.
- Alle forretningsproblemer er koncentreret omkring tematiske branchevertikaler og kræver passende specialisering.
- Forsøg på at bevise værdien af "data" eller, hvad der er endnu sværere, værdien af "data management" for virksomhederne – det er evige lidelser og smerte. I virkeligheden er det som at komme til en person, der har det ret godt, og sige: “Hey, vi skal lige behandle dit blod, og, mand, det bliver dyrt!”
- Min direkte „våde drøm“ er inden for SaaS-modellen at sælge „dataudtræk“ og „analyse“ til små og mellemstore virksomheder, der har gravet sig ned i 123 cloud-tjenester med smarte grænseflader: projektstyring, helpdesk, regnskab, CRM, løn, tidsrapportering, marketing, … you name it, og er blevet begravet i data. Youcalc og Successfactors (de findes nok ikke længere) er godt!
- Find mennesker, der elsker at lege med “knuse” data. De er sjældne og underlige (som spåkoner i kaffegrums), men nøglen til virksomheden. En digter, for eksempel, kan have en rigtig god forståelse for korrelation.
- Ingeniører de er nødvendige! Nødvendige for at omdanne de problemer, som Crunchere har trukket ud af dataene, til løsninger. Og succesen eller fiaskoen af løsningerne afhænger helt af dem.
- Udvikling open source projekter repræsenterer en enorm værdi og giver mulighed for at "samle" komplekse løsninger næsten "fra bunden".
- Men... man må ikke glemme, at Hadoop er et bibliotek, og Lucene er også et bibliotek, og afstanden mellem biblioteket og det kommercielle produkt er betydelig!
- De opbyggede løsninger skal væsentligt tilpasses, så modularitet og integrerbarhed er nøglepunkter.
- Agile (forbarm dig, Herre) er en central teknik i interaktionen med kunden og valideringen af hypoteser, som der vil være mange af.
- At outsource al kodning og UI er især muligt og nødvendigt. Hele forretningsanalysen og specifikationerne backend skal efterlades indenfor og betragtes som en kernekompetence.
- Mennesker, der træffer beslutninger i forretningen, skal konstant være "informerede" om behovet for korrekt håndtering af data og den konstante søgen efter nye måder at analysere dem på. Kombinationen af teknisk og forretningsmæssig kompetence hos vores medarbejdere vil hjælpe med at hæve status for hele organisationen.
- Internettet er en uendelig kilde til inspiration (dengang var der ikke så mange katte) hvad angår tilgange til datastyring på trods af at opgaverne og omfanget varierer betydeligt.
Teknologiske postulater…
- Der er et enormt udviklingspotentiale i forenkling af den måde, data præsenteres for folk. Det kan kaldes "iPhone-ificering".
- Selvom BI-leverandører hævder, at de direkte leverer analyser til slutbrugerne, (og de bevæger sig selvfølgelig i den retning) – er der stadig ikke sket et gennembrud. Folk forstår simpelthen dårligt flerdimensionelle data.
- Brugergrænsefladen, der præsenterer mere eller mindre komplekse svagt strukturerede data i facet-kategoriseret form – præsenterer også et uendeligt antal problemer. Konklusion: jo mere flad (flatter) – jo bedre.
- Platformen, der er bygget på automatiseret dataudtræk fra kilder (som ikke altid er beregnet til dette formål), er i høj grad afhængig af kilderne, stabiliteten af forbindelserne og infrastrukturen. Hvis resultaterne ikke kan leveres, vil platformen (budbringeren) altid blive beskyldt. Tillid – kapitalen i sådanne platforme. Kapital, som er svær at opnå og let at miste.
- Fra et forretningsperspektiv er der ingen forskel mellem analysen af Big Data og Bare Data. Bag de simple som 2x2 tal ligger ofte muligheder for millioner af dollars. Et godt eksempel er data om livscyklussen for infrastrukturkomponenter på den norske kontinentalsokkel. Da alle fremtidige datoer for kapitalreparationen af alt udstyr blev lagt på én akse, viste det sig, at der om N år ville komme en reel kontinentalsokkel-apokalyse – en meget velhavende person rejste sig fra stolen, bukkede høfligt og forlod rummet med ordene: "Undskyld, jeg har ikke meget tid, jeg skal forberede flåden…"
- Excel, i sin essens et klart og præcist tabelrepræsentation af data, har enorm styrke og en lys fremtid. Jeg tror på smukke tabeller (og gør stadig) og det er alt!
- Den vigtigste sløjfe i al denne "analyse" er automatisering af beslutningstagning. Her ligger de største muligheder, men også de højeste risici, derfor er mulighederne store, derfor er risiciene, derfor er mulighederne, derfor risiciene… 🙂 Styring af boring af brønde, for eksempel…
- Hvis "integrerbarhed" er en nøglefunktion, så skal data de facto præsenteres som en service. REST er konge, men man må ikke glemme optimering ydelse, som ofte ofres for integrerbarhed, da computerkraften fortsætter med at vokse.
- Master data er det, der skal lokaliseres, udtrækkes, standardiseres, før man adresserer bestemte forretningsspørgsmål. Master data er små, men problemerne med dem er store! Som brødrene i semantik siger – 50% af alle verdens problemer skyldes, at folk kalder de samme ting forskellige navne, og de andre 50% fordi de kalder forskellige ting det samme navn.
- Enhver inkapsling i lagringsniveauet begrænser åbenheden af løsningen og fører til SILO-ificering. Det er godt, hvis du er en stor leverandør, ellers – så som så. (Dette handler selvfølgelig ikke om blokniveauet eller AWS S3, som allerede var 6 år gammelt dengang, men om filer).
- Relationel modellering data er ikke længere vores ven. RDF og key-value – fantastisk! Vi har set magiske transformationer af relationelle databaser fra modeller med 2000 tabeller til 15 tabeller, og ingen brugere har mistet noget.
- Internettet fungerer, fordi der er URL en enhedlig adressering. Vigtigheden af URL eller rettere URI for virksomhedens informationsressourcer er vanskelig at undervurdere.
- Text mining og NLP er populære. På internettet. Men også i den private sektor kan man opnå enorme fremskridt ved at udtrække strukturerede data fra ustrukturerede virksomhedsdata.
- Synergi mellem strukturerede data og information udtrukket fra ustrukturerede data, altså filer – en analytisk Klondike.
- Når man udtrækker data – glem ikke rettighederne og ophavsretterne.
- Virksomheden, der arbejder med dataudtræk, skal danne enhackerafdeling, i god mening. Inspireret af den hårde kamp mod beskyttelsessystemer for de Gule Sider mod søgemaskinebots.
- Før man arbejder med data – skal de «ses» i sin helhed. Det er svært at forklare. Jeg tænker på tabelformer. Nogle tænker på grafiske repræsentationer, men enhver graf er jo allerede en fortolkning. På en eller anden måde… «se»!
- Når man gentager spørgsmålet om «tillid» hos brugerne til frontenden. Tillid til connectors/data-genereringsprocesser, tillid til dataene, tillid til de beslutninger, der træffes.
Kilde: habr.com
