In 2013 IBS, which back then seemed to create Data Division, asked me to do a brain dump (exclusively based on my experience with corporate oil and gas clients) regarding the problem area of Big Data, and Data in general. I stumbled upon it 7 years later and thought it was amusing. Some things are obvious. Some turned out to be not entirely accurate, but… 7 years have passed.
I wrote in English and then thought about translating it into Dutch. Perhaps something is still relevant? (I will translate the bullet points, but will leave the tables in English out of laziness. Green means good, red means dangerous, blue means dream).
I will add minimal comments from 'today' cursief, to make it clear and distinguishable.
So, DATA! We need data…
The Data Division is like the Blood Division because data can be compared to blood circulating through the veins and arteries of the business organism. However, while blood is one, the organisms are different, and therefore productization is very complicated, but it also represents an opportunity for growth.
There are people who see data right in front of them – these are Wij.
And there are people who, unfortunately, do not see data at all. This is, alas, our Clients!
So, business postulates…
- We sell to businesses, en niet IT (may all IT people forgive me immediately) because we solve global problems, and of course, make more money.
- All business problems are concentrated around thematic industry verticals and require adequate specialization.
- Attempts to prove the value of 'data' or, even more challenging, the value of 'data management' to businesses – this is an eternal suffering and pain. Essentially, it's like going to someone who is feeling fine and saying: “Dude, we are going to take care of your blood, and, dude, it’s expensive!”
- My 'wet dream' is to sell 'data extraction' and 'analytics' within the framework of a SaaS model to small and medium businesses, who have delved into 123 cloud services with cool interfaces: project management, helpdesk, accounting, CRM, payroll, time reporting, marketing, … you name it, and have buried themselves in data. Youcalc and Successfactors (there probably aren’t any more like that now) is good!
- Look for people who love to tinker “crunch” with data. They are rare and strange (like coffee ground fortune tellers), but key to the business. A poet, for example, may have a good understanding of correlation.
- Engineers nodig! Nodig om problemen die Crunchers uit de gegevens hebben gehaald om te zetten in oplossingen. En het succes of falen van de oplossingen hangt volledig van hen af.
- Ontwikkeling opensource projecten vormen een enorme waarde en bieden de mogelijkheid om complexe oplossingen praktisch "uit het niets" te "verzamelen".
- Maar... we mogen niet vergeten dat Hadoop een bibliotheek is, en Lucene ook een bibliotheek is, en de kloof tussen een bibliotheek en een industrieel product is aanzienlijk!
- De gebouwde oplossingen moeten aanzienlijk worden aangepast, omdat modulariteit en integratie de sleutelpunten zijn.
- Agile (welk een zegen) is de belangrijkste techniek in de interactie met de klant en de validatie van hypotheses, waarvan er veel zullen zijn.
- Het is uiterst mogelijk en zelfs noodzakelijk om elke codering en UI uit te besteden. Alle bedrijfsanalyse en specificaties back-end moeten achterblijven binnenin en worden beschouwd als een kerncompetentie.
- De zakelijke beslissers moeten continu "geïnformeerd" worden over de noodzaak van correcte omgang met gegevens en voortdurende zoektocht naar nieuwe analysemethoden. De combinatie van technische en zakelijke vaardigheden van onze medewerkers zal de status van de hele organisatie verbeteren.
- Internet is een eindeloze bron van inspiratie (toen waren er nog niet zoveel katten) met betrekking tot benaderingen van het bedrijfsbeheer van gegevens, ondanks dat de uitdagingen en de schaal aanzienlijk verschillen.
Technologische postulaten…
- Er is een enorm potentieel voor ontwikkeling in het vereenvoudigen van hoe gegevens aan mensen worden gepresenteerd. We kunnen dit "iPhoneisering" noemen.
- Hoewel BI-leveranciers beweren dat ze analytics rechtstreeks aan eindgebruikers leveren, (en ze bewegen zich zeker in deze richting) - is de doorbraak nog niet gebeurd. Mensen begrijpen gewoon slechtmeerdimensionale gegevens. De gebruikersinterface die meer of minder complexe, slecht gestructureerde gegevens in
- gefaseerde vorm weergeeft - creëert ook een eindeloos aantal problemen. Conclusie: hoe platter (flatter) - hoe beter. Platform, gebouwd op basis van automatische gegevensextractie uit bronnen (die niet altijd bedoeld zijn voor die extractie) is aanzienlijk afhankelijk van bronnen, stabiliteit van connectors, en infrastructuur. Bij het falen om resultaat te leveren, zal altijd het platform (de boodschapper) verantwoordelijk worden gehouden.
- Het platform, dat is opgebouwd op basis van automatische gegevensextractie uit bronnen (die niet altijd bedoeld zijn voor dergelijke extractie), is sterk afhankelijk van de bronnen, de stabiliteit van de connectors en de infrastructuur. Bij het niet kunnen leveren van resultaat zal altijd het platform (de boodschapper) de schuld krijgen. Vertrouwen – kapitaal van dit soort platforms. Kapitaal dat moeilijk te verdienen is en gemakkelijk te verliezen.
- Wat betreft het bedrijfsleven is er geen verschil tussen de analyse van Big Data en Gewone Data.. Vaak schuilen er achter eenvoudige cijfers mogelijkheden ter waarde van miljoenen dollars. Een goed voorbeeld is de data over de levensduur van infrastructurele elementen op het Noorse plateau. Toen alle data over toekomstig groot onderhoud van de apparatuur op één as werden gelegd, bleek dat er over N jaar een echte Armegeddon voor het plateau aankwam — een zeer vermogende man stond op van zijn stoel en verliet haastig de kamer met de woorden: "Sorry, ik heb weinig tijd, ik moet een vloot voorbereiden..."
- Excel, of eigenlijk een duidelijke en heldere tabelweergave van data, heeft enorme kracht en een grote toekomst. Ik geloof in mooie tabellen (en nog steeds) en dat is het!
- De belangrijkste strik van deze "analyse" is automatisering van besluitvorming.Daar liggen de dikste kansen, maar ook de hoogste risico's, daarom zijn de kansen dik, en zijn de risico's er, omdat de kansen er zijn, en de risico's... 🙂 Het beheren van boorputten, bijvoorbeeld...
- Als 'integratie' een sleutel feature is, moeten de data de facto als een service worden gepresenteerd. REST Het is belangrijk, maar we mogen de optimalisatie niet vergeten prestatie, die vaak tegenwoordig ten koste gaat van integratie, aangezien de rekencapaciteit blijft groeien.
- Master data is wat we moeten lokaliseren, extraheren en standaardiseren voordat we zakelijke vragen adresseren. Master data is klein, maar de problemen ermee zijn groot! Zoals de broers van de semantiek zeggen - 50% van alle wereldproblemen komt doordat mensen dezelfde dingen verschillende namen geven, en de andere 50% komt doordat ze verschillende dingen dezelfde naam geven.
- Elke encapsulatie op het opslagniveau beperkt de openheid van de oplossing en leidt tot SILO-ificatie. Het is goed als je een grote leverancier bent, anders is het niet zo geweldig. (Hier gaat het natuurlijk niet om blokniveau of AWS S3, dat toen al 6 jaar bestond, maar om bestanden.).
- Relationele modellering is geen vriend meer voor ons. RDF en key-value zijn geweldig! We hebben magische transformaties gezien van relationele databases met modellen van 2000 tabellen naar 15 tabellen, en niemand van de gebruikers heeft iets verloren.
- Het internet werkt omdat er URL als een uniforme manier van adressering. Het belang van een URL of beter gezegd URI is moeilijk te overschatten voor de informatiebronnen van een onderneming.
- Text mining en NLP zijn populair. Op internet. Maar ook in de bedrijfssector kunnen enorme successen worden geboekt door gestructureerde gegevens uit ongestructureerde bedrijfsdata te extraheren.
- Synergie tussen gestructureerde gegevens en informatie verkregen uit ongestructureerde gegevens, d.w.z. bestanden – een analytische goudmijn.
- Bij het extraheren van gegevens – laten we de rechten en auteursrechten.
- Een bedrijf dat gegevens tsert, moet eenhackersafdeling, in goede zin van het woord. Geïnspireerd door de zware strijd tegen de beschermingssystemen van de Gouden Gids tegen zoekrobots.
- Voordat je met gegevens begint te werken – moet je ze «zien» in al zijn volledigheid. Het is moeilijk uit te leggen. Ik denk aan tabellen. Anderen aan grafische weergaven, maar iedere grafiek is al een interpretatie. Hoe dan ook... «zien»!
- Terwijl we het hebben over de kwestie van het «vertrouwen» van gebruikers in de front-end. Vertrouwen in de connectors/dataproductieprocessen, vertrouwen in de gegevens, vertrouwen in de genomen beslissingen.
Bron: habr.com
