Data Division. 2013. Retrospektiv

År 2013 IBS, som då verkade skapa Dataavdelningen, bad de mig att göra en sådan brain dump (endast baserat på erfarenhet av interaktion med företagskunder inom olje- och gasbranschen) angående problemområdet Stora Data, ja, och Data överhuvudtaget. Här är jag, sju år senare, och det kändes lustigt. Vissa saker är uppenbara. Andra visade sig vara inte helt korrekta, men... det har gått sju år.

Jag skrev på engelska och tänkte nu översätta till svenska. Kanske är något fortfarande aktuellt? (Jag översätter punkterna, men lämnar tabellerna på engelska för lathet. Grönt – bra, rött – farligt, blått – en dröm).

Minimala kommentarer från "idag" kommer att formateras i kursiv, så att det är tydligt och distinkt.

Så, DATA! Vi behöver data...

Dataavdelningen är som blodavdelningen, eftersom data kan jämföras med blod som flyter genom vener och artärer i affärens organismer. Men även om blodet är detsamma – organismerna är olika och därför produktivisering är mycket komplicerad, men det representerar också en möjlighet till utveckling.

Det finns människor som ser data direkt i ögonen – det är Vi.
Och det finns människor som tyvärr inte ser data på nära håll. Detta, återigen tyvärr, är våra Kunder!

Så, affärspostulat...

1. Vi säljer till företag, inte IT (må de alla IT-specialister förlåta mig) eftersom vi löser globala problem, ja och tjänar lite mer pengar.
2. Alla affärsproblem koncentreras kring specifika branscher och kommer att kräva adekvat specialisering..
3. Försök att bevisa värdet av "data" eller, ännu svårare, värdet av "datastyrning" för företaget – detta är eviga plågor och smärtor. I grund och botten är det som att gå till en person som mår ganska bra och säga: "Själv, vi ska nu behandla ditt blod, och, själv, det är dyrt!"
4. Min verkliga "fuktiga dröm" är att inom ramen för en SaaS-modell sälja "datautvinning" och "analys" till små och medelstora företag, som har dykt upp i 123 molntjänster med coola gränssnitt: projektledning, helpdesk, bokföring, CRM, löner, tidrapportering, marknadsföring, ... allt du kan tänka dig, och grävt ner sig i data. Youcalc och Successfactors (de finns nog inte längre) är bra!
5. Sök efter personer som älskar att arbeta med "crunch" data. De är sällsynta och konstiga (som spådamer på kaffekvistar), men avgörande för affären. En poet, till exempel, kan förstå korrelationen ganska bra.
6. Ingenjörer de behövs! De behövs för att omvandla de problem som Crunchers dragit ur datan till lösningar. Och framgången, eller misslyckandet av lösningen beror helt och hållet på dem.
7. Utveckling öppen källkod av projekt utgör ett enormt värde och ger möjlighet att 'bygga' komplexa lösningar praktiskt taget 'från grunden'.
8. Men... man får inte glömma att Hadoop är ett bibliotek, och Lucene är också ett bibliotek, och avståndet mellan ett bibliotek och en industriprodukt är betydande!
9. De uppbyggda lösningarna måste anpassas avsevärt, därför modularitet och integrerbarhet – är nyckelpunkterna.
10. Agile (herregud) är en nyckelteknik för att samarbeta med kunden och verifiera hypoteser, som kommer att vara många.
11. Att outsourca alla kod och UI bör göras, och göras. All affärsanalys och specifikationer av backend måste lämnas inuti och betraktas som en nyckelkompetens.
12. Folk som fattar beslut i affärer måste ständigt vara 'informerade' om behovet av att arbeta rätt med data och ständigt söka nya sätt att analysera dem. Kombinationen av tekniska och affärskompetenser hos våra anställda hjälper till att höja statusen på hela organisationen.
13. Internet – är en oändlig inspirationskälla (det var ju inte så många katter då) när det gäller tillvägagångssätt till företagsdatas styrning, trots att uppgifter och skala varierar avsevärt.

Teknologiska postulat…

1. Det finns en enorm potential för utveckling i överskådlighet i hur data presenteras för folk. Man kan kalla det för 'iPhone-ifiering'.
2. Trots att BI-leverantörer påstår att de direkt ger analys till slutkonsumenter, (och de rör sig naturligtvis i den riktningen) – har det ändå inte skett något genombrott. Människor förstår helt enkelt inte flerdimensionell data.
3. Användargränssnittet, som presenterar mer eller mindre komplexa svagt strukturerade data i facet-termer så representerar det också ett oändligt antal problem. Slutsats: ju mer platt – desto bättre.
4. Plattformen, som bygger på automatisk datainhämtning från källor (som inte alltid är avsedda för sådan insamling), är starkt beroende av källorna, stabiliteten hos kopplingarna och infrastrukturen. Om resultaten inte kan levereras kommer alltid plattformen (budbäraren) att bli skyldig. 70% av kunderna stannar hos oss i mer än 2 år – kapitalet för denna typ av plattformar. Kapitalet som är svårt att tjäna och lätt att förlora.
5. Ur ett affärsperspektiv finns det ingen skillnad mellan analys av Stora Data och Bara Data. Ofta döljer sig möjligheter värda miljoner dollar bakom enkla som 2x2 siffror. Ett bra exempel är data om livslängden för infrastrukturkomponenter på den norska kontinentalsockeln. När alla framtida datum för kapitalreparationer av all utrustning lades på en axel och man insåg att om N år kommer en verklig plattformsarmageddon — reste sig en mycket förmögen man från sin stol och, efter att ha gjort en hastig bugning, lämnade rummet med orden: "Ursäkta, jag har ont om tid, jag måste förbereda flottan ..."
6. Excel, eller snarare en tydlig och klar tabellpresentation av data, har enorm kraft och stor framtid. Jag tror på vackra tabeller (och fortfarande) och det är allt!
7. Den främsta knuten i all denna "analys" är automatisering av beslutsfattande. Där finns de största möjligheterna, men också de högsta riskerna, därför är möjligheterna stora och därför finns riskerna och därför möjligheterna och riskerna… 🙂 Hantering av borrning av brunnar, till exempel…
8. Om "integrerbarhet" är en nyckelfunktion, då måste data de facto presenteras som en tjänst. REST är viktigt, men man får inte glömma bort optimering prestanda, vilket ofta nu offras för integrerbarhet, eftersom datorkraften fortsätter att öka.
9. Master data är det som behöver lokaliseras, extraheras och standardiseras innan några affärsfrågor adresseras. Master data är små, medan problemen med dem är stora! Som bröderna i semantiken säger – 50% av alla världens problem beror på att människor kallar samma saker olika namn, och de andra 50% beror på att de kallar olika saker samma namn.
10. Valfri inkapsling på lagernivå begränsar öppenheten i lösningen och leder till SILO-fiering. Det är bra om du är en stor leverantör, annars – inte så bra.Här handlar det inte förstås om blocknivå eller AWS S3, som då redan var 6 år gammal, utan om filer).
11. Relationell modellering är inte längre vår vän. RDF och key-value – fantastiskt! Vi har sett magiska omvandlingar av relationella databaser med modeller från 2000 tabeller till 15 tabeller, och ingen av användarna har förlorat något.
12. Internet fungerar eftersom det finns URL en enhetlig adressmetod. Betydelsen av URL eller hellre URI för informationsresurser i företaget går inte att överskatta.
13. Text mining och NLP är populära. På Internet. Men även inom företagssektorn kan man uppnå stora framgångar genom att extrahera strukturerad data från ostrukturerad företagsdata.
14. Synergi mellan strukturerad data och information som extraherats från ostrukturerad data, det vill säga filer – en analytisk guldgruva.
15. När man extraherar data – glöm inte rättigheter och upphovsrätt.
16. Företaget som sysslar med datainsamling bör forma enhackaravdelning, i god mening. Inspirerat av den svåra kampen mot Yellow Pages skyddssystem mot sökmotorrobotar.
17. Innan man arbetar med data – måste man "se" dem i sin helhet. Det är svårt att förklara. Jag tänker på tabeller. Vissa kanske på grafiska representationer, men varje graf är ju redan en tolkning. Hur som helst... "se"!
18. Som jag upprepar i frågan om användarnas "förtroende" för frontend. Förtroende för datakopplingar/processer, förtroende för data, förtroende för de beslut som fattas.

Källa: habr.com