Data Division. år 2013. Tilbagevirkende kraft

I 2013 år IBS, som så så ud til at skabe Data Division, bad mig lave sådan et braindump (eksklusivt baseret på erfaringer fra interaktion med virksomheders olie- og gaskunder) vedrørende problemområdet Big Data og Data generelt. Så jeg stødte på den 7 år senere og syntes den var sjov. Nogle ting er indlysende. Nogle viste sig ikke at være helt rigtige, men... 7 år er gået.

Jeg skrev på engelsk, og nu tænkte jeg på at oversætte det til russisk. Hvad hvis noget stadig er relevant nu? (Jeg vil oversætte bulletinerne, men lad skiltene være på engelsk af dovenskab. Grøn er godt, rød er farlig, blå er en drøm).

Jeg vil formalisere de minimale kommentarer fra "i dag" italienskså det er klart og tydeligt.

Altså DATA! Vi har data...

Datadivisionen er Bloddivisionen, fordi data f.eks. kan sammenlignes med blodet, der løber gennem venerne og arterierne i en virksomhed. Men selvom blodet er det samme, er organismerne forskellige og derfor produktisering meget vanskeligt, men det repræsenterer også en mulighed for udvikling.

Der er mennesker, for hvem dataene springer lige ind i deres øjne – det er disse Vi.
Og der er folk, der desværre ikke kan se datapunktet tomt. Dette er igen, desværre, vores Kunder!

således forretningsprincipper...

1. Sælge forretningOg ikke IT (må alle it-specialister tilgive mig med det samme), fordi vi løser verdens problemer, og ja, flere penge.
2. Alle forretningsproblemer er koncentreret omkring tematiske industrivertikaler og vil kræve tilstrækkelige specialiseringer.
3. Forsøg på at bevise værdien af ​​"data" eller, endnu sværere, værdien af ​​"datahåndtering" for en virksomhed er evig lidelse og smerte. Dybest set er det som at komme til en person, der har det godt og sige: "Dude, vi skal behandle dit blod nu, og dude, det er dyrt!"
4. Min "våde drøm" er at sælge "dataekstraktion" og "analytics" inden for SaaS-modellen små og mellemstore virksomhederder klatrede ind i 123 cloud-tjenester med fede grænseflader: projektledelse, helpdesk, regnskab, CRM, løn, tidsrapportering, marketing, ... you name it, og begravede sig i dataene. Youcalc og succesfaktorer (der er nok ikke længere) Det er godt!
5. Kig efter folk, der kan lide at pille "knas" med data. De er sjældne og mærkelige (som teblade), men nøglen til forretning. En digter kan for eksempel være meget god til korrelation.
6. ingeniører havde brug for! Nødvendig for at vende problemer, som Crunchers trak ud af data, til løsninger. Og beslutningens succes eller fiasko afhænger helt af dem.
7. udvikling opensource projekter er af stor værdi og gør det muligt at "samle" komplekse løsninger praktisk talt fra bunden.
8. Men... vi må ikke glemme, at Hadoop er et bibliotek, og Lucene er også et bibliotek, og afstanden mellem bibliotek og industriprodukt meget!
9. De byggede løsninger vil skulle tilpasses væsentligt, pga modularitet и integrerbarhed - centrale punkter.
10. Adræt (Gud tilgiv mig) er en nøgleteknik i interaktion med kunden og verifikation hypoteser, som der vil være mange af.
11. Det er især muligt og nødvendigt at outsource al kodning og UI. Alle forretningsanalyser og specifikationer bagende nødt til at forlade inden og betragtes som en kernekompetence.
12. Forretningsbeslutningstagere skal konstant "informeres" om behovet for at arbejde korrekt med data og søger konstant efter nye måder at analysere dem på. Kombinationen af ​​vores medarbejderes tekniske og forretningsmæssige kompetencer vil være med til at højne status for hele organisationen som helhed.
13. Internet – der er en uendelig kilde til inspiration (der var ikke så mange katte dengang) i forhold til tilgange til virksomhedsdatahåndtering, selvom målene og omfanget varierer betydeligt.

Teknologiske postulater...

1. Der er et stort udviklingspotentiale i forenkling hvordan data vises til folk. Du kan kalde dette ordet "iPhonization".
2. På trods af at BI-leverandører hævder, at de er direkte bringe analyser til slutbrugere, (og de bevæger sig bestemt i denne retning) - gennembruddet har endnu ikke fundet sted. Folk forstår det bare ikke godt flerdimensionelle data.
3. En brugergrænseflade, der repræsenterer mere eller mindre komplekse, løst strukturerede data i facetteret form - giver også et uendeligt antal problemer. Konklusion: jo fladere jo bedre.
4. En platform bygget på basis af automatisk dataudtræk fra kilder (som ikke altid er designet til en sådan udtrækning) er væsentligt afhængig af kilderne, stabiliteten af ​​forbindelserne og infrastrukturen. Platformen (messenger) vil altid blive beskyldt for manglende resultater. tillid – kapital af denne slags platforme. Kapital, der er svær at tjene og let at miste.
5. Fra et forretningsmæssigt synspunkt er der ingen forskel på Big Data-analyse og Bare data. Bag tal så simple som 2x2 ligger der ofte muligheder for millioner af dollars. Et godt eksempel er data om endt levetid af infrastrukturelementer på norsk sokkel. Hvornår er alle datoerne for fremtidige caps. reparationer af alt udstyr blev sat på en akse, og de fandt ud af, at om N år kom hylden Armageddon - en meget velhavende mand rejste sig fra sin stol og bukkede hastigt ud af lokalet med ordene: "Undskyld, det gør jeg ikke har meget tid, jeg skal forberede flåden..."
6. Excel, og i det væsentlige en klar og kortfattet tabelpræsentation af data, har enorm kraft og en stor fremtid. Jeg tror på smukke borde (og gør det stadig) og det er det!
7. Hovedbuen i al denne "analyse" er beslutningsautomatisering. Der er de største muligheder, men også de højeste risici, det er derfor mulighederne er rige, det er derfor der er risici, det er derfor der er muligheder, det er derfor de er toffee... 🙂 Brøndboringsstyring, for eksempel...
8. Hvis "integrerbarhed" er en nøglefunktion, bør dataene de facto præsenteres som en service. REST regler, men vi må ikke glemme optimering produktivitet, som nu ofte ofres for integrerbarhed, efterhånden som computerkraften fortsætter med at vokse.
9. Stamdata - det er det, der skal lokaliseres, udtrækkes, standardiseres, før der tages fat på forretningsproblemer. Stamdata er små, men problemer med dem er store! Som semantikkens brødre siger, skyldes 50 % af alle verdens problemer, at folk kalder de samme ting ved forskellige navne, og de andre 50 % er, fordi de kalder forskellige ting ved samme navn.
10. nogen indkapsling på lagerniveau begrænser det løsningens åbenhed og fører til SILO-ficering. Det er godt, hvis du er en stor sælger, ellers er det halvdårligt. (Her taler vi selvfølgelig ikke om blokniveauet og ikke om AWS S3, som allerede var 6 år gammel dengang, men om filer).
11. Relationel modellering data er ikke længere vores ven. RDF og nøgleværdi – fedt! Vi har set magiske transformationer af relationelle databaser med modeller af 2000 tabeller til 15 tabeller, og ingen af ​​brugerne mistede noget.
12. Internettet virker, fordi det eksisterer URL som en samlet metode til adressering. Vigtigheden af ​​URL eller rettere URI for virksomhedens informationsressourcer er svære at overvurdere.
13. Tekstmining og NLP er populære. På internettet. Men selv i erhvervssektoren kan der opnås stor succes ved at udtrække strukturerede data fra ustrukturerede virksomhedsdata.
14. Synergi mellem strukturerede data og informationer udtrukket fra ustrukturerede data, dvs. filer – analytisk Klondike.
15. Når du udtrækker data, så glem ikke rettigheder og ophavsrettigheder.
16. Dataudvindingsvirksomheden skal danne enhacker afdeling, i ordets gode betydning. Inspireret af kampen op ad bakke mod Yellow Pages crawler-botbeskyttelsessystemer.
17. Inden man arbejder med data, er det nødvendigt at "se" i sin helhed. Det er svært at forklare. Tabelformer kommer til at tænke på. For nogle er grafiske repræsentationer, men enhver graf er allerede en fortolkning. På den ene eller anden måde... "se"!
18. Gentager spørgsmålet om brugerens "tillid" i frontend. Tillid til connectors/datagenereringsprocesser, tillid til data, tillid til de trufne beslutninger.

Kilde: www.habr.com