V letu 2013 IBS, ki so takrat očitno ustvarjali Oddelek za podatke, so me prosili, naj pripravim to brain dump (izključno na osnovi izkušenj s korporativnimi naročniki iz naftne in plinske industrije) glede problematičnega področja Velikih Podatkov in splošno o podatkih. Tu sem ga po 7 letih ponovno odkril in se mi je zdelo zabavno. Nekatere stvari so očitne. Nekatere so se izkazale za nekoliko napačne, toda ... 7 let je minilo.
Pisali smo v angleščini in sem pomislil, da bi to prevedel v slovenščino. Morda je kaj še vedno aktualno? (Prevedel bom bullet točke, tabele pa pustil v angleščini iz lenobe. Zeleno – dobro, rdeče – nevarno, modro – sanje).
Minimalne komentarje iz 'danes' bom oblikoval italika, da bo razumljivo in ločljivo.
Torej, PODATKI! Potrebujemo podatke...
Oddelek za podatke je kot Oddelek za kri, ker lahko podatke primerjamo z krvjo, ki teče skozi žile in arterije poslovnega organizma. Vendar, čeprav je kri ena, so organizmi različni in zato produktivizacija zelo otežena, a prav to predstavlja priložnost za razvoj.
Obstajajo ljudje, ki podatke takoj opazijo – to so Mi.
In so ljudje, ki podatkov žal ne vidijo. To so, spet žal, naši Naročniki!
Dakle, poslovni postulati...
- Prodajamo poslovanju, namesto IT (naj mi vsi IT-jevci odpustijo) ker rešujemo svetovne težave, no, in zaslužimo več denarja.
- Vse poslovne težave so osredotočene okoli tematskih industrijskih vertikal in bodo zahtevale ustrezno specializacijo.
- Poskusi dokazati vrednost 'podatkov' ali, kar je še težje, vrednost 'upravljanja podatkov' za poslovanje – to so večne bolečine in trpljenje. V bistvu je to tako, kot bi prišli do osebe, ki se počuti dobro, in rekli: 'Fant, mi ti zdaj zdravimo kri, in, fant, to bo drago!'
- Moja 'mokra sanja' je, da v okviru SaaS modela prodajam 'pridobivanje podatkov' in 'analitiko' mali in srednji podjetji, ki so se uvrstila v 123 oblačne storitve s super vmesniki: upravljanje projektov, pomoč uporabnikom, računovodstvo, CRM, plače, poročanje o času, marketing, ... imenujte to, in so se zakopali v podatke. Youcalc in Successfactors (takšnih verjetno že ni več) je super!
- Iščite ljudi, ki radi delajo “crunch” s podatki. Ti so redki in čudni (kot vedeževalci iz kavne usedline), a ključni za poslovanje. Pesnik, na primer, se lahko zelo dobro spozna na korelacijo.
- Inženirji soj su! Soj su, da bi preoblikovali probleme koje su Cruncheri iskopali iz podataka u rešenja. A uspeh ili neuspeh rešenja u potpunosti zavisi od njih.
- Razvoj odprtokoden projekata predstavlja ogromnu vrednost i omogućava "sakupljanje" složenih rešenja praktično "od nule."
- Ali... ne treba zaboraviti da je Hadoop biblioteka, a Lucene takođe biblioteka, a razlika između biblioteke i industrijskog proizvoda je značajna!
- Izgrađena rešenja će morati značajno da se prilagode, jer modularnost in integrabilnost su ključne tačke.
- Agilno (prosti Gospode) je ključna tehnika u interakciji sa klijentom i proveri hipoteza, kojih će biti mnogo.
- Outsourcing svake kodiranja i UI posebno se može i treba raditi. Svaku poslovnu analitiku i specifikacije backend-a treba ostaviti inside i smatrati ključnom kompetencijom.
- Ljudi koji donose odluke u poslovanju, treba da budu stalno "informisani" o neophodnosti pravilnog rada sa podacima i stalnom potrazi za novim načinima njihove analize. Kombinacija tehničkih i poslovnih kompetencija naših zaposlenih pomoći će podizanju statusa cele organizacije.
- Internet je beskrajan izvor inspiracije (tad još nije bilo toliko mačaka) u vezi sa pristupima korporativnom upravljanju podacima, uprkos tome što se zadaci i obim značajno razlikuju.
Tehnološke postulate...
- Postoji ogroman potencijal razvoja u pojednostavljenju načina na koji se podaci prikazuju ljudima. To se može nazvati rečju "ajfonizacija."
- Iako BI vendori tvrde da direktno donose analitiku krajnjim korisnicima, (i naravno, kreću se u tom pravcu) - proboj se još nije dogodio. Ljudi jednostavno slabo razumeju višedimenzionalne podatke.
- Korisnički interfejs koji predstavlja više ili manje složene slabo strukturirane podatke u fascetizovanom formatu predstavlja beskrajan broj problema. Zaključak: što je više plitko (flatter) - to je bolje.
- Platforma izgrađena na bazi automatskog ekstraktovanja podataka iz izvora (koji nisu uvek namenjeni za takvo ekstraktovanje) nalazi se u značajnoj zavisnosti od izvora, stabilnosti konektora i infrastrukture. U nemogućnosti da obezbede rezultat, platforma (glasnik) će uvek biti okrivljena. 70% strank ostane z nami več kot 2 leti – kapital te vrste platform. Kapital, ki ga je težko zaslužiti in enostavno izgubiti.
- Z vidika poslovanja ni nobene razlike med analizo Velikih Podatkov in Preprostimi podatki. Pogosto za preprostimi številkami, kot je 2x2, ležijo priložnosti v vrednosti milijonov dolarjev. Dober primer so podatki o koncu življenjske dobe infrastrukturnih elementov na Norveškem šelfu. Ko so vse datume prihodnjih kapitalnih popravil vse opreme postavili na eno os in ugotovili, da se čez N let obeta pravi šelfovni Armagedon — se je eden zelo premožnih ljudi dvignil iz naslanjača in pohitel iz sobe s besedami: „Opravičujem se, nimam časa, moram pripravljati floto…“
- Excel, katerega bistvo je jasno in pregledno tabelarično prikazovanje podatkov, ima ogromno moč in velik potencial. Verjamem v lepe tabele (in še vedno) in to je vse!
- Glavni lok celotne te 'analitike' je avtomatizacija sprejemanja odločitev. Tam so največje priložnosti, a tudi najvišja tveganja, zato so priložnosti velike, zato so tveganja velika, zato so priložnosti in tveganja… 🙂 Upravljanje vrtanja jaškov, na primer…
- Če je 'integrabilnost' ključna značilnost, potem morajo biti podatki de facto predstavljeni kot storitev. REST vladavina, vendar ne smemo pozabiti na optimizacijo izvedbe, ki jo pogosto žrtvujemo integrabilnosti, saj računalniška moč še naprej narašča.
- Mojstri podatkov so tisti, ki jih je treba lokalizirati, izločiti, standardizirati, preden naslovimo kakršna koli poslovna vprašanja. Mojstri podatkov so majhni, težave z njimi pa velike! Kot pravijo bratje semantike – 50% vseh svetovnih problemov izhaja iz dejstva, da ljudje različne stvari imenujejo z istim imenom, in preostalih 50% zato, ker iste stvari imenujejo z različnimi imeni.
- Poljubno enkapsulacija na ravni shranjevanja omejuje odprtost rešitve in vodi do SILO-ifikacije. Dobro je, če ste velik naročnik, drugače pa - ni ravno najbolje. (Tukaj govorimo, seveda, ne o blokovni ravni in ne o AWS S3, ki je že takrat imel 6 let, temveč o datotekah).
- Relacijsko modeliranje podatkov nam ni več prijatelj. RDF in key-value – super! Videli smo čarobne transformacije relacijskih baz z modeli iz 2000 tabel v 15 tabel, in nihče od uporabnikov ni ničesar izgubil.
- Internet deluje zato, ker obstaja URL kot ena način naslavljanja. Pomembnost URL-jev oziroma URI za informacijske vire podjetja je težko preceniti.
- Text mining in NLP sta priljubljena. Na spletu. Vendar pa lahko tudi v korporativnem sektorju dosežemo ogromne uspehe pri izvlečenju strukturiranih podatkov iz nestrukturiranih korporativnih podatkov.
- Sinergija med strukturiranimi podatki in informacijami, pridobljenimi iz nestrukturiranih podatkov, tj. datotek – analitična zlata jama.
- Pri izvlečenju podatkov – ne pozabljamo na pravice in avtorske pravice.
- Podjetje, ki se ukvarja z izvlekom podatkov, mora oblikovati departmahn hekerjev, v dobrem smislu te besede. Navdihnjeno od težkega boja s zaščitnimi sistemi Rumene strani pred iskalnimi boti.
- Preden začnete delati s podatki – jih morate »videti« v vsej njihovi celoti. Težko je razložiti. Prvič mi pridejo na misel tabelarni oblik. Nekaterim grafični prikazi, toda vsak graf je že interpretacija. Tako ali tako… »videti«!
- Ponovno se sprašujemo o »zaupanju« uporabnikov v frontend. Zaupanje v povezovalnike/procese generiranja podatkov, zaupanje v podatke, zaupanje v sprejete odločitve.
Izvor: habr.com
