U 2013. godini IBS, koji su tada, čini se, stvarali Odjel za podatke, zamolili su me da napravim takav brain dump (isključivo na temelju iskustva u radu s korporativnim naftnim i plinskim naručiteljima) o problematičnom području Velikih Podataka, pa i Podataka uopće. Tako sam ga pronašao nakon 7 godina i činilo mi se zabavno. Neke stvari su očite. Neke su se pokazale manje točnima, ali… prošlo je 7 godina.
Pisao sam na engleskom i tako sam pomislio prevesti na hrvatski. Možda je nešto i danas relevantno? (Prevest ću bullete, a tablice ću ostaviti na engleskom zbog lijenosti. Zeleno – dobro, crveno – opasno, plavo – san).
Minimalne komentare iz "danas" ću oblikovati kurzivom, kako bi bilo jasno i prepoznatljivo.
Dakle, PODACI! Trebamo podatke…
Odjel za podatke – to je Odjel za Krv, jer se podaci mogu usporediti, na primjer, s krvlju koja teče kroz vene i arterije poslovnog organizma. Iako je krv jedna – organizmi su različiti i stoga produktizacija je vrlo otežana, ali ona također predstavlja priliku za razvoj.
Postoje ljudi kojima podaci odmah upadaju u oči – to su Mi.
A postoje ljudi koji, nažalost, podatke ne vide ni izbliza. To su, opet nažalost, naši Korisnici!
Dakle, poslovni postulati…
- Prodajemo poslovanju, a ne IT (neka mi oproste svi IT-ovci) jer rješavamo globalne probleme, pa i zarađujemo više.
- Sve poslovne probleme moguće je koncentrirati oko tematskih industrijskih vertikala i zahtijevat će adekvatnu specijalizaciju.
- Pokušaji dokazivanja vrijednosti „podataka“ ili, što je još teže, vrijednosti „upravljanja podacima“ poslovanju – to su vječna patnja i bol. U suštini, to je kao doći do osobe koja se osjeća prilično dobro i reći: “Čovječe, sada ćemo ti liječiti krv, i, čovječe, to je skupo!”
- Moja izravna „vlažna sanja“ je unutar SaaS modela prodavati „izvlačenje podataka“ i „analitiku“ malom i srednjem poslovanju, koje je ušlo u 123 oblaka servisa s cool korisničkim sučeljima: upravljanje projektima, helpdesk, računovodstvo, CRM, plaćanja, izvještavanje o vremenu, marketing, … što god, i zakopalo se u podacima. Youcalc i Successfactors (vjerojatno više nisu tu) to je dobro!
- Tražite ljude koji vole zabušavati „krčkati“ s podacima. Oni su rijetki i čudni (poput proricatelja budućnosti iz kafe), ali ključni za poslovanje. Pjesnik, na primjer, može vrlo dobro razumjeti korelaciju.
- Inženjeri su potrebni! Potrebni su da pretvore probleme koje su Cruncher-i izvukli iz podataka u rješenja. A uspjeh, ili neuspjeh rješenja u potpunosti ovisi o njima.
- Razvoj opensource projekata predstavlja ogromnu vrijednost i pruža mogućnost 'okupljanja' složenih rješenja gotovo 'od nule'.
- Ali… ne smije se zaboraviti da je Hadoop biblioteka, a Lucene također biblioteka, a razlika između biblioteke i industrijskog proizvoda značajna!
- Izgrađena rješenja će se morati značajno prilagoditi, jer modularnost i integrabilnost su ključne točke.
- Agile (prospi, Bože)— ključna tehnika u suradnji s klijentom i provjeri hipoteza, kojih će biti mnogo.
- Outsourcati svaki kodiranje i UI osobito se može i treba. Svu poslovnu analitiku i specifikacije backend-a treba ostaviti unutar i smatrati kao ključnu kompetenciju.
- Ljudi koji donose odluke u poslovanju, trebaju biti stalno 'informirani' o potrebnoj ispravnoj upotrebi podataka i stalnom traženju novih načina analize. Kombinacija tehničkih i poslovnih kompetencija naših zaposlenika pomoći će podići status cijele organizacije.
- Internet je beskrajan izvor inspiracije (to je tada još bilo malo mačaka) u vezi s pristupima korporativnom upravljanju podacima, unatoč tome što se problemi i obim značajno razlikuju.
Tehnološke postavke…
- Postoji ogroman potencijal razvoja u pojednostavljenju načina na koje se podaci prikazuju ljudima. Može se nazvati 'ajfonizacija'.
- Iako BI dobavljači tvrde da izravno donose analitiku krajnjim korisnicima, (i naravno, kreću se u tom smjeru) – proboj se još nije dogodio. Ljudi jednostavno slabo razumiju višedimenzionalne podatke.
- Korisničko sučelje koje prikazuje više ili manje složene slabo strukturirane podatke u fascetiziranom obliku – također predstavlja beskrajnu količinu problema. Zaključak: što je ravnije (flatter) – to je bolje.
- Platforma koja se temelji na automatskom izvlačenju podataka iz izvora (koji ne moraju uvijek biti namijenjeni za takvo izvlačenje) u velikoj je mjeri ovisna o izvorima, stabilnosti konektora i infrastrukturi. Kada rezultat ne može biti osiguran, uvijek će se okriviti platforma (glasnik). Povjerenje – kapital tog tipa platformi. Kapital koji je teško steći i lako izgubiti.
- S poslovne strane, nema nikakve razlike između analize Velikih Podataka i Običnih Podataka. Često iza jednostavnih, poput 2×2, leže mogućnosti vrijedne milijune dolara. Dobar primjer su podaci o završetku vijeka trajanja elemenata infrastrukture na Norveškom šelfu. Kada su svi datumi budućih kapitalnih popravaka cjelokupne opreme stavljeni na jednu osovinu, otkriveno je da nakon N godina dolazi do pravog šelfovskog Armagedona – jedan vrlo bogat čovjek ustao je s stolice i brzo se ispričao, rekavši: „Žao mi je, nemam vremena, moram pripremiti flotu…“
- Excel, odnosno jasno i precizno tablično prikazivanje podataka, ima ogroman potencijal i veliku budućnost. Vjerujem u lijepe tablice (i još uvijek) i to je to!
- Glavna mašta cijele ove „analitike“ je automatizacija donošenja odluka. Tamo su najznačajnije mogućnosti, ali i najviše rizike, zbog čega su mogućnosti velike, zbog čega su rizici, zbog čega su mogućnosti, zbog rizika… 🙂 Upravljanje bušenjem bunara, na primjer…
- Ako je „integrabilnost“ ključna značajka, tada bi podaci de facto trebali biti predstavljeni kao usluga. REST dominira, ali ne smijemo zaboraviti na optimizaciju performansi, koju često sada žrtvujemo integrabilnosti, jer računalna moć neprestano raste.
- Glavni podaci – to su podaci koje treba lokalizirati, izvući, standardizirati prije nego što se pozabavimo nekim poslovnim pitanjima. Glavni podaci su mali, ali su problemi s njima veliki! Kako kažu braća semantike – 50% svih svjetskih problema potječe iz činjenice da ljudi jedne te iste stvari nazivaju različitim imenima, a drugih 50% iz činjenice da različite stvari nazivaju jednim imenom.
- Bilo koja enkapsulacija na razini pohrane ograničava otvorenost rješenja i dovodi do SILO-ifikacije. Dobro je ako ste veliki dobavljač, u suprotnom – nije baš sjajno. (Ovdje se, naravno, ne radi o blok nivou niti o AWS S3, kojem je tada već bilo 6 godina, već o datotekama).
- Relacijsko modeliranje podaci nam više nisu prijatelj. RDF i key-value – to je sjajno! Vidjeli smo magične transformacije relacijskih baza s modelima iz 2000 tablica u 15 tablica, a nitko od korisnika nije ništa izgubio.
- Internet funkcioniše jer postoji URL kao jedinstveni način adresiranja. Važnost URL-a ili preciznije URI za informacijske resurse poduzeća teško je precijeniti.
- Text mining i NLP su popularni. Na internetu. No i u korporativnom sektoru se mogu postići ogromni uspjesi ekstrakcijom strukturiranih podataka iz nestrukturiranih korporativnih podataka.
- Sinergija između strukturiranih podataka i informacija dobivenih iz nestrukturiranih podataka, tj. datoteka – analitički Klondike.
- Ekstrakcija podataka – ne zaboravljajmo na prava i autorska prava.
- Tvrtka koja se bavi ekstrakcijom podataka mora formirati department hakera, u dobrom smislu te riječi. Inspirirano teškom borbom protiv sustava zaštite Žutih Stranica od pretraživačkih botova.
- Prije nego što se radi s podacima – potrebno ih je «vidjeti» u svojoj punini. To je teško objasniti. Padaju mi na pamet tablični oblici. Nekome grafički prikazi, ali svaki grafikon već predstavlja interpretaciju. Kako god bilo… «vidjeti»!
- Ponavljajući pitanje «povjerenja» korisnika prema front-end-u. Povjerenje u konektore/procese generiranja podataka, povjerenje u podatke, povjerenje u donesene odluke.
Izvor: habr.com
