V roku 2013 IBS, ktoré vtedy, zdá sa, vytvárali Dátový divízia, ma požiadali, aby som spravil taký brain dump (exkluzívne na základe skúseností s korporátnymi zákazníkmi v oblasti ropy a plynu) o problematickej oblasti Veľkých Dát a vo všeobecnosti Dát. Narazil som na to po 7 rokoch a zdalo sa mi to zábavné. Niektoré veci sú samozrejmé. Niektoré sa ukázali byť nie celkom správne, ale… prešlo 7 rokov.
Písal som v angličtine a potom som si pomyslel, že to preložím do slovenčiny. Možno je niečo aktuálne aj teraz? (Preložím body, ale tabuľky nechám v angličtine zo lenivosti. Zelené – dobré, červené – nebezpečné, modré — sen).
Minimálne komentáre z "dneška" vyformulujem kurzívou, aby to bolo jasné a rozlíšiteľné.
Takže, DÁTA! Potrebujeme dáta...
Dátový divízia – to je Divízia Krvi, pretože dáta sa dajú prirovnať napríklad k krvi, ktorá prúdi v žilách a tepnách podnikového organizmu. Avšak hoci krv je jedna – organizmy sú rôzne a preto produktizácia je veľmi sťažená, ale je to aj príležitosť na rozvoj.
Sú ľudia, ktorým dáta priamo padnú do očí – to sú Integrujeme Grafanu s Omnibus.
A sú ľudia, ktorí bohužiaľ dáta vôbec nevidia. To sú, opäť bohužiaľ, naši Zákazníci!
Takže, biznis postuláty...
- Predávame podniku, a ne IT (nech mi všetci IT-čkári hneď odpustia) pretože riešime svetové problémy, no a aj viac peňazí.
- Všetky podnikové problémy sú sústredené okolo tematických odvetvových vertikál a vyžadujú adekvátne specializácie.
- Pokusy dokázať význam „dát“ alebo, čo je ešte ťažšie, význam „správy dát“ pre podnik – to sú večné trápenia a bolesť. V podstate, je to ako prísť k človeku, ktorý sa cíti celkom dobre, a povedať: "Človeče, teraz ťa vyliečime z krvi, a to, človeče, bude drahé!"
- Moja priam "vlhká túžba" je v rámci modelu SaaS predávať "extrakciu dát" a "analytiku" malému a strednému podnikaniu, ktoré sa dostalo do 123 cloudových služieb s peknými rozhraniami: project management, helpdesk, účtovníctvo, CRM, mzdy, reportovanie času, marketing, … a tak ďalej, a ponorili sa do dát. Youcalc a Successfactors (už asi nie sú také) je to dobré!
- Hľadajte ľudí, ktorí radi manipulujú "crunch" s dátami. Sú zriedkavé a zvláštne (ako veštci na kávovej usadenine), ale kľúčové pre podnikanie. Poet, napríklad, môže veľmi dobre rozumieť korelácii.
- Inžinieri sú potrební! Potrební na to, aby premenili problémy, ktoré Cruncheri vytiahli z dát na riešenia. A úspech, alebo neúspech riešenia sa úplne odvíja od nich.
- Rozvoj opensourcе projektov predstavuje obrovskú hodnotu a dáva možnosť 'zhromaždiť' zložené riešenia prakticky 'od nuly'.
- Ale… nesmieme zabúdať, že Hadoop je knižnica, a Lucene tiež knižnica, a vzdialenosť medzi knižnicou a priemyselným produktom je značná!
- Vybudované riešenia bude potrebné podstatne prispôsobiť, preto modularita a integrovanosť sú kľúčové aspekty.
- Agil (prepáč, Bože) – kľúčová technika pri interakcii so zákazníkom a testovaní hypotéz, ktorých bude veľa.
- Outsourcovať akékoľvek kódovanie a UI obzvlášť možno a treba. Celú biznis analytiku a špecifikácie backendu je potrebné nechať vnútri a považovať to za kľúčovú kompetenciu.
- Ľudia, ktorí prijímajú rozhodnutia za podnik, by mali byť neustále 'informovaní' o potrebe správneho zaobchádzania s dátami a neustáleho hľadania nových spôsobov ich analýzy. Kombinácia technických a biznis kompetencií našich zamestnancov pomôže pozdvihnúť status celej organizácie.
- Internet je nekonečný zdroj inšpirácie (to vtedy ešte nebolo toľko mačiek) pokiaľ ide o prístupy k podnikovej správe dát, aj keď úlohy a rozsah sa značne líšia.
Technologické postuláty…
- Existuje obrovský potenciál rozvoja v zjednodušení spôsobu, akým sú dáta zobrazené ľuďom. Môžeme to nazvať pojmom 'ajfónizácia'.
- Napriek tomu, že dodávatelia BI tvrdia, že priamo prinášajú analýzu koncovým užívateľom, (a samozrejme sa v tomto smere posúvajú) – prielom sa stále neudial. Ľudia jednoducho zle chápu viacrozmerné dáta.
- Používateľské rozhranie, ktoré predstavuje viac či menej zložené slabo štruktúrované dáta v fascetizovanej forme – predstavuje taktiež nekonečné množstvo problémov. Záver: čím je to ploššie (flatter) – tým lepšie.
- Platforma postavená na automatizovanom získavaní údajov zo zdrojov (ktoré nie vždy slúžia na takéto získavanie) je podstatne závislá od zdrojov, stability konektorov a infraštruktúry. Pri neschopnosti zabezpečiť výsledok sa vždy obviní platforma (posol). Dôvera – kapitál takýchto platforiem. Kapitál, ktorý je ťažké získať a ľahké prísť oň.
- Z pohľadu podnikania nie je žiadny rozdiel medzi analýzou Veľkých Údajov a jednoduchými Údajmi. Často za jednoduchými ako 2 krát 2 číslami ležia možnosti na milióny dolárov. Dobrým príkladom sú údaje o ukončení životnosti prvkov infraštruktúry na Nórskom šelfe. Keď všetky dátumy budúcich generálnych opráv celého vybavenia položili na jednu os a zistili, že o N rokov príde priam šelfová Apokalypsa – jeden veľmi zámožný človek vstal z kresla a rýchlo sa rozlúčil so slovami: „Prepáčte, mám málo času, musím pripraviť flotilu…“
- Excel, teda jasná a prehľadná tabuľková prezentácia údajov má obrovskú silu a veľkú budúcnosť. Verím v pekné tabuľky (a doteraz) a to je všetko!
- Hlavná ozdoba celej tejto „analytiky“ je automatizácia rozhodovania. Tam sú najtučnejšie možnosti, ale aj najvyššie riziká, preto sú možnosti tučné, preto aj riziká, preto možnosti, preto riziká… 🙂 Riadenie vŕtania studní, napríklad…
- Ak je „integrovanosť“ kľúčovou vlastnosťou, potom údaje de facto musia byť prezentované ako služba. REST je super, ale nemôžeme zabúdať na optimalizáciu výkonu, ktorú často teraz prinášajú v obete integrovanosti, lebo výpočtová sila naďalej rastie.
- Master údaje – to je to, čo treba lokalizovať, extrahovať, štandardizovať, skôr ako sa adresujú nejaké obchodné otázky. Master údaje sú malé, ale problémy s nimi sú veľké! Ako hovoria bratia sémantiky – 50 % všetkých svetových problémov je spôsobených tým, že ľudia nazývajú tie isté veci rôznymi menami, a ďalších 50 % tým, že nazývajú rôzne veci jedným menom.
- Ľubovoľná inkapsulácia na úrovni skladovania obmedzuje otvorenosť riešenia a vedie k SILO-ifikácii. Je dobre, ak ste veľký dodávateľ, v opačnom prípade – nič moc. (Pokiaľ ide o súborov, určite to nie je na blokovej úrovni a nie o AWS S3, ktorý vtedy mal už 6 rokov.).
- Relatívne modelovanie dát nám už nie je priateľom. RDF a key-value – super! Videli sme magické transformácie relačných databáz s modelmi z 2000 tabuliek na 15 tabuliek a nikto z používateľov nič nestratil.
- Internet funguje preto, že existuje URL ako jednotný spôsob adresácie. Dôležitosť URL alebo presnejšie URI pre informačné zdroje podniku je ťažké preceňovať.
- Text mining a NLP sú populárne. Na internete. Ale aj v podnikových sektoroch môžeme dosiahnuť obrovské úspechy pri extrakcii štruktúrovaných dát z neštruktúrovaných podnikových dát.
- Synergia medzi štruktúrovanými dátami a informáciou extrahovanou z neštruktúrovaných dát, t.j. súborov – analytický Klondike.
- Pri extrahovaní dát – nezabúdajme na práva a autorské práva..
- Spoločnosť zaoberajúca sa extrakciou dát by mala vytvoriťoddelenie hackerov, v dobrom zmysle tohto slova. Inšpirované ťažkým bojom s ochrannými systémami Žltých stránok proti vyhľadávacím botom.
- Predtým, než začnete pracovať s dátami – musíte ich »vidieť« v celej ich rozšírenosti. Je to ťažké vysvetliť. Napadnú ma tabuľkové formy. Niekomu grafické zobrazenia, ale predsa každý graf – to je už interpretácia. Tak či onak... »vidieť«!
- Opakujúc sa v otázke „dôvery“ používateľov voči frontend. Dôvera v konektory/procesy generovania dát, dôvera v dáta, dôvera v prijaté rozhodnutia..
Zdroj: habr.com
