V roce 2013 IBS, které tehdy, zdá se, vytvářely Data Divize, požádaly mě, abych vytvořil takový brain dump (výhradně na základě zkušeností s interakcí s korporátními zákazníky v oblasti ropy a plynu) ohledně problematické oblasti Velkých Dat, a vlastně také Dat obecně. Tady jsem na to narazil po 7 letech a přišlo mi to vtipné. Některé věci jsou očividné. Některé se ukázaly jako zcela mylné, ale… uplynulo 7 let.
Psalo se to anglicky a tak jsem si řekl, že to přeložím do ruštiny. Možná je to nyní relevantní? (Přeložím bullety, ale tabulky nechám v angličtině z lenosti. Zelené – dobré, červené – nebezpečné, modré – sen).
Minimální komentáře z "dneška" formuluji kurzívou, aby bylo jasné a odlišitelné.
Takže, DATA! Potřebujeme data…
Data Divize je jako Divize Krve, protože data lze srovnávat například s krví, která běží cévami a tepnami obchodního organismu. Nicméně, i když je krev jediná – organismy jsou různé a proto produkce je velmi obtížná, ale představuje také příležitost pro rozvoj.
Jsou lidé, kteří si dat přímo všimnou – to jsou Jsme.
A jsou lidé, kteří data bohužel nevidí vůbec. To, opět bohužel, navazuje na naše Zákazníky!
Takže, obchodní postuláty…
- Prodáváme podnikání, a ne IT (ať mi všechny IT manažeři okamžitě odpustí), neboť řešíme světové problémy, no a také více peněz.
- Všechny obchodní problémy se soustředí kolem tematických oborových vertikál a vyžadují adekvátní specializaci.
- Snahy prokázat hodnotu „dat“ nebo, co je ještě složitější, hodnotu „správy dat“ pro podnikání – to jsou věčné utrpení a bolest. V podstatě je to jako přijít k člověku, který se cítí docela dobře, a říct: „Kamaráde, teď ti vylečíme krev a, kamaráde, to bude drahé!“
- Můj vlastně „vlhký sen“ je v rámci modelu SaaS prodávat „extrakci dat“ a „analytiku“ malým a středním podnikům, které se zapojily do 123 cloudových služeb se skvělými rozhraními: projektové řízení, helpdesk, účetnictví, CRM, mzdy, sledování času, marketing, … to si řekněte, a zakopaly se v datech. Youcalc a Successfactors (už asi takové nejsou) to je dobré!
- Hledejte lidi, kteří milují pracovat s daty. Jsou vzácní a podivní (jako věštci z kávové sedliny), ale klíčoví pro podnikání. Básník například může mít dobrou predstavu o korelaci.
- Inženýři jsou potřebné! Jsou potřeba k tomu, aby přetvářely problémy, které Cruncherové vytáhli z dat, na řešení. A úspěch nebo neúspěch těchto řešení závisí zcela na nich.
- Rozvoj otevřený zdroj projektů představuje obrovskou hodnotu a dává možnost „skládat“ složitá řešení prakticky „od nuly“.
- Ale… nesmíme zapomínat, že Hadoop je knihovna a Lucene je také knihovna, a vzdálenost mezi knihovnou a průmyslovým produktem je značná!
- Vybudovaná řešení bude nutno výrazně přizpůsobit, protože modularita a integrovatelnost jsou klíčové body.
- Agile (prosím, Bože,) je klíčová technika při spolupráci se zákazníkem a ověřování hypotéz, kterých bude mnoho.
- Můžeme a měli bychom outsourcovat veškeré kódování a UI. Všechny obchodní analýzy a specifikace backendu je nutné ponechat uvnitř a považovat je za klíčovou kompetenci.
- Osoby rozhodující v byznysu by měly být neustále „informovány“ o nezbytnosti správné práce s daty a stálého hledání nových způsobů analýzy. Kombinace technických a obchodních kompetencí našich zaměstnanců pomůže zvýšit status celé organizace.
- Internet je nekonečným zdrojem inspirace (to je ještě když koček nebylo tolik) co se týče přístupů k firemnímu řízení dat, přestože úkoly a rozsah se výrazně liší.
Technologické postuláty…
- Existuje obrovský potenciál pro rozvoj v zjednodušení způsobu, jakým jsou data prezentována lidem. Lze to nazvat „iPhonezací“.
- I když dodavatelé BI tvrdí, že přímo přinášejí analytiku koncovým uživatelům, (a samozřejmě v tomto směru postupují) – revoluce se stále ještě nedostavila. Lidé prostě špatně chápou vícerozměrná data.
- Uživatelské rozhraní, které představuje více či méně složitá slabě strukturovaná data ve fascetovém formátu – představuje také nekonečné množství problémů. Závěr: čím je to plochější (flatter) – tím lépe.
- Platforma postavená na automatickém získávání dat ze zdrojů (které nejsou vždy určeny k takovému získávání) je zásadně závislá na těchto zdrojích, stabilitě konektorů a infrastruktuře. V případě neschopnosti zajistit výsledek bude platforma (posel) vždy obviněna. 70 % klientů s námi zůstává více než 2 roky – kapitál těchto typů platforem. Kapitál, který se těžko získává a snadno ztrácí.
- Z hlediska podnikání není žádný rozdíl mezi analýzou Velkých dat a jednoduše daty. Za jednoduchými jako 2x2 čísly se často skrývají příležitosti v hodnotě milionů dolarů. Dobrou ukázkou jsou data o ukončení životnosti prvků infrastruktury na norském šelfu. Když všechny termíny budoucích kapitálních oprav veškerého vybavení umístili na jednu osu a zjistili, že za N let nás čeká přímé šelfové Armageddon – jeden velmi bohatý člověk vstal ze židle a spěšně se s námi rozloučil se slovy: „Omlouvám se, mám málo času, musím připravit flotilu…“
- Excel, a v podstatě jasné a přehledné tabulkové znázornění dat, má obrovskou moc a velkou budoucnost. Věřím v krásné tabulky (a stále ještě)a to je vše!
- Hlavním mottem celé této „analýzy“ je automatizace rozhodování. Tam jsou nejbohatší příležitosti, ale i nejvyšší rizika, proto jsou i možnosti velké, a proto i rizika, a tak dál… 🙂 Řízení vrtání vrtů, například…
- Pokud je „integrovatelnost“ klíčovou vlastností, pak by data de facto měla být prezentována jako služba. REST hýbe světem, ale nesmíme zapomínat na optimalizaci výkonu, kterou často nyní obětuje integrabilitě, protože výpočetní výkon neustále roste.
- Hlavní data – to je to, co je třeba lokalizovat, extrahovat, standardizovat, než se začneme zabývat nějakými obchodními otázkami. Hlavní data jsou malá, ale problémy s nimi jsou velké! Jak říkají bratři semantiky – 50 % všech světových problémů je kvůli tomu, že lidé nazývají stejné věci různými názvy, a dalších 50 % je způsobeno tím, že nazývají různé věci jedním názvem.
- Libovolná inkapsulace na úrovni úložiště omezuje otevřenost řešení a vede k SILO-ifikaci. Dobré, pokud jste velký dodavatel, jinak – nic moc. (Odkazuje se zde, samozřejmě, nikoli na blokovou úroveň a nikoli na AWS S3, kterému už bylo tehdy 6 let, ale na soubory).
- Relační modelování dat nám už není přítelem. RDF a key-value – super! Viděli jsme magické transformace relačních databází z modelů o 2000 tabulkách na 15 tabulek, a nikdo z uživatelů nic neztratil.
- Internet funguje proto, že existuje URL jako jedinečný způsob adresování. Význam URL, nebo lépe řečeno URI pro informační zdroje podniku je těžké přeceňovat.
- Text mining a NLP jsou populární. Na internetu. Ale i v korporátním sektoru lze dosáhnout obrovských úspěchů při extrakci strukturovaných dat z nestrukturovaných podnikových dat.
- Synergie mezi strukturovanými daty a informacemi získanými z nestrukturovaných dat, tj. souborů – analytický Klondike.
- Při extrakci dat nezapomínejme na práva a autorská práva.
- Společnost zabývající se extrakcí dat by měla vytvořit department hackerů, v tom dobrém slova smyslu. Inspirace těžkým bojem s ochrannými systémy Žlutých stránek proti vyhledávacím robotům.
- Předtím, než začnete pracovat s daty, je třeba je «vidět» v celé jejich šíři. Těžko se to vysvětluje. Přicházejí mi na mysl tabulkové formy. Někomu grafické zobrazení, ale přece jakýkoli graf – to už je interpretace. Tak, či onak… «vidět»!
- Opakování otázky „důvěry“ uživatelů frontendu. Důvěra v konektory / procesy generování dat, důvěra v data, důvěra v přijatá rozhodnutí.
Zdroj: habr.com
