2013-ban IBS, amely akkor úgy tűnt, hogy létrehozzák Adatdivízió, megkértek, hogy készítsek egy ilyen agyeldobást (csak a vállalati olaj- és gázipari ügyfelekkel való tapasztalat alapján) a Big Data, illetve az adatok problémás területéről. 7 év után most bukkantam rá, és viccesnek tűnt. Néhány dolog nyilvánvaló. Néhány nem egészen igaz, de… eltelt 7 év.
Angolul írtam, és most arra gondoltam, lefordítom oroszra. Hátha van valami, ami még aktuális? (A bullet pointokat lefordítom, de a táblázatokat lustaságból angolul hagyom. A zöld jó, a piros veszélyes, a kék — álom).
A „ma” minimum hozzászólásokat hozzáírom dőlt betűvel, hogy világos és megkülönböztethető legyen.
Tehát, ADATOK! Szükségünk van adatokra…
Az Adatdivízió a Vér Divíziója, mert az adatokat például összehasonlíthatjuk a test üzleti szervezetének erein és artériáin futó vérrel. Azonban míg a vér egy, a szervezetek különbözőek, ezért a termékesítés nagyon megnehezített, de ez egyben fejlődési lehetőséget is jelent.
Vannak emberek, akiknek az adatok szembetűnnek – ez Mi.
És vannak emberek, akik sajnos nem látják az adatokat. Ez ismét sajnos a mi Megrendelőink!
Tehát, üzleti posztulátumok…
- Eladjuk az üzletnek, nem pedig IT (bocsássanak meg minden IT-snak azonnal) mert globális problémákat oldunk meg, és persze, több pénzt is.
- Minden üzleti probléma tematikus iparági vertikumok köré összpontosul, és megfelelő specializációt.
- igényel. Próbálkozások a „adatok” vagy, ami még nehezebb, a „adatkezelés” üzleti értékének bizonyítására – ez örök szenvedés és fájdalom. Lényegében olyan, mintha egy olyan emberhez menne, aki jól érzi magát, és azt mondaná: „Srác, most meggyógyítjuk a véred, és, srác, ez drága lesz!”
- Az én „nedves álmom”, hogy a SaaS modell keretein belül „adatkinyerést” és „elemzést” értékesítsek kis- és középvállalkozásoknak, amelyek belemerültek 123 felhőszolgáltatásba menő felhasználói felületekkel: projektmenedzsment, helpdesk, könyvelés, CRM, bérszámfejtés, időnyilvántartás, marketing, … bármi, ami szükséges, és az adatokba ásták magukat. A Youcalc és a Successfactors (valószínűleg már nincsenek ilyenek) jók!
- Keressen olyan embereket, akik szeretik a “crunch” adatokkal dolgozni. Ők ritkák és fura (mint a kávézaccos jósnők), de kulcsfontosságúak az üzlet számára. Például egy költő nagyon jól érthet a korrelációban.
- Mérnökök szükségesek! Szükségesek ahhoz, hogy a Cruncher-ök által kiemelt adatokból megoldásokat hozzanak létre. A megoldások sikere vagy kudarca teljes mértékben tőlük függ.
- Fejlődés nyílt forráskódú projektek óriási értéket képviselnek, és lehetőséget adnak arra, hogy „összegyűjtsük” a komplex megoldásokat szinte „nulláról”.
- De… nem szabad elfelejteni, hogy a Hadoop egy könyvtár, és a Lucene is egy könyvtár, és a távolság a könyvtár és a kereskedelmi termék között jelentős!
- Az elkészített megoldásokat jelentősen át kell alakítani, mivel a moduláris és integrálhatóság kulcsfontosságú szempontok.
- Az Agile (Isten ments) a megrendelőkkel való interakció és a hipotézisekellenőrzésének kulcstechnika, amelyből rengeteg lesz.
- A kódolást és UI-t bátran és szükséges is ki lehet szervezni. Az összes üzleti analitikát és a hátsó specifikációkat a bent szakértelem kulcsfontosságú részeként kell kezelni.
- Az üzleti döntéshozóknak folyamatosan „tájékozottnak” kell lenniük a helyes adatkezelés és az új elemzési módszerek folyamatos keresésének szükségességéről. A műszaki és üzleti kompetenciák kombinációja munkatársaink révén növelheti az egész szervezet státuszát.
- Internet - egy végtelen inspirációforrás (akkoriban még nem volt ennyi cica) a vállalati adatkezelési megközelítések tekintetében, bár a feladatok és a skálák jelentősen eltérnek.
Technológiai axiómák…
- Hatalmas fejlődési potenciál rejlik a egyszerűsítésében az adatok bemutatásának módjához. Ezt „iPhoneizációnak” nevezhetjük.
- Annak ellenére, hogy a BI szolgáltatók azt állítják, hogy közvetlenül eljuttatják az elemzést a végfelhasználókhoz, (és kétségtelenül ebbe az irányba haladnak) - a áttörés még nem történt meg. Az emberek egyszerűen nem értik a többdimenziós adatokat.
- A felhasználói felület, amely egy többé-kevésbé összetett, gyenge struktúrájú adatot mutat be facerizált formában, számos problémát jelent. Az eredmény: minél laposabb – annál jobb.
- A platform, amely automatikusan adatokat nyer ki a forrásokból (amelyek nem mindig erre a célra készült források) jelentős mértékben függ a forrásoktól, a csatlakoztatók megbízhatóságától és az infrastruktúrától. A platform (küldönc) képtelensége, hogy eredményt biztosítson, mindig a platform hibájának fogjuk tekinteni. Bizalom – olyan tőke, amelyet nehéz megkeresni, és könnyű elveszíteni.
- Üzleti szempontból nincs különbség a Nagy Adatok elemzése és a Csak Adatok között.. Gyakran a 2x2 számok mögött milliárdok lehetősége rejtőzik. Jó példa erre az infrastruktúra elemeinek élettartamára vonatkozó adatok a norvég kontinentális talapon. Amikor minden jövőbeni főjavítás dátumát egy tengelyre helyezték, és kiderült, hogy N év múlva valóságos kontinentális Armageddon következik be - egy nagyon gazdag ember felállt a székéből, és sietve távozott a szobából azzal a mondattal: „Elnézést, fontos dolgom van, készítenem kell a flottát…”
- Az Excel, lényegében tiszta és világos táblázatos adatok bemutatása óriási erővel és nagy jövővel bír. Hiszek a szép táblázatokban (és még mindig) és ennyi!
- Az egész „analitika” fő szála az automatikus döntéshozatal.Itt vannak a legnagyobb lehetőségek, de a legmagasabb kockázatok is, ezért a lehetőségek zsírosak, a kockázatok is, ezért a lehetőségek, és a kockázatok… 🙂 Például a kutatás irányítása…
- Ha az „integrálhatóság” kulcsszó, akkor az adatoknak de facto szolgáltatásként kell megjelenniük. REST működik, de nem szabad elfelejteni az optimalizálást teljesítmény, ami gyakran mostanában az integrálhatóság rovására megy, mivel a számítási teljesítmény továbbra is növekszik.
- A mesteradatok azok, amelyeket lokalizálni, kinyerni és szabványosítani kell, mielőtt üzleti kérdéseket intéznének. A mesteradatok kicsik, míg a velük kapcsolatos problémák nagyok! Ahogy a szemantika testvérei mondják – a világszerte felmerülő problémák 50%-a abból fakad, hogy az emberek ugyanazt a dolgot különböző neveken említik, míg a másik 50% abból adódik, hogy különböző dolgokat hívnak ugyanazzal a névvel.
- Bármilyen az inkapszuláció a tárolás szintjén korlátozza a megoldás nyitottságát, és SILO-hoz vezet. Jól van, ha nagy szállító vagy, különben nem túl jó. (Itt természetesen nem a blokk szintről és nem az AWS S3-ról van szó, amely már 6 éves volt akkor, hanem a fájlokról.).
- A relációs modellezés már nem a barátunk. Az RDF és a kulcs-érték – menő! Láttunk varázslatos átalakulásokat relációs adatbázisokból 2000 táblával 15 táblára, és a felhasználók közül senki sem veszített semmit.
- Az internet azért működik, mert van URL egységes címzési módként. Az URL fontosságát, vagy inkább URI a vállalat információs forrásai szempontjából nehéz túlértékelni.
- A szövegbányászat és a NLP népszerű. Az interneten. De a vállalati szektorban is óriási sikereket érhetünk el strukturált adatok kinyerésével a strukturálatlan vállalati adatokból.
- Synergia a strukturált adatok és a strukturálatlan adatokból kinyert információk között, azaz a fájlok - analitikai Kincstár.
- Az adatok kinyerésekor ne feledkezzünk meg a jogokról és szerzői jogokról.
- A data mining cégeknek létre kell hozniuk egyhackerekből álló osztályt, a szó jó értelmében. Inspirálva a sárga oldalak védelmi rendszereivel szembeni nehéz harcból.
- Mielőtt az adatokkal dolgoznánk, azokat látni kell teljes egészében. Ezt nehéz megmagyarázni. Nekem a táblázatos formák jutnak eszembe. Másoknak a grafikus ábrázolások, de hiszen minden grafikon már egy értelmezés. Akárhogy is… „látni”!
- Ismétlődve a felhasználók front-endhez való „bizalom” kérdésében. Bizalom a csatlakozók / az adatok létrehozásának folyamataira, bizalom az adatokban, bizalom a meghozott döntésekben..
Forrás: habr.com
