Adatdivízió. 2013. év. Retrospektív

2013-ban IBS, amely akkor úgy tűnt, hogy létrehozzák Adatdivízió, megkértek, hogy készítsek egy ilyen agyeldobást (csak a vállalati olaj- és gázipari ügyfelekkel való tapasztalat alapján) a Big Data, illetve az adatok problémás területéről. 7 év után most bukkantam rá, és viccesnek tűnt. Néhány dolog nyilvánvaló. Néhány nem egészen igaz, de… eltelt 7 év.

Angolul írtam, és most arra gondoltam, lefordítom oroszra. Hátha van valami, ami még aktuális? (A bullet pointokat lefordítom, de a táblázatokat lustaságból angolul hagyom. A zöld jó, a piros veszélyes, a kék — álom).

A „ma” minimum hozzászólásokat hozzáírom dőlt betűvel, hogy világos és megkülönböztethető legyen.

Tehát, ADATOK! Szükségünk van adatokra…

Az Adatdivízió a Vér Divíziója, mert az adatokat például összehasonlíthatjuk a test üzleti szervezetének erein és artériáin futó vérrel. Azonban míg a vér egy, a szervezetek különbözőek, ezért a termékesítés nagyon megnehezített, de ez egyben fejlődési lehetőséget is jelent.

Vannak emberek, akiknek az adatok szembetűnnek – ez Mi.
És vannak emberek, akik sajnos nem látják az adatokat. Ez ismét sajnos a mi Megrendelőink!

Tehát, üzleti posztulátumok…

1. Eladjuk az üzletnek, nem pedig IT (bocsássanak meg minden IT-snak azonnal) mert globális problémákat oldunk meg, és persze, több pénzt is.
2. Minden üzleti probléma tematikus iparági vertikumok köré összpontosul, és megfelelő specializációt.
3. igényel. Próbálkozások a „adatok” vagy, ami még nehezebb, a „adatkezelés” üzleti értékének bizonyítására – ez örök szenvedés és fájdalom. Lényegében olyan, mintha egy olyan emberhez menne, aki jól érzi magát, és azt mondaná: „Srác, most meggyógyítjuk a véred, és, srác, ez drága lesz!”
4. Az én „nedves álmom”, hogy a SaaS modell keretein belül „adatkinyerést” és „elemzést” értékesítsek kis- és középvállalkozásoknak, amelyek belemerültek 123 felhőszolgáltatásba menő felhasználói felületekkel: projektmenedzsment, helpdesk, könyvelés, CRM, bérszámfejtés, időnyilvántartás, marketing, … bármi, ami szükséges, és az adatokba ásták magukat. A Youcalc és a Successfactors (valószínűleg már nincsenek ilyenek) jók!
5. Keressen olyan embereket, akik szeretik a “crunch” adatokkal dolgozni. Ők ritkák és fura (mint a kávézaccos jósnők), de kulcsfontosságúak az üzlet számára. Például egy költő nagyon jól érthet a korrelációban.
6. Mérnökök szükségesek! Szükségesek ahhoz, hogy a Cruncher-ök által kiemelt adatokból megoldásokat hozzanak létre. A megoldások sikere vagy kudarca teljes mértékben tőlük függ.
7. Fejlődés nyílt forráskódú projektek óriási értéket képviselnek, és lehetőséget adnak arra, hogy „összegyűjtsük” a komplex megoldásokat szinte „nulláról”.
8. De… nem szabad elfelejteni, hogy a Hadoop egy könyvtár, és a Lucene is egy könyvtár, és a távolság a könyvtár és a kereskedelmi termék között jelentős!
9. Az elkészített megoldásokat jelentősen át kell alakítani, mivel a moduláris és integrálhatóság kulcsfontosságú szempontok.
10. Az Agile (Isten ments) a megrendelőkkel való interakció és a hipotézisekellenőrzésének kulcstechnika, amelyből rengeteg lesz.
11. A kódolást és UI-t bátran és szükséges is ki lehet szervezni. Az összes üzleti analitikát és a hátsó specifikációkat a bent szakértelem kulcsfontosságú részeként kell kezelni.
12. Az üzleti döntéshozóknak folyamatosan „tájékozottnak” kell lenniük a helyes adatkezelés és az új elemzési módszerek folyamatos keresésének szükségességéről. A műszaki és üzleti kompetenciák kombinációja munkatársaink révén növelheti az egész szervezet státuszát.
13. Internet - egy végtelen inspirációforrás (akkoriban még nem volt ennyi cica) a vállalati adatkezelési megközelítések tekintetében, bár a feladatok és a skálák jelentősen eltérnek.

Technológiai axiómák…

1. Hatalmas fejlődési potenciál rejlik a egyszerűsítésében az adatok bemutatásának módjához. Ezt „iPhoneizációnak” nevezhetjük.
2. Annak ellenére, hogy a BI szolgáltatók azt állítják, hogy közvetlenül eljuttatják az elemzést a végfelhasználókhoz, (és kétségtelenül ebbe az irányba haladnak) - a áttörés még nem történt meg. Az emberek egyszerűen nem értik a többdimenziós adatokat.
3. A felhasználói felület, amely egy többé-kevésbé összetett, gyenge struktúrájú adatot mutat be facerizált formában, számos problémát jelent. Az eredmény: minél laposabb – annál jobb.
4. A platform, amely automatikusan adatokat nyer ki a forrásokból (amelyek nem mindig erre a célra készült források) jelentős mértékben függ a forrásoktól, a csatlakoztatók megbízhatóságától és az infrastruktúrától. A platform (küldönc) képtelensége, hogy eredményt biztosítson, mindig a platform hibájának fogjuk tekinteni. Bizalom – olyan tőke, amelyet nehéz megkeresni, és könnyű elveszíteni.
5. Üzleti szempontból nincs különbség a Nagy Adatok elemzése és a Csak Adatok között.. Gyakran a 2x2 számok mögött milliárdok lehetősége rejtőzik. Jó példa erre az infrastruktúra elemeinek élettartamára vonatkozó adatok a norvég kontinentális talapon. Amikor minden jövőbeni főjavítás dátumát egy tengelyre helyezték, és kiderült, hogy N év múlva valóságos kontinentális Armageddon következik be - egy nagyon gazdag ember felállt a székéből, és sietve távozott a szobából azzal a mondattal: „Elnézést, fontos dolgom van, készítenem kell a flottát…”
6. Az Excel, lényegében tiszta és világos táblázatos adatok bemutatása óriási erővel és nagy jövővel bír. Hiszek a szép táblázatokban (és még mindig) és ennyi!
7. Az egész „analitika” fő szála az automatikus döntéshozatal.Itt vannak a legnagyobb lehetőségek, de a legmagasabb kockázatok is, ezért a lehetőségek zsírosak, a kockázatok is, ezért a lehetőségek, és a kockázatok… 🙂 Például a kutatás irányítása…
8. Ha az „integrálhatóság” kulcsszó, akkor az adatoknak de facto szolgáltatásként kell megjelenniük. REST működik, de nem szabad elfelejteni az optimalizálást teljesítmény, ami gyakran mostanában az integrálhatóság rovására megy, mivel a számítási teljesítmény továbbra is növekszik.
9. A mesteradatok azok, amelyeket lokalizálni, kinyerni és szabványosítani kell, mielőtt üzleti kérdéseket intéznének. A mesteradatok kicsik, míg a velük kapcsolatos problémák nagyok! Ahogy a szemantika testvérei mondják – a világszerte felmerülő problémák 50%-a abból fakad, hogy az emberek ugyanazt a dolgot különböző neveken említik, míg a másik 50% abból adódik, hogy különböző dolgokat hívnak ugyanazzal a névvel.
10. Bármilyen az inkapszuláció a tárolás szintjén korlátozza a megoldás nyitottságát, és SILO-hoz vezet. Jól van, ha nagy szállító vagy, különben nem túl jó. (Itt természetesen nem a blokk szintről és nem az AWS S3-ról van szó, amely már 6 éves volt akkor, hanem a fájlokról.).
11. A relációs modellezés már nem a barátunk. Az RDF és a kulcs-érték – menő! Láttunk varázslatos átalakulásokat relációs adatbázisokból 2000 táblával 15 táblára, és a felhasználók közül senki sem veszített semmit.
12. Az internet azért működik, mert van URL egységes címzési módként. Az URL fontosságát, vagy inkább URI a vállalat információs forrásai szempontjából nehéz túlértékelni.
13. A szövegbányászat és a NLP népszerű. Az interneten. De a vállalati szektorban is óriási sikereket érhetünk el strukturált adatok kinyerésével a strukturálatlan vállalati adatokból.
14. Synergia a strukturált adatok és a strukturálatlan adatokból kinyert információk között, azaz a fájlok - analitikai Kincstár.
15. Az adatok kinyerésekor ne feledkezzünk meg a jogokról és szerzői jogokról.
16. A data mining cégeknek létre kell hozniuk egyhackerekből álló osztályt, a szó jó értelmében. Inspirálva a sárga oldalak védelmi rendszereivel szembeni nehéz harcból.
17. Mielőtt az adatokkal dolgoznánk, azokat látni kell teljes egészében. Ezt nehéz megmagyarázni. Nekem a táblázatos formák jutnak eszembe. Másoknak a grafikus ábrázolások, de hiszen minden grafikon már egy értelmezés. Akárhogy is… „látni”!
18. Ismétlődve a felhasználók front-endhez való „bizalom” kérdésében. Bizalom a csatlakozók / az adatok létrehozásának folyamataira, bizalom az adatokban, bizalom a meghozott döntésekben..

Forrás: habr.com