Andmeüksus. 2013. aasta. Tagasivaade

2013. aastal IBS, mis siis tundusid nagu loomas Andmeosakond, palusid mul koostada selline ajurünnak (ainult ettevõtte nafta- ja gaasitööstuse klientide kogemuse põhjal) probleemse valdkonna Suurte Andmete ja andmete üldiselt kohta. Nüüd, seitse aastat hiljem, sattusin sellele uuesti ja tundus naljakas. Mõned asjad on ilmsed. Mõned ei olnud päris õiged, aga... seitse aastat on möödas.

Kirjutasin inglise keeles ja mõtlesin nüüd tõlkida vene keelde. Äkki on midagi endiselt aktuaalne? (Tõlgin bullet'id, aga tabelid jätan ingliskeelseteks laisku. Roheline – hea, punane – ohtlik, sinine – unistus).

Minimaalsed kommentaarid 'täna' vormistan kursiivis, et see oleks arusaadav ja eristatav.

Nii et, ANDMED! Meile on andmed…

Andmeosakond on nagu veri, sest andmeid võib võrrelda näiteks verega, mis voolab ettevõtte keha veenides ja arterites. Kuid kuigi veri on ühesugune – organismid on erinevad ja seetõttu toodete loomine on tõeliselt keeruline, aga see on ka arenguvõimalus.

On inimesi, kellele andmed paiskuvad silma – need on Meie.
Ja on inimesi, kes ei näe andmeid kahjuks silme ees. See on, jälle kahjuks, meie Kliendid!

Nii, ärilised dogmad...

1. Müük ärile, mitte IT (kandke mulle andeks kõik IT-inimesed kohe), sest lahendame globaalseid probleeme ja teenime rohkem raha.
2. Kõik äri probleemid on koondunud temaatilistesse tööstusvertikaalidesse ja nõuavad adekvaatset spetsialiseerumist..
3. Katsetused tõestada andmete väärtust või, mis on veel keerulisem, 'andmehalduse' väärtust ärile – see on igavene kannatus ja valu. Põhimõtteliselt on see nagu tulla inimese juurde, kes end hästi tunneb, ja öelda: 'Tüüp, nüüd me ravime su verd, ja see on kallis!'
4. Minu otse 'niisutav unistus' on SaaS mudeli raames müüa 'andmete eraldamist' ja 'analüüsi' väike- ja keskmise suurusega ettevõtetele, kes on tunginud 123 pilveteenusesse, millel on toredad liidesed: projektijuhtimine, abi teenindus, arvandmed, CRM, palgaarvestus, ajarakendamine, turundus... nimekiri jätkub, ja on andmetesse kinni jäänud. Youcalc ja Successfactors (selliseid ei ole enam tõenäoliselt) on head!
5. Otsige inimesi, kes armastavad andmetega toimetada krahhiga andmetega. Nad on haruldased ja veidrad (nagu kohvijäänuste ennustajad), kuid äri jaoks hädavajalikud. Näiteks võib luuletaja väga hästi mõista korrelatsiooni.
6. Insenerid vajalikud! Vajalikud, et muuta Cruncherite andmetest välja astunud probleemid lahendusteks. Ja lahenduse edu või ebaedu sõltub täielikult neist.
7. Areng avatud lähtekoodiga projektid esindavad tohutut väärtust ja võimaldavad "kokku panna" keerulisi lahendusi praktiliselt "nullist".
8. Aga… ei tohi unustada, et Hadoop on raamatukogu ja Lucene on samuti raamatukogu, ning vahe raamatukogu ja tööstustootes on märkimisväärne!
9. Ehitatud lahendusi tuleb oluliselt kohandada, kuna moodulite paindlikkus ja integreeritavus on võtmehetked.
10. Agile (halasta, Jumal) — on võtmetehnika kliendiga suhtlemisel ja hüpoteesidetestimisel, mida on palju.
11. Koodimist ja UI-d on täiesti võimalik ja vajalik välja koostada. Kogu ärianalüüs ja spetsifikatsioonid tagaplaanist tuleb jätta sees ja seda peate pidama võtmeoskuseks.
12. Äripoole otsustajad peavad olema pidevalt "teavitatud" õigest andmetööst ja pidevast uute analüüsimeetodite otsimisest. Meie töötajate tehniliste ja ärikompetentside kombinatsioon aitab tõsta kogu organisatsiooni staatust.
13. Internett on lõpmatu inspiratsiooni allikas (siis polnud veel nii palju kiisusid) korporatiivsete andmehalduse lähenemiste osas, kuigi ülesanded ja ulatus varieeruvad oluliselt.

Tehnoloogilised postulaadid...

1. On tohutu arengu potentsiaal lihtsustamises kuidas andmed inimestele kuvatakse. Seda võiks nimetada "iPhone'istamiseks".
2. Kuigi BI tarnijad väidavad, et nad toovad analüütika lõppkasutajateni (ja nad tõesti liiguvad selles suunas) – revolutsioon on endiselt toimunud. Inimesed lihtsalt ei saa arusaada mitmehüvelistestandmetest. Kasutajaliides, mis esindab vähem või rohkem keerulisi halvasti struktureeritud andmeid freesimulaadi
3. kujul – kujutab samuti lõpmatult palju probleeme. Järeldus: mida lamedam (flatter) – seda parem. Andmed peavad olema selged ja hästi esitatud, et saavutada tõhus analüüs. Parimad lahendused töötavad ladusalt ja intuitiivselt.
4. Platvorm, mis on rajatud automaatsele andmete väljavõttele allikatest (mis ei ole alati mõeldud selliseks väljavõtmiseks), sõltub oluliselt allikatest, ühenduste jätkusuutlikkusest ja infrastruktuurist. Tulemuste tagamise ebaõnnestumise korral süüdistatakse alati platvormi (saatjat). Usaldus – sellise platvormi kapital. Kapital, mida on raske teenida ja millest on lihtne ilma jääda.
5. Äripoolelt vaadates ei ole mingit vahet suurte andmete analüüsi ja Lihtsalt andmete vahel.. Tihti peidavad näiliselt lihtsad nagu 2x2 numbrid endas võimalusi miljonite dollarite väärtuses. Hea näide – Norra shelfi infrastruktuuri elementide elu lõpuandmed. Kui kõik tulevaste kapitali remontide kuupäevad koguda ühte telge ja selgub, et N aasta pärast on tuliseks muutumas shelfi Armagedeon – üks väga rikas inimene tõusis toolilt ja kiiresti lahkudes ütles: "Vabandage, mul on vähe aega, pean armee ette valmistama…"
6. Excel, millel on põhiolemuselt selge ja arusaadav tabeli kujutamine andmetest, omab tohutut jõudu ja suurt tulevikku. Usun ilusatesse tabelitesse (ja siiani) ja see ongi kõik!
7. Kogu selle "analüüsi" peamine siduv osa on otsuste automatiseerimine. Seal on kõige rasvasemad võimalused, kuid ka kõige kõrgemad riskid. Seetõttu on võimalused rasvased, riskid on samuti kõrged, ja võimalused, ja riskid… 🙂 Näiteks puuraamimise juhtimine.
8. Kui "integreeritavus" on võtmelement, siis andmed peavad de facto olema esitatud teenusena. REST avalikustamine on olemas, kuid ei tohi unustada optimeerimist tõhususest, mida tihti toimetatakse praegu integreeritavuse nimel ohverdamise kaudu, kuna arvutusvõime jätkab kasvu.
9. Peamised andmed on need, mida on vaja lokaliseerida, väljuda, standardiseerida, enne kui adresseerime mingid äriküsimused. Peamised andmed on väikesed, kuid probleemid nendega on suured! Nagu semantika vennad ütlevad – 50% kõigist maailmas esinevatest probleemidest tuleneb sellest, et inimesed nimetavad samu asju erinevate nimedega, ja teised 50% seetõttu, et nad nimetavad erinevaid asju ühe ja sama nimega.
10. Igasugune enkapsuleerimine salvestustasemel piirab lahenduse avatus ja viib SILO-ifikatsioonini. Hästi, kui olete suur müüja, muidu – see pole eriti hea.Siin ei räägita kindlasti mitte plokk-tasemest ega ka AWS S3-st, mis siis juba kuus aastat vana, vaid failidest.).
11. Relatsiooniline modelleerimine andmed pole meile enam sõber. RDF ja key-value – hämmastav! Oleme näinud maagilisi üleminekuid relatsioonilistest andmebaasidest, kus 2000 tabelit muudetakse 15 tabeliks, ja keegi kasutajatest ei kaota midagi.
12. Interneti toimimiseks vajame URL ühtset adresseerimist. URL-i või pigem URI ettevõtte teabeallikate jaoks on keeruline üle hinnata.
13. Tekstimining ja NLP on populaarsed. Internetis. Kuid ka ettevõtte sektoris on võimalik saavutada tohutu edu, eraldades struktureeritud andmeid struktureerimata ettevõtte andmetest.
14. Sünergia struktureeritud andmete ning struktureerimata andmete, st failide, seest välja toodud teabe vahel – analüütika kullakaevandus.
15. Andmete eraldamine – ärgem unustagem õigusi ja autoriõigusi..
16. Andmete eraldamisega tegelev ettevõte peaks looma datateadlastest osakonna, hea sõna mõttes. Inspiratsiooniks on keeruline võitlus kollaste lehtede kaitsesüsteemide vastu otsingurobotite kaudu.
17. Enne andmetega töötamist tuleb need «nähes» kogu ulatuses. Seda on keeruline selgitada. Meenub tabeliformaat. Mõnele graafilised esitusviisid, kuid igasugune graafik on juba tõlgendus. Nii või teisiti… «näha»!
18. Korduv küsimus, mis puudutab kasutajate usaldust kasutajaliidese suhtes. Usaldus andmete genereerimise ühenduste/protsesside, andmete ja vastuvõetud otsuste suhtes..

Allikas: habr.com