Andmedivisjon. 2013. aasta. Tagasivaade

2013. aastal IBS, kes siis tundusid loovat Andmedivisjon, palusid mul teha selline mõttevool (ainult oma kogemuste põhjal koos töötades ettevõtete naftaga seotud klientidega) seoses Suurte Andmete probleemide valdkonnaga, ja üldse Andmetega. Leidsin selle üles 7 aastat hiljem ja tundus lõbus. Mõned asjad on ilmsed. Mõned ei osutunud päris õigeks, aga… 7 aastat on möödas.

Kirjutasin inglise keeles ja mõtlesin, et tõlgin venekeelde. Äkki on midagi veel aktuaalne? (Tõlgin punktid, aga tabelid jätan ingliskeelsena laiskuse tõttu. Roheline – hea, punane – ohtlik, sinine – unistus).

Minimaalsed kommentaarid „täna” teen kaldkirjas, et oleks selge ja eristatav.

Nii, ANDMED! Me vajame andmeid…

Andmedivisjon on Veredivisjon, sest andmeid võib võrrelda näiteks verega, mis voolab äriorganismi veenides ja arterites. Kuid kuigi veri on üks – organismid on erinevad ja seetõttu produktiseerimine on väga keeruline, kuid see pakub ka võimalust arenguks.

On inimesi, kellele andmed otse silma torkavad – need on Meie.
Ja on inimesi, kes andmeid paraku ei märka. See, kahjuks, on meie, Tellijad!

Nii et, äriteesid…

1. Müüme äridele, mitte IT (kui kõik IT-eksperdid mind kohe andestavad), sest lahendame globaalseid probleeme ning teenime rohkem raha.
2. Kõik äri probleemid keskenduvad teemasektoritele ja vajavad vastavat spetsialiseerumist..
3. Püüab tõestada andmete väärtust või, mis veelgi keerulisem, andmehalduse väärtust ettevõtlusele – see on igavene kannatus ja valu. Praktiliselt nagu läheneda inimesele, kes tunneb end hästi, ja öelda: “Kuule, me nüüd ravime su verd, ja, kuule, see maksab kallilt!”
4. Minu tõeline „märg unistus” on SaaS mudeli raames müüa „andmete väljavõtmist” ja „analüüsi” väikestele ja keskmise suurusega ettevõtetele, kes on laskunud 123 pilveteenusesse vingete liidestega: projektijuhtimine, abiteenused, raamatupidamine, CRM, palgaarvestus, ajaarvestus, turundus, … mida iganes sa nimetad, ja on andmetesse süvenenud. Youcalc ja Successfactors (selliseid pole enam ilmselt) see on hea!
5. Otsige inimesi, kes armastavad nokitseda “crunch” andmed. Need on haruldased ja kummalised (nagu kohvigruusiennustajad), kuid äri jaoks võtmekohustuslikud. Näiteks poeet võib väga hästi mõista korrelatsiooni.
6. Insenerid on vajalikud! Nad on vajalikud, et tõlkida probleemid, mille Cruncher'id andmetest välja tõid, lahendusteks. Ja lahenduse edu või ebaedu sõltub täielikult neist.
7. Areng opensource projektid esindavad suurt väärtust ning annavad võimaluse keerulisi lahendusi praktiliselt "nullist" koguda.
8. Aga... ei tohi unustada, et Hadoop on raamatukogu ja Lucene on samuti raamatukogu ning vahe raamatukogu ja tööstusliku toote on märkimisväärne!
9. Kohandatud lahendusi tuleb oluliselt kohandada, seetõttu moodulaarus ja integreeritavus on võtmeküsimused.
10. Agile (kallis Jumal) — on võtmetehnika koostöös klientidega ja hüpoteeside testimisel , mida tuleb palju.Iga koodimist ja kasutajaliidese loomist on eriti võimalik ja vajalik välja osta. Kõik äriline analüüs ja spetsifikatsioonid
11. tagaplaanile tuleb jätta ja käsitleda kui võtmekompetentsi. sisemine Otsuseid tegevad äriinimesed peavad olema pidevalt "teadlikud"
12. õige andmetöötluse vajadusest. andmete nõuetekohaseks töötlemiseks ja pideb pide teisi nende analüüsiks uusi viise. Meie spetsialistide tehniliste ja äriliste oskuste kombinatsioon aitab tõsta kogu organisatsiooni staatust.
13. Internet – on lõputu inspiraatsiooni allikas (sel ajal ei olnud kiisusid nii palju) seoses andmehalduse lähenemisviisidega, kuigi probleemid ja ulatus on oluliselt erinevad.

Tehnoloogilised postulaadid…

1. On suur arengupotentsiaal selle lihtsustamises kuidas andmeid inimestele esitatakse. Seda võib nimetada "iPhone'istamise" nähtuseks.
2. Kuigi BI tarnijad väidavad, et nad toovad analüüsi lõppkasutajatele , (ja nad liikuvad selles suunas) – läbimurre on endiselt toimumata. Inimesed lihtsalt ei mõistamitmemõõtmelisi andmeid. Kasutajaliides, mis esitab enam-vähem keerulisi nõrgalt struktureeritud andmeid
3. fasiliteeritud vormis – esitab samuti lõputult probleeme. Järeldus: mida rohkem on tasapinnaline (flatter) – seda parem. vide – toob kaasa lõpmatu hulga probleeme. Kokkuvõte: mida ühtlasem on pind (flatter), seda parem.
4. Platvorm, mis on üles ehitatud automaatsete andmete väljavõtmise baasil allikatest (mis ei pruugi alati selliseks väljavõtmiseks mõeldud olla), sõltub oluliselt allikatest, ühenduste usaldusväärsusest ja infrastruktuurist. Tulemuste tagamise rikkumise korral süüdistatakse alati platvormi (saatjat). Usaldus – selle tüüpi platvormide kapital. Kapital, mille teenimine on keeruline ja kaotus lihtne.
5. Ärivaatepunktist pole mingit vahet Suurte Andmete analüüsimisel ja Lihtsalt Andmete. Tihti peituvad lihtsates nagu 2x2 numbrites võimalused miljonite dollarite väärtuses. Hea näide on andmed infrastruktuuri elementide elu lõpust Norraküljel. Kui kõik tulevaste kapitaalremontide kuupäevad kogu varustuse kohta asetati ühele teljele ja selgus, et N aasta pärast on ees otse šelfi Armagedon – üks väga jõukas inimene tõusis oma kohal ja kiirustades kummardas ning lahkus toast sõnadega: „Vabandage, mul on vähe aega, pean flotte valmistama ...“
6. Excel, ja tegelikult selge ja arusaadav tabelarvutuse esitus andmetest omab tohutut võimet ja suurt tulevikku. Usun ilusatesse tabelitesse. (ja siiani)ja kõik siin!
7. Selle kogu «analüüsi» peamine nupp on otsuste automatiseerimine. Seal on kõige suuremad võimalused, kuid ka kõige suuremad riskid, sest võimalused on suured, riskid on suured, võimalused on suured ja riskid... 🙂 Näiteks puurkaevude juhtimine...
8. Kui «integreeritavus» on võtmefunktsioon, siis peavad andmed de facto olema esitatud teenuse kujul. REST toimib hästi, aga ära unusta optimeerimist praegune, mida sageli praegu tuuakse integreeritavuse nimel ohvriks, kuna arvutusvõimsus jätkab kasvamist.
9. Meisterandmed – see on see, mida on vaja lokaliseerida, välja tõmmata, standardiseerida, enne kui suunata mingid äri küsimused. Meisterandmed on väikesed, aga probleemid nendega on suured! Nagu semantika vennad ütlevad – 50% kõigist maailma probleemidest tuleneb sellest, et inimesed nimetavad samu asju erinevate nimedega, ja teised 50% tuleneb sellest, et nad nimetavad erinevaid asju ühe nimega.
10. Igasugune inkapsuleerimine säilitamise tasandil piirab lahenduse avatud olemust ja viib SILO-ks. Hästi, kui olete suur tarnija, muidu on see nii-nii.Siin ei räägita muidugi plokk-tasandist ega AWS S3-st, mis tol ajal oli juba kuue aastane, vaid failidest.).
11. Relaatsiooniline modelleerimine andmed ei ole meile enam sõber. RDF ja key-value – äge! Oleme näinud maagilisi muundamisi relatsioonilistest andmebaasidest 2000 tabeliga 15 tabelisse, ning keegi kasutajatest ei kaotanud midagi.
12. Internet töötab sellepärast, et on URL kui ainus aadressimisviis. URL-i tähtsust, või õigemini URI ettevõtte inforessursside jaoks on keeruline üle hinnata.
13. Teksti kaevandamine ja NLP on populaarsed. Internetis. Kuid ka ettevõtete sektoris on võimalik saavutada suuri edusamme, kaevandades struktureeritud andmeid ebastruktureeritud ettevõtte andmetest.
14. Sünergia struktureeritud andmete ja ebastruktureeritud andmetest, st failidest, saadud teabe vahel – analüütiline Kolle.
15. Andmete kaevandamisel – ärgem unustagem õigusi ja autoriõiguseid..
16. Andmete kaevandamisega tegelev ettevõte peab looma departemendi häkkereid, hea tähenduses. Inspiratsioon raske võitluse kaudu Kuldsete Lehekülgede kaitsesüsteemide vastu otsingubotidest.
17. Enne andmetega töötamist – tuleb need «näha». täielikult. Seda on raske seletada. Mulle tulevad meelde tabelilised vormid. Mõnele graafilised esitused, kuid iga graafik on juba tõlgendus. Nii või teisiti… "näha"!
18. küsides kasutajate usaldusväärsuse küsimust esiosas. Usaldus andurite/protsesside andmete genereerimise usaldus, usaldus andmete suhtes, usaldus vastu võetud otsuste suhtes.

Allikas: habr.com