In 2013 aastal IBS, mis siis näis loovat Andmeosakond, palus mul teha selline ajutõmme (ainult nafta- ja gaasiettevõtete klientidega suhtlemise kogemuse põhjal) Big Data probleemvaldkonna ja andmete kohta üldiselt. Nii et ma leidsin selle 7 aastat hiljem ja arvasin, et see oli naljakas. Mõned asjad on ilmselged. Mõned osutusid mitte päris tõeks, aga... 7 aastat on möödas.
Kirjutasin inglise keeles ja nüüd mõtlesin selle vene keelde tõlkida. Mis siis, kui miski on praegu veel aktuaalne? (Tõlgin bülletäänid, aga jätan laiskusest ingliskeelsed sildid. Roheline on hea, punane on ohtlik, sinine on unistus).
Vormistan minimaalsed kommentaarid "tänasest" itaalia keelet see oleks selge ja eristatav.
Niisiis, ANDMED! Andmed meile...
Andmeosakond on vereosakond, sest andmeid saab võrrelda näiteks äriorgani veenide ja arterite kaudu voolava verega. Kuid kuigi veri on sama, on organismid erinevad ja seetõttu productiseerimine väga raske, kuid see kujutab endast ka arenguvõimalust.
On inimesi, kellele andmed hüppavad otse silma – need on Me.
Ja on inimesi, kes kahjuks ei näe andmepunkti tühjana. See on paraku jälle meie oma Kliendid!
Niisiis, äripõhimõtted...
- Me müüme äriJa mitte IT (Andku kõik IT-spetsialistid mulle korraga andeks), sest me lahendame maailma probleemid ja noh, raha juurde.
- Kõik äriprobleemid on koondunud temaatiliste tööstuse vertikaalide ümber ja nõuavad piisavat erialad.
- Püüab tõestada "andmete" väärtus või, mis veelgi keerulisem, "andmehalduse" väärtus ettevõtte jaoks on igavene kannatus ja valu. Põhimõtteliselt on see nagu tulla inimese juurde, kes tunneb end hästi ja öelda: "Kutt, me ravime nüüd su verd ja see on kallis!"
- Minu "märg unistus" on müüa SaaS-i mudelis "andmete eraldamist" ja "analüütikat". väikesed ja keskmised ettevõttedkes ronisid 123 lahedate liidestega pilveteenusesse: projektijuhtimine, kasutajatoe, raamatupidamine, CRM, palgaarvestus, ajaaruandlus, turundus, ... you name it, ja matsid end andmetesse. Youcalc ja Successfactors (ilmselt neid enam pole) See on hea!
- Otsige inimesi, kellele meeldib nokitseda "prõks" andmetega. Need on haruldased ja kummalised (nagu teelehed), kuid äritegevuse võtmetähtsusega. Näiteks luuletaja võib olla väga hea korrelatsioonis.
- Insenerid vaja! Vajalik, et muuta probleemid, mille Crunchers andmetest välja tõmbas, lahendusteks. Ja otsuse õnnestumine või ebaõnnestumine sõltub täielikult neist.
- areng avatud lähtekoodiga projektid on suure väärtusega ja võimaldavad keerukaid lahendusi praktiliselt nullist “kokku panna”.
- Kuid... me ei tohi unustada, et Hadoop on raamatukogu ja Lucene on samuti raamatukogu, ning vahemaad nende vahel raamatukogu ja tööstustoode palju!
- Ehitatud lahendusi tuleb oluliselt kohandada, sest modulaarsus и integreeritavus - võtmepunktid.
- Agiilne (Jumal anna mulle andeks) on kliendiga suhtlemise ja kontrollimise võtmetehnika hüpoteesid, mida saab olema palju.
- Eriti võimalik ja vajalik on kogu kodeerimine ja kasutajaliides sisse osta. Kogu ärianalüüs ja spetsifikatsioonid tagaprogramm vaja lahkuda jooksul ja seda peetakse põhipädevuseks.
- Äriotsuste langetajad peavad olema pidevalt “teadlikud”. vajadus andmetega korralikult töötada ja pidevalt otsides uusi viise nende analüüsimiseks. Meie töötajate tehniliste ja äriliste kompetentside kombineerimine aitab tõsta kogu organisatsiooni staatust tervikuna.
- Internet - on lõputu inspiratsiooniallikas (siis ei olnud nii palju kasse) seoses lähenemisviisidega ettevõtte andmete haldamisele, kuigi eesmärgid ja ulatus on oluliselt erinevad.
Tehnoloogilised postulaadid...
- Seal on tohutu arengupotentsiaal lihtsustamine kuidas andmeid inimestele näidatakse. Võite seda nimetada sõnaks "iPhonization".
- Vaatamata sellele, et BI-müüjad väidavad, et nad on otse tuua analüütika lõppkasutajateni, (ja selles suunas nad kindlasti liiguvad) – läbimurret pole veel toimunud. Inimesed lihtsalt ei saa hästi aru mitmemõõtmeline andmed.
- Kasutajaliides, mis esindab rohkem või vähem keerulisi, lõdvalt struktureeritud andmeid lihvitud vorm – esitab ka lõputu hulga probleeme. Järeldus: mida lamedam, seda parem.
- Allikatest (mis ei ole alati selliseks väljavõtmiseks mõeldud) automaatsel andmete ekstraheerimisel ehitatud platvorm sõltub oluliselt allikatest, pistikute stabiilsusest ja infrastruktuurist. Platvormi (messenger) süüdistatakse alati tulemuste ebaõnnestumises. Usaldage – seda tüüpi platvormide kapital. Kapital, mida on raske teenida ja mida on kerge kaotada.
- Ärilisest vaatenurgast ei ole Big Data analüüsil vahet ja Lihtsalt andmed. Sageli peituvad nii lihtsate numbrite nagu 2x2 taga miljoneid dollareid väärt võimalusi. Hea näide on andmed infrastruktuuri elementide eluea lõppemise kohta Norra riiulil. Millal on kõik tulevaste ülemmäärade kuupäevad. kõigi seadmete remont pandi ühele teljele ja saadi teada, et N aasta pärast on tulemas riiul Armageddon - üks väga jõukas mees tõusis toolilt ja kummardus kähku toast välja sõnadega: “Vabandust, ma ei tee seda. Mul on palju aega, pean laevastiku ette valmistama..."
- Excelil ja sisuliselt andmete selgel ja kokkuvõtlikul tabeliesitlusel on tohutu jõud ja suur tulevik. Usun ilusatesse laudadesse (ja ikka veel) ja see ongi kõik!
- Kogu selle "analüütika" peamine kummardus on otsuste automatiseerimine. Seal on suurimad võimalused, aga ka suurimad riskid, sellepärast on võimalused rikkad, sellepärast on riskid, sellepärast on võimalused, sellepärast on need iirised... 🙂 Kaevude puurimise juhtimine näiteks...
- Kui võtmefunktsioon on integreeritavus, tuleks andmeid de facto esitada teenusena. REST reeglid, kuid me ei tohi unustada optimeerimist tootlikkus, mida nüüd sageli ohverdatakse integreeritavuse nimel, kuna arvutusvõimsus kasvab jätkuvalt.
- Põhiandmed - see on see, mida tuleb enne mis tahes äriprobleemidega tegelemist lokaliseerida, eraldada, standardida. Põhiandmed on väikesed, kuid probleemid nendega on suured! Nagu semantikavennad ütlevad, on 50% kõigist maailma probleemidest see, et inimesed kutsuvad samu asju erinevate nimedega ja ülejäänud 50% on see, et nad nimetavad erinevaid asju sama nimega.
- mistahes kapseldamine ladustamise tasemel piirab see lahenduse avatust ja viib SILO-fiktsioonini. Hea, kui olete suur müüja, muidu on see nii ja naa. (Siin räägime muidugi mitte plokkide tasemest ja mitte AWS S3-st, mis oli siis juba 6 aastat vana, vaid failidest).
- Suhteline modelleerimine andmed pole enam meie sõber. RDF ja võtmeväärtus – lahe! Oleme näinud 2000 tabeli mudelitega relatsiooniandmebaaside maagilisi teisendusi 15 tabeliks ja ükski kasutaja ei kaotanud midagi.
- Internet töötab, sest see on olemas URL ühtse adresseerimismeetodina. URL-i tähtsus või pigem URI ettevõtte teaberessursside jaoks on raske ülehinnata.
- Tekstikaevandamine ja NLP on populaarsed. Internetis. Kuid isegi ettevõtete sektoris võib suurt edu saavutada struktureeritud andmete eraldamine struktureerimata ettevõtteandmetest.
- Sünergia struktureeritud andmete ja struktureerimata andmetest eraldatud teabe vahel, st. failid – analüütiline Klondike.
- Andmete väljavõtmisel ärge unustage õigusi ja autoriõigused.
- Andmete hankimise ettevõte peab moodustama ahäkkerite osakond, selle sõna heas mõttes. Inspireeritud ülesmäge võitlusest Yellow Pagesi roomikrobotite kaitsesüsteemide vastu.
- Enne andmetega töötamist on vaja "näha" tervikuna. Seda on raske seletada. Meenuvad tabelivormid. Mõne jaoks graafilised esitused, aga igasugune graafik on juba tõlgendus. Nii või teisiti... “näha”!
- Korratakse kasutaja "usalduse" probleemi kasutajaliideses. Usaldus konnektoritesse/andmete genereerimise protsessidesse, usaldus andmete vastu, usaldus tehtud otsuste vastu.
Allikas: www.habr.com