Divizioni i të Dhënave. viti 2013. Retrospektive

Në vitin 2013 IBS, e cila më pas dukej se po krijonte Divizioni i të Dhënave, më kërkoi të bëja një ide të tillë (ekskluzivisht bazuar në përvojën e ndërveprimit me klientët e korporatave të naftës dhe gazit) në lidhje me fushën e problemit të Big Data dhe të dhënave në përgjithësi. Kështu që e hasa 7 vjet më vonë dhe mendova se ishte qesharake. Disa gjëra janë të dukshme. Disa rezultuan se nuk ishin plotësisht të vërteta, por... kanë kaluar 7 vjet.

Shkrova në anglisht dhe tani mendova ta përkthej në rusisht. Po sikur diçka të jetë ende e rëndësishme tani? (Do t'i përkthej buletinet, por lërini shenjat në anglisht nga përtacia. E gjelbërta është e mirë, e kuqja është e rrezikshme, bluja është një ëndërr).

Do të zyrtarizoj komentet minimale nga "sot" italishtnë mënyrë që të jetë e qartë dhe e dallueshme.

Pra, TË DHËNA! Të dhënat për ne...

Divizioni i të dhënave është Divizioni i Gjakut, sepse të dhënat mund të krahasohen, për shembull, me gjakun që kalon nëpër venat dhe arteriet e një organizmi biznesi. Megjithatë, edhe pse gjaku është i njëjtë, organizmat janë të ndryshëm dhe për këtë arsye prodhimtarisë shumë e vështirë, por paraqet edhe një mundësi zhvillimi.

Ka njerëz për të cilët të dhënat hidhen drejt e në sytë e tyre - këta janë Ne.
Dhe ka njerëz që, për fat të keq, nuk e shohin pikën e të dhënave bosh. Kjo, përsëri, mjerisht, është e jona Klientët!

Pra, parimet e biznesit...

1. Ne shesim biznesiDhe jo ИТ (më falni të gjithë specialistët e IT menjëherë) sepse ne po zgjidhim problemet e botës dhe, mirë, më shumë para.
2. Të gjitha problemet e biznesit janë të përqendruara rreth vertikaleve tematike të industrisë dhe do të kërkojnë adekuate specializimet.
3. Përpjekjet për të provuar vlera e "të dhënave" ose, edhe më e vështirë, vlera e "menaxhimit të të dhënave" për një biznes është vuajtje dhe dhimbje e përjetshme. Në thelb, është njësoj si të vish te një person që ndihet mirë dhe t'i thuash: "O mik, do ta trajtojmë gjakun tënd tani dhe, o mik, kushton shtrenjtë!"
4. "Ëndrra ime e lagësht" është të shes "nxjerrjen e të dhënave" dhe "analitikën" brenda modelit SaaS bizneset e vogla dhe të mesmetë cilët u ngjitën në 123 shërbime cloud me ndërfaqe të lezetshme: menaxhimi i projektit, tavolina e ndihmës, kontabiliteti, CRM, lista e pagave, raportimi i kohës, marketingu, ... ju përmendni, dhe u varrosën në të dhëna. Youcalc dhe Successfactors (ndoshta nuk ka më) Kjo eshte mire!
5. Kërkoni njerëz që pëlqejnë të ngacmojnë "kriza" me të dhëna. Ato janë të rralla dhe të çuditshme (si gjethet e çajit), por kyçe për biznesin. Një poet, për shembull, mund të jetë shumë i mirë në korrelacion.
6. inxhinierë nevojiten! Nevojitet për t'i kthyer problemet që Crunchers nxorrën nga të dhënat në zgjidhje. Dhe suksesi ose dështimi i vendimit varet tërësisht prej tyre.
7. Zhvillim opensource projektet kanë një vlerë të madhe dhe bëjnë të mundur "montimin" e zgjidhjeve komplekse praktikisht nga e para.
8. Por... nuk duhet të harrojmë se Hadoop është një bibliotekë, dhe Lucene është gjithashtu një bibliotekë, dhe distanca midis bibliotekë dhe produkt industrial shumë!
9. Zgjidhjet e ndërtuara do të duhet të përshtaten ndjeshëm, sepse modulariteti и integrueshmërinë - Pikat kryesore.
10. I shkathët (Zoti me fal) është një teknikë kyçe në ndërveprimin me klientin dhe verifikimin hipoteza, nga të cilat do të ketë shumë.
11. Është veçanërisht e mundur dhe e nevojshme të nënkontraktohen të gjitha kodimet dhe ndërfaqet e përdoruesit. Të gjitha analitikat dhe specifikimet e biznesit backend duhet të largohet brenda dhe konsiderohet si një kompetencë thelbësore.
12. Vendimmarrësit e biznesit duhet të "informohen" vazhdimisht për të nevoja për të punuar siç duhet me të dhënat dhe vazhdimisht në kërkim të mënyrave të reja për t'i analizuar ato. Kombinimi i kompetencave teknike dhe afariste të punonjësve tanë do të ndihmojë në ngritjen e statusit të të gjithë organizatës në tërësi.
13. Internet – ka një burim të pafund frymëzimi (atëherë nuk kishte aq shumë mace) në lidhje me qasjet ndaj menaxhimit të të dhënave të ndërmarrjes, megjithëse objektivat dhe qëllimi ndryshojnë ndjeshëm.

Postulatet teknologjike...

1. Ka potencial të madh zhvillimi në thjeshtimi si u tregohen të dhënat njerëzve. Këtë mund ta quani fjalën "iPonization".
2. Përkundër faktit se shitësit e BI pretendojnë se janë drejtpërdrejt sjellin analitikë për përdoruesit përfundimtarë, (dhe ata sigurisht po lëvizin në këtë drejtim) - përparimi ende nuk ka ndodhur. Njerëzit thjesht nuk e kuptojnë mirë shumëdimensionale të dhëna.
3. Një ndërfaqe përdoruesi që përfaqëson të dhëna pak a shumë komplekse, të strukturuara lirshëm me fytyra forma - paraqet gjithashtu një numër të pafund problemesh. Përfundim: sa më i sheshtë aq më mirë.
4. Një platformë e ndërtuar mbi bazën e nxjerrjes automatike të të dhënave nga burimet (të cilat nuk janë krijuar gjithmonë për një nxjerrje të tillë) varet ndjeshëm nga burimet, qëndrueshmëria e lidhësve dhe infrastruktura. Platforma (messenger) gjithmonë do të fajësohet për dështimin për të dhënë rezultate. besim – kapitali i këtij lloji platformash. Kapitali që fitohet vështirë dhe humbet lehtë.
5. Nga pikëpamja e biznesit, nuk ka asnjë ndryshim midis analizës së të dhënave të mëdha dhe Vetëm të dhëna. Shpesh pas numrave të thjeshtë si 2x2 qëndrojnë mundësi me vlerë miliona dollarë. Një shembull i mirë janë të dhënat për fundin e jetës së elementeve të infrastrukturës në raftin norvegjez. Kur janë të gjitha datat e kapakëve të ardhshëm. riparimet e të gjitha pajisjeve u vendosën në një aks dhe ata zbuluan se në vitet N po vinte rafti Armageddon - një burrë shumë i pasur u ngrit nga karrigia e tij dhe u përkul me nxitim nga dhoma me fjalët: "Më falni, nuk po kam shumë kohë, më duhet të përgatis flotën...”
6. Excel, dhe në thelb një paraqitje tabelore e qartë dhe koncize e të dhënave, ka fuqi të madhe dhe një të ardhme të madhe. Unë besoj në tavolinat e bukura (dhe ende e bëjnë) dhe kjo eshte!
7. Harku kryesor i gjithë kësaj "analitike" është automatizimi i vendimeve. Ka mundësitë më të mëdha, por edhe rreziqet më të larta, prandaj mundësitë janë të pasura, prandaj ka rreziqe, prandaj ka mundësi, prandaj janë karamele... 🙂 Menaxhimi i shpimit të pusit, për shembull...
8. Nëse "integrueshmëria" është një veçori kryesore, atëherë të dhënat duhet të paraqiten de facto si një shërbim. Rest rregullat, por nuk duhet të harrojmë për optimizimin produktiviteti, e cila tani shpesh sakrifikohet për integrueshmërinë ndërsa fuqia kompjuterike vazhdon të rritet.
9. Të dhënat kryesore - kjo është ajo që duhet të lokalizohet, të nxirret, të standardizohet përpara se të trajtohet çdo çështje biznesi. Të dhënat kryesore janë të vogla, por problemet me to janë të mëdha! Siç thonë vëllezërit e semantikës, 50% e të gjitha problemeve të botës janë sepse njerëzit i quajnë të njëjtat gjëra me emra të ndryshëm, dhe 50% e tjera janë sepse i quajnë gjëra të ndryshme me të njëjtin emër.
10. ndonjë kapsulimi në nivelin e ruajtjes, ajo kufizon hapjen e zgjidhjes dhe çon në SILO-fiksim. Është mirë nëse je një shitës i madh, përndryshe është kështu. (Këtu po flasim, natyrisht, jo për nivelin e bllokut dhe jo për AWS S3, i cili atëherë ishte tashmë 6 vjeç, por për skedarët).
11. Modelimi relacional të dhënat nuk janë më miku ynë. RDF dhe vlera e çelësit – të mirë! Ne kemi parë transformime magjike të bazave të të dhënave relacionale me modele të 2000 tabelave në 15 tabela, dhe asnjë nga përdoruesit nuk humbi asgjë.
12. Interneti funksionon sepse ekziston URL si një metodë e unifikuar e adresimit. Rëndësia e URL-së ose më mirë URI për burimet e informacionit të ndërmarrjes është e vështirë të mbivlerësohen.
13. Minierat e tekstit dhe NLP janë të njohura. Në internet. Por edhe në sektorin e korporatave, sukses i madh mund të arrihet duke nxjerrë të dhëna të strukturuara nga të dhënat e pastrukturuara të korporatës.
14. Sinergji ndërmjet të dhënave të strukturuara dhe informacionit të nxjerrë nga të dhënat e pastrukturuara, d.m.th. dosjet – Klondike analitike.
15. Kur nxjerrni të dhëna, mos harroni për të drejtat dhe të drejtat e autorit.
16. Kompania e nxjerrjes së të dhënave duhet të formojë njëdepartamenti i hakerave, në kuptimin e mirë të fjalës. Frymëzuar nga beteja e vështirë kundër sistemeve të mbrojtjes së robotëve zvarritës të Faqeve të Verdha.
17. Para se të punoni me të dhënat, është e nevojshme që "Shiko" në tërësinë e saj. Është e vështirë të shpjegohet. Më vijnë në mendje format tabelare. Për disa, paraqitje grafike, por çdo grafik është tashmë një interpretim. Në një mënyrë apo tjetër... “shih”!
18. Përsëritja e çështjes së "besimit" të përdoruesit në frontend. Besimi në lidhësit/proceset e gjenerimit të të dhënave, besimi në të dhënat, besimin në vendimet e marra.

Burimi: www.habr.com