Divizioni i të dhënave. 2013. Rrëfimi

Në vitin 2013 IBS, të cilët atëherë, duket se krijonin Divizionin e të Dhënave, më kërkuan të bëj një brain dump (përjashtueshëm mbi bazën e eksperiencës me klientët korporativë në industrinë e naftës dhe gazit) mbi fushat problematike të të Dhënave të Mëdha, dhe të Dhënave në përgjithësi. E gjeta këtë pas 7 vjetësh dhe mu duk e çuditshme. Disa gjëra janë evidente. Disa nuk ishin krejt të sakta, por... kaluan 7 vjet.

Shkruajta në anglisht dhe mendoj ta përkthej në shqip. Ndoshta ka ndonjë gjë që është akoma relevante? (Do t’i përkthej bullet-at, ndërsa tabelat do t’i lë në anglisht nga lenia. E gjelbër – mirë, e kuqe – rrezik, e kaltra — ëndërr).

Do t’i formuloj komentet minimale nga «sot» me italik, që të kuptohet dhe të jetë e dallueshme.

Pra, TË DHËNAT! Na nevojiten të dhëna…

Divizioni i Të Dhënave është si Divizioni i Gjakut, sepse të dhënat mund të krahasohen, për shembull, me gjakun që qarkullon në venat dhe arteriet e organizmit të biznesit. Megjithatë, ndonëse përsëri është një gjak – organizmat janë të ndryshëm dhe për këtë arsye produktizimi është shumë i vështirë, por në të njëjtën kohë paraqet mundësi për zhvillim.

Ka njerëz të cilët e shohin të dhënat drejt në sy – këta janë Ne.
Dhe ka njerëz që, për fat të keq, nuk i shohin të dhënat. Këta janë përsëri për fat të keq, klientët tanë në postulatet e biznesit…!

Pra, Shesim

1. biznesit biznesit, jo IT Të gjitha problemet e biznesit përqendrohen rreth vertikalëve tematikë të industrisë dhe kërkojnë specializim të përshtatshëm
2. Përpjekjet për të provuar vlerën e «të dhënave».
3. ose, çfarë është edhe më e vështirë, vlerën e «menaxhimit të të dhënave» për biznesin – është një vuajtje e përhershme. Në thelb, është si të shkosh tek një person që ndjehet mirë dhe të thuash: “O shoku, ne do të ndihmojmë gjakun të shërohet, dhe, o shoku, kjo është e shtrenjtë!” E dija që ëndrrat e mia, brenda modelit SaaS, janë të shes «nxjerrjen e të dhënave» dhe «analitikën» për biznesin e vogël dhe të mesëm
4. , të cilët e kanë ngarkuar veten me 123 shërbime cloud me interface të bukur: menaxhimi i projekteve, helpdesk, kontabilitet, CRM, paga, raportimi i kohës, marketingu, … ju e dini, dhe janë ngulfatur në të dhëna. Youcalc dhe Successfactors ( nuk ekzistojnë më ndoshta) janë të mira!Kërkoni njerëz që duan të merretme të dhëna. Ata janë të rrallë dhe të çuditshëm (si parashikuesit në kafën), por thelbësorë për biznesin. Një poet, për shembull, mund të kuptojë shumë mirë korrelacionet.
5. Inxhinierët janë të nevojshëm! Ata janë të nevojshëm për të kthyer problemet që të dhënat i nxorrën në zgjidhje. Dhe suksesi, ose dështimi i zgjidhjes varet plotësisht nga ata. është një vlerë e madhe dhe ofron mundësinë për të «ndërtuar» zgjidhje komplekse praktikisht nga «e para».
6. Por… nuk duhet harruar se Hadoop është një bibliotekë, dhe Lucene është gjithashtu një bibliotekë, dhe distance midis bibliotekës dhe produktit industrial
7. Zhvillimi projekteve open-source është e konsiderueshme!
8. Zgjidhjet e ndërtuara do të duhet të adaptohen ndjeshëm, sepse modulariteti integrimi
9. janë pika kyçe. Agjiliteti ( dhe më falni Zot ) është teknika kryesore në bashkëpunimin me klientin dhe verifikimin e
10. hipotezave, të cilat do të jenë të shumta.Duhet dhe mund të bëhet outsourcing i çdo kodimi dhe UI. Të gjitha analizat e biznesit dhe specifikimet e backendduhet të lihen
11. dhe të konsiderohen si një kompetencë kyçe. Njerëzit që marrin vendime në biznes duhet të jenë vazhdimisht të «informuar» për nevojën për të punuar siç duhet me të dhënat brenda dhe për të kërkuar vazhdimisht mënyra të reja për analizimin e tyre. Kombinimi i kompetencave teknike dhe atyre të biznesit të punonjësve tanë do t'i ndihmojë të rrisin statusin e organizatës në tërësi.
12. - është një burim i pafund frymëzimi ( atëherë ende nuk kishte kaq shumë mace ) në qasjet ndaj menaxhimit të të dhënave të korporatave, pavarësisht se problemet dhe shkallëza ndahen ndjeshëm.
13. Internet Postulatet teknologjike…Ekziston një potencial i madh për zhvillim nëthjeshtimin

e asaj që të dhënat paraqiten njerëzve. Mund ta quajmë këtë «iPhone-izim».

1. Megjithëse ofruesit e BI pretendojnë se ata thjesht po i sjellin analitikën përdoruesve përfundimtarë , (dhe padyshim që po lëvizin në këtë drejtim) – akoma nuk ka ndodhur një përparim revolucionar. Njerëzit thjesht nuk e kuptojnë
2. të dhënat multidimensionale. Ndërfaqja e përdoruesit, që paraqet të dhëna më dhe më pak të strukturuara në formënfacetizuar - gjithashtu paraqet një sërë të pafundmë problemesh. Përfundimi: sa më e sheshtë (flatter) – aq më mirë. Një platformë e ndërtuar mbi nxjerrjen automatike të të dhënave nga burime (të cilat nuk janë gjithmonë të destinuara për këtë lloj nxjerrjeje) është shumë e varur nga burimet, qëndrueshmëria e lidhësve dhe infrastruktura. Në paaftësinë për të ofruar rezultate gjithmonë do të akuzohet platforma (kurieri).
3. Ndërfaqja e përdoruesit, që paraqet më shumë ose më pak të dhëna të strukturuara keq, në formë të fasetizuar – paraqet një sërë problemesh të pafundme. Përfundim: sa më e sheshtë (flatter) – aq më mirë. Platforma, e ndërtuar mbi automatikun e nxjerrjes së të dhënave nga burime (të cilat nuk janë gjithmonë të destinuara për një nxjerrje të tillë), është në varësi të madhe nga burimet, qëndrueshmëria e konektorëve dhe infrastruktura. Në pamundësi për të ofruar rezultat, gjithmonë do të akuzohet platforma (mesazhi).
4. Platforma, e ndërtuar mbi automatikun e nxjerrjes së të dhënave nga burime (të cilat nuk janë gjithmonë të destinuara për një nxjerrje të tillë), është thelbësisht e varur nga burimet, qëndrueshmëria e lidhësve dhe infrastruktura. Papërgjegjshmërinë për dështimin e rezultatit gjithmonë do t'ia hedhin platformës (lajmëtarit). Besimi – kapital i këtij lloji platformash. Kapital që është e vështirë të fitohet dhe e lehtë për t'u humbur.
5. Nga këndvështrimi i biznesit, nuk ka asnjë dallim mes analizës së Big Data dhe Thjeshtë Data. Shumë shpesh pas numrave të thjeshtë si 2x2 fshihet mundësi për miliona dollarë. Një shembull i mirë është të dhënat rreth mbarimit të jetëgjatësisë së elementeve të infrastrukturës në rafinimet norvegjeze. Kur të gjitha datat e riparimeve kapitale të të gjithë pajisjeve u vendosën në një bosht dhe u zbulua se pas N vitesh do të ndodhte një Armagedon i vërtetë në platformë — një njeri shumë i pasur u ngjit nga karrigia e tij dhe, duke u ndarë me të gjithë, doli nga dhoma me fjalët: "Më falni, kam pak kohë, duhet të përgatis flotën…"
6. Excel, dhe në thelb një paraqitje e qartë dhe e saktë tabelar e të dhënave ka një fuqi të madhe dhe një të ardhme të madhe. Besoj në tabela të bukura (edhe tani)dhe kjo është e gjitha!
7. Rripi kryesor i gjithë kësaj "analitike" është automatizimi i marrjes së vendimeve. Atje janë mundësitë më të mëdha, por edhe rreziqet më të larta, prandaj janë mundësi të mëdha, prandaj edhe rreziqet, prandaj edhe mundësi, prandaj rreziqe… 🙂 Menaxhimi i shpimeve të puseve, për shembull...
8. Nëse "integrueshmëria" është karakteristika kyçe, atëherë të dhënat de facto duhet të paraqiten si një shërbim. REST nuk është në mendje, por nuk duhet harruar optimizimi performancës, i cili shpesh tani është bërë viktimë e integrueshmërisë, sepse kapaciteti përpunues vazhdon të rritet.
9. Të dhënat master janë ato që duhet lokalizuar, nxjerrë, standardizuar para se t'i drejtohen disa çështjeve biznesi. Të dhënat master janë të vogla, por problemet me to janë të mëdha! Siç thonë vëllezërit e semantikës – 50% e problemeve botërore janë pasi njerëzit i quajnë të njëjtat gjëra me emra të ndryshëm, dhe 50% të tjerë sepse ata i quajnë gjëra të ndryshme me një emër.
10. Çdo inkapsulimi në nivelin e ruajtjes kufizon hapjen e zgjidhjes dhe çon në SILO-ifikim. E mira është nëse jeni një ofrues i madh, në të kundërt – është një situatë e keqe. (Këtu po flasim, natyrisht, për nivelin e bllokut dhe jo për AWS S3, i cili atëherë kishte 6 vjet, por për skedarët).
11. Modelimi relacion i të dhënave më nuk është mik. RDF dhe çelës-vlerë – janë të mrekullueshme! Ne kemi parë transformime magjike të bazave të të dhënave relacionale me modelet me 2000 tabela në 15 tabela, dhe askush nga përdoruesit nuk ka humbur asgjë.
12. Internetin funksionon sepse ka URL si një mënyrë të vetme adresimi. Rëndësia e URL-së, ose më mirë URI për burimet informacionit të kompanisë është e vështirë të neglizhohet.
13. Text mining dhe NLP janë të njohura. Në Internet. Por edhe në sektorin korporativ mund të arrihen suksese të mëdha duke nxjerrë të dhëna të strukturuara nga të dhëna jo-strukturuara korporative.
14. Sinergjia mes të dhënave të strukturuara dhe informacionit të nxjerrë nga të dhënat jo-strukturuara, dmth. skedarët – një Klondike analitik.
15. Duke nxjerrë të dhëna – mos harroni për të drejtat dhe të drejtat e autorit.
16. Një kompani e angazhuar në nxjerrjen e të dhënave duhet të formojë njëdepartament hacker, në kuptimin e mirë të fjalës. Inspiruar nga lufta e ashpër me sistemet mbrojtëse të Fletëve të Verdha nga robotët e kërkimit.
17. Para se të filloni të punoni me të dhënat – duhet "të shihni" në të gjithë përmasat. Kjo është e vështirë për t'u shpjeguar. Më vijnë në mendje format tabelare. Disa do të mendojnë për paraqitje grafike, por çdo grafik është tashmë një interpretim. Ndonjëherë... "të shihni"!
18. Duke u përsëritur në pyetjen e "besimit" të përdoruesve ndaj front-end-it. Besimi në lidhësit/processet e krijimit të të dhënave, besimi në të dhënat, besimi në vendimet e marra.

Burimi: habr.com