Në vitin 2013 IBS, të cilët atëherë, duket, krijonin Departamenti i Të Dhënave, më kërkuan të bëja një brain dump (përveçse mbi përvojën e ndërshtimit me klientët korporatë të naftës dhe gazit) mbi fushën problematike të Të Dhënave të Mëdha, e edhe Të Dhënave në përgjithësi. Ja, pata rënë mbi këtë pas 7 vjetësh dhe më dukej qesharake. Disa gjëra janë të dukshme. Disa nuk ishin të vërteta, por... kanë kaluar 7 vjet.
E shkrova nĂ« anglisht dhe mendova ta pĂ«rkthej nĂ« rusisht. Ndoshta diçka Ă«shtĂ« akoma aktuale? (Do t'i pĂ«rkthej bullet-at, ndĂ«rsa tabelat do t'i lĂ« nĂ« anglisht nga lenia. E gjelbĂ«r â mirĂ«, e kuqe â e rrezikshme, blu â Ă«ndĂ«rr).
Do t'i kthej komentet minimale nga "sot" me italisht, që të kuptohet dhe të jetë e dallueshme.
KĂ«shtu, TĂ DHĂNAT! Na duhen tĂ« dhĂ«nat...
Departamenti i Të Dhënave është si Departamenti i Gjakut, sepse të dhënat mund të krahasohen, për shembull, me gjakun që rrjedh në venat dhe arteriet e organizmit të biznesit. Megjithatë, ndonëse gjaku është një, organizmat janë të ndryshëm dhe prandaj produktizimi është shumë i vështirë, por gjithashtu paraqet mundësi për zhvillim.
Ka njerĂ«z, tĂ« cilĂ«t i verifikojnĂ« tĂ« dhĂ«nat direkt nĂ« sy â kĂ«ta janĂ« Ne.
Dhe ka njerëz që, për fat të keq, nuk i shohin të dhënat. Këta janë, përsëri për fat të keq, klientët tanë Të cilët!
Pra, postulatet e biznesitâŠ
- Shesim biznesit, e jo IT (të falenderojmë të gjithë IT-istët menjëherë) sepse zgjidhim probleme botërore, si dhe duam më shumë para.
- Të gjitha problemet e biznesit përqendrohen rreth vertikaleve tematikë dhe kërkojnë specializim.
- PĂ«rpjekjet pĂ«r tĂ« provuar vlerĂ«n e "tĂ« dhĂ«nave" ose, qĂ« Ă«shtĂ« edhe mĂ« e vĂ«shtirĂ«, vlerĂ«n e "menaxhimit tĂ« tĂ« dhĂ«nave" pĂ«r biznesin â kjo Ă«shtĂ« njĂ« vuajtje dhe dhimbje e pĂ«rhershme. NĂ« thelb, Ă«shtĂ« sikur tĂ« shkosh te njĂ« njeri, i cili ndjehet mjaft mirĂ« dhe tĂ« thuash: âO njeri, ne do ta ndihmojmĂ« gjakun tĂ« shĂ«rohet, dhe, o njeri, kjo Ă«shtĂ« e shtrenjtĂ«!â
- Ăndrrat e mia "tĂ« lagura" janĂ« qĂ« nĂ« kuadĂ«r tĂ« modelit SaaS tĂ« shes ânxjerrjen e tĂ« dhĂ«naveâ dhe âanalitikĂ«nâ biznesit tĂ« vogĂ«l dhe tĂ« mesĂ«m, tĂ« cilĂ«t janĂ« futur nĂ« 123 shĂ«rbime cloud me ndĂ«rfaqe tĂ« kĂ«ndshme: menaxhimi i projekteve, helpdesk, llogaritje, CRM, pagat, raportimi i kohĂ«s, marketingu, ⊠dhe u mbyllĂ«n nĂ« tĂ« dhĂ«na. Youcalc dhe Successfactors (ndoshta nuk ekzistojnĂ« mĂ«) Ă«shtĂ« mirĂ«!
- Kërkoni për njerëz që pëlqejnë të merakosen "crunch" me të dhënat. Ata janë të rrallë dhe të çuditshëm (si ato që lexojnë në filxhanin e kafe), por janë thelbësorë për biznesin. Një poet, për shembull, mund të kuptojë mjaft mirë lidhjet.
- Inxhinierët të nevojshme! Të nevojshme për të kthyer problemet që Cruncher'ët e nxjerrin nga të dhënat në zgjidhje. Dhe suksesi, ose dështimi i zgjidhjeve varet krejtësisht prej tyre.
- Zhvillimi opensource projektet përbëjnë një vlerë të madhe dhe ofrojnë mundësinë për të "ndërtuar" zgjidhje komplekse pothuajse "nga fillimi".
- Por... nuk duhet harruar se Hadoop është një bibliotekë, dhe Lucene gjithashtu është një bibliotekë, dhe distanca midis bibliotekës dhe produktit industrial është e konsiderueshme!
- Zgjidhjet e ndërtuara do të kenë nevojë për adaptime të rëndësishme, sepse modulariteti dhe integrueshmëria janë pika kyçe.
- Agjile (më fal Zoti) është teknika kryesore në bashkëpunimin me klientin dhe verifikimin e hipotezave, të cilat do të jenë të shumta.
- Të jashtosh çdo kodim dhe UI sidomos mund dhe duhet. Të gjitha biznes analizat dhe specifikimet e backend-it duhet të lihen brenda dhe të konsiderohen si një kompetencë kyçe.
- Njerëzit që marrin vendime nga biznesi duhet të jenë gjithmonë "të informuar" për nevojën për të punuar siç duhet me të dhënat dhe për të kërkuar vazhdimisht mënyra të reja për t'i analizuar ato. Kombinimi i kompetencave teknike dhe biznesore të punonjësve tanë do të ndihmojë në rritjen e statusit të gjithë organizatës në tërësi.
- Internet është një burim i pafund frymëzimi (atëherë ishin ende jo kaq shumë mace) në lidhje me qasjet për menaxhimin e të dhënave në korporata, ndonëse detyrat dhe shkalla ndryshojnë ndjeshëm.
Postulatet teknologjike...
- Ka një potencial të madh zhvillimi në thjeshtimin e mënyrës se si të dhënat i paraqiten njerëzve. Mund ta quajmë këtë "iphoneizim".
- Megjithëse shitësit e BI pretendojnë se ata drejtpërdrejt ndajnë analitikën me përdoruesit përfundimtarë, (dhe ata sigurisht që po përparojnë në këtë drejtim) - ende nuk ka ndodhur asnjë përparim të vërtetë. Njerëzit thjesht nuk e kuptojnë të dhënat multidimensionale. Ndërfaqja e përdoruesit, e cila paraqet të dhëna më shumë ose më pak komplekse dhe të strukturuara dobët në
- formĂ« fasetizimi - gjithashtu paraqet njĂ« numĂ«r tĂ« pafund problemesh. Konkluzion: sa mĂ« e sheshtĂ« (flatter) - aq mĂ« mirĂ«. Plani, i ndĂ«rtuar mbi bazĂ«n e nxjerrjes automatike tĂ« tĂ« dhĂ«nave nga burime (tĂ« cilat nuk janĂ« gjithmonĂ« tĂ« destinuara pĂ«r njĂ« nxjerrje tĂ« tillĂ«) Ă«shtĂ« nĂ« varĂ«si tĂ« madhe nga burimet, qĂ«ndrueshmĂ«ria e lidhĂ«sve dhe infrastruktura. NĂ« pamundĂ«si pĂ«r tĂ« siguruar rezultat, gjithmonĂ« do tĂ« fajĂ«sohet platforma (pĂ«rfaqĂ«suesi). video â gjithashtu pĂ«rfaqĂ«son njĂ« numĂ«r tĂ« pafund problemesh. Konkluzion: Sa mĂ« e sheshtĂ« (flatter) â aq mĂ« mirĂ«.
- Platforma, e ndĂ«rtuar mbi bazĂ«n e nxjerrjes automatike tĂ« tĂ« dhĂ«nave nga burime (tĂ« cilat nuk janĂ« gjithmonĂ« tĂ« destinuara pĂ«r njĂ« nxjerrje tĂ« tillĂ«), Ă«shtĂ« nĂ« varĂ«si tĂ« rĂ«ndĂ«sishme nga burimet, qĂ«ndrueshmĂ«ria e konektorĂ«ve dhe infrastruktura. NĂ« pamundĂ«si pĂ«r tĂ« ofruar rezultat, gjithmonĂ« do tĂ« akuzohet platforma (messenger). Besimi â kapital i kĂ«saj lloji platformash. Kapital, i cili Ă«shtĂ« i vĂ«shtirĂ« pĂ«r t'u fituar dhe lehtĂ«sisht pĂ«r t'u humbur.
- Nga pikĂ«pamja e biznesit, nuk ka asnjĂ« diferencĂ« ndĂ«rmjet analizĂ«s sĂ« tĂ« DhĂ«nave tĂ« MĂ«dha dhe thjesht tĂ« DhĂ«nave. Shpesh pas numrave tĂ« thjeshtĂ« si 2x2 qĂ«ndrojnĂ« mundĂ«si milionash dollarĂ«sh. NjĂ« shembull i mirĂ« Ă«shtĂ« tĂ« dhĂ«nat mbi pĂ«rfundimin e jetĂ«gjatĂ«sisĂ« sĂ« elementeve tĂ« infrastrukturĂ«s nĂ« shelfin norvegjez. Kur tĂ« gjitha datat e rinovimeve tĂ« ardhshme tĂ« gjithĂ« pajisjeve u vendosĂ«n nĂ« njĂ« bosht dhe doli nĂ« pah se pas N vitesh do tĂ« ndodhte njĂ« Armagedon nĂ« shelf â njĂ« person shumĂ« i pasur u ngrit nga karrigia dhe, duke u pĂ«rshĂ«ndetur shpejt, doli nga dhoma me fjalĂ«t: "MĂ« falni, kam pak kohĂ«, duhet tĂ« pĂ«rgatis flotĂ«n..."
- Excel, në fakt, një përfaqësim të qartë dhe të saktë tabelar të të dhënave ka një fuqi të madhe dhe një të ardhme të madhe. Besoj në tabela të bukura (dhe akoma)dhe kaq!
- Rripi kryesor i gjithĂ« kĂ«saj 'analitike' Ă«shtĂ« automatizimi i marrjes sĂ« vendimeve. Aty janĂ« mundĂ«sitĂ« mĂ« tĂ« mĂ«dha, por edhe rreziqet mĂ« tĂ« larta, pĂ«r kĂ«tĂ« edhe mundĂ«sitĂ« janĂ« tĂ« mĂ«dha, pĂ«r kĂ«tĂ« edhe rreziqet, prandaj edhe mundĂ«sitĂ«, prandaj rreziqet... đ Menaxhimi i shpimeve, pĂ«r shembull...
- Nëse 'integrazhueshmëria' është funksionaliteti kyç, atëherë të dhënat de-fakto duhet të prezantohen si një shërbim. REST dominuese, por nuk duhet harruar optimizimi performancës, i cili shpesh sot sakrifikohet për integrueshmërinë, për shkak se fuqia llogaritëse vazhdon të rritet.
- TĂ« dhĂ«nat master janĂ« ajo qĂ« duhet tĂ« lokalizohet, nxirret, normalizohet, pĂ«rpara se t'i adresohet ndonjĂ« çështjeje biznesi. TĂ« dhĂ«nat master janĂ« tĂ« vogla, por problemet me to janĂ« tĂ« mĂ«dha! Siç thonĂ« vĂ«llezĂ«rit e semantikĂ«s â 50% e tĂ« gjitha problemeve botĂ«rore janĂ« pĂ«r shkak se njerĂ«zit i quajnĂ« tĂ« njĂ«jtat gjĂ«ra me emra tĂ« ndryshĂ«m, dhe 50% tĂ« tjera pĂ«r shkak se ata i quajnĂ« gjĂ«ra tĂ« ndryshme me njĂ« emĂ«r.
- Ădo inkapsulimi nĂ« nivelin e ruajtjes kufizon hapjen e zgjidhjes dhe çon nĂ« SILO-fikim. MirĂ« Ă«shtĂ« nĂ«se jeni njĂ« gjigant nĂ« treg, pĂ«rndryshe â kĂ«tu Ă«shtĂ« siç duhet. (KĂ«tu flitet, natyrisht, jo pĂ«r nivelin bllok dhe as pĂ«r AWS S3, i cili ishte 6 vjeçare nĂ« atĂ« kohĂ«, por pĂ«r skedarĂ«t).
- Modelimi relacional i tĂ« dhĂ«nave nuk Ă«shtĂ« mĂ« mik. RDF dhe çelĂ«si-vlerĂ« â fantastike! E kemi parĂ« transformimet magjike tĂ« bazave tĂ« tĂ« dhĂ«nave relationale nga modelet nĂ« 2000 tabela nĂ« 15 tabela, dhe askush nga pĂ«rdoruesit nuk ka humbur asgjĂ«.
- Interneti funksionon sepse ka URL si një mënyrë unike adresimi. Rëndësia e URL-së apo më saktë URI për burimet informative të ndërmarrjes është e vështirë të teprohet.
- Text mining dhe NLP janë të njohura. Në internet. Por edhe në sektorin korporativ mund të arrihen suksese të mëdha duke nxjerrë të dhëna të strukturuara nga të dhënat e papërpunuara korporative.
- Sinergjia midis tĂ« dhĂ«nave tĂ« strukturuara dhe informacionit tĂ« nxjerrĂ« nga tĂ« dhĂ«nat e papĂ«rpunuara, dmth. skedarĂ«t â njĂ« Klondike analitik.
- Duke nxjerrĂ« tĂ« dhĂ«na â mos harrojmĂ« pĂ«r tĂ« drejtat dhe tĂ« drejtat e autorit.
- Kompania që merret me nxjerrjen e të dhënave duhet të formojë njëdepartament hackerësh, në kuptimin e mirë të fjalës. Inspiruar nga lufta e ashpër me sistemet mbrojtëse të Faqeve të Verdha ndaj botuesve të kërkimit.
- PĂ«rpara se tĂ« punoni me tĂ« dhĂ«nat â duhet t'i "shihni" nĂ« tĂ« gjithĂ« plotĂ«sinĂ« e saj. Kjo Ă«shtĂ« e vĂ«shtirĂ« pĂ«r t'u shpjeguar. MĂ« vijnĂ« nĂ« mendje format tabelare. Disa njerĂ«z kanĂ« nĂ« mendje pĂ«rfaqĂ«sime grafike, por çdo grafik â Ă«shtĂ« tashmĂ« njĂ« interpretim. Ashtu si ashtu... "ta shohim"!
- Duke u përsëritur në pyetjen për "besimin" e përdoruesve në front-end. Besimi në konektorët/proceset e krijimit të të dhënave, besimi në të dhënat, besimi në vendimet e marra.
Burimi: habr.com
