Sa 2013 tuig IB, nga daw nagmugna Dibisyon sa Data, nangutana kanako sa paghimo sa ingon nga usa ka braindump (eksklusibo base sa kasinatian sa pakig-uban sa corporate lana ug gas kustomer) mahitungod sa problema nga dapit sa Big Data, ug Data sa kinatibuk-an. Mao nga nakit-an nako kini 7 ka tuig ang milabay ug naghunahuna nga kini kataw-anan. Ang ubang mga butang klaro. Ang uban nahimo nga dili hingpit nga tinuod, apan ... 7 ka tuig ang milabay.
Nagsulat ko sa English ug karon nakahunahuna ko sa paghubad niini ngadto sa Russian. Unsa kaha kung adunay usa ka butang nga may kalabutan karon? (Akong hubaron ang mga buletin, apan ibilin ang mga karatula sa English tungod sa pagkatapulan. Maayo ang berde, peligro ang pula, damgo ang asul).
Akong pormal nga himuon ang labing gamay nga mga komento gikan sa "karon" Italyanoaron kini klaro ug mailhan.
Busa, DATA! Naa mi data...
Ang Dibisyon sa Data mao ang Dibisyon sa Dugo, tungod kay ang datos mahimong itandi, pananglitan, sa dugo nga nagdagayday sa mga ugat ug mga ugat sa usa ka negosyo nga lawas. Bisan pa, bisan kung parehas ang dugo, lahi ang mga organismo ug busa produksyon lisud kaayo, apan kini usab nagrepresentar sa usa ka oportunidad alang sa kalamboan.
Adunay mga tawo nga ang datos milukso sa ilang mga mata - kini sila Kita.
Ug adunay mga tawo nga, sa walay palad, wala makakita sa blangko nga punto sa datos. Kini, pag-usab, alaut, ato Mga kustomer!
Ug busa, mga prinsipyo sa negosyo...
- Namaligya mi negosyo, ug dili ΠΠ’ (hinaut nga pasayloon ako sa tanan nga mga espesyalista sa IT sa makausa) tungod kay gisulbad namon ang mga problema sa kalibutan, ug, maayo, daghang salapi.
- Ang tanan nga mga problema sa negosyo gikonsentrar sa palibot sa mga bertikal nga industriya sa tema ug magkinahanglan og igo mga espesyalisasyon.
- Mga pagsulay sa pagpamatuod bili sa "data" o, mas lisud, ang bili sa "data management" sa usa ka negosyo mao ang walay katapusan nga pag-antos ug kasakit. Sa panguna, kini sama sa pagduol sa usa ka tawo nga maayo ang gibati ug nag-ingon: "Dude, among tambalan ang imong dugo karon, ug, igsoon, mahal kini!"
- Ang akong "basa nga damgo" mao ang pagbaligya sa "data extraction" ug "analytics" sulod sa SaaS model gagmay ug medium nga negosyokinsa misaka sa 123 ka mga serbisyo sa panganod nga adunay bugnaw nga mga interface: pagdumala sa proyekto, helpdesk, accounting, CRM, payroll, pagreport sa oras, marketing, ... imong gihinganlan kini, ug gilubong ang ilang kaugalingon sa datos. Youcalc ug mga Successfactors (wala na siguro) Maayo ni!
- Pangitaa ang mga tawo nga ganahan mag-ukay-ukay "crunch" uban sa datos. Talagsa ra sila ug katingad-an (sama sa mga dahon sa tsa), apan yawe sa negosyo. Ang usa ka magbabalak, pananglitan, mahimong maayo kaayo sa correlation.
- Mga Engineer gikinahanglan! Kinahanglan nga himuon nga mga solusyon ang mga problema nga gikuha sa Crunchers gikan sa datos. Ug ang kalampusan o kapakyasan sa desisyon nagdepende sa hingpit kanila.
- Pagpalambo opensource ang mga proyekto adunay dako nga kantidad ug nagpaposible sa "pagtipon" sa mga komplikado nga solusyon nga halos gikan sa wala.
- Apan... dili nato kalimtan nga ang Hadoop usa ka librarya, ug ang Lucene usa usab ka librarya, ug ang gilay-on tali librarya ug industriyal nga produkto daghan!
- Ang gitukod nga mga solusyon kinahanglan nga ipasibo pag-ayo, tungod kay modularidad ΠΈ pagka-integridad - yawe nga mga punto.
- Agile (Ginoo pasayloa ko) mao ang usa ka yawe nga teknik sa pakig-uban sa kustomer ug pag-verify mga pangagpas, diin adunay daghan.
- Labi na nga posible ug kinahanglan nga i-outsource ang tanan nga coding ug UI. Tanan nga analytics ug mga detalye sa negosyo backend kinahanglan nga mobiya sa sulod ug giisip nga usa ka kinauyokan nga katakus.
- Ang mga tighimog desisyon sa negosyo kinahanglan nga kanunay nga "gipahibalo" bahin ang panginahanglan sa husto nga pagtrabaho uban sa datos ug padayon nga pagpangita og bag-ong mga paagi sa pag-analisar niini. Ang kombinasyon sa mga kahanas sa teknikal ug negosyo sa among mga empleyado makatabang sa pagpataas sa kahimtang sa tibuuk nga organisasyon sa kinatibuk-an.
- Internet - adunay walay katapusan nga tinubdan sa inspirasyon (wala pa kaayoy iring niadto) nga may kalabotan sa mga pamaagi sa pagdumala sa datos sa negosyo, bisan kung ang mga katuyoan ug sakup magkalainlain kaayo.
Mga teknolohikal nga postula...
- Adunay dako nga potensyal sa pag-uswag sa pagpayano kung giunsa gipakita ang datos sa mga tawo. Matawag nimo kini nga pulong nga "iPhonization".
- Bisan pa sa kamatuoran nga ang BI vendors nangangkon nga sila direkta pagdala sa analytics sa mga end user, (ug sila siguradong naglihok sa kini nga direksyon) - ang pagkahugno wala pa mahitabo. Ang mga tawo dili kaayo makasabut multidimensional datos
- Usa ka user interface nga nagrepresentar sa mas daghan o dili kaayo komplikado, loosely structured data sa nawong porma - nagpresentar usab sa usa ka walay katapusan nga gidaghanon sa mga problema. Panapos: ang maulog-ulog mas maayo.
- Ang usa ka plataporma nga gitukod pinasukad sa awtomatik nga pagkuha sa datos gikan sa mga gigikanan (nga dili kanunay gidisenyo alang sa ingon nga pagkuha) dako nga nagsalig sa mga gigikanan, kalig-on sa mga konektor, ug imprastraktura. Ang plataporma (mensahero) kanunay nga mabasol sa kapakyasan sa paghatud sa mga resulta. Pagsalig β kapital sa niini nga matang sa mga plataporma. Kapital nga lisod kumita ug daling mawala.
- Gikan sa panglantaw sa negosyo, walay kalainan tali sa Big Data analysis ug Data nga lang. Kasagaran luyo sa mga numero nga yano sama sa 2x2 bakak nga milyon-milyon nga dolyar nga kantidad sa mga oportunidad. Ang usa ka maayong pananglitan mao ang datos sa katapusan sa kinabuhi sa mga elemento sa imprastraktura sa estante sa Norwegian. Kanus-a ang tanan nga mga petsa sa umaabot nga mga takup. Ang pag-ayo sa tanang kagamitan gibutang sa usa ka axis ug ilang nahibaw-an nga sa N ka tuig ang estante moabot ang Armageddon - usa ka adunahan kaayo nga tawo mitindog gikan sa iyang lingkuranan ug nagdali nga miyukbo gikan sa lawak uban ang mga pulong: βPasayloa, dili ko adunay daghang oras, kinahanglan nako nga andamon ang armada...β
- Ang Excel, ug sa tinuud usa ka tin-aw ug mubo nga tabular nga presentasyon sa datos, adunay dako nga gahum ug usa ka maayong kaugmaon. Nagtuo ko sa matahum nga mga lamesa (ug buhaton gihapon) ug mao kana!
- Ang nag-unang pana niining tanan nga "analytics" mao automation sa desisyon. Adunay labing dako nga mga oportunidad, apan usab ang labing taas nga risgo, mao nga ang mga oportunidad dato, mao nga adunay mga risgo, mao nga adunay mga oportunidad, mao nga sila toffee ... π Well drilling management, pananglitan...
- Kung ang "integrability" usa ka hinungdanon nga bahin, nan ang datos kinahanglan nga de facto ipresentar ingon usa ka serbisyo. PAHULAY mga lagda, apan dili nato kalimtan ang bahin sa pag-optimize pagka-produktibo, nga karon kanunay nga gisakripisyo alang sa integrability samtang ang gahum sa pag-compute nagpadayon sa pagtubo.
- Master nga datos - kini ang kinahanglan nga i-localize, makuha, i-standardize sa dili pa matubag ang bisan unsang mga isyu sa negosyo. Gamay ang datos sa master, apan dako ang mga problema niini! Sama sa giingon sa mga igsoon sa semantics, 50% sa tanan nga mga problema sa kalibutan tungod kay ang mga tawo nagtawag sa parehas nga mga butang sa lainlaing mga ngalan, ug ang uban nga 50% tungod kay sila nagtawag sa lainlaing mga butang sa parehas nga ngalan.
- Bisan unsa encapsulation sa lebel sa pagtipig, gilimitahan niini ang pagkabukas sa solusyon ug nagdala sa SILO-fication. Maayo kung ikaw usa ka dako nga tigbaligya, kung dili kini ingon-ingon. (Dinhi naghisgot kami, siyempre, dili bahin sa lebel sa block ug dili bahin sa AWS S3, nga 6 anyos na kaniadto, apan bahin sa mga file.).
- Relasyonal nga modelo data dili na atong higala. RDF ug key-value - cool! Nakita namon ang mga mahika nga pagbag-o sa mga relational database nga adunay mga modelo sa 2000 nga mga lamesa ngadto sa 15 nga mga lamesa, ug walay bisan usa sa mga tiggamit ang nawala bisan unsa.
- Ang Internet nagtrabaho tungod kay kini anaa URL isip usa ka hiniusa nga paagi sa pagsulbad. Ang kamahinungdanon sa URL o hinoon URI alang sa mga kapanguhaan sa impormasyon sa negosyo lisud nga i-overestimate.
- Ang pagmina sa teksto ug NLP popular. Sa Internet. Apan bisan sa corporate sector, dako nga kalampusan ang makab-ot pinaagi sa pagkuha sa structured data gikan sa unstructured corporate data.
- Synergy tali sa structured data ug impormasyon nga gikuha gikan sa unstructured data, i.e. mga file - analytical Klondike.
- Kung gikuha ang datos, ayaw kalimti ang bahin sa mga katungod ug copyrights.
- Ang kompanya sa pagkuha sa datos kinahanglan maporma adepartamento sa mga hacker, sa maayong diwa sa pulong. Nadasig sa taas nga gubat batok sa Yellow Pages crawler bot protection systems.
- Sa wala pa magtrabaho uban sa datos, gikinahanglan nga "tan-awa" sa kinatibuk-an niini. Lisod ipasabot. Ang mga porma sa tabular moabut sa hunahuna. Alang sa pipila, ang mga graphical nga representasyon, apan ang bisan unsang graph usa na ka interpretasyon. Usa ka paagi o lain ... "tan-awa"!
- Gisubli ang isyu sa "pagsalig" sa user sa frontend. Pagsalig sa mga koneksyon / proseso sa paghimo sa datos, pagsalig sa datos, pagsalig sa mga desisyon nga gihimo.
Source: www.habr.com