Yn y flwyddyn 2013 IBS, a oedd wedyn yn ymddangos i fod yn creu Is-adran Data, gofynnodd i mi wneud braindump o'r fath (yn seiliedig yn gyfan gwbl ar brofiad o ryngweithio â chwsmeriaid olew a nwy corfforaethol) ynghylch maes problem Data Mawr, a Data yn gyffredinol. Felly des i ar ei draws 7 mlynedd yn ddiweddarach a meddwl ei fod yn ddoniol. Mae rhai pethau yn amlwg. Nid oedd rhai yn gwbl wir, ond... mae 7 mlynedd wedi mynd heibio.
Ysgrifennais yn Saesneg a nawr meddyliais am ei gyfieithu i Rwsieg. Beth os yw rhywbeth yn dal yn berthnasol nawr? (Byddaf yn cyfieithu’r bwletinau, ond yn gadael yr arwyddion yn Saesneg allan o ddiogi. Gwyrdd yn dda, coch yn beryglus, glas yn freuddwyd).
Byddaf yn ffurfioli’r sylwadau minimol o “heddiw” Eidalegfel ei fod yn eglur ac yn wahaniaethol.
Felly, DATA! Mae gennym ni ddata...
Yr Is-adran Ddata yw'r Is-adran Waed, oherwydd gellir cymharu data, er enghraifft, â'r gwaed sy'n rhedeg trwy wythiennau a rhydwelïau corff busnes. Fodd bynnag, er bod y gwaed yr un fath, mae'r organebau yn wahanol ac felly cynhyrchu anodd iawn, ond mae hefyd yn gyfle i ddatblygu.
Mae yna bobl y mae'r data'n neidio i'w llygaid - dyma nhw Rydym yn.
Ac mae yna bobl nad ydyn nhw, yn anffodus, yn gweld y pwynt data yn wag. Mae hyn, eto, gwaetha'r modd, yn eiddo i ni Cwsmeriaid!
Felly, egwyddorion busnes...
- Rydym yn gwerthu busnesAc nid TG (gall pob arbenigwr TG faddau i mi ar unwaith) oherwydd ein bod yn datrys problemau'r byd, a, wel, mwy o arian.
- Mae'r holl broblemau busnes yn canolbwyntio ar fertigol diwydiant thematig a bydd angen digonol arbenigeddau.
- Ymdrechion i brofi gwerth "data" neu, hyd yn oed yn fwy anodd, gwerth “rheoli data” i fusnes yw dioddefaint a phoen tragwyddol. Yn y bôn, mae fel dod at berson sy'n teimlo'n dda a dweud: “Dude, rydyn ni'n mynd i drin eich gwaed nawr, a, dude, mae'n ddrud!”
- Fy “freuddwyd wlyb” yw gwerthu “echdynnu data” a “dadansoddeg” o fewn y model SaaS busnesau bach a chanoliga ddringodd i mewn i wasanaethau cwmwl 123 gyda rhyngwynebau oer: rheoli prosiect, desg gymorth, cyfrifo, CRM, cyflogres, adrodd amser, marchnata, ... rydych chi'n ei enwi, ac yn claddu eu hunain yn y data. Youcalc a Ffactorau Llwyddiannus (mae'n debyg nad oes rhagor) Mae hyn yn dda!
- Chwiliwch am bobl sy'n hoffi tincer “gwasgfa” gyda data. Maent yn brin ac yn rhyfedd (fel dail te), ond yn allweddol i fusnes. Gall bardd, er enghraifft, fod yn dda iawn am gydberthynas.
- Peirianwyr angen! Angen troi problemau a dynnodd Crunchers allan o ddata yn atebion. Ac mae llwyddiant neu fethiant y penderfyniad yn dibynnu'n llwyr arnyn nhw.
- Datblygiad opensource prosiectau yn werthfawr iawn ac yn ei gwneud yn bosibl i “gynnull” atebion cymhleth yn ymarferol o'r dechrau.
- Ond... rhaid i ni beidio ag anghofio mai llyfrgell yw Hadoop, a Lucene hefyd yn llyfrgell, a'r pellter rhwng llyfrgell a chynnyrch diwydiannol llawer!
- Bydd yn rhaid i'r atebion adeiledig gael eu haddasu'n sylweddol, oherwydd modwlariaeth и integredd - pwyntiau allweddol.
- ystwyth (Duw maddeu i mi) yn dechneg allweddol wrth ryngweithio â'r cwsmer a gwirio damcaniaethau, a bydd llawer ohonynt.
- Mae'n arbennig o bosibl ac yn angenrheidiol i allanoli'r holl godio a UI. Holl ddadansoddiadau a manylebau busnes cefn angen gadael y tu mewn ac yn cael ei ystyried yn gymhwysedd craidd.
- Rhaid i'r rhai sy'n gwneud penderfyniadau busnes gael eu “hysbysu” yn gyson yr angen i weithio'n iawn gyda data a chwilio'n gyson am ffyrdd newydd o'u dadansoddi. Bydd y cyfuniad o gymwyseddau technegol a busnes ein gweithwyr yn helpu i godi statws y sefydliad cyfan yn ei gyfanrwydd.
- Y Rhyngrwyd – mae ffynhonnell ddiddiwedd o ysbrydoliaeth (doedd dim cymaint o gathod bryd hynny) mewn perthynas â dulliau o reoli data menter, er bod yr amcanion a'r cwmpas yn amrywio'n sylweddol.
Rhagdybiaethau technolegol...
- Mae potensial datblygu enfawr yn symleiddio sut y dangosir data i bobl. Gallwch chi alw hyn y gair "iPhonization".
- Er gwaethaf y ffaith bod gwerthwyr BI yn honni eu bod yn uniongyrchol dod â dadansoddeg i ddefnyddwyr terfynol, (ac maent yn sicr yn symud i'r cyfeiriad hwn) - nid yw'r torri tir newydd wedi digwydd eto. Nid yw pobl yn deall yn dda amlddimensiwn data.
- Rhyngwyneb defnyddiwr sy'n cynrychioli data mwy neu lai cymhleth, â strwythur llac yn wynebog form - hefyd yn cyflwyno nifer diddiwedd o broblemau. Casgliad: gorau po fwyaf gwastad.
- Mae platfform a adeiladwyd ar sail echdynnu data awtomatig o ffynonellau (nad ydynt bob amser wedi'u cynllunio ar gyfer echdynnu o'r fath) yn dibynnu'n sylweddol ar y ffynonellau, sefydlogrwydd y cysylltwyr, a'r seilwaith. Bydd y platfform (negesydd) bob amser yn cael ei feio am fethu â sicrhau canlyniadau. Hyder – cyfalaf o'r math hwn o lwyfannau. Cyfalaf sy'n anodd ei ennill ac yn hawdd ei golli.
- O safbwynt busnes, nid oes gwahaniaeth rhwng dadansoddi Data Mawr a Dim ond Data. Yn aml y tu ôl i rifau mor syml â 2x2 mae gwerth miliynau o ddoleri o gyfleoedd. Enghraifft dda yw data ar ddiwedd oes elfennau seilwaith ar y silff Norwyaidd. Pryd mae holl ddyddiadau capiau'r dyfodol. roedd atgyweiriadau i'r holl offer yn cael eu rhoi ar un echel a chawsant wybod bod y silff Armageddon yn dod yn N mlynedd - cododd un dyn cyfoethog iawn o'i gadair ac ymgrymu ar frys o'r ystafell gyda'r geiriau: “Sori, dydw i ddim cael llawer o amser, mae angen i mi baratoi'r fflyd..."
- Mae gan Excel, ac yn ei hanfod, cyflwyniad tablau clir a chryno o ddata, bŵer aruthrol a dyfodol gwych. Rwy'n credu mewn byrddau hardd (ac yn dal i wneud) a dyna ni!
- Prif fwa'r holl “ddadansoddeg” hwn yw awtomeiddio penderfyniadau. Mae yna'r cyfleoedd mwyaf, ond hefyd y risgiau uchaf, dyna pam mae'r cyfleoedd yn gyfoethog, dyna pam mae yna risgiau, dyna pam mae yna gyfleoedd, dyna pam mai taffi ydyn nhw... 🙂 Rheoli drilio yn dda, er enghraifft...
- Os yw “integraability” yn nodwedd allweddol, yna dylid cyflwyno'r data mewn ffaith fel gwasanaeth. REST rheolau, ond rhaid inni beidio ag anghofio am optimeiddio cynhyrchiant, sydd bellach yn aml yn cael ei aberthu er mwyn integreiddio wrth i bŵer cyfrifiadura barhau i dyfu.
- Data meistr - dyma sydd angen ei leoleiddio, ei echdynnu, ei safoni cyn mynd i'r afael ag unrhyw faterion busnes. Mae data meistr yn fach, ond mae problemau ag ef yn fawr! Fel y dywed brodyr semanteg, mae 50% o holl broblemau'r byd oherwydd bod pobl yn galw'r un pethau â gwahanol enwau, a'r 50% arall oherwydd eu bod yn galw gwahanol bethau wrth yr un enw.
- Unrhyw amgodiad ar y lefel storio, mae'n cyfyngu ar natur agored yr ateb ac yn arwain at ffuglen SILO. Mae'n dda os ydych chi'n werthwr mawr, fel arall mae'n wir. (Yma rydym yn siarad, wrth gwrs, nid am y lefel bloc ac nid am AWS S3, a oedd eisoes yn 6 oed bryd hynny, ond am ffeiliau).
- Modelu perthynol nid yw data bellach yn ffrind i ni. RDF a gwerth allweddol - cŵl! Rydym wedi gweld trawsnewidiadau hudol o gronfeydd data perthynol gyda modelau o dablau 2000 yn 15 tabl, ac ni chollodd yr un o'r defnyddwyr unrhyw beth.
- Mae'r Rhyngrwyd yn gweithio oherwydd ei fod yn bodoli URL fel dull unedig o gyfarch. Pwysigrwydd URL neu yn hytrach URI mae'n anodd goramcangyfrif adnoddau gwybodaeth menter.
- Mae cloddio testun a NLP yn boblogaidd. Yn y Rhyngrwyd. Ond hyd yn oed yn y sector corfforaethol, gellir cyflawni llwyddiant mawr trwy dynnu data strwythuredig o ddata corfforaethol anstrwythuredig.
- Synergedd rhwng data strwythuredig a gwybodaeth a dynnwyd o ddata anstrwythuredig, h.y. ffeiliau – Klondike dadansoddol.
- Wrth echdynnu data, peidiwch ag anghofio am hawliau a hawlfreintiau.
- Rhaid i'r cwmni echdynnu data ffurfio aadran hacwyr, yn ystyr dda y gair. Wedi'i ysbrydoli gan y frwydr i fyny'r allt yn erbyn systemau amddiffyn bot ymlusgo Yellow Pages.
- Cyn gweithio gyda data, mae angen "gweld" yn ei gyfanrwydd. Mae'n anodd esbonio. Mae ffurfiau tabl yn dod i'r meddwl. I rai, cynrychioliadau graffigol, ond mae unrhyw graff eisoes yn ddehongliad. Un ffordd neu'r llall... "gweld"!
- Ailadrodd y mater o “ymddiriedaeth” defnyddiwr yn y blaen. Ymddiried mewn cysylltwyr/prosesau cynhyrchu data, ymddiriedaeth mewn data, ymddiried yn y penderfyniadau a wneir.
Ffynhonnell: hab.com