Ann an 2013 bliadhna IBS, a bha an uairsin coltach ri cruthachadh Roinn Dàta, dh 'iarr mi orm a leithid de dh' eanchainn a dhèanamh (a-mhàin stèidhichte air eòlas air eadar-obrachadh le luchd-ceannach ola is gas corporra) a thaobh raon duilgheadas Dàta Mòr, agus Dàta san fharsaingeachd. Mar sin thàinig mi tarsainn air 7 bliadhna às deidh sin agus shaoil mi gu robh e èibhinn. Tha cuid de rudan follaiseach. Thionndaidh cuid a-mach nach robh gu tur fìor, ach ... tha 7 bliadhna air a dhol seachad.
Sgrìobh mi sa Bheurla agus a-nis smaoinich mi air eadar-theangachadh gu Ruisis. Dè ma tha rudeigin fhathast buntainneach an-dràsta? (Bheir mi eadar-theangachadh air na bileagan, ach fàgaidh mi na soidhnichean sa Bheurla a-mach às leisg. Tha uaine math, tha dearg cunnartach, is e bruadar a th’ ann an gorm).
Cuiridh mi foirmeil air na beachdan as lugha bho “an-diugh” Eadailteachgus am bi e soilleir agus eadar-dhealaichte.
Mar sin, DÀTA! Dàta dhuinne...
Is e an Roinn Dàta an Roinn Fuil, oir faodar dàta a choimeas, mar eisimpleir, ris an fhuil a tha a’ ruith tro veins agus cladhaidhean buidheann gnìomhachais. Ach, ged a tha an fhuil mar an ceudna, tha na h-organan eadar-dhealaichte agus mar sin cinneasachadh gu math duilich, ach tha e cuideachd a’ riochdachadh cothrom airson leasachadh.
Tha daoine ann dha bheil an dàta a’ leum dìreach a-steach do na sùilean aca - is iad sin Мы.
Agus tha daoine ann nach eil, gu mì-fhortanach, a’ faicinn a’ phuing dàta bàn. Tha seo, a-rithist, mo thruaigh, againne Luchd-cleachdaidh!
Agus mar sin, prionnsabalan gnìomhachais...
- Bidh sinn a 'reic gnothaichach chan eil IT (ma bheir gach eòlaiche IT mathanas dhomh sa bhad) leis gu bheil sinn a’ fuasgladh dhuilgheadasan an t-saoghail, agus, uill, barrachd airgid.
- Tha a h-uile duilgheadas gnìomhachais stèidhichte timcheall air gnìomhachas cuspaireil dìreach agus bidh feum air iomchaidh speisealaichean.
- Oidhirpean ri dhearbhadh luach "dàta" no, eadhon nas duilghe, is e fulangas agus pian sìorraidh luach “riaghladh dàta” do ghnìomhachas. Gu bunaiteach, tha e mar a bhith a ’tighinn gu neach a tha a’ faireachdainn math agus ag ràdh: “A dhuine uasail, tha sinn a’ dol a làimhseachadh d ’fhuil a-nis, agus, a dhuine, tha e daor!”
- Is e mo “bhruadar fliuch” “tarraing às dàta” agus “anailis” a reic taobh a-staigh modal SaaS gnìomhachasan beaga is meadhanacha dhìrich a-steach do sheirbheisean sgòthan 123 le eadar-aghaidh fionnar: stiùireadh pròiseict, deasc cuideachaidh, cunntasachd, CRM, pàighidh, aithris ùine, margaidheachd, ... tha thu ga ainmeachadh, agus thiodhlaic thu iad fhèin san dàta. Youcalc agus Soirbheachas ('s dòcha nach eil ann tuilleadh) Tha seo math!
- Coimhead airson daoine a tha dèidheil air tinker "cràbhach" le dàta. Tha iad tearc agus neònach (mar dhuilleagan tì), ach tha iad cudromach do ghnìomhachas. Faodaidh bàrd, mar eisimpleir, a bhith fìor mhath air co-dhàimh.
- Innleadairean a dhìth! Feum air na duilgheadasan a tharraing Crunchers bho dhàta a thionndadh gu fuasglaidhean. Agus tha soirbheachas no fàilligeadh a 'cho-dhùnaidh gu tur an urra riutha.
- Leasachadh opensource Tha luach mòr aig pròiseactan agus ga dhèanamh comasach fuasglaidhean iom-fhillte “a chruinneachadh” gu practaigeach bhon fhìor thoiseach.
- Ach... cha bu chòir dhuinn dìochuimhneachadh gur e leabharlann a th’ ann an Hadoop, agus gur e leabharlann a th’ ann an Lucene cuideachd, agus an astar eadar leabharlann agus toradh gnìomhachais mòran!
- Feumaidh na fuasglaidhean togte a bhith air an atharrachadh gu mòr, oir modularity и iomlanachd - prìomh phuingean.
- Agile (Dia thoir maitheanas dhomh) na phrìomh dhòigh ann an eadar-obrachadh leis an neach-ceannach agus dearbhadh barailean, agus bithidh mòran dhiubh ann.
- Tha e gu sònraichte comasach agus riatanach a h-uile còdadh agus UI a chuir a-mach. A h-uile mion-sgrùdadh agus sònrachadh gnìomhachais cùl-raon feum falbh taobh a-staigh agus air a mheas mar phrìomh chomas.
- Feumaidh luchd-co-dhùnaidh gnìomhachais a bhith an-còmhnaidh “fiosraichte” mu dheidhinn an fheum air obrachadh ceart le dàta agus an-còmhnaidh a’ lorg dhòighean ùra air an sgrùdadh. Cuidichidh an cothlamadh de chomasan teicnigeach agus gnìomhachais an luchd-obrach againn inbhe na buidhne gu lèir àrdachadh.
- Eadar-lìon - tha stòr brosnachaidh gun chrìoch (cha robh mòran chat ann air ais an uairsin) a thaobh modhan riaghlaidh dàta iomairt, ged a tha na h-amasan agus an raon ag atharrachadh gu mòr.
Deuchainnean teicneòlach ...
- Tha comas leasachaidh mòr ann an sìmpleachadh mar a tha dàta air a shealltainn do dhaoine. Faodaidh tu am facal “iPhonization” a ghairm air seo.
- A dh 'aindeoin gu bheil luchd-reic BI ag ràdh gu bheil iad gu dìreach anailisean a thoirt gu luchd-cleachdaidh deireannach, (agus tha iad gu cinnteach a 'gluasad an taobh seo) - chan eil am briseadh air tachairt fhathast. Chan eil daoine dìreach a 'tuigsinn gu math ioma-thaobhach dàta.
- Eadar-aghaidh cleachdaiche a’ riochdachadh dàta nas iom-fhillte no nas lugha le structar ann an aghaidh foirm - cuideachd a 'nochdadh àireamh neo-chrìochnach de dhuilgheadasan. Co-dhùnadh: mar as rèidh is ann as fheàrr.
- Tha àrd-ùrlar a chaidh a thogail air bunait toirt a-mach dàta fèin-ghluasadach bho stòran (nach eil an-còmhnaidh air a dhealbhadh airson a leithid de tharraing) gu mòr an urra ris na stòran, seasmhachd an luchd-ceangail, agus am bun-structar. Bidh an àrd-ùrlar (teachdaire) an-còmhnaidh air a choireachadh airson fàiligeadh toraidhean a lìbhrigeadh. Urras - calpa den t-seòrsa seo de àrd-ùrlaran. Calpa a tha doirbh a chosnadh agus furasta a chall.
- Bho thaobh gnìomhachais, chan eil eadar-dhealachadh sam bith eadar mion-sgrùdadh Dàta Mòr agus Dìreach Dàta. Gu math tric air cùl àireamhan cho sìmplidh ri 2x2 tha luach milleanan dolar de chothroman. Is e deagh eisimpleir an dàta mu dheireadh beatha eileamaidean bun-structair air sgeilp Nirribhidh. Cuin a tha a h-uile cinn-latha airson caiptean san àm ri teachd. chaidh càradh an uidheamachd gu lèir a chuir air aon axis agus fhuair iad a-mach gun robh an sgeilp Armageddon a’ tighinn ann an N bliadhna - dh’ èirich fear beairteach bhon chathair aige agus chrom e a-mach às an t-seòmar gu sgiobalta leis na faclan: “Tha mi duilich, chan eil mi tha tòrr ùine agam, feumaidh mi an cabhlach ullachadh…”
- Tha cumhachd mòr agus deagh àm ri teachd aig Excel, agus gu dearbh taisbeanadh clàr soilleir agus pongail de dhàta. Tha mi a’ creidsinn ann an clàran brèagha (agus dèan fhathast) agus sin e!
- Is e am prìomh bhogha den “anailis” seo uile fèin-ghluasad co-dhùnadh. Tha na cothroman as motha ann, ach cuideachd na cunnartan as àirde, is e sin as coireach gu bheil na cothroman beairteach, is e sin as coireach gu bheil cunnartan ann, is e sin as coireach gu bheil cothroman ann, is e sin as coireach gur e taffaidh a th’ annta... 🙂 Riaghladh drileadh math, mar eisimpleir...
- Ma tha “ionracas” na phrìomh fheart, bu chòir an dàta a thaisbeanadh mar sheirbheis. CÒRR riaghailtean, ach cha bu chòir dhuinn dìochuimhneachadh mu optimization coileanadh, a tha a-nis gu tric air a thoirt seachad airson iomlanachd mar a tha cumhachd coimpiutaireachd a 'sìor fhàs.
- Dàta maighstir - is e seo a dh’ fheumas a bhith air a h-ionadail, air a thoirt a-mach, air a riaghailteachadh mus tèid dèiligeadh ri cùisean gnìomhachais sam bith. Tha prìomh dhàta beag, ach tha duilgheadasan leis mòr! Mar a tha bràithrean semantics ag ràdh, tha 50% de dhuilgheadasan an t-saoghail air sgàth gu bheil daoine a 'gairm nan aon rudan le ainmean eadar-dhealaichte, agus an 50% eile air sgàth' s gu bheil iad a 'gairm rudan eadar-dhealaichte leis an aon ainm.
- Aon encapsulation aig an ìre stòraidh, tha e a’ cuingealachadh fosgarrachd an fhuasglaidh agus a’ leantainn gu SILO-fication. Tha e math ma tha thu nad neach-reic mòr, air neo tha e mar sin. (An seo tha sinn a 'bruidhinn, gu dearbh, chan ann mu dheidhinn an ìre bloc agus chan ann mu AWS S3, a bha mar-thà 6 bliadhna a dh'aois an uairsin, ach mu fhaidhlichean).
- Modaileadh dàimheil chan eil dàta na charaid dhuinn tuilleadh. RDF agus prìomh luach - fionnar! Tha sinn air cruth-atharrachaidhean draoidheil fhaicinn de stòran-dàta dàimheach le modalan de chlàran 2000 gu 15 clàran, agus cha do chaill gin den luchd-cleachdaidh dad.
- Tha an eadar-lìon ag obair oir tha e ann URL mar dhòigh làimhseachaidh aonaichte. Cho cudromach sa tha URL no an àite sin URI airson goireasan fiosrachaidh iomairt tha e duilich cus tuairmse a dhèanamh.
- Tha fèill mhòr air mèinneadh teacsa agus NLP. Anns an eadar-lìon. Ach eadhon anns an roinn chorporra, faodar soirbheachadh mòr a choileanadh le bhith a 'toirt a-mach dàta structaraichte bho dhàta corporra neo-structaraichte.
- Synergy eadar dàta structaraichte agus fiosrachadh air a thoirt a-mach à dàta neo-structaraichte, i.e. Faidhlichean - anailis Klondike.
- Nuair a bhios tu a’ tarraing dàta, na dìochuimhnich mu chòraichean agus dlighe-sgrìobhaidh.
- Feumaidh a’ chompanaidh às-tharraing dàta aroinn hackers, ann an deagh chiall an fhacail. Air a bhrosnachadh leis a’ bhlàr suas cnoc an aghaidh siostaman dìon bot crawler Yellow Pages.
- Mus obrachadh le dàta, tha e riatanach "faic" gu h-iomlan. Tha e duilich a mhìneachadh. Bidh foirmean clàir a’ tighinn gu inntinn. Airson cuid, riochdachaidhean grafaigeach, ach tha graf sam bith mar mhìneachadh mar-thà. Aon dòigh no dòigh eile... “faic”!
- Ag ath-aithris cùis “earbsa” neach-cleachdaidh air an aghaidh. Urras ann an luchd-ceangail / pròiseasan gineadh dàta, earbsa ann an dàta, earbsa ann an co-dhùnaidhean air an dèanamh.
Source: www.habr.com