Van du peyvên zanistiya daneyê gelek kesan tevlihev dikin. Kêmkirina daneyan bi gelemperî wekî derxistin û kişandina daneyan xelet tê fam kirin, lê di rastiyê de ew pir tevlihevtir e. Di vê postê de, em ê pêlên dawî li Madenê deynin û ferqa di navbera Dane-Kankirin û Derxistina Daneyê de fêr bibin.
Daneyên Daneyên Çi ye?
Daneyên danûstendinê jî tê gotin Vedîtina Zanînê di Danegehan de (KDD), teknîkek e ku pir caran tê bikar anîn ji bo analîzkirina mîqdarên mezin ên daneyê bi karanîna teknîkên îstatîstîkî û matematîkî ji bo dîtina qalibên an meylên veşartî û derxistina nirxê ji wan.
Hûn dikarin bi Daneyên Madenê re çi bikin?
Bi otomatîkkirina pêvajoyê, dikare databasan bişopîne û bi bandor qalibên veşartî nas bike. Ji bo karsaziyan, danûstendina daneyê bi gelemperî tê bikar anîn da ku nimûne û têkiliyên di daneyan de nas bike da ku bibe alîkar ku biryarên karsaziyê çêtir bide.
Mînakên sepanê
Piştî ku di salên 1990-an de kolandina daneyê berbelav bû, pargîdaniyên di cûrbecûr pîşesaziyan de, di nav de retailing, darayî, lênihêrîna tenduristî, veguheztin, telekomunikasyon, e-bazirganî, hwd., dest bi karanîna teknîkên daneyê kirin da ku agahdariya li ser bingeha daneyan bistînin. Kevirkirina daneyê dikare ji xerîdaran re bibe alîkar, sextekarîyê tespît bike, firotan pêşbîn bike, û hêj bêtir.
- Dabeşkirina xerîdar
Bi analîzkirina daneyên xerîdar û naskirina taybetmendiyên xerîdarên armanc, pargîdan dikarin wan di nav komek cûda de bikin armanc û pêşniyarên taybetî yên ku hewcedariyên wan bicîh tîne peyda bikin. - Analysis Basket Market
Ev teknîk li ser vê teoriyê ye ku heke hûn komek hilberan bikirin, îhtîmal e ku hûn komek din a hilberan bikirin. Mînakek navdar: gava bav ji pitikên xwe re pelika bikirrin, li gel pelika bîrê jî dikirin. - Sales Forecasting
Dibe ku ev dişibihe analîza selika bazarê, lê vê carê analîza daneyê tê bikar anîn da ku pêşbîn bike ka dê xerîdar kengê di pêşerojê de dîsa hilberek bikire. Mînakî, rahêner kaniyek proteîn dikire, ku divê 9 mehan bidome. Firoşgeha ku vê proteînê difroşe plan dike ku di nav 9 mehan de yekî nû derxe, ji ber vê yekê perwerdekar wê dîsa bikire. - Tespîtkirina sextekarî
Kevirkirina daneyê di avakirina modelan de ji bo tespîtkirina sextekariyê dibe alîkar. Bi berhevkirina nimûneyên raporên xapînok û rewa, karsazî xwedî hêz in ku diyar bikin ka kîjan danûstendin bi guman in. - Tespîtkirina qalibên di hilberînê de
Di pîşesaziya hilberînê de, hilanîna daneyê ji bo arîkariya sêwirana pergalê bi destnîşankirina têkiliya di navbera mîmariya hilberê, profîl û hewcedariyên xerîdar de tê bikar anîn. Kevirkirina daneyê jî dikare dem û lêçûnên pêşkeftina hilberê pêşbîn bike.
Û ev tenê çend senaryo ne ji bo karanîna daneya daneyê.
Qonaxên Daneyên Madenê
Kevirandina daneyan pêvajoyek tevde ya berhevkirin, hilbijartin, paqijkirin, veguheztin û derxistina daneyan e ku meriv nimûneyan binirxîne û di dawiyê de nirxê derxe.
Wekî qaîdeyek, tevahiya pêvajoya derxistina daneyê dikare di 7 qonaxan de were kurt kirin:
- Paqijkirina daneyan
Di cîhana rastîn de, dane her gav nayên paqij kirin û saz kirin. Ew pir caran dengbêj in, ne temam in, û dibe ku xeletî jî hebin. Ji bo bicîh bikin ku encama danûstendina daneyê rast e, hûn pêşî hewce ne ku daneyan paqij bikin. Hin rêbazên paqijkirinê dagirtina nirxên winda, kontrolkirina otomatîk û destan, hwd. - Data Integration
Ev qonax e ku daneyên ji çavkaniyên cihêreng têne derxistin, berhevkirin û yekgirtinê ye. Çavkanî dikarin databas, pelên nivîsê, pelgeyên berbelav, belge, daneyên piralî, Înternet û hwd bin. - Sampling Data
Bi gelemperî, ne hemî daneyên yekbûyî di derxistina daneyê de hewce ne. Nimûneya daneyan ew qonax e ku tê de tenê daneyên kêrhatî ji databasek mezin têne hilbijartin û derxistin. - Veguherîna daneyan
Dema ku dane têne hilbijartin, ew ji bo madenê di formên guncan de têne veguheztin. Ev pêvajo di nav xwe de normalîzekirin, kombûn, giştîkirin, hwd. - Daneyên Madenê
Li vir beşa herî girîng a danûstendina daneyê tê - karanîna rêbazên aqilmend ji bo dîtina qalibên tê de. Pêvajo paşveçûn, dabeşkirin, pêşbînkirin, komkirin, fêrbûna komeleyê, û hêj bêtir vedihewîne. - Nirxandina model
Armanca vê gavê ew e ku qalibên potansiyel bikêrhatî, hêsan-fêmkirî, û hîpotez-piştgiran nas bike. - Nûnertiya zanînê
Di qonaxa dawîn de, agahdariya ku hatî bidestxistin bi şêwazek balkêş bi karanîna rêgezên temsîlkirina zanînê û dîtinê têne pêşkêş kirin.
Dezawantajên Daneyên Madenê
- Veberhênana mezin a dem û kedê
Ji ber ku berhevkirina daneyan pêvajoyek dirêj û tevlihev e, ji mirovên hilberîner û jêhatî gelek xebat hewce dike. Daneyên danûstendinê dikarin ji amûrên danûstendina daneya hêzdar sûd werbigirin, lê ew ji pisporan hewce dikin ku daneyan amade bikin û encaman fam bikin. Wekî encamek, dibe ku hin dem bigire ku hemî agahdariya pêvajoyê bike. - Nepenî û ewlehiya daneyê
Ji ber ku kolandina daneyê bi rêbazên bazarê agahdariya xerîdar berhev dike, dibe ku ew nepeniya bikarhêner binpê bike. Wekî din, hacker dikarin daneyên ku di pergalên hilberandina daneyê de hatine hilanîn bistînin. Ev ji bo ewlehiya daneyên xerîdar xeterek çêdike. Ger daneyên dizîn bi xeletî werin bikar anîn, ew dikare bi hêsanî zirarê bide yên din.
Li jor danasînek kurt a danûstendina daneyê ye. Wekî ku min berê jî behs kir, derxistina daneyê pêvajoya berhevkirin û yekkirina daneyan vedihewîne, ku di nav xwe de pêvajoya derxistina daneyan jî heye. Di vê rewşê de, meriv bi ewlehî dikare bêje ku derxistina daneyê dikare bibe beşek ji pêvajoyek daneya dirêj-dirêj.
Derxistina Daneyê çi ye?
Di heman demê de wekî "kevirkirina daneya malperê" û "hilweşîna malperê" jî tê zanîn, ev pêvajo çalakiya derxistina daneyan ji çavkaniyên daneyê (bi gelemperî nesazkirî an jî kêm birêkûpêk) li deverên navendîkirî û navendîkirina wan li yek cîhek ji bo hilanîn an pêvajoyek din e. Bi taybetî, çavkaniyên daneya nesazkirî rûpelên malperê, e-name, belge, pelên PDF-ê, nivîsa şehkirî, raporên sereke, pelên reel-to-reel, reklam, hwd. Hilberîna navendîkirî dikare herêmî, ewr, an hybrid be. Girîng e ku ji bîr mekin ku derxistina daneyan pêvajo an analîzên din ên ku dibe ku paşê çêbibin nagire.
Hûn dikarin bi derxistina daneyan re çi bikin?
Di bingeh de, mebestên derxistina daneyan di 3 kategoriyan de ne.
- Arşîvkirin
Derxistina daneyan dikare daneyan ji formên laşî veguherîne: pirtûk, rojname, fatûre di formên dîjîtal de, wekî databasên ji bo hilanînê an paşvekişandinê. - Guhertina formata daneyê
Dema ku hûn dixwazin daneyan ji malpera xweya heyî veguhezînin cîhek nû ya di bin pêşkeftinê de, hûn dikarin bi derxistina wê daneyan ji malpera xwe berhev bikin. - Analîzkirina daneyan
Analîzek zêde ya daneyên derxistinê ji bo bidestxistina têgihiştinê hevpar e. Dibe ku ev dişibihe danûstendina daneyê, lê ji bîr mekin ku derxistina daneyê armanca derxistina daneyê ye, ne beşek jê ye. Digel vê yekê, daneyên cûda têne analîz kirin. Mînakek: Xwediyên firotgeha serhêl agahdariya hilberê ji malperên e-bazirganiyê yên wekî Amazon derdixin da ku stratejiyên hevrikan di wextê rast de bişopînin. Mîna danûstendina daneyê, derxistina daneyê pêvajoyek xweser e ku gelek feydeyên wê hene. Berê, mirovan daneyan bi destan ji cîhek berbi cîhek din kopî û pêve dikirin, ku pir dem dixwe. Derxistina daneyan berhevkirinê bileztir dike û rastbûna daneyên hatî derxistin pir çêtir dike.
Hin mînakên karanîna Daneyên Daneyê
Mîna derxistina daneyê, derxistina daneyê bi berfirehî di pîşesaziyên cihêreng de tê bikar anîn. Digel çavdêriya bihayên di e-bazirganiya e-bazirganiyê de, derxistina daneyê dikare di lêkolîna we de, berhevkirina nûçeyan, kirrûbirra, nekêşbar, rêwîtî û tûrîzm, şêwirmendî, darayî û hêj bêtir de bibe alîkar.
- nifşê rêber
Pargîdan dikarin daneyan ji pelrêçan derxînin: Yelp, Crunchbase, Yellowpages û ji bo pêşkeftina karsaziyê rêberan çêbikin. Hûn dikarin vîdyoya jêrîn temaşe bikin ku fêr bibin ka meriv çawa daneyan ji Yellowpages bikar tîne . - Kombûna naverok û nûçeyan
Malperên berhevkirina naverokê dikarin bi rêkûpêk daneyan ji gelek çavkaniyan bistînin û malperên xwe nûve bikin. - Analîza Hestê
Bi derxistina nirxandin, şîrove û bertekên ji malperên medyaya civakî yên wekî Instagram û Twitter re, pispor dikarin hestên bingehîn analîz bikin û têgihîştinek bistînin ka meriv çawa marqeyek, hilberek an diyardeyek çawa tê fêm kirin.
Gavên Derxistina Daneyên
Derxistina daneyan qonaxa yekem a ETL (kurte Derxistin, Veguherandin, Barkirin) û ELT (derxistin, barkirin û veguherîn) ye. ETL û ELT bi xwe beşek ji stratejiyek tevhevkirina daneyê ne. Bi gotinek din, derxistina daneyê dikare bibe beşek ji berhevkirina daneyê.
Derxistin, veguherandin, barkirin
Dema ku kolandina daneyê der barê derxistina agahdariyê ji mîqdarên mezin ên daneyê ye, derxistina daneyan pêvajoyek pir kurt û hêsan e. Ew dikare di sê qonaxan de kêm bibe:
- Hilbijartina çavkaniyek daneyê
Çavkaniya ku hûn dixwazin daneyan jê derxin, wekî malperek hilbijêrin. - Komkirina daneyan
Daxwazek "GET" ji malperê re bişînin û bi karanîna zimanên bernamenûsê yên wekî Python, PHP, R, Ruby, hwd, belgeya HTML-ê ya ku derketî parsek bikin. - Depokirina daneyan
Ji bo karanîna pêşerojê daneyan li databasa xweya herêmî an hilana ewr hilînin. Ger hûn bernamesazek bi ezmûn in ku dixwazin daneyan derxînin, dibe ku gavên jorîn ji we re hêsan xuya bikin. Lêbelê, heke hûn kodê nekin, kurtebirek karanîna amûrên derxistina daneyê ye, mînakî. . Amûrên derxistina daneyê, mîna amûrên hilanîna daneyê, ji bo ku enerjiyê teserûf bikin û hilanîna daneyê ji her kesî re hêsan bikin hatine çêkirin. Van amûran ne tenê aborî ne, lê di heman demê de heval-destpêk jî ne. Ew rê didin bikarhêneran ku di nav çend hûrdeman de daneyan berhev bikin, wê di ewr de hilînin û bi gelek formatan ve derxînin: Excel, CSV, HTML, JSON an jî bi navgîniya API-ê ve ji databasên malperê re.
Dezawantajên Derxistina Daneyên
- Xerakirina serverê
Dema ku daneyan di astek mezin de distînin, dibe ku servera malperê ya armancê zêde were barkirin, ku dibe sedema têkçûna serverê. Ev ê zirarê bide berjewendiyên xwediyê malperê. - Qedexe bi IP
Gava ku kesek pir caran daneyan berhev dike, dibe ku malper navnîşana IP-ya xwe asteng bikin. Çavkanî dikare bi tevahî navnîşek IP-ê înkar bike an gihîştina sînor bike, danûstendinê ne temam bike. Ji bo vegerandina daneyan û nehiştina astengkirinê, hûn hewce ne ku wê bi lezek nerm bikin û hin teknîkên dijî-astengkirinê bikar bînin. - Pirsgirêkên hiqûqê
Derxistina daneyan ji tevneyê dema ku qanûnî tê de dikeve nav deverek gewr. Malperên mezin ên wekî Linkedin û Facebook di şertên karanîna xwe de bi eşkere diyar dikin ku her derxistina daneya otomatîkî qedexe ye. Ji ber çalakiya botê di navbera şîrketan de gelek doz hatin vekirin.
Cûdahiyên sereke di navbera derxistina daneyan û derxistina daneyan de
- Ji berhevkirina daneyan re di databasan de vedîtina zanînê, derxistina zanînê, analîzkirina daneyan / şêwazê, berhevkirina agahdariyê jî tê gotin. Derxistina daneyan bi derxistina daneya malperê, xêzkirina tevneyê, derxistina daneyê, û hwd.
- Lêkolîna kananeya daneyê bi giranî li ser bingeha daneya birêkûpêk e, lê di hilberandina daneyê de ew bi gelemperî ji çavkaniyên nesazkirî an kêm-avakirî têne derxistin.
- Armanca hilanîna daneyê ew e ku daneyan ji bo analîzê bikêrtir bike. Derxistina daneyan berhevkirina daneyan li yek cîhek e ku ew dikare were hilanîn an hilanîn.
- Analîz di hilberandina daneyan de ji bo destnîşankirina qalib û meyldaran li ser bingeha rêbazên matematîkî ye. Derxistina daneyan li ser bingeha zimanên bernamesaziyê an amûrên derxistina daneyê ye ku çavkaniyan bişopîne.
- Armanca kolandina daneyê ev e ku meriv rastiyên ku berê nenas bûn an paşguh kirin bibînin, dema ku derxistina daneyê bi agahdariya heyî re mijûl dibe.
- Kevirkirina daneyê tevlihevtir e û di perwerdekirina mirovan de veberhênanên mezin hewce dike. Derxistina daneyan, dema ku bi amûrek rast tê bikar anîn, dikare pir hêsan û biha-bandor be.
Em ji destpêkeran re dibin alîkar ku di Daneyê de tevlihev nebin. Me kodek danasînê bi taybetî ji bo niştecihên Xebra çêkir HABR, 10% erzanî zêde dide dakêşana ku li ser pankartê hatî destnîşan kirin.
Kursên bêtir
Gotarên Taybetî
Source: www.habr.com