Ин ду калимаи илмии маълумот бисёр одамонро ба иштибоҳ меандозанд. Истихроҷи маълумот аксар вақт ҳамчун истихроҷ ва дарёфти маълумот нодуруст фаҳмида мешавад, аммо дар асл он хеле мураккабтар аст. Дар ин паём, биёед ба истихроҷи маъдан дастҳои ниҳоӣ гузорем ва фарқи байни истихроҷи маълумот ва маълумотро фаҳмем.
Маълумот истихроҷ чист?
Истихроҷи маълумот, инчунин номида мешавад Кашфи дониш дар пойгоҳи додаҳо (KDD), як усулест, ки аксар вақт барои таҳлили миқдори зиёди додаҳо бо истифода аз усулҳои оморӣ ва риёзӣ барои дарёфти намунаҳо ё тамоюлҳои пинҳонӣ ва истихроҷи арзиш аз онҳо истифода мешавад.
Шумо бо Data Mining чӣ кор карда метавонед?
Бо автоматикунонии раванд, метавонад базаҳои маълумотро скан кунад ва намунаҳои пинҳоншударо самаранок муайян кунад. Барои соҳибкорон, истихроҷи додаҳо одатан барои муайян кардани намунаҳо ва муносибатҳо дар додаҳо истифода мешавад, то дар қабули қарорҳои беҳтари тиҷоратӣ кӯмак кунад.
Намунаҳои татбиқ
Пас аз он ки истихроҷи додаҳо дар солҳои 1990-ум паҳн шуд, ширкатҳо дар доираи васеи соҳаҳо, аз ҷумла савдои чакана, молия, тандурустӣ, нақлиёт, телекоммуникатсия, тиҷорати электронӣ ва ғайра, ба истифода аз усулҳои истихроҷи додаҳо барои ба даст овардани маълумот дар асоси маълумот шурӯъ карданд. Истихроҷи маълумот метавонад ба сегменти муштариён, ошкор кардани қаллобӣ, пешгӯии фурӯш ва ғайра кӯмак расонад.
- Сегментатсияи муштариён
Бо таҳлили маълумоти муштариён ва муайян кардани хусусиятҳои муштариёни мақсаднок, ширкатҳо метавонанд онҳоро ба як гурӯҳи алоҳида равона созанд ва пешниҳодҳои махсусеро пешниҳод кунанд, ки ба ниёзҳои онҳо ҷавобгӯ бошанд. - Таҳлили сабади бозор
Ин техника ба назария асос ёфтааст, ки агар шумо як гурӯҳи муайяни маҳсулотро харед, шумо эҳтимолияти харидани гурӯҳи дигари маҳсулотро доред. Як мисоли машҳур: вақте ки падарон барои кӯдакони худ памперс мехаранд, онҳо майл доранд дар баробари памперс пиво мехаранд. - Пешгӯии фурӯш
Ин метавонад ба таҳлили сабади бозор монанд бошад, аммо ин вақт таҳлили маълумот барои пешгӯӣ кардани кай муштарӣ дар оянда маҳсулотро дубора мехарад, истифода мешавад. Масалан, тренер як банкаи сафеда мехарад, ки он бояд 9 мох давом кунад. Дӯконе, ки ин протеинро мефурӯшад, нақша дорад, ки дар тӯли 9 моҳ як протеинро барорад, то тренер онро дубора мехарад. - Муайян кардани қаллобӣ
Истихроҷи маълумот дар сохтани моделҳо барои ошкор кардани қаллобӣ кӯмак мекунад. Тавассути ҷамъоварии намунаҳои ҳисоботҳои қаллобӣ ва қонунӣ, соҳибкорон ваколатдор мешаванд, ки кадом транзаксияҳоро шубҳанок муайян кунанд. - Муайян кардани намунаҳо дар истеҳсолот
Дар саноати истеҳсолӣ, истихроҷи маълумот барои кӯмак дар тарҳрезии система тавассути муайян кардани робитаи байни меъмории маҳсулот, профил ва ниёзҳои муштариён истифода мешавад. Истихроҷи маълумот инчунин метавонад мӯҳлатҳои таҳияи маҳсулот ва хароҷотро пешгӯӣ кунад.
Ва инҳо танҳо чанд сенария барои истифодаи истихроҷи додаҳо мебошанд.
Марҳилаҳои истихроҷи маълумот
Истихроҷи додаҳо раванди ҳамаҷонибаи ҷамъоварӣ, интихоб, тозакунӣ, табдил додан ва истихроҷи додаҳо барои арзёбии намунаҳо ва дар ниҳоят истихроҷи арзиш мебошад.
Чун қоида, тамоми раванди истихроҷи маълумотро метавон ба 7 марҳила ҷамъбаст кард:
- Тозакунии маълумот
Дар ҷаҳони воқеӣ маълумот на ҳамеша тоза ва сохторӣ карда мешавад. Онҳо аксар вақт пурғавғо, нопурраанд ва метавонанд хатогиҳо дошта бошанд. Барои дақиқ будани натиҷаи истихроҷи маълумот, шумо аввал бояд маълумотро тоза кунед. Баъзе усулҳои тозакунӣ пур кардани арзишҳои гумшуда, санҷиши автоматӣ ва дастӣ ва ғайраҳоро дар бар мегиранд. - Интегратсияи маълумот
Ин марҳилаест, ки маълумот аз сарчашмаҳои гуногун истихроҷ, муттаҳид ва муттаҳид карда мешавад. Сарчашмаҳо метавонанд пойгоҳи додаҳо, файлҳои матнӣ, ҷадвалҳои электронӣ, ҳуҷҷатҳо, маҷмӯи маълумотҳои бисёрченака, Интернет ва ғайра бошанд. - Намунаи маълумот
Одатан, на ҳама маълумоти муттаҳидшуда дар истихроҷи додаҳо лозиманд. Намунаи маълумот марҳилаест, ки дар он танҳо маълумоти муфид аз пойгоҳи додаҳои калон интихоб ва истихроҷ карда мешавад. - Табдил додани маълумот
Пас аз интихоб кардани маълумот, он ба шаклҳои мувофиқ барои истихроҷи маъдан табдил дода мешавад. Ин раванд муқаррарӣ, ҷамъоварӣ, умумӣ ва ғайраҳоро дар бар мегирад. - Истихроҷи маълумот
Дар ин ҷо қисми муҳимтарини истихроҷи додаҳо меояд - бо истифода аз усулҳои интеллектуалӣ барои пайдо кардани намунаҳо дар он. Раванд регрессия, тасниф, пешгӯӣ, кластерсозӣ, омӯзиши ассотсиатсия ва ғайраро дар бар мегирад. - Арзёбии намунавӣ
Ҳадафи ин қадам барои муайян кардани намунаҳои эҳтимолан муфид, фаҳмо ва гипотеза. - Намояндагии дониш
Дар марҳилаи ниҳоӣ маълумоти бадастомада бо истифода аз усулҳои муаррифии дониш ва визуализатсия дар шакли ҷолиб пешниҳод карда мешавад.
Камбудиҳои истихроҷи маълумот
- Сармоягузории калони вақт ва меҳнат
Азбаски истихроҷи додаҳо як раванди тӯлонӣ ва мураккаб аст, он аз одамони пурмаҳсул ва ботаҷриба кори зиёдеро талаб мекунад. Конканҳои маълумот метавонанд аз абзорҳои пуриқтидори истихроҷи додаҳо истифода баранд, аммо онҳо аз коршиносон талаб мекунанд, ки маълумотро омода кунанд ва натиҷаҳоро фаҳманд. Дар натиҷа, барои коркарди ҳама маълумот метавонад каме вақт лозим шавад. - Махфият ва амнияти маълумот
Азбаски истихроҷи додаҳо маълумоти муштариёнро тавассути усулҳои бозор ҷамъоварӣ мекунад, он метавонад махфияти корбаронро вайрон кунад. Илова бар ин, ҳакерҳо метавонанд маълумоти дар системаҳои истихроҷи додаҳо ҳифзшударо ба даст оранд. Ин ба амнияти маълумоти муштарӣ таҳдид мекунад. Агар маълумоти дуздидашуда нодуруст истифода шавад, он метавонад ба осонӣ ба дигарон зарар расонад.
Дар боло муқаддимаи мухтасари истихроҷи додаҳо оварда шудааст. Тавре ки ман аллакай зикр кардам, истихроҷи додаҳо раванди ҷамъоварӣ ва ҳамгироии маълумотро дар бар мегирад, ки раванди истихроҷи маълумотро дар бар мегирад. Дар ин ҳолат, метавон гуфт, ки истихроҷи маълумот метавонад як қисми раванди истихроҷи маълумоти дарозмуддат бошад.
Истихроҷи маълумот чист?
Ин раванд инчунин бо номи "минтинги маълумотҳои веб" ва "скрепинги веб" маъруф аст, ин амали истихроҷи маълумот аз манбаъҳои додаҳо (одатан сохторнашуда ё суст сохторӣ) ба маконҳои мутамарказ ва мутамарказ кардани онҳо дар як ҷо барои нигоҳдорӣ ё коркарди минбаъда мебошад. Махсусан, манбаҳои маълумотҳои сохторнашуда саҳифаҳои интернетӣ, почтаи электронӣ, ҳуҷҷатҳо, файлҳои PDF, матни сканшуда, гузоришҳои асосии фрейм, файлҳои чарх ба чарх, таблиғ ва ғайраро дар бар мегиранд. Нигоҳдории мутамарказ метавонад маҳаллӣ, абрӣ ё гибридӣ бошад. Дар хотир доштан муҳим аст, ки истихроҷи маълумот коркард ё таҳлили дигареро дар бар намегирад, ки метавонад баъдтар рух диҳад.
Шумо бо истихроҷи маълумот чӣ кор карда метавонед?
Асосан, ҳадафҳои истихроҷи маълумот ба 3 категория тақсим мешаванд.
- Архивкунӣ
Истихроҷи маълумот метавонад маълумотро аз форматҳои физикӣ табдил диҳад: китобҳо, рӯзномаҳо, фактураҳо ба форматҳои рақамӣ, ба монанди пойгоҳи додаҳо барои нигоҳдорӣ ё нусхабардорӣ. - Тағир додани формати маълумот
Вақте ки шумо хоҳед, ки маълумотро аз сайти ҳозираи худ ба сайти нави таҳияшаванда интиқол диҳед, шумо метавонед тавассути истихроҷи он маълумотро аз сайти худ ҷамъ кунед. - Таҳлили маълумот
Таҳлили иловагии маълумоти истихроҷшуда барои ба даст овардани фаҳмиш маъмул аст. Ин метавонад ба истихроҷи додаҳо монанд бошад, аммо дар хотир доред, ки истихроҷи додаҳо ҳадафи истихроҷи додаҳост, на як қисми он. Илова бар ин, маълумот ба таври гуногун таҳлил карда мешавад. Як мисол: Соҳибони мағозаҳои интернетӣ маълумоти маҳсулотро аз сайтҳои тиҷорати электронӣ ба монанди Amazon ба даст меоранд, то стратегияҳои рақибонро дар вақти воқеӣ назорат кунанд. Мисли истихроҷи додаҳо, истихроҷи додаҳо як раванди автоматӣ мебошад, ки бартариҳои зиёд дорад. Дар гузашта одамон маълумотро аз як ҷо ба ҷои дигар дастӣ нусхабардорӣ ва часбонда мешуданд, ки вақти зиёдро талаб мекард. Ҷамъоварии маълумотро суръат мебахшад ва дақиқии маълумоти истихроҷшударо хеле беҳтар мекунад.
Баъзе мисолҳои истифодаи истихроҷи маълумот
Ба монанди истихроҷи додаҳо, истихроҷи додаҳо дар соҳаҳои мухталиф ба таври васеъ истифода мешавад. Илова ба мониторинги нархҳо дар тиҷорати электронӣ, истихроҷи маълумот метавонад дар таҳқиқоти шахсии шумо, ҷамъбасти ахбор, маркетинг, амволи ғайриманқул, сафар ва сайёҳӣ, машварат, молия ва ғайра кӯмак расонад.
- Насли пешво
Ширкатҳо метавонанд аз феҳристҳо маълумот гиранд: Yelp, Crunchbase, Yellowpages ва барои рушди тиҷорат роҳнамо эҷод кунанд. Шумо метавонед видеои зерро тамошо кунед, то фаҳмед, ки чӣ гуна аз Yellowpages маълумот гирифтан мумкин аст . - Ҷамъоварии мундариҷа ва хабарҳо
Вебсайтҳои ҷамъоварии мундариҷа метавонанд ҷараёнҳои мунтазами маълумотро аз сарчашмаҳои гуногун қабул кунанд ва сайтҳои худро навсозӣ кунанд. - Таҳлили эҳсосот
Бо истихроҷи баррасиҳо, шарҳҳо ва фикру мулоҳизаҳо аз сайтҳои васоити ахбори иҷтимоӣ, аз қабили Instagram ва Twitter, коршиносон метавонанд эҳсосоти асосиро таҳлил кунанд ва дар бораи чӣ гуна қабул шудани бренд, маҳсулот ё падида фаҳмиш пайдо кунанд.
Қадамҳои истихроҷи маълумот
Истихроҷи маълумот марҳилаи якуми ETL (ихтисораи Extract, Transform, Load) ва ELT (экстракт, бор ва табдил) мебошад. ETL ва ELT худ як қисми стратегияи мукаммали ҳамгироии додаҳо мебошанд. Ба ибораи дигар, истихроҷи маълумот метавонад як қисми истихроҷи додаҳо бошад.
Истихроҷ, табдил додан, бор кардан
Дар ҳоле ки истихроҷи додаҳо дар бораи истихроҷи маълумот аз миқдори зиёди маълумот аст, истихроҷи додаҳо раванди хеле кӯтоҳтар ва соддатар аст. Он метавонад ба се марҳила кам карда шавад:
- Интихоби манбаи маълумот
Сарчашмаеро, ки мехоҳед аз он маълумот гиред, ба монанди вебсайтро интихоб кунед. - Ҷамъоварии маълумот
Ба сайт дархости "GET" фиристед ва ҳуҷҷати HTML-ро бо истифода аз забонҳои барномасозӣ ба монанди Python, PHP, R, Ruby ва ғайра таҳлил кунед. - Нигоҳдории маълумот
Маълумотро дар махзани маҳаллии худ ё захираи абрӣ барои истифодаи оянда захира кунед. Агар шумо як барномасози ботаҷрибае бошед, ки мехоҳед маълумотро истихроҷ кунед, қадамҳои дар боло зикршуда барои шумо оддӣ ба назар мерасанд. Аммо, агар шумо рамзгузорӣ накунед, миёнабур ин аст, ки асбобҳои истихроҷи маълумотро истифода баред, масалан. . Воситаҳои истихроҷи додаҳо, ба монанди абзорҳои истихроҷи додаҳо, барои сарфаи энергия ва коркарди маълумот барои ҳама осон тарҳрезӣ шудаанд. Ин воситаҳо на танҳо сарфакорона, балки барои шурӯъкунандагон низ мувофиқанд. Онҳо ба корбарон имкон медиҳанд, ки дар тӯли дақиқаҳо маълумот ҷамъ кунанд, онро дар абр нигоҳ доранд ва ба форматҳои гуногун содир кунанд: Excel, CSV, HTML, JSON ё ба пойгоҳи додаҳои вебсайт тавассути API.
Камбудиҳои истихроҷи маълумот
- Сатҳи сервер
Ҳангоми дарёфти маълумот дар миқёси калон, веб-сервери сайти мақсаднок метавонад аз ҳад зиёд бор карда шавад, ки ин метавонад боиси вайрон шудани сервер гардад. Ин ба манфиатҳои соҳиби сайт зарар мерасонад. - Манъи аз ҷониби IP
Вақте ки шахс маълумотро зуд-зуд ҷамъ мекунад, вебсайтҳо метавонанд суроғаи IP-и онҳоро маҳкам кунанд. Манбаъ метавонад суроғаи IP-ро комилан рад кунад ё дастрасиро маҳдуд кунад ва ин маълумотро нопурра кунад. Барои дарёфти маълумот ва пешгирӣ аз басташавӣ, шумо бояд онро бо суръати мӯътадил иҷро кунед ва баъзе усулҳои зидди блокро истифода баред. - Мушкилот бо қонун
Вақте ки сухан дар бораи қонуният меравад, истихроҷи маълумот аз веб ба майдони хокистарӣ меафтад. Сомонаҳои калон ба монанди Linkedin ва Facebook дар шартҳои истифодаи худ ба таври возеҳ изҳор мекунанд, ки ҳама гуна истихроҷи худкори маълумот манъ аст. Аз сабаби фаъолияти ботҳо байни ширкатҳо баҳсҳои зиёд ба амал омадаанд.
Тафовутҳои калидӣ байни истихроҷи додаҳо ва истихроҷи додаҳо
- Истихроҷи маълумот инчунин кашфи дониш дар пойгоҳи додаҳо, истихроҷи дониш, таҳлили маълумот / намуна, ҷамъоварии иттилоот номида мешавад. Истихроҷи маълумот бо истихроҷи додаҳои веб, ҷустуҷӯи веб, истихроҷи додаҳо ва ғайра истифода мешавад.
- Тадқиқоти истихроҷи додаҳо асосан ба маълумоти сохторӣ асос ёфтааст, дар ҳоле ки дар истихроҷи додаҳо он одатан аз манбаъҳои сохторнашуда ё суст сохторӣ гирифта мешавад.
- Ҳадафи истихроҷи додаҳо ин аст, ки маълумот барои таҳлил муфидтар бошад. Истихроҷи маълумот ҷамъоварии маълумот дар як ҷоест, ки дар он ҷо нигоҳ доштан ё коркард кардан мумкин аст.
- Таҳлил дар истихроҷи додаҳо ба усулҳои математикӣ барои муайян кардани намунаҳо ё тамоюлҳо асос ёфтааст. Истихроҷи маълумот ба забонҳои барномасозӣ ё асбобҳои истихроҷи додаҳо барои ҷустуҷӯи манбаъҳо асос ёфтааст.
- Ҳадафи истихроҷи додаҳо дарёфти далелҳое мебошад, ки қаблан номаълум ё нодида гирифта шуда буданд, дар ҳоле ки истихроҷи маълумот бо маълумоти мавҷуда сарукор дорад.
- Истихроҷи маълумот мураккабтар аст ва барои омӯзиши одамон сармоягузориҳои калонро талаб мекунад. Истихроҷи маълумот, вақте ки бо асбоби дуруст истифода мешавад, метавонад хеле содда ва камхарҷ бошад.
Мо ба шурӯъкунандагон кӯмак мекунем, ки дар маълумот ошуфта нашаванд. Мо махсусан барои сокинони Хабра як рамзи таблиғотӣ эҷод кардем ХАБР, додани 10% тахфифи иловагӣ ба тахфифи дар баннер нишондодашуда.
Курсҳои бештар
Мақолаҳои пешниҳодшуда
Манбаъ: will.com