Бул эки маалымат илими көп адамдарды чаташтырат. Data Mining көбүнчө маалыматтарды алуу жана алуу катары туура эмес түшүнүлөт, бирок чындык алда канча татаал. Бул постто, келгиле, Майнингди белгилеп, Data Mining жана Data Extraction ортосундагы айырманы билели.
Data Mining деген эмне?
Маалыматтарды казып алуу, ошондой эле деп аталат Маалыматтар базасынын билимин ачуу (KDD), көбүнчө жашыруун калыптарды же тенденцияларды табуу жана алардан баалуулуктарды алуу үчүн статистикалык жана математикалык ыкмаларды колдонуу менен чоң маалымат топтомдорун талдоо үчүн колдонулган ыкма.
Data Mining менен эмне кылса болот?
Процессти автоматташтыруу менен, маалымат базаларын карап чыгып, катылган үлгүлөрдү эффективдүү ача алат. Бизнес үчүн, маалыматтарды казып алуу көбүнчө бизнес чечимдерин жакшыраак кабыл алууга жардам берүү үчүн маалыматтардагы үлгүлөрдү жана мамилелерди табуу үчүн колдонулат.
Колдонмо мисалдары
1990-жылдары маалыматтарды казып алуу кеңири таралгандан кийин, чекене соода, финансы, саламаттыкты сактоо, транспорт, телекоммуникация, электрондук коммерция ж.б. сыяктуу тармактардын кеңири чөйрөсүндөгү компаниялар маалымат базасында маалымат алуу үчүн маалыматтарды иштетүү ыкмаларын колдоно башташты. Маалыматтарды казып алуу кардарларды сегментациялоого, алдамчылыкты аныктоого, сатууну болжолдоого жана башкаларга жардам берет.
- Кардарларды сегменттөө
Кардарлардын маалыматтарын талдоо жана максаттуу кардарлардын өзгөчөлүктөрүн аныктоо менен компаниялар аларды өзүнчө топко топтоп, алардын муктаждыктарына жооп берген атайын сунуштарды бере алышат. - Базар корзинасынын анализи
Бул техника, эгерде сиз товарлардын белгилүү бир тобун сатып алсаңыз, башка топту сатып алуу ыктымалдыгы жогору деген теорияга негизделген. Атактуу мисалдардын бири: аталар балдарына памперс сатып алганда, памперс менен кошо пиво да сатып алышат. - Сатууларды болжолдоо
Бул рыноктун себет анализине окшош сезилиши мүмкүн, бирок бул жолу маалымат анализи кардар келечекте товарды качан сатып алаарын алдын ала айтуу үчүн колдонулат. Мисалы, машыктыруучу 9 айга жете турган бир банка протеин сатып алат. Бул протеинди саткан дүкөн 9 айдын ичинде жаңысын чыгарууну пландап жатат, ошондуктан машыктыруучу аны кайра сатып алат. - Алдамчылыкты аныктоо
Маалыматтарды казып алуу алдамчылыкты аныктоо үчүн моделдерди түзүүгө жардам берет. Алдамчылык жана чынчыл отчеттордун үлгүлөрүн чогултуу менен бизнес кайсы транзакциялар шектүү экенин аныктоого укуктуу. - Өндүрүштүн үлгүсүн аныктоо
Өндүрүш тармагында маалыматтарды казып алуу продукт архитектурасы, профили жана кардарлардын керектөөлөрү ортосундагы байланышты аныктоо менен системаларды долбоорлоого жардам берүү үчүн колдонулат. Маалыматтарды казып алуу, ошондой эле өнүмдөрдү иштеп чыгуу убактысын жана чыгымдарын алдын ала алат.
Жана бул маалыматтарды казып алуу үчүн бир нече колдонуу учурлары.
Маалыматтарды казып алуунун этаптары
Маалыматтарды казып алуу - бул үлгүлөрдү баалоо жана акыр аягында баалуулуктарды алуу үчүн маалыматтарды чогултуунун, тандоонун, тазалоонун, трансформациялоонун жана чыгаруунун комплекстүү процесси.
Жалпысынан алганда, бардык маалыматтарды казып алуу жараяны 7 кадам менен жалпылоого болот:
- Маалыматтарды тазалоо
Чыныгы дүйнөдө маалыматтар дайыма эле тазаланып, түзүлө бербейт. Алар көбүнчө ызы-чуу, толук эмес жана каталарды камтышы мүмкүн. Маалыматтарды казып алуу жыйынтыгы так экенине ынануу үчүн, адегенде маалыматтарды тазалоо керек. Кээ бир тазалоо ыкмаларына жетишпеген маанилерди толтуруу, автоматтык жана кол менен башкаруу ж.б.у.с. кирет. - Маалыматтарды интеграциялоо
Бул ар кандай булактардан алынган маалыматтар алынган, бириктирилген жана интеграцияланган этап. Булактар маалымат базасы, тексттик файлдар, электрондук таблицалар, документтер, көп өлчөмдүү маалымат топтомдору, Интернет жана башкалар болушу мүмкүн. - Маалыматтарды тандоо
Адатта, маалыматтарды иштетүүдө бардык интеграцияланган маалыматтар талап кылынбайт. Маалыматтарды тандоо - бул чоң маалымат базасынан пайдалуу гана маалыматтар тандалып алынган жана алынган этап. - Маалыматтарды конверсиялоо
Маалыматтар тандалгандан кийин, ал тоо-кен казып алуу үчүн ылайыктуу формаларга айландырылат. Бул процесс нормалдаштыруу, бириктирүү, жалпылоо ж.б. - Маалыматтарды казып алуу
Бул жерде маалыматтарды казуунун эң маанилүү бөлүгү келип чыгат - аларда үлгүлөрдү табуу үчүн интеллектуалдык ыкмаларды колдонуу. Процесс регрессия, классификация, болжолдоо, кластерлөө, ассоциацияны үйрөнүү жана башкаларды камтыйт. - Моделдик баалоо
Бул кадам потенциалдуу пайдалуу, түшүнүктүү үлгүлөрдү, ошондой эле гипотезаларды колдогон үлгүлөрдү аныктоого багытталган. - Билим өкүлчүлүгү
Акыркы этапта алынган маалымат билимди чагылдыруу жана визуалдаштыруу ыкмаларын колдонуу менен жагымдуу түрдө берилет.
Маалыматтарды иштетүүнүн кемчиликтери
- Убакыттын жана эмгектин чоң салымы
Маалыматтарды иштетүү узак жана татаал процесс болгондуктан, жемиштүү жана квалификациялуу адамдардан көп эмгекти талап кылат. Берилиштерди изилдөөчүлөр кубаттуу маалыматтарды иштетүү куралдарын колдоно алышат, бирок аларга маалыматтарды даярдоо жана натыйжаларды түшүнүү үчүн эксперттер керек. Натыйжада, бардык маалыматты иштеп чыгуу үчүн бир аз убакыт талап кылынышы мүмкүн. - Маалыматтын купуялыгы жана коопсуздугу
Маалыматтарды казып алуу рыноктук ыкмалар аркылуу кардарлар жөнүндө маалыматты чогулткандыктан, колдонуучунун купуялыгын бузушу мүмкүн. Мындан тышкары, хакерлер маалыматтарды казып алуу системаларында сакталган маалыматтарды ала алышат. Бул кардарлардын маалыматтарынын коопсуздугуна коркунуч жаратат. Эгер уурдалган маалыматтар туура эмес колдонулса, башкаларга оңой эле зыян келтириши мүмкүн.
Жогорудагы маалыматтар маалыматтарды иштетүүгө кыскача киришүү. Мен айтып өткөндөй, маалыматтарды казып алуу маалыматтарды чогултуу жана интеграциялоо процессин камтыйт, ал маалыматтарды алуу процессин камтыйт (маалыматтарды алуу). Бул учурда, маалыматтарды алуу узакка созулган маалыматтарды казып алуу процессинин бир бөлүгү болушу мүмкүн деп айтууга болот.
Маалыматтарды чыгаруу деген эмне?
"Веб-маалыматтарды иштетүү" жана "веб кыргыч" деп дагы белгилүү болгон бул процесс маалымат булактарынан (адатта структураланбаган же начар структураланган) борборлоштурулган жерлерге маалыматтарды алуу жана сактоо же андан ары иштетүү үчүн бир жерде борборлоштуруу актысы. Тактап айтканда, структураланбаган маалымат булактарына веб-баракчалар, электрондук почталар, документтер, PDF файлдары, сканерленген текст, негизги фреймдердин отчеттору, ролик файлдары, кулактандыруулар жана башкалар кирет. Борборлоштурулган сактоо жергиликтүү, булут же гибрид болушу мүмкүн. Бул маалыматтарды алуу кийин пайда болушу мүмкүн кайра иштетүү же башка талдоо камтыбайт экенин эстен чыгарбоо маанилүү.
Маалыматтарды чыгаруу менен эмне кылса болот?
Негизинен, маалыматтарды алуу максаттары 3 категорияга бөлүнөт.
- Архивдөө
Маалыматтарды алуу китептер, гезиттер, эсеп-фактуралар сыяктуу физикалык форматтардан маалыматтарды сактоо же резервдик көчүрүү үчүн маалымат базасы сыяктуу санарип форматтарга айландыра алат. - Маалымат форматын өзгөртүү
Учурдагы сайтыңыздан иштеп жаткан жаңы сайтка дайындарды көчүрүүнү кааласаңыз, аны чыгарып алуу менен өзүңүздүн сайтыңыздан маалыматтарды чогулта аласыз. - Маалыматтарды талдоо
Көбүрөөк түшүнүк алуу үчүн алынган маалыматтарды андан ары талдоо кеңири таралган. Бул маалымат казып алуу сыяктуу угулушу мүмкүн, бирок маалыматтарды казып алуу анын бир бөлүгү эмес, маалымат казуунун максаты экенин унутпаңыз. Мындан тышкары, маалыматтар ар кандай талданат. Бир мисал, интернет-дүкөндүн ээлери реалдуу убакытта атаандаштардын стратегияларын көзөмөлдөө үчүн Amazon сыяктуу электрондук коммерция сайттарынан продукт маалыматын тартып алышат. Маалыматтарды казып алуу сыяктуу эле, маалыматтарды алуу көптөгөн артыкчылыктарга ээ болгон автоматташтырылган процесс. Мурда адамдар бир жерден экинчи жерге маалыматтарды кол менен көчүрүп, чапташчу, бул абдан көп убакытты талап кылган. Маалыматтарды алуу чогултууну тездетет жана алынган маалыматтардын тактыгын бир топ жакшыртат.
Маалыматтарды чыгарууну колдонуунун кээ бир мисалдары
Берилиштерди казып алуу сыяктуу эле, маалыматтарды казып алуу ар кандай тармактарда кеңири колдонулат. Электрондук коммерциянын баасына мониторинг жүргүзүүдөн тышкары, маалыматтарды казып алуу сиздин жеке изилдөөңүзгө, жаңылыктарды топтоо, маркетинг, кыймылсыз мүлк, саякат жана туризм, консалтинг, каржы жана башкаларга жардам берет.
- Коргошун муун
Компаниялар каталогдордон маалыматтарды чыгара алышат: Yelp, Crunchbase, Yellowpages жана бизнести өнүктүрүү үчүн лидерлерди түзө алышат. Yellowpages менен кантип маалыматтарды алуу керектигин билүү үчүн төмөндөгү видеону көрө аласыз . - Мазмундун жана жаңылыктардын жыйындысы
Мазмунду бириктирүүчү веб-сайттар бир нече булактардан үзгүлтүксүз маалымат каналдарын алып, сайттарын жаңыртып турушу мүмкүн. - Сезим талдоо
Инстаграм жана Твиттер сыяктуу социалдык тармактардан сын-пикирлерди, комментарийлерди жана күбөлүктөрдү алып чыккандан кийин, адистер негизги мамилелерди талдап, бренд, продукт же феномен кандайча кабыл алынганы жөнүндө түшүнүк алышат.
Маалыматтарды чыгаруу кадамдары
Берилиштерди чыгаруу - бул ETL (Extract, Transform, Load: Extract, Transform, Load) жана ELT (Extract, Load, and Transform) биринчи этабы. ETL жана ELT өздөрү толук маалыматтарды интеграциялоо стратегиясынын бир бөлүгү болуп саналат. Башка сөз менен айтканда, маалыматтарды алуу алардын казып алуу бөлүгү болушу мүмкүн.
Чыгаруу, өзгөртүү, жүктөө
Маалыматтарды казып алуу чоң көлөмдөгү маалыматтардан маалыматты алуу менен байланыштуу болсо да, маалыматтарды алуу бир кыйла кыска жана жөнөкөй процесс. Аны үч этапка чейин кыскартууга болот:
- Маалымат булагын тандоо
Вебсайт сыяктуу маалыматтарды чыгаргыңыз келген булакты тандаңыз. - Маалымат чогултуу
Сайтка "GET" өтүнүчүн жөнөтүңүз жана Python, PHP, R, Ruby, ж. - маалыматтарды сактоо
Дайындарды келечекте колдонуу үчүн жергиликтүү маалымат базасына же булут сактагычына сактаңыз. Эгер сиз маалыматтарды алууну каалаган тажрыйбалуу программист болсоңуз, жогорудагы кадамдар сизге жөнөкөй сезилиши мүмкүн. Бирок, сиз программист болбосоңуз, анда жарлык бар - сыяктуу маалыматтарды казып алуу куралдарын колдонуңуз . Маалыматтарды казып алуу куралдары, маалымат казып алуу куралдары сыяктуу эле, энергияны үнөмдөө жана маалыматтарды иштетүүнү бардыгы үчүн жеңил кылуу үчүн иштелип чыккан. Бул каражаттар үнөмдүү гана эмес, башталгычтарга да ыңгайлуу. Алар колдонуучуларга бир нече мүнөттүн ичинде маалыматтарды чогултууга, аны булутта сактоого жана аны көптөгөн форматтарга экспорттоого мүмкүндүк берет: Excel, CSV, HTML, JSON, же API аркылуу сайттагы маалымат базаларына.
Маалыматтарды чыгаруунун кемчиликтери
- Сервер кыйрады
Маалыматтарды чоң масштабда чыгарып жатканда, максаттуу сайттын веб-сервери ашыкча жүктөлүшү мүмкүн, бул сервердин бузулушуна алып келиши мүмкүн. Бул сайт ээсинин кызыкчылыгына зыян келтирет. - IP тарабынан тыюу салуу
Адам өтө көп маалыматтарды чогултканда, веб-сайттар алардын IP дарегин бөгөттөп коюшу мүмкүн. Ресурс IP дарегин толугу менен тыйышы же маалыматтарды толук эмес кылып, кирүүнү чектеши мүмкүн. Маалыматтарды алуу жана бөгөттөөдөн качуу үчүн, аны орточо ылдамдыкта жасап, айрым бөгөт коюу ыкмаларын колдонушуңуз керек. - мыйзам менен көйгөйлөр
Интернеттен маалыматтарды алуу мыйзамдуулукка келгенде боз аймакка түшөт. Linkedin жана Facebook сыяктуу ири сайттар колдонуу шарттарында маалыматтардын автоматтык түрдө алынышына тыюу салынганын ачык айтышат. Боттук аракеттерден улам компаниялардын ортосунда көптөгөн соттук териштирүүлөр болгон.
Маалыматтарды казып алуу менен маалыматтарды алуунун ортосундагы негизги айырмачылыктар
- Маалыматтарды казып алуу маалымат базаларында билимди ачуу, билим алуу, маалыматтарды/үлгүлөрдү талдоо, маалымат чогултуу деп да аталат. Маалыматтарды алуу веб-маалыматтарды алуу, веб-баракчаларды сканерлөө, маалыматтарды чогултуу ж.б.
- Маалыматтарды казып алуу изилдөөлөрү негизинен структураланган маалыматтарга негизделет, ал эми маалыматтарды казып алуу көбүнчө структураланбаган же начар структураланган булактардан алынат.
- Маалыматтарды казып алуунун максаты - маалыматтарды талдоо үчүн пайдалуураак кылуу. Маалыматтарды алуу - бул маалыматтарды сактоого же иштетүүгө мүмкүн болгон бир жерге чогултуу.
- Маалыматтарды иштетүүдө талдоо моделдерди же тенденцияларды аныктоонун математикалык ыкмаларына негизделген. Маалыматтарды алуу булактарды айланып өтүү үчүн программалоо тилдерине же маалымат алуу куралдарына негизделген.
- Маалыматтарды казып алуунун максаты мурда белгилүү болбогон же көңүл бурулбаган фактыларды табуу, ал эми маалыматтарды алуу болгон маалымат менен алектенет.
- Маалыматтарды иштетүү татаалыраак жана адамдарды окутууга чоң инвестицияны талап кылат. Туура курал менен маалыматтарды алуу өтө жеңил жана үнөмдүү болушу мүмкүн.
Биз башталгычтарга Data'да адашпоого жардам беребиз. Өзгөчө habravchans үчүн биз промо-код жасадык ХАБР, баннерде көрсөтүлгөн арзандатууга кошумча 10% арзандатуу берүү.
Көбүрөөк курстар
Өзгөчөлөнгөн макалалар
Source: www.habr.com