Деректер туралы ғылымның бұл екі сөзсіз сөзі көптеген адамдарды шатастырады. Data Mining көбінесе деректерді алу және алу ретінде дұрыс түсінілмейді, бірақ іс жүзінде ол әлдеқайда күрделі. Бұл постта тау-кен өнеркәсібіне соңғы нүктелерді қойып, деректерді өндіру мен деректерді шығару арасындағы айырмашылықты білейік.
Data Mining дегеніміз не?
Деректерді өндіру деп те аталады Дерекқордағы білімді ашу (KDD), жасырын үлгілерді немесе трендтерді табу және олардан мән алу үшін статистикалық және математикалық әдістерді пайдалана отырып, үлкен деректер жиынын талдау үшін жиі қолданылатын әдіс.
Data Mining көмегімен не істеуге болады?
Процесті автоматтандыру арқылы, дерекқорларды шолып, жасырын үлгілерді тиімді аша алады. Кәсіпорындар үшін деректерді іздеу жиі бизнес шешімдерін қабылдауға көмектесу үшін деректердегі үлгілер мен қатынастарды табу үшін қолданылады.
Қолдану мысалдары
1990 жылдары деректерді өндіру кең таралғаннан кейін, бөлшек сауда, қаржы, денсаулық сақтау, көлік, телекоммуникация, электрондық коммерция және т.б. қоса алғанда, кең ауқымдағы компаниялар деректер негізінде ақпарат алу үшін деректерді іздеу әдістерін қолдана бастады. Деректерді іздеу тұтынушыларды сегменттеуге, алаяқтықты анықтауға, сатуды болжауға және т.б. көмектеседі.
- Тұтынушыны сегменттеу
Тұтынушы деректерін талдап, мақсатты тұтынушылардың қасиеттерін анықтай отырып, компаниялар оларды жеке топқа біріктіріп, олардың қажеттіліктерін қанағаттандыратын арнайы ұсыныстарды ұсына алады. - Нарық себетін талдау
Бұл әдістеме, егер сіз белгілі бір өнім тобын сатып алсаңыз, басқа топтағы өнімдерді сатып алу ықтималдығы жоғары деген теорияға негізделген. Бір атақты мысал: әкелер сәбилеріне памперс сатып алғанда, памперстермен бірге сыраны да сатып алуға бейім. - Сатуды болжау
Бұл нарық себет талдауына ұқсас болып көрінуі мүмкін, бірақ бұл жолғы деректерді талдау тұтынушының болашақта өнімді қашан қайта сатып алатынын болжау үшін пайдаланылады. Мысалы, жаттықтырушы 9 айға созылатын протеинді банка сатып алады. Бұл ақуызды сататын дүкен 9 айдан кейін жаңасын шығаруды жоспарлап отыр, сондықтан жаттықтырушы оны қайтадан сатып алады. - Алаяқтықты анықтау
Деректерді өндіру алаяқтықты анықтауға арналған модельдерді құруға көмектеседі. Жалған және шынайы есептердің үлгілерін жинау арқылы бизнеске қандай транзакциялардың күдікті екенін анықтау құқығы беріледі. - Өндірісте үлгіні анықтау
Өңдеу өнеркәсібінде деректерді өңдеу өнім архитектурасы, профилі және тұтынушы қажеттіліктері арасындағы байланысты анықтау арқылы жүйені жобалауға көмектесу үшін қолданылады. Деректерді өндіру сонымен қатар өнімді әзірлеу уақыттары мен шығындарын болжай алады.
Және бұл деректерді өндіруге арналған бірнеше пайдалану жағдайлары ғана.
Мәліметтерді өндіру кезеңдері
Деректерді іздеу - үлгілерді бағалау және, сайып келгенде, мәнді шығару үшін деректерді жинау, таңдау, тазалау, түрлендіру және шығарудың тұтас процесі.
Әдетте, деректерді өңдеудің бүкіл процесін 7 кезеңге жинақтауға болады:
- Деректерді тазалау
Нақты әлемде деректер әрқашан тазартылмайды және құрылымдалмайды. Олар жиі шулы, толық емес және қателер болуы мүмкін. Деректерді іздеу нәтижесінің дәлдігіне көз жеткізу үшін алдымен деректерді тазалау керек. Кейбір тазалау әдістері жетіспейтін мәндерді толтыруды, автоматты және қолмен басқаруды және т.б. қамтиды. - Деректерді біріктіру
Бұл әртүрлі көздерден алынған мәліметтерді алу, біріктіру және біріктіру кезеңі. Дереккөздер мәліметтер базасы, мәтіндік файлдар, электрондық кестелер, құжаттар, көп өлшемді деректер жиыны, Интернет және т.б. - Деректерді іріктеу
Әдетте, деректерді өңдеуде барлық біріктірілген деректер қажет емес. Деректерді іріктеу – бұл үлкен дерекқордан тек пайдалы деректер таңдалатын және шығарылатын кезең. - Деректерді түрлендіру
Деректер таңдалғаннан кейін олар тау-кен өндіруге жарамды пішіндерге түрлендіріледі. Бұл процесс нормалау, жинақтау, жалпылау және т.б. - Деректерді өндіру
Мұнда деректерді өндірудің ең маңызды бөлігі келеді - олардағы үлгілерді табу үшін интеллектуалды әдістерді қолдану. Процесс регрессия, классификация, болжау, кластерлеу, ассоциациялық оқыту және т.б. - Үлгі бойынша бағалау
Бұл қадам ықтимал пайдалы, түсінуге оңай үлгілерді, сондай-ақ гипотезаларды қолдайтын үлгілерді анықтауға бағытталған. - Білімді бейнелеу
Қорытынды кезеңде алынған ақпарат білімді көрсету және визуализация әдістерін қолдану арқылы тартымды түрде беріледі.
Мәліметтерді өндірудің кемшіліктері
- Уақыт пен еңбектің үлкен инвестициясы
Деректерді өндіру ұзақ және күрделі процесс болғандықтан, ол өнімді және білікті адамдардан көп жұмысты талап етеді. Деректерді зерттеушілер қуатты деректерді іздеу құралдарын пайдалана алады, бірақ оларға деректерді дайындау және нәтижелерді түсіну үшін сарапшылар қажет. Нәтижесінде барлық ақпаратты өңдеуге біраз уақыт кетуі мүмкін. - Құпиялылық және деректер қауіпсіздігі
Деректерді өндіру нарықтық әдістер арқылы тұтынушы туралы ақпаратты жинайтындықтан, ол пайдаланушының құпиялылығын бұзуы мүмкін. Сонымен қатар, хакерлер деректерді өңдеу жүйелерінде сақталған деректерді ала алады. Бұл тұтынушы деректерінің қауіпсіздігіне қауіп төндіреді. Ұрланған деректер дұрыс пайдаланылмаса, ол басқаларға оңай зиян келтіруі мүмкін.
Жоғарыда деректерді өндіруге қысқаша кіріспе берілген. Жоғарыда айтып өткенімдей, деректерді өңдеу деректерді алу (деректерді алу) процесін қамтитын деректерді жинау және біріктіру процесін қамтиды. Бұл жағдайда деректерді алу ұзақ деректерді іздеу процесінің бөлігі болуы мүмкін деп айтуға болады.
Деректерді шығару дегеніміз не?
Сондай-ақ, «веб-деректерді іздеу» және «веб-скрепинг» деп те белгілі, бұл процесс деректерді (әдетте құрылымдалмаған немесе нашар құрылымдалған) деректер көздерінен орталықтандырылған орындарға алу және оларды сақтау немесе одан әрі өңдеу үшін бір жерде орталықтандыру әрекеті болып табылады. Атап айтқанда, құрылымдалмаған деректер көздеріне веб-беттер, электрондық пошта, құжаттар, PDF файлдары, сканерленген мәтін, негізгі фрейм есептері, катушкалар, жарнамалар және т.б. кіреді. Орталықтандырылған сақтау жергілікті, бұлтты немесе гибридті болуы мүмкін. Деректерді шығару өңдеуді немесе кейінірек орын алуы мүмкін басқа талдауды қамтымайтынын есте ұстаған жөн.
Деректерді шығару арқылы не істеуге болады?
Негізінен деректерді алу мақсаттары 3 санатқа бөлінеді.
- Мұрағаттау
Деректерді шығару кітаптар, газеттер, шот-фактуралар сияқты физикалық пішімдерден деректерді сақтау немесе сақтық көшірме жасау үшін дерекқорлар сияқты сандық пішімдерге түрлендіруге болады. - Деректер пішімін өзгерту
Деректерді ағымдағы сайттан әзірленіп жатқан жаңасына көшіргіңіз келсе, оны шығарып алу арқылы жеке сайтыңыздан деректерді жинауға болады. - Деректерді талдау
Түсіну үшін алынған деректерді қосымша талдау жиі кездеседі. Бұл деректерді өндіруге ұқсас болып көрінуі мүмкін, бірақ деректерді өндіру оның бөлігі емес, деректерді өндіру мақсаты екенін есте сақтаңыз. Оның үстіне деректер басқаша талданады. Бір мысал: Интернет-дүкен иелері нақты уақытта бәсекелестердің стратегияларын бақылау үшін Amazon сияқты электрондық коммерция сайттарынан өнім туралы ақпаратты алады. Деректерді өндіру сияқты, деректерді алу көптеген артықшылықтарға ие автоматтандырылған процесс. Бұрын адамдар деректерді бір жерден екінші жерге қолмен көшіріп, қоятын, бұл көп уақытты қажет ететін. Деректерді шығару жинауды жылдамдатады және алынған деректердің дәлдігін айтарлықтай жақсартады.
Деректерді шығаруды пайдаланудың кейбір мысалдары
Деректерді өндіруге ұқсас, деректерді өндіру әртүрлі салаларда кеңінен қолданылады. Электрондық коммерциядағы бағаларды бақылаудан басқа, деректерді өңдеу сіздің жеке зерттеулеріңізге, жаңалықтарды біріктіруге, маркетингке, жылжымайтын мүлікке, саяхат пен туризмге, консалтингке, қаржыға және т.б. көмектеседі.
- Қорғасын буыны
Компаниялар каталогтардан деректерді шығара алады: Yelp, Crunchbase, Yellowpages және бизнесті дамытуға мүмкіндіктер жасай алады. Yellowpages қолданбасынан деректерді алу жолын білу үшін төмендегі бейнені көре аласыз . - Мазмұн мен жаңалықтарды біріктіру
Мазмұнды біріктіру веб-сайттары бірнеше көздерден тұрақты деректер ағындарын ала алады және олардың сайттарын жаңартып отырады. - Сезімді талдау
Instagram және Twitter сияқты әлеуметтік желілерден шолуларды, пікірлерді және куәліктерді шығарғаннан кейін мамандар негізгі көзқарастарды талдап, брендтің, өнімнің немесе құбылыстың қалай қабылданатыны туралы түсінікке ие болады.
Деректерді шығару қадамдары
Деректерді шығару – ETL (Extract, Transform, Load: Extract, Transform, Load) және ELT (Extract, Load және Transform) бірінші кезеңі. ETL және ELT өздері толық деректерді біріктіру стратегиясының бөлігі болып табылады. Басқаша айтқанда, деректерді шығару оларды шығарудың бір бөлігі болуы мүмкін.
Шығару, түрлендіру, жүктеу
Деректерді өндіру үлкен көлемдегі деректерден ақпаратты алу туралы болса да, деректерді алу әлдеқайда қысқа және қарапайым процесс. Оны үш кезеңге дейін қысқартуға болады:
- Деректер көзін таңдау
Веб-сайт сияқты деректерді шығарғыңыз келетін көзді таңдаңыз. - Деректер жинау
Сайтқа «GET» сұрауын жіберіңіз және алынған HTML құжатын Python, PHP, R, Ruby және т.б. сияқты бағдарламалау тілдерін пайдаланып талдаңыз. - деректерді сақтау
Деректерді болашақта пайдалану үшін жергілікті дерекқорға немесе бұлттық қоймаға сақтаңыз. Егер сіз деректерді шығарып алғысы келетін тәжірибелі бағдарламашы болсаңыз, жоғарыдағы қадамдар сізге қарапайым болып көрінуі мүмкін. Дегенмен, егер сіз бағдарламашы болмасаңыз, төте жол бар - деректерді өңдеу құралдарын пайдаланыңыз . Деректерді өндіру құралдары сияқты деректерді өндіру құралдары энергияны үнемдеуге және деректерді өңдеуді барлығына жеңілдетуге арналған. Бұл құралдар үнемді ғана емес, сонымен қатар бастаушыға да ыңғайлы. Олар пайдаланушыларға деректерді бірнеше минут ішінде жинауға, оны бұлтта сақтауға және оны көптеген пішімдерге экспорттауға мүмкіндік береді: Excel, CSV, HTML, JSON немесе API арқылы сайттағы дерекқорларға.
Мәліметтерді алудың кемшіліктері
- Сервер апаты
Деректерді үлкен масштабта шығару кезінде мақсатты сайттың веб-сервері шамадан тыс жүктелуі мүмкін, бұл сервердің бұзылуына әкелуі мүмкін. Бұл сайт иесінің мүдделеріне нұқсан келтіреді. - IP арқылы тыйым салу
Адам деректерді тым жиі жинаса, веб-сайттар олардың IP мекенжайын блоктай алады. Ресурс IP мекенжайына толығымен тыйым сала алады немесе деректерді толық емес ету арқылы кіруді шектей алады. Деректерді шығарып алу және бұғаттауды болдырмау үшін оны қалыпты жылдамдықпен орындап, блоктауға қарсы кейбір әдістерді қолдану керек. - Заң мәселелері
Интернеттен деректерді шығару заңдылыққа келгенде сұр аймаққа түседі. Linkedin және Facebook сияқты ірі сайттар пайдалану шарттарында кез келген автоматтандырылған деректерді шығаруға тыйым салынғанын анық көрсетеді. Боттардың әрекетіне байланысты компаниялар арасында көптеген сот процестері болды.
Деректерді өндіру мен деректерді алу арасындағы негізгі айырмашылықтар
- Деректерді өндіруді дерекқорлардағы білімді ашу, білімді алу, деректерді/үлгілерді талдау, ақпарат жинау деп те атайды. Деректерді шығару веб-деректерді шығарумен, веб-беттерді сканерлеумен, деректерді жинаумен және т.б.
- Деректерді іздеу негізінен құрылымдық деректерге негізделген, ал деректерді өңдеу әдетте құрылымдалмаған немесе нашар құрылымдалған көздерден алынады.
- Деректерді өндірудің мақсаты деректерді талдау үшін пайдалырақ ету болып табылады. Деректерді шығару - бұл деректерді сақтауға немесе өңдеуге болатын бір жерге жинау.
- Деректерді өндірудегі талдау үлгілерді немесе трендтерді анықтауға арналған математикалық әдістерге негізделген. Деректерді шығару бағдарламалау тілдеріне немесе дереккөздерді тексеруге арналған деректерді шығару құралдарына негізделген.
- Деректерді өндірудің мақсаты бұрын белгілі болмаған немесе еленбеген фактілерді табу, ал деректерді алу бар ақпаратпен айналысады.
- Деректерді өндіру күрделірек және адамдарды оқытуға үлкен инвестицияны қажет етеді. Деректерді дұрыс құралмен алу өте оңай және үнемді болуы мүмкін.
Біз жаңадан бастаушыларға деректерде шатастырмауға көмектесеміз. Біз әсіресе Хабра тұрғындары үшін жарнамалық код жасадық HABR, баннерде көрсетілген жеңілдікке қосымша 10% жеңілдік беру.
Қосымша курстар
Таңдаулы мақалалар
Ақпарат көзі: www.habr.com