14 open-source проекта за усъвършенстване на уменията в Data Science (лесен, нормален, труден)

Data Science за начинаещи

1. Анализ на настроенията (Sentiment Analysis)

Вижте пълната реализация на проекта Data Science с използване на изходния код — Проект по анализ на настроенията в R.

Анализът на настроенията е анализ на думите за определяне на настроения и мнения, които могат да са положителни или отрицателни. Това е вид класификация, при която класовете могат да бъдат бинарни (положителни и отрицателни) или множествени (щастливи, ядосани, тъжни, отвратителни …). Ние ще реализираме този проект по Data Science на езика R и ще използваме набор от данни от пакета „janeaustenR“. Ще използваме общи речници, като AFINN, bing и loughran, ще правим вътрешно свързване, и накрая ще създадем облак от думи, за да покажем резултата.

Език: R
Набор от данни/Пакет: janeaustenR

Статията е преведена с подкрепата на компания EDISON Software, която прави виртуални примерочни за многобрандови магазини, а също така тества софтуер.

2. Обнаружение на фалшиви новини (Fake News Detection)

Повишете уменията си на ново ниво, работейки по проект по Data Science за начинаещи — обнаружение на фалшиви новини с Python.

Фалшивите новини представляват неверна информация, разпространявана чрез социални мрежи и други онлайн медии с политически цели. В тази идея за проект по Data Science ще използваме Python, за да изградим модел, който точно може да определи дали новината е истинска или фалшива. Ще създадем TfidfVectorizer и ще използваме PassiveAggressiveClassifier за класификация на новините на „истински“ и „фалшиви“. Ще използваме набор от данни с размер 7796 × 4 и ще извършваме всичко това в Jupyter Lab.

Език: Python

Набор от данни/Пакет: news.csv

3. Обнаружение на болестта на Паркинсон (Detecting Parkinson’s Disease)

Направете крачка напред, работейки по идеята за проект по Data Science — откриване на болестта на Паркинсон с XGBoost.

Започнахме да използваме Data Science за подобряване на здравеопазването и услугите - ако можем да предскажем заболяване в ранна степен, това ще ни донесе много предимства. Така че, в тази идея за проект по Data Science ще научим как да откриваме болестта на Паркинсон с помощта на Python. Това е невродегенеративно, прогресиращо заболяване на централната нервна система, което влияе на движението и предизвиква тремор и скованост. То влияе на дофаминовите неврони в мозъка, и всяка година, това засяга над 1 милион души в Индия.

Език: Python

Набор от данни/Пакет: UCI ML Parkinsons dataset

Проекти по Data Science със средна сложност

4. Разпознаване на емоции от реч (Speech Emotion Recognition)

Запознайте се с пълната реализация на примерен проект по Data Science - разпознаване на реч с помощта на Librosa.

Сега да научим как да използваме различни библиотеки. Този проект по Data Science използва librosa за разпознаване на реч. SER е процес на определяне на човешките емоции и афективни състояния по реч. Тъй като използваме тон и височина на тона, за да изразим емоции чрез гласа, SER е важен. Но тъй като емоциите са субективни, анотиране на звука е сложна задача. Ще използваме функции mfcc, chroma и mel и ще използваме набора от данни RAVDESS за разпознаване на емоции. Ще създадем MLPC-класификатор за тази модел.

Език: Python

Набор от данни/Пакет: RAVDESS dataset

5. Обнаружаване на пол и възраст (Gender and Age Detection)

Впечатлете работодателите с най-новия проект по Data Science - определяне на пол и възраст с помощта на OpenCV.

Това е интересен проект по Data Science с Python. Използвайки само една снимка, ще научите как да предсказвате пола и възрастта на човек. В него ще ви запознаем с компютърното зрение и неговите принципи. Ще изградим конволюционна невронна мрежа и ще използваме модели, обучени от Тал Хаснър и Жил Леви за набора от данни Adience. По пътя ще използваме някои файлове .pb, .pbtxt, .prototxt и .caffemodel.

Език: Python

Набор от данни/Пакет: Adience

6. Анализ на данни на Uber (Uber Data Analysis)

Вижте пълната реализация на проекта по Data Science с изходен код - Проект за анализ на данни на Uber в R.

Това е проект за визуализация на данни с ggplot2, в който ще използваме R и неговите библиотеки и ще анализираме различни параметри. Ще използваме набора от данни на Uber Pickups в Ню Йорк и ще създадем визуализации за различни периоди от годината. Това ни показва как времето влияе на клиентските пътувания.

Език: R

Набор от данни/Пакет: Uber Pickups in New York City dataset

7. Обнаружаване на сънливост при шофьора

Подобрете уменията си, работейки по най-добрия проект в Data Science — система за откриване на сънливост с OpenCV & Keras.

Сънното шофиране е изключително опасно и всяка година се случват около хиляда инцидента, причинени от заспиването на шофьори по време на шофиране. В този проект на Python ще създадем система, която може да открива сънливи шофьори и да ги уведоми със звуков сигнал.

Този проект е реализиран с помощта на Keras и OpenCV. Ще използваме OpenCV за откриване на лице и очи, а с Keras ще класифицираме състоянието на окото (отворено или затворено) с помощта на методи за дълбочинно обучение.

8. Чат-бот

Създайте чат-бот с Python и направете крачка напред в кариерата си — Чат-бот с NLTK & Keras.

Чат-ботовете са неотменима част от бизнеса. Много предприятия предлагат услуги на клиентите си и за тяхното обслужване е необходимо много работна сила, време и усилия. Чат-ботовете могат да автоматизират голяма част от взаимодействието с клиентите, отговаряйки на някои често задавани въпроси от клиентите. Основно съществуват два типа чат-ботове: специфични за домейн и отворени домейни. Специфичните за домейн чат-ботове често се използват за решаване на конкретни проблеми. Следователно, трябва да ги конфигурирате за ефективна работа във вашата сфера. Чат-ботовете от отворен домейн могат да бъдат питани за всякакви въпроси, така че за тяхното обучение е необходимо огромно количество данни.

Набор от данни: Intents json файл

Език: Python

Напреднали проекти в Data Science

9. Генератор на описания на изображения

Проверете пълната реализация на проекта с изходен код — Генератор на описания на изображения с CNN & LSTM.

Описването на това, което има на изображението, е лесна задача за хората, но за компютрите изображението е просто набор от числа, представляващи стойността на цвета на всеки пиксел. Това е трудна задача за компютрите. Разбирането на съдържанието на изображението и след това създаването на описание на естествен език (например на английски) представлява друга трудна задача. Този проект използва методи за дълбочинно учене, в които реализираме конволюционна невронна мрежа (CNN) заедно с рекуррентна невронна мрежа (LSTM) за генериране на описание на изображението.

Набор от данни: Flickr 8K

Език: Python

Фреймворк: Keras

10. Откриване на измами с кредитни карти

Направете всичко възможно, работейки по идея за проект в Data Science — откриване на измами с кредитни карти с помощта на машинно обучение.

До момента вие започнете да разбирате методите и концепциите. Нека преминем към някои напреднали проекти в областта на науката за данни. В този проект ще използваме езика R с алгоритми като дървета на решенията, логистична регресия, изкуствени невронни мрежи и класификатор на градиентно бустиране. Ще използваме набор от данни за операции с карти, за да класифицираме транзакции по кредитни карти като измамни и автентични. Ще изберем за тях различни модели и ще изградим криви на производителността.

Език: R

Набор от данни/Пакет: Набор от данни за транзакции с карти

11. Система за препоръки на филми

Изучете реализирането на най-добрия проект в Data Science с изходен код — Система за препоръки на филми на езика R

В този проект в областта на Data Science ще използваме R, за да направим препоръки за филми чрез машинно обучение. Системата за препоръки предлага предложения на потребителите, основани на предпочитанията на другите потребители и историята на гледанията. Ако A и B харесват Сам вкъщи, а B обича Mean Girls, може да предложим на A — че и на него може да му хареса. Това позволява на клиентите да взаимодействат с платформа.

Език: R

Набор от данни/Пакет: Набор от данни MovieLens

12. Сегментация на клиенти

Изпъкнете пред работодателите с проект в Data Science (включително изходен код) — Сегментация на клиенти чрез машинно обучение.

Сегментацията на клиентите е популярно приложение на неконтролирано обучение.Използвайки клъстеризация, компаниите определят сегменти от клиенти, за да работят с потенциални потребители. Те разделят клиентите на групи в зависимост от общи характеристики, като пол, възраст, интереси и навици на разходване, за да могат да продават продукцията си на всяка група. Ние ще използваме K-средни клъстери, а също така ще визуализираме разпределението по пол и възраст. След това ще анализираме техните годишни доходи и разходи.

Език: R

Набор от данни/Пакет: Набор от данни Mall_Customers

13. Класификация на рак на гърдата

Вижте пълната реализация на проекта Data Science в Python — Класификация на рака на гърдата с помощта на дълбоко обучение.

Връщайки се към медицинския принос на науката за данните, нека научим как да откриваме рак на гърдата с помощта на Python. Ще използваме набора от данни IDC_regular за откриване на инвазивен карцином на млечен канал, най-разпространената форма на рак на гърдата. Той се развива в млечните канали, проникавайки в влакнестата или мазна тъкан на гърдата извън канала. В тази идея за научен проект за събиране на данни ще използваме Дълбоко обучение и библиотеката Keras за класификация.

Език: Python

Набор от данни/Пакет: IDC_regular

14. Разпознаване на пътни знаци

Достигане на точност в технологията за автономно управление на превозни средства с проект Data Science за разпознаване на пътни знаци с помощта на CNN с открит код.

Пътните знаци и правилата за движение са много важни за всеки шофьор, за да избегнат инциденти. За да спазва правилото, първо трябва да разбере как изглежда пътният знак. Човек трябва да запомни всички пътни знаци, преди да получи разрешение за управление на всяко превозно средство. Но в момента броят на автономните превозни средства нараства и в близко бъдеще човек вече няма да управлява колата сам. В проекта „Разпознаване на пътни знаци“ ще научите как програмата може да разпознае типа на пътните знаци, приемащи изображение като входен сигнал. Наборът от данни за разпознаване на пътни знаци в Германия (GTSRB) се използва за построяване на дълбока невронна мрежа за разпознаване на класа, към който принадлежи пътният знак. Създаваме и прост графичен интерфейс за взаимодействие с приложението.

Език: Python

Набор от данни: GTSRB (Немска референтна база за разпознаване на пътни знаци)

Четете още

• 52 набора от данни за тренировъчни проекти
• Front-end додзё: проекти за подобряване на уменията на разработчика (5 нови + 43 стари)
• Топ-12 най-интересни динамични инфографики в ИТ сферата

Източник: habr.com