14 проекта с отворен код за подобряване на уменията за Data Science (лесно, нормално, трудно)

Наука за данни за начинаещи

1. Анализ на настроението (анализ на настроението чрез текст)

Вижте пълното изпълнение на проекта Data Science с помощта на изходния код − Проект за анализ на настроението в R.

Анализът на настроенията е анализ на думи за идентифициране на настроения и мнения, които могат да бъдат положителни или отрицателни. Това е вид класификация, при която класовете могат да бъдат двоични (положителни и отрицателни) или множествени (щастливи, ядосани, тъжни, гадни...). Ние ще реализираме този проект Data Science в R и ще използваме набора от данни в пакета „janeaustenR“. Ще използваме речници с общо предназначение като AFINN, bing и loughran, ще направим вътрешно присъединяване и накрая ще създадем облак от думи, за да покажем резултата.

Език: R
Набор от данни/Пакет: janeoustenR

Статията е преведена с подкрепата на EDISON Software, която прави виртуални пробни за мултибрандови магазиниИ тестове софтуер.

2. Откриване на фалшиви новини

Издигнете уменията си на следващото ниво, като работите по Data Science Project за начинаещи − откриване на фалшиви новини с Python.

Фалшивите новини са невярна информация, разпространявана чрез социални медии и други онлайн медии с цел постигане на политически цели. В тази идея за проект Data Science ние ще използваме Python, за да изградим модел, който може точно да определи дали новините са истински или фалшиви. Ще създадем TfidfVectorizer и ще използваме PassiveAggressiveClassifier, за да класифицираме новините на „истински“ и „фалшиви“. Ще използваме набор от данни с форма 7796×4 и ще направим всичко в Jupyter Lab.

Език: Питон

Набор от данни/Пакет: новини.csv

3. Откриване на болестта на Паркинсон

Продължете напред, като работите върху идеята за проект Data Science − откриване на болестта на Паркинсон с XGBoost.

Започнахме да използваме Data Science, за да подобрим здравеопазването и услугите - ако можем да предвидим болестта на ранен етап, тогава ще имаме много предимства. И така, в тази идея за проект Data Science ще научим как да откриваме болестта на Паркинсон с помощта на Python. Това е невродегенеративно, прогресивно заболяване на централната нервна система, което засяга движението и причинява треперене и скованост. Той засяга произвеждащите допамин неврони в мозъка и всяка година засяга над 1 милион души в Индия.

Език: Питон

Набор от данни/Пакет: UCI ML Набор от данни за Паркинсон

Data Science проекти със средна сложност

4. Разпознаване на емоционална реч

Вижте пълното изпълнение на примерния проект за Data Science − разпознаване на реч с Librosa.

Нека сега научим как да използваме различни библиотеки. Този проект Data Science използва librosa за разпознаване на реч. SER е процес на идентифициране на човешки емоции и афективни състояния от речта. Тъй като използваме тон и височина, за да изразим емоции с гласа си, SER е подходящ. Но тъй като емоциите са субективни, аудио анотацията е трудна задача. Ще използваме функциите mfcc, chroma и mel и ще използваме набора от данни RAVDESS за разпознаване на емоции. Ще създадем MLPC класификатор за този модел.

Език: Питон

Набор от данни/Пакет: Набор от данни RAVDESS

5. Откриване на пол и възраст

Впечатлете работодателите с най-новия проект Data Science - откриване на пол и възраст с OpenCV.

Това е интересна Data Science с Python. Използвайки само едно изображение, ще научите как да предскажете пола и възрастта на човек. В това ще ви запознаем с компютърното зрение и неговите принципи. Ще строим конволюционна невронна мрежа и ще използва модели, обучени от Tal Hassner и Gil Levy върху набора от данни на Adience. Ще използваме някои файлове .pb, .pbtxt, .prototxt и .caffemodel по пътя.

Език: Питон

Набор от данни/Пакет: Адиенс

6. Анализ на данни на Uber

Вижте пълното изпълнение на проекта Data Science с изходния код − Проект за анализ на данни на Uber в R.

Това е проект за визуализация на данни с ggplot2, в който ще използваме R и неговите библиотеки и ще анализираме различни параметри. Ще използваме набора от данни на Uber Pickups New York и ще създадем визуализации за различни времеви рамки от годината. Това ни казва как времето влияе върху пътуванията на клиентите.

Език: R

Набор от данни/Пакет: Набор от данни за пикапи на Uber в Ню Йорк

7. Откриване на сънливост на водача

Надградете уменията си, като работите по проекта Top Data Science - система за откриване на сънливост с OpenCV & Keras.

Шофирането в сън е изключително опасно, с около хиляда произшествия всяка година поради заспиване на шофьори по време на шофиране. В този проект на Python ще изградим система, която може да открива сънливи драйвери и също така да ги предупреждава със звуков сигнал.

Този проект е реализиран с помощта на Keras и OpenCV. Ще използваме OpenCV за откриване на лицето и очите и с помощта на Keras ще класифицираме състоянието на окото (отворено или затворено) с помощта на дълбоки невронни мрежови методи.

8. Чатбот

Създайте чатбот с Python и направете крачка напред в кариерата си - Чатбот с NLTK и Keras.

Чатботовете са неразделна част от бизнеса. Много фирми трябва да предлагат услуги на своите клиенти и отнема много работна ръка, време и усилия, за да ги обслужват. Чатботовете могат да автоматизират голяма част от взаимодействието с клиентите, като отговарят на някои от често срещаните въпроси, които клиентите задават. Основно има два вида чатботове: специфични за домейн и отворени домейни. Чатбот, специфичен за домейн, често се използва за решаване на конкретен проблем. Следователно трябва да го персонализирате, за да работи ефективно във вашата област. На чатботовете с отворен домейн могат да се задават всякакви въпроси, така че обучението им изисква огромно количество данни.

Набор от данни: json файл

Език: Питон

Разширени проекти в областта на науката за данните

9. Генератор на надписи на изображения

Вижте пълното изпълнение на проекта с изходния код − Генератор на надписи на изображения с CNN и LSTM.

Описването на това, което има в изображението, е лесна задача за хората, но за компютрите изображението е просто колекция от числа, които представляват цветовата стойност на всеки пиксел. Това е трудна задача за компютрите. Разбирането на това, което има в изображението и след това създаването на описание на естествен език (напр. английски) е друга трудна задача. Този проект използва техники за дълбоко обучение, при които внедряваме конволюционна невронна мрежа (CNN) с повтаряща се невронна мрежа (LSTM), за да създадем генератор на описание на изображение.

Набор от данни: Flickr 8K

Език: Питон

Рамка: Keras

10. Откриване на измами с кредитни карти

Дайте най-доброто от себе си, като работите върху проектна идея за Data Science − откриване на измами с кредитни карти с машинно обучение.

Вече сте започнали да разбирате методите и концепциите. Нека да преминем към някои напреднали проекти за наука за данни. В този проект ще използваме езика R с алгоритми като дървета на решенията, логистична регресия, изкуствени невронни мрежи и класификатор за повишаване на градиента. Ще използваме набора от данни за транзакции с карти, за да класифицираме транзакциите с кредитни карти като измамни и истински. Ще изберем различни модели за тях и ще изградим криви на производителност.

Език: R

Набор от данни/Пакет: Набор от данни за картови транзакции

11. Система за препоръчване на филми

Разгледайте изпълнението на най-добрия проект за наука за данни с изходен код - Система за препоръчване на филми в R

В този проект за Data Science ще използваме R, за да изпълним препоръките на филма чрез машинно обучение. Системата за препоръки изпраща предложения до потребителите чрез процес на филтриране въз основа на предпочитанията на другите потребители и историята на сърфиране. Ако А и Б харесват „Сам вкъщи“, а Б харесва „Зли момичета“, тогава можете да предложите А – може и на тях да им хареса. Това позволява на клиентите да взаимодействат с платформата.

Език: R

Набор от данни/Пакет: Набор от данни MovieLens

12. Сегментиране на клиентите

Впечатлете работодателите с проект за Data Science (включително изходен код) - Сегментиране на клиенти с машинно обучение.

Сегментирането на купувачите е популярно приложение обучение без надзор. Използвайки групиране, компаниите дефинират клиентски сегменти, за да работят с потенциална потребителска база. Те разделят клиентите на групи според общи характеристики като пол, възраст, интереси и навици на харчене, така че да могат ефективно да предлагат своите продукти на всяка група. Ще използваме K-означава групиране, както и визуализира разпределението по пол и възраст. След това анализираме техните годишни приходи и нива на разходи.

Език: R

Набор от данни/Пакет: Набор от данни Mall_Customers

13. Класификация на рака на гърдата

Вижте пълното изпълнение на проекта Data Science в Python − Класификация на рака на гърдата чрез задълбочено обучение.

Връщайки се към медицинския принос на науката за данни, нека научим как да откриваме рак на гърдата с Python. Ще използваме набора от данни IDC_regular за откриване на инвазивен дуктален карцином, най-честата форма на рак на гърдата. Развива се в млечните канали, прониквайки във фиброзната или мастната тъкан на млечната жлеза извън канала. В тази идея за научен проект за събиране на данни, която ще използваме Дълбоко обучение и библиотеката Keras за класификация.

Език: Питон

Набор от данни/Пакет: IDC_редовен

14. Разпознаване на пътни знаци

Постигане на прецизност в технологията за самоуправляващи се автомобили с проект Data Science разпознаване на пътни знаци с помощта на CNN отворен код.

Пътните знаци и правилата за движение са много важни за всеки шофьор, за да избегне инциденти. За да следвате правилото, първо трябва да разберете как изглежда пътният знак. Човек трябва да научи всички пътни знаци, преди да получи право да управлява превозно средство. Но сега броят на автономните превозни средства нараства и в близко бъдеще човек вече няма да управлява кола сам. В проекта за разпознаване на пътни знаци ще научите как програма може да разпознае тип пътен знак, като вземе изображение като вход. Германският референтен набор от данни за разпознаване на пътни знаци (GTSRB) се използва за изграждане на дълбока невронна мрежа за разпознаване на класа, към който принадлежи даден пътен знак. Ние също така създаваме прост GUI за взаимодействие с приложението.

Език: Питон

Набор от данни: GTRB (Немски тест за разпознаване на пътни знаци)

Прочетете още

• 52 набора от данни за проекти за обучение
• Front-end dojo: проекти за обучение на умения за разработчици (5 нови + 43 стари)
• Топ 12 на най-интересните ИТ динамични инфографики

Източник: www.habr.com