14 проекти со отворен код за подобрување на вашите вештини за наука за податоци (лесни, нормални, тешки)

Наука за податоци за почетници

1. Анализа на чувствата (Анализа на чувства преку текст)

Проверете ја целосната имплементација на проектот Data Science користејќи изворен код − Проект за анализа на чувствата во Р.

Анализата на чувствата е анализа на зборови за да се утврдат чувствата и мислењата, кои можат да бидат позитивни или негативни. Ова е тип на класификација во која класите можат да бидат бинарни (позитивни и негативни) или множина (среќни, лути, тажни, гадни...). Ќе го имплементираме овој проект на Data Science во R и ќе ја користиме базата на податоци во пакетот „janeaustenR“. Ќе користиме речници за општа намена како што се AFINN, bing и loughran, ќе извршиме внатрешно спојување и на крајот ќе создадеме облак со зборови за да го прикажеме резултатот.

Јазик: R
Збир на податоци/пакет: JanaustenR

Статијата е преведена со поддршка на софтверот EDISON, кој прави виртуелни фитинг простории за продавници со повеќе брендовиИ го тестира софтверот.

2. Откривање на лажни вести

Однесете ги вашите вештини на следното ниво работејќи на проект за наука за податоци за почетници - откривање лажни вести со Python.

Лажните вести се лажни информации што се шират преку социјалните медиуми и други онлајн медиуми за да се постигнат политички цели. Во оваа идеја за проект на Data Science, ќе го користиме Python за да изградиме модел кој може точно да одреди дали веста е вистинска или лажна. Ќе создадеме TfidfVetorizer и ќе користиме PassiveAggressiveClassifier за да ги класифицираме вестите на „вистински“ и „лажни“. Ќе користиме база на податоци од обликот 7796×4 и ќе извршиме сè во Jupyter Lab.

Јазик: Пајтон

Збир на податоци/пакет: вести.csv

3. Откривање на Паркинсонова болест

Одете напред со вашата идеја за проект за наука за податоци - откривање на Паркинсонова болест со помош на XGBoost.

Почнавме да користиме Data Science за подобрување на здравствената заштита и услугите - ако можеме да предвидиме болест во рана фаза, тогаш ќе имаме многу предности. Така, во оваа идеја за проект на Data Science, ќе научиме како да ја откриеме Паркинсоновата болест користејќи Python. Тоа е невродегенеративно, прогресивно заболување на централниот нервен систем кое влијае на движењето и предизвикува тремор и вкочанетост. Тоа влијае на невроните кои произведуваат допамин во мозокот, а секоја година влијае на повеќе од 1 милион луѓе во Индија.

Јазик: Пајтон

Збир на податоци/пакет: UCI ML Паркинсонови податоци

Проекти на Data Science со средна сложеност

4. Препознавање на говорни емоции

Проверете ја целосната имплементација на проектот за пример на Data Science − препознавање говор со помош на Librosa.

Ајде сега да научиме како да користиме различни библиотеки. Овој проект на Data Science користи либроза за препознавање говор. SER е процес на идентификување на човечките емоции и афективните состојби од говорот. Бидејќи користиме тон и тон за да изразиме емоции со нашите гласови, SER е релевантен. Но, бидејќи емоциите се субјективни, аудио прибелешката е предизвикувачка задача. Ќе ги користиме функциите mfcc, chroma и mel и ќе ја користиме базата на податоци RAVDESS за препознавање емоции. Ќе создадеме MLPC класификатор за овој модел.

Јазик: Пајтон

Збир на податоци/пакет: Дата на податоци RAVDESS

5. Откривање на пол и возраст

Импресионирајте ги работодавците со најновиот проект за Data Science - одредување пол и возраст користејќи OpenCV.

Ова е интересна наука за податоци со Python. Користејќи само една слика, ќе научите да го предвидите полот и возраста на една личност. Во ова ќе ве запознаеме со Computer Vision и неговите принципи. Ќе градиме конволутивна невронска мрежа и ќе користи модели обучени од Тал Хаснер и Гил Леви за базата на податоци Adience. Попатно ќе користиме некои датотеки .pb, .pbtxt, .prototxt и .caffemodel.

Јазик: Пајтон

Збир на податоци/пакет: Адиенс

6. Анализа на податоци на Uber

Проверете ја целосната имплементација на проектот Data Science со изворниот код − Проект за анализа на податоци на Uber во Р.

Ова е проект за визуелизација на податоци со ggplot2 во кој ќе користиме R и неговите библиотеки и ќе анализираме различни параметри. Ќе ја користиме базата на податоци на Uber Pickups во Њујорк и ќе создаваме визуелизации за различни временски рамки од годината. Ова ни кажува како времето влијае на патувањето на клиентите.

Јазик: R

Збир на податоци/пакет: Uber Pickups во базата на податоци во Њујорк

7. Откривање на поспаност на возачот

Подобрете ги вашите вештини работејќи на проектот за Top Data Science - систем за откривање поспаност со OpenCV & Keras.

Поспаното возење е крајно опасно, а секоја година се случуваат речиси илјада несреќи поради заспивање на возачите додека возат. Во овој проект на Python, ќе создадеме систем кој може да открие драјвери за поспаност и исто така да ги предупреди со аудио сигнал.

Овој проект се спроведува со користење на Keras и OpenCV. Ќе користиме OpenCV за откривање на лице и очи и со Keras ќе ја класифицираме состојбата на очите (отворено или затворено) користејќи техники на длабока невронска мрежа.

8. Четбот

Создадете четбот со Python и направете чекор напред во вашата кариера - Четбот со NLTK и Keras.

Четботите се составен дел од бизнисот. Многу бизниси треба да им понудат услуги на своите клиенти и потребно е многу работна сила, време и напор за да се опслужат. Chatbots може да автоматизираат голем дел од вашата интеракција со клиентите со одговарање на некои вообичаени прашања што ги поставуваат клиентите. Во основа постојат два вида чет-ботови: специфични за домен и отворен домен. За да се реши одреден проблем често се користи чет-бот специфичен домен. Значи, треба да го приспособите за да работи ефективно во вашата област. На чет-ботови со отворен домен може да им се постават какви било прашања, така што нивната обука бара огромна количина на податоци.

Збир на податоци: Intents json-датотека

Јазик: Пајтон

Напредни проекти за наука за податоци

9. Генератор на наслови на слики

Проверете ја целосната имплементација на проектот со изворниот код − Генератор на титлови на слики со CNN и LSTM.

Опишувањето на она што е на сликата е лесна задача за луѓето, но за компјутерите, сликата е едноставно серија од броеви кои ја претставуваат вредноста на бојата на секој пиксел. Ова е тешка задача за компјутерите. Разбирањето на она што е на сликата и потоа креирањето опис на природен јазик (како што е англискиот) е уште една тешка задача. Овој проект користи техники за длабоко учење во кои имплементираме Конволуциона невронска мрежа (CNN) со рекурентна невронска мрежа (LSTM) за да создадеме генератор за опис на слики.

Збир на податоци: Фликр 8К

Јазик: Пајтон

Рамка: Керас

10. Откривање измами со кредитни картички

Потрудете се додека работите на вашата проектна идеја за Data Science − откривање измами со кредитни картички користејќи машинско учење.

До сега сте почнале да ги разбирате техниките и концептите. Ајде да продолжиме со некои напредни проекти за наука за податоци. Во овој проект ќе користиме јазик R со алгоритми како дрва за одлучување, логистичка регресија, вештачки невронски мрежи и класификатор за засилување на градиент. Ќе користиме сет на трансакции со картички за да ги класифицираме трансакциите со кредитни картички како лажни или вистински. Ќе избереме различни модели за нив и ќе изградиме криви на перформанси.

Јазик: R

Збир на податоци/пакет: База на податоци за трансакции со картички

11. Систем за препораки за филмови

Проучете ја имплементацијата на најдобриот проект за Data Science со изворен код - Систем за препораки за филмови на Р јазик

Во овој проект на Data Science, ќе го користиме R за да ги имплементираме препораките од филмот преку машинско учење. Системот за препораки испраќа предлози до корисниците преку процес на филтрирање врз основа на преференциите на другите корисници и историјата на прелистување. Ако на А и Б им се допаѓаат сам дома, а на Б ги сакаат Mean Girls, тогаш можете да го предложите А - можеби и ним ќе им се допадне. Ова им овозможува на клиентите да комуницираат со платформата.

Јазик: R

Збир на податоци/пакет: Дата на податоци на MovieLens

12. Сегментација на клиенти

Импресионирајте ги работодавците со проект за Data Science (вклучувајќи изворен код) - Сегментација на клиентите со користење на машинско учење.

Сегментацијата на купувачот е популарна апликација учење без надзор. Користејќи кластерирање, компаниите ги идентификуваат сегментите на клиентите за да таргетираат потенцијална база на корисници. Тие ги делат клиентите во групи според заеднички карактеристики како што се пол, возраст, интереси и навики за трошење за да можат ефективно да ги пласираат своите производи за секоја група. Ние ќе користиме К-значи групирање, како и визуелизирајте ја дистрибуцијата по пол и возраст. Потоа ќе ги анализираме нивните годишни нивоа на приходи и расходи.

Јазик: R

Збир на податоци/пакет: Збирка на податоци за Mall_Customers

13. Класификација на рак на дојка

Проверете ја целосната имплементација на проект за Data Science во Python − Класификација на рак на дојка со помош на длабоко учење.

Враќајќи се на медицинскиот придонес на науката за податоци, ајде да научиме како да откриеме рак на дојка со помош на Python. Ќе ја користиме базата на податоци IDC_regular за да го идентификуваме инвазивниот дуктален карцином, најчестиот облик на рак на дојка. Се развива во млечните канали, навлегувајќи во фиброзното или масното ткиво на дојката надвор од каналот. Во овој научен проект за собирање податоци ќе ја искористиме идејата Длабоко учење и библиотеката Керас за класификација.

Јазик: Пајтон

Збир на податоци/пакет: IDC_regular

14. Препознавање сообраќајни знаци

Постигнување прецизност во технологијата за самоуправување со проектот Data Science препознавање сообраќајни знаци со помош на CNN отворен извор.

Сообраќајните знаци и сообраќајните правила се многу важни за секој возач да избегне сообраќајни несреќи. За да го следите правилото, прво треба да разберете како изгледа патниот знак. Едно лице мора да ги научи сите сообраќајни знаци пред да му се даде дозвола за управување со кое било возило. Но, сега бројот на автономни возила расте, а во блиска иднина едно лице повеќе нема да вози автомобил самостојно. Во проектот Препознавање патни знаци, ќе научите како програмата може да го препознае типот на патните знаци со преземање слика како влез. Германската база на податоци за репер за препознавање сообраќајни знаци (GTSRB) се користи за изградба на длабока невронска мрежа за препознавање на класата на која припаѓа сообраќајниот знак. Исто така, креираме едноставен GUI за интеракција со апликацијата.

Јазик: Пајтон

Збир на податоци: GTSRB (Германски репер за препознавање сообраќајни знаци)

Прочитај повеќе

• 52 збирки на податоци за проекти за обука
• Преден доџо: проекти за обука на вештини за развивачи (5 нови + 43 стари)
• Топ 12 најинтересни ИТ динамични инфографици

Извор: www.habr.com