{"id":54058,"date":"2019-12-17T00:00:00","date_gmt":"2019-12-16T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/14-open-source-proektov-dlya-prokachki-data-science-masterstva-easy-normal-hard"},"modified":"2020-02-18T14:02:02","modified_gmt":"2020-02-18T11:02:02","slug":"14-open-source-proektov-dlya-prokachki-data-science-masterstva-easy-normal-hard","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/news\/14-open-source-proektov-dlya-prokachki-data-science-masterstva-easy-normal-hard","title":{"rendered":"14 projekt\u00f3w open-source, aby rozwija\u0107 umiej\u0119tno\u015bci w Data Science (\u0142atwe, normalne, trudne)","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Data Science dla pocz\u0105tkuj\u0105cych<\/i><\/p>\n

1. Analiza Nastroj\u00f3w (Analiza sentymentu poprzez tekst)<\/h3>\n

\n\"14
\n
\nZobacz pe\u0142n\u0105 realizacj\u0119 projektu Data Science z u\u017cyciem kodu \u017ar\u00f3d\u0142owego \u2014 Projekt Analizy Nastroj\u00f3w w R<\/a><\/noindex>.<\/p>\n

Analiza sentimentu \u2014 to analiza s\u0142\u00f3w w celu okre\u015blenia nastroj\u00f3w i opinii, kt\u00f3re mog\u0105 by\u0107 pozytywne lub negatywne. Jest to typ klasyfikacji, w kt\u00f3rym klasy mog\u0105 by\u0107 binarne (pozytywne i negatywne) lub wielokrotne (szcz\u0119\u015bliwe, z\u0142e, smutne, nieprzyjemne \u2026). Realizujemy ten projekt Data Science w j\u0119zyku R i u\u017cyjemy zestawu danych z pakietu \u201ejaneaustenR\u201d. Zastosujemy s\u0142owniki og\u00f3lnego przeznaczenia, takie jak AFINN, bing i loughran, przeprowadzimy wewn\u0119trzne po\u0142\u0105czenie, a na ko\u0144cu stworzymy chmur\u0119 s\u0142\u00f3w, aby przedstawi\u0107 wynik.<\/p>\n

J\u0119zyk:<\/b> R
\nZbi\u00f3r danych\/Pakiet:<\/b> janeaustenR
\n<\/a><\/noindex><\/p>\n

\"14<\/a><\/noindex>

\nArtyku\u0142 zosta\u0142 przet\u0142umaczony przy wsparciu firmy EDISON Software, kt\u00f3ra tworzy wirtualne przymierzalnie dla sklep\u00f3w multibrandowych<\/a><\/noindex>, a tak\u017ce testuje oprogramowanie<\/a><\/noindex>.<\/p><\/blockquote>\n

2. Wykrywanie Fa\u0142szywych Wiadomo\u015bci (Detection of Fake News)<\/h3>\n

\nPodnie\u015b swoje umiej\u0119tno\u015bci na nowy poziom, pracuj\u0105c nad projektem Data Science dla pocz\u0105tkuj\u0105cych \u2014 wykrywanie fa\u0142szywych wiadomo\u015bci z u\u017cyciem Pythona<\/a><\/noindex>.<\/p>\n

\"14
\n
\nFa\u0142szywe wiadomo\u015bci to nieprawdziwe informacje rozpowszechniane za po\u015brednictwem medi\u00f3w spo\u0142eczno\u015bciowych i innych medi\u00f3w informacyjnych w celach politycznych. W tym pomy\u015ble projektu Data Science u\u017cyjemy Pythona do budowy modelu, kt\u00f3ry b\u0119dzie w stanie dok\u0142adnie okre\u015bli\u0107, czy wiadomo\u015b\u0107 jest prawdziwa czy fa\u0142szywa. Stworzymy TfidfVectorizer i u\u017cyjemy PassiveAggressiveClassifier do klasyfikacji wiadomo\u015bci na \u201eprawdziwe\u201d i \u201efa\u0142szywe\u201d. U\u017cyjemy zbioru danych o rozmiarze 7796 \u00d7 4 i wszystko zrealizujemy w Jupyter Lab.<\/p>\n

J\u0119zyk:<\/b> Python<\/p>\n

Zbi\u00f3r danych\/Pakiet:<\/b> news.csv<\/p>\n

3. Wykrywanie Choroby Parkinsona (Detecting Parkinson\u2019s Disease)<\/h3>\n

\nPost\u0119puj dalej, pracuj\u0105c nad pomys\u0142em projektu Data Science \u2014 wykrywanie choroby Parkinsona z u\u017cyciem XGBoost<\/a><\/noindex>.<\/p>\n

\"14
\n
\nZacz\u0119li\u015bmy u\u017cywa\u0107 Data Science, aby poprawi\u0107 opiek\u0119 zdrowotn\u0105 i us\u0142ugi \u2014 je\u015bli mo\u017cemy przewidzie\u0107 chorob\u0119 we wczesnym stadium, zyskamy wiele korzy\u015bci. Tak wi\u0119c, w tej idei projektu Data Science nauczymy si\u0119 wykrywa\u0107 chorob\u0119 Parkinsona z u\u017cyciem Pythona. To neurodegeneracyjna, post\u0119puj\u0105ca choroba centralnego uk\u0142adu nerwowego, kt\u00f3ra wp\u0142ywa na ruch i powoduje dr\u017cenie oraz sztywno\u015b\u0107. Dotyka neuron\u00f3w produkuj\u0105cych dopamin\u0119 w m\u00f3zgu, a ka\u017cdego roku dotyka ponad 1 milion os\u00f3b w Indiach.<\/p>\n

J\u0119zyk:<\/b> Python<\/p>\n

Zbi\u00f3r danych\/Pakiet:<\/b> Zbi\u00f3r danych UCI ML Parkinsons<\/p>\n

Projekty Data Science o \u015brednim stopniu z\u0142o\u017cono\u015bci<\/i><\/p>\n

4. Rozpoznawanie emocji w mowie<\/h3>\n

\nZapoznaj si\u0119 z pe\u0142n\u0105 realizacj\u0105 przyk\u0142adu projektu Data Science \u2014 rozpoznawanie mowy z pomoca Librosa<\/a><\/noindex>.<\/p>\n

\"14
\n
\nTeraz nauczymy si\u0119 u\u017cywa\u0107 r\u00f3\u017cnych bibliotek. Ten projekt Data Science wykorzystuje librosa do rozpoznawania mowy. SER to proces identyfikacji ludzkich emocji i stan\u00f3w afektywnych na podstawie mowy. Poniewa\u017c do wyra\u017cania emocji w g\u0142osie wykorzystujemy ton i wysoko\u015b\u0107 d\u017awi\u0119ku, SER ma znaczenie. Jednak ze wzgl\u0119du na subiektywno\u015b\u0107 emocji, anotacja d\u017awi\u0119ku jest skomplikowanym zadaniem. U\u017cyjemy funkcji mfcc, chroma i mel oraz zestawu danych RAVDESS do rozpoznawania emocji. Stworzymy klasyfikator MLPC dla tego modelu.<\/p>\n

J\u0119zyk:<\/b> Python<\/p>\n

Zbi\u00f3r danych\/Pakiet:<\/b> Zbi\u00f3r danych RAVDESS<\/p>\n

5. Wykrywanie p\u0142ci i wieku<\/h3>\n

\nZaskocz pracodawc\u00f3w najnowszym projektem Data Science \u2014 wykrywanie p\u0142ci i wieku z pomoc\u0105 OpenCV<\/a><\/noindex>.<\/p>\n

\"14
\n
\nTo interesuj\u0105cy projekt Data Science w Pythonie. U\u017cywaj\u0105c jednego zdj\u0119cia, nauczysz si\u0119 przewidywa\u0107 p\u0142e\u0107 i wiek osoby. W tym projekcie zapoznamy ci\u0119 z wizj\u0105 komputerow\u0105 i jej zasadami. Zbudujemy sie\u0107 neuronow\u0105 konwolucyjn\u0105<\/a><\/noindex> i wykorzystamy modele wytrenowane przez Tala Hassnera i Gila Leviego dla zestawu danych Adience. Po drodze wykorzystamy pliki .pb, .pbtxt, .prototxt i .caffemodel.<\/p>\n

J\u0119zyk:<\/b> Python<\/p>\n

Zbi\u00f3r danych\/Pakiet:<\/b> Adience<\/p>\n

6. Analiza danych Uber<\/h3>\n

\nZobacz pe\u0142n\u0105 realizacj\u0119 projektu Data Science z kodem \u017ar\u00f3d\u0142owym \u2014 Projekt analizy danych Uber w R<\/a><\/noindex>.<\/p>\n

\"14
\n
\nTo projekt wizualizacji danych z u\u017cyciem ggplot2, w kt\u00f3rym wykorzystamy R i jego biblioteki oraz przeanalizujemy r\u00f3\u017cne parametry. U\u017cyjemy zestawu danych Uber Pickups w Nowym Jorku i stworzymy wizualizacje dla r\u00f3\u017cnych okres\u00f3w w roku. Poka\u017ce to, jak czas wp\u0142ywa na podr\u00f3\u017ce klient\u00f3w.<\/p>\n

J\u0119zyk:<\/b> R<\/p>\n

Zbi\u00f3r danych\/Pakiet:<\/b> Zbi\u00f3r danych Uber Pickups w Nowym Jorku<\/p>\n

7. Wykrywanie senno\u015bci kierowcy<\/h3>\n

\nRozwi\u0144 swoje umiej\u0119tno\u015bci, pracuj\u0105c nad Top Projektem Data Science \u2014 systemem wykrywania senno\u015bci z OpenCV i Keras<\/a><\/noindex>.<\/p>\n

\"14
\n
\nSenno\u015b\u0107 podczas prowadzenia pojazdu jest ekstremalnie niebezpieczna, a co roku dochodzi do oko\u0142o tysi\u0105ca wypadk\u00f3w z powodu za\u015bni\u0119cia kierowc\u00f3w w trakcie jazdy. W tym projekcie w Pythonie stworzymy system, kt\u00f3ry b\u0119dzie w stanie wykrywa\u0107 senne osoby oraz powiadamia\u0107 je sygna\u0142em d\u017awi\u0119kowym.<\/p>\n

Ten projekt zosta\u0142 zrealizowany z u\u017cyciem Keras i OpenCV. U\u017cyjemy OpenCV do wykrywania twarzy i oczu, a za pomoc\u0105 Keras b\u0119dziemy klasyfikowa\u0107 stan oka (Otwarte lub Zamkni\u0119te) przy u\u017cyciu metod g\u0142\u0119bokiej sieci neuronowej.<\/p>\n

8. Chatbot<\/h3>\n

\nStw\u00f3rz chatbota za pomoc\u0105 Pythona i zr\u00f3b krok naprz\u00f3d w swojej karierze \u2014 Chatbot z NLTK & Keras<\/a><\/noindex>.<\/p>\n

\"14
\n
\nChatboty s\u0105 nieod\u0142\u0105cznym elementem biznesu. Wiele przedsi\u0119biorstw musi oferowa\u0107 us\u0142ugi swoim klientom, co wymaga du\u017cej ilo\u015bci si\u0142y roboczej, czasu i wysi\u0142ku. Chatboty mog\u0105 zautomatyzowa\u0107 du\u017c\u0105 cz\u0119\u015b\u0107 interakcji z klientami, odpowiadaj\u0105c na niekt\u00f3re z najcz\u0119\u015bciej zadawanych pyta\u0144 przez klient\u00f3w. Istniej\u0105 g\u0142\u00f3wnie dwa typy chatbot\u00f3w: specyficzne dla danej dziedziny i og\u00f3lnodost\u0119pne. Chatbot specyficzny dla danej dziedziny jest cz\u0119sto u\u017cywany do rozwi\u0105zania konkretnego problemu, dlatego musisz go dostosowa\u0107 do efektywnego dzia\u0142ania w swojej bran\u017cy. Chatboty og\u00f3lnodost\u0119pne mo\u017cna pyta\u0107 o dowolne kwestie, dlatego ich szkolenie wymaga ogromnej ilo\u015bci danych.<\/p>\n

Zbi\u00f3r danych:<\/b> Plik json z intencjami<\/p>\n

J\u0119zyk:<\/b> Python<\/p>\n

Zaawansowane projekty Data Science<\/i><\/p>\n

9. Generator Opis\u00f3w Obraz\u00f3w<\/h3>\n

\nSprawd\u017a pe\u0142n\u0105 implementacj\u0119 projektu z kodem \u017ar\u00f3d\u0142owym \u2014 Generator Opis\u00f3w Obraz\u00f3w z CNN & LSTM<\/a><\/noindex>.<\/p>\n

\"14
\n
\nOpis tego, co znajduje si\u0119 na obrazie, to \u0142atwe zadanie dla ludzi, jednak dla komputer\u00f3w obraz jest jedynie zbiorem liczb reprezentuj\u0105cych warto\u015b\u0107 koloru ka\u017cdego piksela. Jest to trudne zadanie dla komputer\u00f3w. Zrozumienie tego, co znajduje si\u0119 na obrazie, a nast\u0119pnie stworzenie opisu w j\u0119zyku naturalnym (np. po angielsku) jest kolejnym trudnym wyzwaniem. Ten projekt wykorzystuje metody g\u0142\u0119bokiego uczenia, w kt\u00f3rym implementujemy konwolucyjn\u0105 sie\u0107 neuronow\u0105 (CNN) z rekurencyjn\u0105 sieci\u0105 neuronow\u0105 (LSTM) w celu stworzenia generatora opis\u00f3w obraz\u00f3w.<\/p>\n

Zbi\u00f3r danych:<\/b> Flickr 8K<\/p>\n

J\u0119zyk:<\/b> Python<\/p>\n

Framework:<\/b> Keras<\/p>\n

10. Wykrywanie oszustw z u\u017cyciem kart kredytowych<\/h3>\n

\nZr\u00f3b wszystko, co mo\u017cliwe, pracuj\u0105c nad pomys\u0142em projektu Data Science \u2014 wykrywanie oszustw z u\u017cyciem kart kredytowych przy u\u017cyciu uczenia maszynowego<\/a><\/noindex>.<\/p>\n

\"14
\n
\nDo tej pory zaczynasz rozumie\u0107 metody i koncepcje. Przejd\u017amy do kilku zaawansowanych projekt\u00f3w w dziedzinie nauki o danych. W tym projekcie b\u0119dziemy u\u017cywa\u0107 j\u0119zyka R z takimi algorytmami jak drzewa decyzyjne<\/a><\/noindex>, regresja logistyczna, sztuczne sieci neuronowe i klasyfikator gradientowego wzmocnienia. Wykorzystamy zestaw danych dotycz\u0105cych transakcji kart\u0105, aby zaklasyfikowa\u0107 transakcje kart kredytowych jako oszuka\u0144cze lub prawdziwe. Dobierzemy r\u00f3\u017cne modele i zbudujemy krzywe wydajno\u015bci.<\/p>\n

J\u0119zyk:<\/b> R<\/p>\n

Zbi\u00f3r danych\/Pakiet:<\/b> Zestaw danych transakcji kartami<\/p>\n

11. System rekomendacji film\u00f3w<\/h3>\n

\nPoznaj implementacj\u0119 najlepszego projektu Data Science z kodem \u017ar\u00f3d\u0142owym \u2014 System rekomendacji film\u00f3w w j\u0119zyku R<\/a><\/noindex><\/p>\n

\"14
\n
\nW tym projekcie Data Science u\u017cyjemy R do rekomendacji film\u00f3w z zastosowaniem uczenia maszynowego. System rekomendacji przesy\u0142a sugestie do u\u017cytkownik\u00f3w na podstawie procesu filtracji, opartego na preferencjach innych u\u017cytkownik\u00f3w i historii ogl\u0105dania. Je\u015bli A i B lubi\u0105 Kevina samego w domu, a B uwielbia Mean Girls, to mo\u017cna zaproponowa\u0107 A \u2013 mo\u017ce im si\u0119 to r\u00f3wnie\u017c spodoba\u0107. Pozwala to klientom na interakcj\u0119 z platform\u0105.<\/p>\n

J\u0119zyk:<\/b> R<\/p>\n

Zbi\u00f3r danych\/Pakiet:<\/b> Zestaw danych MovieLens<\/p>\n

12. Segmentacja klient\u00f3w<\/h3>\n

\nZr\u00f3b wra\u017cenie na pracodawcach dzi\u0119ki projektowi Data Science (w tym kod \u017ar\u00f3d\u0142owy) \u2014 Segmentacja klient\u00f3w z u\u017cyciem uczenia maszynowego<\/a><\/noindex>.<\/p>\n

\"14
\n
\nSegmentacja klient\u00f3w jest popularnym zastosowaniem uczenia bez nadzoru<\/a><\/noindex>. Dzi\u0119ki klasteryzacji firmy okre\u015blaj\u0105 segmenty klient\u00f3w do pracy z potencjaln\u0105 baz\u0105 u\u017cytkownik\u00f3w. Dziel\u0105 klient\u00f3w na grupy wed\u0142ug wsp\u00f3lnych cech, takich jak p\u0142e\u0107, wiek, zainteresowania i nawyki wydawania pieni\u0119dzy, aby mog\u0142y skutecznie sprzedawa\u0107 swoje produkty ka\u017cdej z grup. U\u017cyjemy klasteryzacji K-\u015brednich<\/a><\/noindex>, a tak\u017ce zwizualizujemy rozk\u0142ad wed\u0142ug p\u0142ci i wieku. Nast\u0119pnie przeanalizujemy ich roczne dochody i poziom wydatk\u00f3w.<\/p>\n

J\u0119zyk:<\/b> R<\/p>\n

Zbi\u00f3r danych\/Pakiet:<\/b> Zestaw danych Mall_Customers<\/p>\n

13. Klasyfikacja raka piersi<\/h3>\n

\nZobacz pe\u0142n\u0105 realizacj\u0119 projektu Data Science w Pythonie \u2014 Klasyfikacja raka piersi z pomoc\u0105 g\u0142\u0119bokiego uczenia<\/a><\/noindex>.<\/p>\n

\"14
\n
\nWracaj\u0105c do medycznego wk\u0142adu nauki danych, nauczmy si\u0119 wykrywa\u0107 raka piersi za pomoc\u0105 Pythona. U\u017cyjemy zbioru danych IDC_regular do identyfikacji inwazyjnego raka przewodowego, najcz\u0119stszej formy raka piersi. Rozwija si\u0119 on w przewodach mlecznych, wnikaj\u0105c w w\u0142\u00f3knist\u0105 lub t\u0142uszczow\u0105 tkank\u0119 piersi z zewn\u0105trz przewodu. W tym pomy\u015ble na projekt naukowy dotycz\u0105cy zbierania danych b\u0119dziemy korzysta\u0107 z Deep Learning<\/a><\/noindex> i biblioteki Keras do klasyfikacji.<\/p>\n

J\u0119zyk:<\/b> Python<\/p>\n

Zbi\u00f3r danych\/Pakiet:<\/b> IDC_regular<\/p>\n

14. Rozpoznawanie znak\u00f3w drogowych<\/h3>\n

\nOsi\u0105gni\u0119cie dok\u0142adno\u015bci w technologii autonomicznych samochod\u00f3w za pomoc\u0105 projektu Data Science dotycz\u0105cego rozpoznawania znak\u00f3w drogowych z wykorzystaniem CNN<\/a><\/noindex> z otwartym \u017ar\u00f3d\u0142em.<\/p>\n

\"14
\n
\nZnaki drogowe i zasady ruchu drogowego s\u0105 niezwykle wa\u017cne dla ka\u017cdego kierowcy, aby unika\u0107 wypadk\u00f3w. Aby przestrzega\u0107 przepis\u00f3w, najpierw nale\u017cy zrozumie\u0107, jak wygl\u0105da znak drogowy. Cz\u0142owiek musi zapami\u0119ta\u0107 wszystkie znaki drogowe, zanim otrzyma prawo jazdy na prowadzenie pojazdu. Jednak teraz liczba pojazd\u00f3w autonomicznych ro\u015bnie, a w najbli\u017cszej przysz\u0142o\u015bci cz\u0142owiek nie b\u0119dzie ju\u017c samodzielnie prowadzi\u0142 samochodu. W projekcie \u201eRozpoznawanie znak\u00f3w drogowych\u201d dowiesz si\u0119, jak program mo\u017ce rozpozna\u0107 typ znaku drogowego, przyjmuj\u0105c obraz jako sygna\u0142 wej\u015bciowy. Zestaw danych do rozpoznawania znak\u00f3w drogowych w Niemczech (GTSRB) jest wykorzystywany do budowy g\u0142\u0119bokiej sieci neuronowej do rozpoznawania klasy, do kt\u00f3rej nale\u017cy znak drogowy. Tworzymy r\u00f3wnie\u017c prosty interfejs graficzny do interakcji z aplikacj\u0105.<\/p>\n

J\u0119zyk:<\/b> Python<\/p>\n

Zbi\u00f3r danych:<\/b> GTSRB (Niemiecki benchmark rozpoznawania znak\u00f3w drogowych)<\/p>\n

Czytaj wi\u0119cej<\/h3>\n

<\/p>\n