{"id":54058,"date":"2019-12-17T00:00:00","date_gmt":"2019-12-16T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/14-open-source-proektov-dlya-prokachki-data-science-masterstva-easy-normal-hard"},"modified":"2020-02-18T14:02:02","modified_gmt":"2020-02-18T11:02:02","slug":"14-open-source-proektov-dlya-prokachki-data-science-masterstva-easy-normal-hard","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/news\/14-open-source-proektov-dlya-prokachki-data-science-masterstva-easy-normal-hard","title":{"rendered":"14 avatud l\u00e4htekoodiga projekti, et arendada oma andmete teaduse oskusi (lihtne, normaalne, keeruline)","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Andmete teadus algajatele<\/i><\/p>\n

1. Tunnetuse anal\u00fc\u00fcs (Teksti kaudu tuvastamine)<\/h3>\n

\n\"14
\n
\nVaata t\u00e4ielikku andmete teaduse projekti teostust, kasutades allikat \u2014 Tunnetuse anal\u00fc\u00fcsi projekt R-is<\/a><\/noindex>.<\/p>\n

Sentiment Analysis \u2014 on s\u00f5nade anal\u00fc\u00fcs, et m\u00e4\u00e4rata emotsioone ja arvamusi, mis v\u00f5ivad olla positiivsed v\u00f5i negatiivsed. See on klassifitseerimise t\u00fc\u00fcp, kus klassid v\u00f5ivad olla binaarsed (positiivsed ja negatiivsed) v\u00f5i mitmekesised (\u00f5nnelikud, vihased, kurvad, vastikud ...). Me viime selle andmete teaduse projekti ellu R keeles ja kasutame andmestikku paketist \"janeaustenR\". Kasutame ka tavalisi s\u00f5naraamatuid nagu AFINN, bing ja loughran, teeme siseriikliku \u00fchenduse ning l\u00f5puks loome s\u00f5nu pilve, et kuvada tulemust.<\/p>\n

Keel:<\/b> R
\nAndmekogum\/Pakett:<\/b> janeaustenR
\n<\/a><\/noindex><\/p>\n

\"14<\/a><\/noindex>

\nArtikkel on t\u00f5lgitud EDISON Software'i toetusel, kes loob virtuaalseid prooviruumid mitme br\u00e4ndi kauplustele<\/a><\/noindex>, samuti katsetab tarkvara<\/a><\/noindex>.<\/p><\/blockquote>\n

2. Valeuudiste tuvastamine (Fake News Detection)<\/h3>\n

\nT\u00f5sta oma oskusi uuele tasemele, t\u00f6\u00f6tades algajate andmete teaduse projektiga \u2014 valeuudiste tuvastamine Pythoniga<\/a><\/noindex>.<\/p>\n

\"14
\n
\nValeuudised on vale teave, mida jagatakse sotsiaalmeedias ja muudes v\u00f5rgumeediates poliitiliste eesm\u00e4rkide saavutamiseks. Selles andmete teaduse projekti idees kasutame Pythonit mudeli loomiseks, mis suudab t\u00e4pselt m\u00e4\u00e4rata, kas uudis on t\u00f5ene v\u00f5i vale. Loome TfidfVectorizeri ja kasutame PassiveAggressiveClassifierit uudiste klassifitseerimiseks \u201ereaalseteks\u201c ja \u201evaleuudisteks\u201c. Kasutame andmestikku, mille vorm on 7796 \u00d7 4, ja teeme k\u00f5ik Jupyter Labis.<\/p>\n

Keel:<\/b> Python<\/p>\n

Andmekogum\/Pakett:<\/b> news.csv<\/p>\n

3. Parkinsoni haiguse tuvastamine<\/h3>\n

\nLiigu edasi, t\u00f6\u00f6tades andmete teaduse projekti idee kallal \u2014 Parkinsoni haiguse tuvastamine XGBoostiga<\/a><\/noindex>.<\/p>\n

\"14
\n
\nAlustasime andmete teaduse kasutamist tervishoiu ja teenuste parandamiseks \u2014 kui saame haigust varakult ennustada, on meil palju eeliseid. Niisiis, selles andmete teaduse projekti idees \u00f5pime tuvastama Parkinsoni haigust Pythoniga. See on neurodegeneratiivne, progresseeruv keskne n\u00e4rvis\u00fcsteemi haigus, mis m\u00f5jutab liikumist ja p\u00f5hjustab v\u00e4rinaid ja j\u00e4ikust. See m\u00f5jutab dopamiini tootvaid neuroneid ajus ning igal aastal m\u00f5jutab see rohkem kui miljonit inimest Indias.<\/p>\n

Keel:<\/b> Python<\/p>\n

Andmekogum\/Pakett:<\/b> UCI ML Parkinsoni andmekogum<\/p>\n

Keskmise keerukusega andmete teaduse projektid<\/i><\/p>\n

4. K\u00f5ne emotsioonide tuvastamine<\/h3>\n

\nVaata t\u00e4ielikku andmete teaduse projekti n\u00e4idet \u2014 k\u00f5ne tuvastamine Librosaga<\/a><\/noindex>.<\/p>\n

\"14
\n
\nN\u00fc\u00fcd \u00f5pime kasutama erinevaid teeke. See andmete teaduse projekt kasutab librosat k\u00f5ne tuvastamiseks. SER on protsess, mis m\u00e4\u00e4rab inimeste emotsioone ja afektiivseid seisundeid k\u00f5nest. Kuna me kasutame emotsioonide v\u00e4ljendamiseks tooni ja helik\u00f5rgust, on SER aktuaalne. Kuid kuna emotsioonid on subjektiivsed, on heli m\u00e4rgistamine keeruline \u00fclesanne. Kasutame mfcc, chroma ja mel funktsioone ning kasutame emotsioonide tuvastamiseks RAVDESS andmestikku. Loome selle mudeli jaoks MLPC klassifikaatori.<\/p>\n

Keel:<\/b> Python<\/p>\n

Andmekogum\/Pakett:<\/b> RAVDESS andmestik<\/p>\n

5. Soolise ja vanuse tuvastamine<\/h3>\n

\nPimestage t\u00f6\u00f6andjaid selle uusima andmete teaduse projektiga \u2014 sugude ja vanuse m\u00e4\u00e4ramine OpenCV-ga<\/a><\/noindex>.<\/p>\n

\"14
\n
\nSee on p\u00f5nev andmete teaduse projekt Pythonis. Kasutades ainult \u00fchte pilti, \u00f5pite ennustama inimese soo ja vanust. Selles tutvustame teile arvutin\u00e4gemist ja selle p\u00f5him\u00f5tteid. Loome konvolutsioonilise n\u00e4rviv\u00f5rgu<\/a><\/noindex> ja kasutame Tal Hassneri ja Gil Levy mudeleid Adience andmestikule. Teel kasutame m\u00f5ningaid .pb, .pbtxt, .prototxt ja .caffemodel faile.<\/p>\n

Keel:<\/b> Python<\/p>\n

Andmekogum\/Pakett:<\/b> Adience<\/p>\n

6. Uberi andmete anal\u00fc\u00fcs<\/h3>\n

\nVaata t\u00e4ielikku andmete teaduse projekti teostust \u2014 Uberi andmete anal\u00fc\u00fcsi projekt R-is<\/a><\/noindex>.<\/p>\n

\"14
\n
\nSee on andmete visualiseerimise projekt ggplot2-ga, kus kasutame R ja selle teeke ning anal\u00fc\u00fcsime erinevaid parameetreid. Kasutame New Yorgi Uberi \u00fclesv\u00f5ttete andmestikku ja loome visualiseerimisi erinevate aastaaegade jaoks. See n\u00e4itab meile, kuidas aeg m\u00f5jutab klientide reiside arvu.<\/p>\n

Keel:<\/b> R<\/p>\n

Andmekogum\/Pakett:<\/b> Uberi \u00fclesv\u00f5tted New Yorgis<\/p>\n

7. Juhi unisuse tuvastamine<\/h3>\n

\nArendage oma oskusi, t\u00f6\u00f6tades tipptasemel andmete teaduse projekti kallal \u2014 unisuse tuvastamiss\u00fcsteem OpenCV ja Kerasiga<\/a><\/noindex>.<\/p>\n

\"14
\n
\nUnine s\u00f5itmine on \u00e4\u00e4rmiselt ohtlik ning igal aastal toimub umbes tuhandeid \u00f5nnetusi, kuna juhid uinutavad s\u00f5idu ajal. Sellel Pythonil p\u00f5hineval projektis loome s\u00fcsteemi, mis suudab tuvastada uniseid juhte ning teavitada neid helisignaali kaudu.<\/p>\n

See projekt on teostatud Keras ja OpenCV abil. Kasutame OpenCV-d n\u00e4o ja silmade tuvastamiseks ning Keras on meie silmade oleku (Avatud v\u00f5i Suletud) klassifitseerimise jaoks s\u00fcva\u00f5ppe meetodite abil.<\/p>\n

8. Chatbot<\/h3>\n

\nLooge chatbot Pythoniga ja astuge oma karj\u00e4\u00e4ris edasi \u2014 Chatbot NLTK & Kerasiga<\/a><\/noindex>.<\/p>\n

\"14
\n
\nChatbotid on \u00e4ri lahutamatu osa. Paljud ettev\u00f5tted peavad pakkuma teenuseid oma klientidele, ja selleks on vaja palju t\u00f6\u00f6j\u00f5udu, aega ja pingutust. Chatbotid saavad automatiseerida suure osa kliendisuhtlusest, vastates m\u00f5nele klientide sagedaselt esitatud k\u00fcsimusele. Peamiselt on kahte t\u00fc\u00fcpi chatbot'e: domaani-spetsiifilised ja avatud domeeniga. Domaani-spetsiifilisi chatbot'e kasutatakse sageli konkreetse probleemi lahendamiseks, seega peate need oma valdkonnas t\u00f5husalt toimimiseks kohandama. Avatud domeeni chatbot'idele v\u00f5ib esitada igasuguseid k\u00fcsimusi, seet\u00f5ttu n\u00f5uab nende koolitamine tohutut andmehulka.<\/p>\n

Andmekogum:<\/b> Intents json fail<\/p>\n

Keel:<\/b> Python<\/p>\n

Edasij\u00f5udnud andeteaduse projektid<\/i><\/p>\n

9. Image Caption Generator (Pildi Kirjeldaja)<\/h3>\n

\nVaadake projekti t\u00e4ielikku teostust koos allika koodiga \u2014 Pildi Kirjeldaja CNN & LSTM abil<\/a><\/noindex>.<\/p>\n

\"14
\n
\nPildi sisu kirjeldamine on inimestele lihtne \u00fclesanne, kuid arvutite jaoks on pilt lihtsalt numbrite kogum, mis esindab iga piksliga seotud v\u00e4rvi v\u00e4\u00e4rtust. See on arvutite jaoks keeruline \u00fclesanne. M\u00f5ista, mis pildil on, ja seej\u00e4rel luua loomuliku keele (n\u00e4iteks inglise keeles) kirjeldus, on teine keeruline \u00fclesanne. See projekt kasutab s\u00fcva\u00f5ppe meetodeid, kus me rakendame konvolutsioonilist n\u00e4rviv\u00f5rku (CNN) koos korduvate n\u00e4rviv\u00f5rkudega (LSTM), et luua pildi kirjeldaja.<\/p>\n

Andmekogum:<\/b> Flickr 8K<\/p>\n

Keel:<\/b> Python<\/p>\n

Raamistik:<\/b> Keras<\/p>\n

10. Credit Card Fraud Detection (Krediitkaartide Pettuse Tuvastamine)<\/h3>\n

\nMaxige oma v\u00f5imalusi, t\u00f6\u00f6tades andeteaduse projektiga \u2014 krediitkaartide pettuse tuvastamine masin\u00f5ppe abil<\/a><\/noindex>.<\/p>\n

\"14
\n
\nKuni praeguseni olete hakanud m\u00f5istma meetodeid ja kontseptsioone. Liigugem edasi m\u00f5nele edasij\u00f5udnud andeteaduse projektile. Selles projektis kasutame R keelt koos selliste algoritmidega nagu otsustuspuud<\/a><\/noindex>, logistiline regressioon, tehisn\u00e4rviv\u00f5rgud ja gradientt\u00f5uke klassifikaator. Kasutame kaarditehingute andmekogumit, et klassifitseerida krediitkaarditehingud kui petlikud ja ehtsad. Me kohandame neile erinevaid mudeleid ja koostame j\u00f5udlusk\u00f5verad.<\/p>\n

Keel:<\/b> R<\/p>\n

Andmekogum\/Pakett:<\/b> Kaarditehingute andmekogum<\/p>\n

11. Movie Recommendation System (Filmi Soovituss\u00fcsteem)<\/h3>\n

\nUurige v\u00e4lja parima andeteaduse projekti teostus koos allika koodiga \u2014 Filmi Soovituss\u00fcsteem R keeles<\/a><\/noindex><\/p>\n

\"14
\n
\nSelles andeteaduse projektis kasutame R-i, et teha filme soovitusi masin\u00f5ppe abil. Soovituss\u00fcsteem edastab kasutajatele ettepanekud, tuginedes teiste kasutajate eelistustele ja vaatamisajaloolle. Kui A ja B meeldib Home Alone, ja B armastab Mean Girls, siis v\u00f5ib A-le soovitada \u2014 v\u00f5ib-olla meeldib see ka talle. See v\u00f5imaldab klientidel suhelda platvormiga.<\/p>\n

Keel:<\/b> R<\/p>\n

Andmekogum\/Pakett:<\/b> MovieLens andmekogum<\/p>\n

12. Customer Segmentation (Kliendi Sisetamine)<\/h3>\n

\nK\u00fcpsetage t\u00f6\u00f6andjatele muljet andeteaduse projektiga (koos allika koodiga) \u2014 Kliendi segmenteerimine masin\u00f5ppe abil<\/a><\/noindex>.<\/p>\n

\"14
\n
\nKliendi segmenteerimine on populaarne rakendus j\u00e4relevalveta \u00f5ppimise (unsupervised learning)<\/a><\/noindex>. Klasterdamise abil m\u00e4\u00e4ravad ettev\u00f5tted kliendisegmentide, et t\u00f6\u00f6tada potentsiaalse kasutajaskonnaga. Nad jagavad kliente r\u00fchmadesse vastavalt sarnastele omadustele, n\u00e4iteks soole, vanusele, huvidele ja harjumustele, et nad saaksid t\u00f5husalt m\u00fc\u00fca oma tooteid igale r\u00fchmale. Me kasutame K-means klasterdamist<\/a><\/noindex>, samuti visualiseerime soo ja vanuse jaotust. Seej\u00e4rel anal\u00fc\u00fcsime nende aastaseid sissetulekuid ja kulutusi.<\/p>\n

Keel:<\/b> R<\/p>\n

Andmekogum\/Pakett:<\/b> Mall_Customers andmekogum<\/p>\n

13. Breast Cancer Classification (Rinnav\u00e4hi Klassifitseerimine)<\/h3>\n

\nVaadake t\u00e4ielikku andeteaduse projekti teostust Pythonis \u2014 Rinnav\u00e4hi klassifitseerimine s\u00fcva\u00f5ppe abil<\/a><\/noindex>.<\/p>\n

\"14
\n
\nNaastes andmeteaduse meditsiinilistele panustele, \u00f5ppime tuvastama rinnav\u00e4hki Pythoniga. Kasutame andmekogumit IDC_regular, et tuvastada invasiivset piiman\u00e4\u00e4rmekartsinoomi, mis on k\u00f5ige levinum rinnav\u00e4hi vorm. See areneb piiman\u00e4\u00e4rmete kanalites, tungides kanali alt v\u00e4lja kiulisse v\u00f5i rasvasesse koe. Selles andmekogumise teadusprojektis kasutame S\u00fcgav\u00f5pe<\/a><\/noindex> ja Keras raamatukogu klassifitseerimiseks.<\/p>\n

Keel:<\/b> Python<\/p>\n

Andmekogum\/Pakett:<\/b> IDC_regular<\/p>\n

14. Teede liiklusm\u00e4rkide tuvastamine<\/h3>\n

\nAutonoomse s\u00f5iduki tehnoloogia t\u00e4psuse saavutamine andmeteaduse projekti kaudu liiklusm\u00e4rkide tuvastamiseks CNN-i abil<\/a><\/noindex> avaallikaga.<\/p>\n

\"14
\n
\nLiiklusm\u00e4rgid ja liiklusreeglid on iga juhi jaoks \u00e4\u00e4rmiselt olulised, et v\u00e4ltida \u00f5nnetusi. Reeglitest kinni pidamiseks tuleb k\u00f5igepealt m\u00f5ista, millised liiklusm\u00e4rgid v\u00e4lja n\u00e4evad. Inimene peab \u00f5ppima k\u00f5iki liiklusm\u00e4rke, enne kui talle antakse luba juhtida igasuguseid s\u00f5idukeid. Kuid n\u00fc\u00fcd kasvab autonoomsete s\u00f5idukite arv ja l\u00e4hitulevikus ei juhita autot enam iseseisvalt. Projekti \"Liiklusm\u00e4rkide tuvastamine\" k\u00e4igus \u00f5pite, kuidas programm suudab tuvastada, milline liiklusm\u00e4rk on, v\u00f5ttes pildi sisendiks. Saksamaa liiklusm\u00e4rkide tuvastamise andmestik (GTSRB) kasutatakse s\u00fcgava n\u00e4rviv\u00f5rgu ehitamiseks selle klassi tuvastamiseks, kuhu liiklusm\u00e4rk kuulub. Loome ka lihtsa graafilise liidese rakendusega suhtlemiseks.<\/p>\n

Keel:<\/b> Python<\/p>\n

Andmekogum:<\/b> GTSRB (Saksa liiklusm\u00e4rkide tuvastamise n\u00e4idis)<\/p>\n

Loe veel<\/h3>\n

<\/p>\n