{"id":54058,"date":"2019-12-17T00:00:00","date_gmt":"2019-12-16T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/14-open-source-proektov-dlya-prokachki-data-science-masterstva-easy-normal-hard"},"modified":"2020-02-18T14:02:02","modified_gmt":"2020-02-18T11:02:02","slug":"14-open-source-proektov-dlya-prokachki-data-science-masterstva-easy-normal-hard","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/news\/14-open-source-proektov-dlya-prokachki-data-science-masterstva-easy-normal-hard","title":{"rendered":"14 avatud l\u00e4htekoodiga projekti Data Science oskuste arendamiseks (lihtne, normaalne, raske)","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Andmete teadus algajatele<\/i><\/p>\n

1. Tunneanal\u00fc\u00fcs (Tunde anal\u00fc\u00fcs teksti kaudu)<\/h3>\n

\n\"14
\n
\nVaata kogu andmete teaduse projekti teostust l\u00e4htekoodi abil \u2014 Tunneanal\u00fc\u00fcsi projekt R-is<\/a><\/noindex>.<\/p>\n

Sentiment Analysis \u2014 \u044d\u0442\u043e \u0430\u043d\u0430\u043b\u0438\u0437 \u0441\u043b\u043e\u0432 \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0439 \u0438 \u043c\u043d\u0435\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0438\u043b\u0438 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438. \u042d\u0442\u043e \u0442\u0438\u043f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043a\u043b\u0430\u0441\u0441\u044b \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0434\u0432\u043e\u0438\u0447\u043d\u044b\u043c\u0438 (\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0438 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438) \u0438\u043b\u0438 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c\u0438 (\u0441\u0447\u0430\u0441\u0442\u043b\u0438\u0432\u044b\u043c\u0438, \u0437\u043b\u044b\u043c\u0438, \u0433\u0440\u0443\u0441\u0442\u043d\u044b\u043c\u0438, \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u044b\u043c\u0438 …). \u041c\u044b \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u0435\u043c \u044d\u0442\u043e\u0442 Data Science \u043f\u0440\u043e\u0435\u043a\u0442 \u043d\u0430 \u044f\u0437\u044b\u043a\u0435 R \u0438 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043f\u0430\u043a\u0435\u0442\u0435 \u00abjaneaustenR\u00bb. \u041c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u043e\u0432\u0430\u0440\u0438 \u043e\u0431\u0449\u0435\u0433\u043e \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a AFINN, bing \u0438 loughran, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435 \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435, \u0438 \u0432 \u043a\u043e\u043d\u0446\u0435 \u043c\u044b \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043e\u0431\u043b\u0430\u043a\u043e \u0441\u043b\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u043e\u0442\u043e\u0431\u0440\u0430\u0437\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n

Keele:<\/b> R
\nAndmekogum\/Pakett:<\/b> janeaustenR
\n<\/a><\/noindex><\/p>\n

\"14<\/a><\/noindex>

\nArtikkel on t\u00f5lgitud ettev\u00f5tte EDISON Software toetusel, mis loob virtuaalsed proovimisruumid mitme kaubam\u00e4rgi poodide jaoks<\/a><\/noindex>, samuti testib tarkvara<\/a><\/noindex>.<\/p><\/blockquote>\n

2. Valeuudiste tuvastamine (Valeuudiste avastamine)<\/h3>\n

\nT\u00f5sta oma oskusi uuele tasemele, t\u00f6\u00f6tades algajate andmete teaduse projekti kallal \u2014 valeuudiste tuvastamine Pythoniga<\/a><\/noindex>.<\/p>\n

\"14
\n
\nValeuudised on vale info, mida levitatakse sotsiaalmeedia ja teiste v\u00f5rgumeedia kaudu poliitiliste eesm\u00e4rkide saavutamiseks. Selles andmete teaduse projekti idees kasutame Pythonit mudeli loomiseks, mis suudab t\u00e4pselt kindlaks teha, kas uudis on t\u00f5ene v\u00f5i vale. Loome TfidfVectorizeri ja kasutame PassiveAggressiveClassifierit, et klassifitseerida uudiseid 'reaalseteks' ja 'valeuudisteks'. Kasutame andmekogumit suurusega 7796 \u00d7 4 ja teeme k\u00f5ik Jupyter Labis.<\/p>\n

Keele:<\/b> Python<\/p>\n

Andmekogum\/Pakett:<\/b> news.csv<\/p>\n

3. Parkinsoni haiguse tuvastamine (Parkinsoni haiguse avastamine)<\/h3>\n

\nLiigu edasi, t\u00f6\u00f6tades andmete teaduse projekti idee kallal \u2014 Parkinsoni haiguse tuvastamine XGBoostiga<\/a><\/noindex>.<\/p>\n

\"14
\n
\nOlemegi hakanud kasutama andmete teadust tervishoiu ja teenuste parendamiseks \u2014 kui saame haiguse varajases staadiumis ennustada, siis on meil palju eeliseid. Nii et selle andmete teaduse projekti idees \u00f5pime tuvastama Parkinsoni haigust Pythoniga. See on neurodegeneratiivne, progresseeruv keskn\u00e4rvis\u00fcsteemi haigus, mis m\u00f5jutab liikumist ja p\u00f5hjustab v\u00e4risemist ja j\u00e4ikust. See m\u00f5jutab dopamiini tootvaid neuroneid ajus ja igal aastal puudutab see Indias \u00fcle miljoni inimese.<\/p>\n

Keele:<\/b> Python<\/p>\n

Andmekogum\/Pakett:<\/b> UCI ML Parkinsoni andmekogum<\/p>\n

Andmete teaduse keskrohtude projektid<\/i><\/p>\n

4. K\u00f5neemotsioonide tuvastamine<\/h3>\n

\nTutvuge t\u00e4ispika Data Science projekti n\u00e4idisega \u2014 k\u00f5ne tuvastamine Librosa abil<\/a><\/noindex>.<\/p>\n

\"14
\n
\nN\u00fc\u00fcd \u00f5pime kasutama erinevaid teeke. See Data Science projekt kasutab k\u00f5ne tuvastamiseks librosa't. SER on protsess, mille k\u00e4igus m\u00e4\u00e4ratakse inimesse emotsioonid ja affektiivsed seisundid k\u00f5ne kaudu. Kuna emotsioonid v\u00e4ljendavad meie h\u00e4\u00e4les tonaalsust ja k\u00f5rgust, on SER asjakohane. Kuna emotsioonid on subjektiivsed, on helifailide m\u00e4rgistamine keeruline \u00fclesanne. Kasutame mfcc, chroma ja mel funktsioone ning RAVDESS andmestikku emotsioonide tuvastamiseks. Loome MLPC klassifikaatori sellele mudelile.<\/p>\n

Keele:<\/b> Python<\/p>\n

Andmekogum\/Pakett:<\/b> RAVDESS andmestik<\/p>\n

5. Soolise ja vanuse tuvastamine<\/h3>\n

\nP\u00fc\u00fcdke t\u00f6\u00f6andjate t\u00e4helepanu k\u00f5ige v\u00e4rskema Data Science projektiga \u2014 vana ja soo tuvastamine OpenCV abil<\/a><\/noindex>.<\/p>\n

\"14
\n
\nSee on huvitav Data Science projekt Pythonis. Kasutades ainult \u00fchte pilti, \u00f5pite ennustama inimese soo ja vanust. Selles tutvustame teid arvutin\u00e4gemise ja selle p\u00f5hialustega. Loome konvolutsioonilise n\u00e4rviv\u00f5rgu<\/a><\/noindex> ning kasutame Tal Hassneri ja Gil Levi treenitud mudeleid Adience andmestiku jaoks. Teel kasutame m\u00f5ned .pb, .pbtxt, .prototxt ja .caffemodel failid.<\/p>\n

Keele:<\/b> Python<\/p>\n

Andmekogum\/Pakett:<\/b> Adience<\/p>\n

6. Uberi andmete anal\u00fc\u00fcs<\/h3>\n

\nVaadake t\u00e4ispikka Data Science projekti koos l\u00e4htekoodiga \u2014 Uberi andmete anal\u00fc\u00fcsi projekt R-is<\/a><\/noindex>.<\/p>\n

\"14
\n
\nSee on andmete visualiseerimise projekt ggplot2 abil, kus kasutame R-i ja selle teeke ning anal\u00fc\u00fcsime erinevaid parameetreid. Kasutame New Yorgi Uberi Pickups andmestikku ja loome visualiseeringuid erinevate aastaaegade jaoks. See r\u00e4\u00e4gib meile, kuidas aeg m\u00f5jutab klientide s\u00f5ite.<\/p>\n

Keele:<\/b> R<\/p>\n

Andmekogum\/Pakett:<\/b> Uberi Pickups New Yorgi linnas andmestik<\/p>\n

7. Juhi uimasuse tuvastamine<\/h3>\n

\nParandage oma oskusi, t\u00f6\u00f6tades tipptasemel Data Science projekti kallal \u2014 uimasuse tuvastamise s\u00fcsteem OpenCV & Keras abil<\/a><\/noindex>.<\/p>\n

\"14
\n
\nUimasus roolis on \u00e4\u00e4rmiselt ohtlik ning igal aastal juhtub umbes tuhat \u00f5nnetust, kuna juhid magavad s\u00f5idu ajal. Sellel Pythonil p\u00f5hineval projektis loome s\u00fcsteemi, mis suudab tuvastada uimasena juhid ja hoiatada neid helisignaali abil.<\/p>\n

See projekt on ellu viidud Keras'i ja OpenCV abil. Kasutame OpenCV-d n\u00e4o ja silmade tuvastamiseks ning Keras'i abil klassifitseerime silmade seisundi (Ava v\u00f5i Suletud) s\u00fcgavate n\u00e4rviv\u00f5rkude meetodite abil.<\/p>\n

8. Vestlusrobot<\/h3>\n

\nLooge vestlusrobot Pythoniga ja astuge sammu edasi oma karj\u00e4\u00e4ris \u2014 Vestlusrobot NLTK & Keras'iga<\/a><\/noindex>.<\/p>\n

\"14
\n
\nVestlusrobotid on ettev\u00f5tte lahutamatu osa. Paljudel ettev\u00f5tetel on klientidele teenuste pakkumise jaoks vajalik suur t\u00f6\u00f6j\u00f5ud, aeg ja vaev. Vestlusrobotid saavad automatiseerida suure osa kliendiga suhtlemisest, vastates m\u00f5nele sagedaselt esitatavale k\u00fcsimusele. Peamiselt on kaks t\u00fc\u00fcpi vestlusrobotite: valdkonnap\u00f5hised ja avatud domeeniga. Valdkonnap\u00f5hised vestlusrobotid on tihti kasutusel konkreetse probleemi lahendamiseks ja seet\u00f5ttu tuleb neid teie valdkonnas t\u00f5husaks t\u00f6\u00f6ks kohandada. Avatud domeeniga vestlusrobotitele saab esitada igasuguseid k\u00fcsimusi, mist\u00f5ttu nende treenimiseks on vajalik tohutu andmehulk.<\/p>\n

Andmekogum:<\/b> Intentsi json fail<\/p>\n

Keele:<\/b> Python<\/p>\n

Kohanenud andeteadlase projektid<\/i><\/p>\n

9. Pildikirjelduse generaator<\/h3>\n

\nKontrollige projekti t\u00e4ielikku teostust allika koodiga \u2014 Pildikirjelduse generaator CNN & LSTM'iga<\/a><\/noindex>.<\/p>\n

\"14
\n
\nPildi sisu kirjelda on inimestele lihtne \u00fclesanne, kuid arvutitele on pilt lihtsalt arvude kogum, mis esindavad iga pikseli v\u00e4rvitooni v\u00e4\u00e4rtust. See on arvutitele keeruline \u00fclesanne. Arvutite jaoks m\u00f5ista, mis pildil on, ja seej\u00e4rel luua loomulikul keelel (nt inglise keeles) kirjeldus, on veel \u00fcks keeruline \u00fclesanne. See projekt kasutab s\u00fcgava \u00f5ppimise meetodeid, kus rakendame konvolutsiooniv\u00f5rku (CNN) koos korduva n\u00e4rviv\u00f5rguga (LSTM), et luua pildikirjelduse generaator.<\/p>\n

Andmekogum:<\/b> Flickr 8K<\/p>\n

Keele:<\/b> Python<\/p>\n

Raamistik:<\/b> , mis pakub mitmeid mudeli koostamise liideseid (Sequential, Functional, Subclassing) ja v\u00f5imaldab nende<\/p>\n

10. Krediitkaardi pettuste tuvastamine<\/h3>\n

\nTehke k\u00f5ik endast olenev, t\u00f6\u00f6tades v\u00e4lja andeteaduse projekti idee \u2014 krediitkaardi pettuste tuvastamine masin\u00f5ppe abil<\/a><\/noindex>.<\/p>\n

\"14
\n
\nKuni t\u00e4nase p\u00e4evani olete hakanud m\u00f5istma meetodeid ja kontseptsioone. Liigume n\u00fc\u00fcd m\u00f5nede arenenud andeteaduse projektide juurde. Selles projektis kasutame R keelt selliste algoritmide nagu otsustust puudutavad puudega<\/a><\/noindex>, logistika regressioon, tehisintellekti neuronv\u00f5rgud ja gradienteerimise klassifikaator. Kasutame kaarditehingute andmestikku, et klassifitseerida krediitkaarditehingud petuskeemideks ja ehtiteks. Valime neile erinevad mudelid ja koostame j\u00f5udluskaardid.<\/p>\n

Keele:<\/b> R<\/p>\n

Andmekogum\/Pakett:<\/b> Kaarditehingute andmestik<\/p>\n

11. Filmide Soovituss\u00fcsteem<\/h3>\n

\nUurige parima andmeanal\u00fc\u00fcsi projekti teostust koos l\u00e4htekoodiga \u2014 Filmide soovituss\u00fcsteem R keeles<\/a><\/noindex><\/p>\n

\"14
\n
\nSelles andmeanal\u00fc\u00fcsi projektis kasutame R-i, et teha filmisoovitusi masin\u00f5ppe kaudu. Soovituss\u00fcsteem saadab kasutajatele ettepanekuid, p\u00f5hinedes teiste kasutajate eelistustele ja vaatamisharjumustele. Kui A ja B meeldib Home Alone, ja B armastab Mean Girls, siis v\u00f5iks A-le soovitada \u2014 see v\u00f5iks talle samuti meeldida. See v\u00f5imaldab klientidel platvormiga suhelda.<\/p>\n

Keele:<\/b> R<\/p>\n

Andmekogum\/Pakett:<\/b> MovieLens andmestik<\/p>\n

12. Klientide Segmenteerimine<\/h3>\n

\nK\u00e4ivitage iseloomulik mulje t\u00f6\u00f6andjatele andmeanal\u00fc\u00fcsi projekti abil (sealhulgas l\u00e4htekood) \u2014 Klientide segmenteerimine masin\u00f5ppe avulla<\/a><\/noindex>.<\/p>\n

\"14
\n
\nKlientide segmenteerimine on populaarne rakendus j\u00e4relevalveta \u00f5ppimise (unsupervised learning)<\/a><\/noindex>. Klasterdamise abil m\u00e4\u00e4ravad ettev\u00f5tted kliendisegmendid, millega t\u00f6\u00f6tada potentsiaalses kasutajate baas. Nad jaotavad kliendid r\u00fchmadesse vastavalt \u00fchistele omadustele nagu sugu, vanus, huvid ja kulutamisharjumused, et nad saaksid t\u00f5husalt oma tooteid igale r\u00fchmale m\u00fc\u00fca. Kasutame K-means klasterdamine<\/a><\/noindex>, samuti visualiseerime soo ja vanuse jaotuse. seej\u00e4rel anal\u00fc\u00fcsime nende aastaseid sissetulekuid ja kulutuste taset.<\/p>\n

Keele:<\/b> R<\/p>\n

Andmekogum\/Pakett:<\/b> Mall_Customers andmestik<\/p>\n

13. Rinnav\u00e4hi Klassifitseerimine<\/h3>\n

\nVaadake t\u00e4ielikku andmeanal\u00fc\u00fcsi projekti teostust Pythonis \u2014 Rinnav\u00e4hi klassifitseerimine s\u00fcva\u00f5ppe abil<\/a><\/noindex>.<\/p>\n

\"14
\n
\nTagasi meditsiinilise andmete teaduse panusele, \u00f5ppigem tuvastama rinnav\u00e4hki Pythoniga. Kasutame andmestikku IDC_regular, et tuvastada invasiivne piimajuhade kartsinoom, k\u00f5ige levinum rinnav\u00e4hi vorm. See areneb piimajuhades, tungides piima n\u00e4\u00e4rme kiulisse v\u00f5i rasvkoesse v\u00e4ljaspool juhade. Selles andmete kogumise teadusprojekti idees kasutame S\u00fcva\u00f5pe<\/a><\/noindex> ja Keras'i raamatukogu klassifitseerimiseks.<\/p>\n

Keele:<\/b> Python<\/p>\n

Andmekogum\/Pakett:<\/b> IDC_regular<\/p>\n

14. Liiklusm\u00e4rkide tuvastamine<\/h3>\n

\nT\u00e4pse auto ises\u00f5itmise tehnoloogia saavutamine andmeteaduse projekti abil, kasutades CNN-i liiklusm\u00e4rkide tuvastamiseks<\/a><\/noindex> avatud l\u00e4htekoodiga.<\/p>\n

\"14
\n
\nLiiklusm\u00e4rkide ja liiklusreeglite tundmine on iga juhile v\u00e4ga oluline, et v\u00e4ltida \u00f5nnetusi. Reeglitest kinnipidamiseks peab k\u00f5igepealt m\u00f5istma, millised liiklusm\u00e4rgid v\u00e4lja n\u00e4evad. Inimene peab \u00f5ppima k\u00f5ik liiklusm\u00e4rgid enne, kui temale antakse lubade juhtida m\u00f5nda s\u00f5idukit. Kuid praegu kasvab autonoomsete s\u00f5idukite arv, ja l\u00e4hitulevikus ei pea inimene enam autot iseseisvalt juhtima. Liiklusm\u00e4rkide tuvastamise projektis saate teada, kuidas programm suudab tuvastada liiklusm\u00e4rgi t\u00fc\u00fcbi, v\u00f5ttes pildi sisendiks. Saksamaa liiklusm\u00e4rkide tuvastamise kontrollandmestik (GTSRB) kasutatakse s\u00fcgava n\u00e4rviv\u00f5rgu loomisel, et tuvastada, millisesse klassi liiklusm\u00e4rk kuulub. Loome ka lihtsa graafilise liidese rakendusega suhtlemiseks.<\/p>\n

Keele:<\/b> Python<\/p>\n

Andmekogum:<\/b> GTSRB (Saksamaa liiklusm\u00e4rkide tuvastamise standard)<\/p>\n

Loe rohkem<\/h3>\n

<\/p>\n