14 avatud lähtekoodiga projekti Data Science oskuste arendamiseks (lihtne, normaalne, raske)

Andmete teadus algajatele

1. Tunneanalüüs (Tunde analüüs teksti kaudu)

Vaata kogu andmete teaduse projekti teostust lähtekoodi abil — Tunneanalüüsi projekt R-is.

Tunneanalüüs on sõnade analüüs, et määrata emotsioone ja arvamusi, mis võivad olla positiivsed või negatiivsed. See on klassifitseerimise tüüp, kus klassid võivad olla binaarsed (positiivsed ja negatiivsed) või mitmekesised (rõõmsad, kurvad, vihased, vastikud...). Me teostame selle andmete teaduse projekti keeles R ja kasutame andmekogumit paketist „janeaustenR”. Me kasutame üldotstarbelisi sõnarooge nagu AFINN, bing ja loughran, teeme sisemisi ühendusi ja lõpuks loome sõnapilve, et kuvada tulemusi.

Keele: R
Andmekogum/Pakett: janeaustenR

Artikkel on tõlgitud ettevõtte EDISON Software toetusel, mis loob virtuaalsed proovimisruumid mitme kaubamärgi poodide jaoks, samuti testib tarkvara.

2. Valeuudiste tuvastamine (Valeuudiste avastamine)

Tõsta oma oskusi uuele tasemele, töötades algajate andmete teaduse projekti kallal — valeuudiste tuvastamine Pythoniga.

Valeuudised on vale info, mida levitatakse sotsiaalmeedia ja teiste võrgumeedia kaudu poliitiliste eesmärkide saavutamiseks. Selles andmete teaduse projekti idees kasutame Pythonit mudeli loomiseks, mis suudab täpselt kindlaks teha, kas uudis on tõene või vale. Loome TfidfVectorizeri ja kasutame PassiveAggressiveClassifierit, et klassifitseerida uudiseid 'reaalseteks' ja 'valeuudisteks'. Kasutame andmekogumit suurusega 7796 × 4 ja teeme kõik Jupyter Labis.

Keele: Python

Andmekogum/Pakett: news.csv

3. Parkinsoni haiguse tuvastamine (Parkinsoni haiguse avastamine)

Liigu edasi, töötades andmete teaduse projekti idee kallal — Parkinsoni haiguse tuvastamine XGBoostiga.

Olemegi hakanud kasutama andmete teadust tervishoiu ja teenuste parendamiseks — kui saame haiguse varajases staadiumis ennustada, siis on meil palju eeliseid. Nii et selle andmete teaduse projekti idees õpime tuvastama Parkinsoni haigust Pythoniga. See on neurodegeneratiivne, progresseeruv kesknärvisüsteemi haigus, mis mõjutab liikumist ja põhjustab värisemist ja jäikust. See mõjutab dopamiini tootvaid neuroneid ajus ja igal aastal puudutab see Indias üle miljoni inimese.

Keele: Python

Andmekogum/Pakett: UCI ML Parkinsoni andmekogum

Andmete teaduse keskrohtude projektid

4. Kõneemotsioonide tuvastamine

Tutvuge täispika Data Science projekti näidisega — kõne tuvastamine Librosa abil.

Nüüd õpime kasutama erinevaid teeke. See Data Science projekt kasutab kõne tuvastamiseks librosa't. SER on protsess, mille käigus määratakse inimesse emotsioonid ja affektiivsed seisundid kõne kaudu. Kuna emotsioonid väljendavad meie hääles tonaalsust ja kõrgust, on SER asjakohane. Kuna emotsioonid on subjektiivsed, on helifailide märgistamine keeruline ülesanne. Kasutame mfcc, chroma ja mel funktsioone ning RAVDESS andmestikku emotsioonide tuvastamiseks. Loome MLPC klassifikaatori sellele mudelile.

Keele: Python

Andmekogum/Pakett: RAVDESS andmestik

5. Soolise ja vanuse tuvastamine

Püüdke tööandjate tähelepanu kõige värskema Data Science projektiga — vana ja soo tuvastamine OpenCV abil.

See on huvitav Data Science projekt Pythonis. Kasutades ainult ühte pilti, õpite ennustama inimese soo ja vanust. Selles tutvustame teid arvutinägemise ja selle põhialustega. Loome konvolutsioonilise närvivõrgu ning kasutame Tal Hassneri ja Gil Levi treenitud mudeleid Adience andmestiku jaoks. Teel kasutame mõned .pb, .pbtxt, .prototxt ja .caffemodel failid.

Keele: Python

Andmekogum/Pakett: Adience

6. Uberi andmete analüüs

Vaadake täispikka Data Science projekti koos lähtekoodiga — Uberi andmete analüüsi projekt R-is.

See on andmete visualiseerimise projekt ggplot2 abil, kus kasutame R-i ja selle teeke ning analüüsime erinevaid parameetreid. Kasutame New Yorgi Uberi Pickups andmestikku ja loome visualiseeringuid erinevate aastaaegade jaoks. See räägib meile, kuidas aeg mõjutab klientide sõite.

Keele: R

Andmekogum/Pakett: Uberi Pickups New Yorgi linnas andmestik

7. Juhi uimasuse tuvastamine

Parandage oma oskusi, töötades tipptasemel Data Science projekti kallal — uimasuse tuvastamise süsteem OpenCV & Keras abil.

Uimasus roolis on äärmiselt ohtlik ning igal aastal juhtub umbes tuhat õnnetust, kuna juhid magavad sõidu ajal. Sellel Pythonil põhineval projektis loome süsteemi, mis suudab tuvastada uimasena juhid ja hoiatada neid helisignaali abil.

See projekt on ellu viidud Keras'i ja OpenCV abil. Kasutame OpenCV-d näo ja silmade tuvastamiseks ning Keras'i abil klassifitseerime silmade seisundi (Ava või Suletud) sügavate närvivõrkude meetodite abil.

8. Vestlusrobot

Looge vestlusrobot Pythoniga ja astuge sammu edasi oma karjääris — Vestlusrobot NLTK & Keras'iga.

Vestlusrobotid on ettevõtte lahutamatu osa. Paljudel ettevõtetel on klientidele teenuste pakkumise jaoks vajalik suur tööjõud, aeg ja vaev. Vestlusrobotid saavad automatiseerida suure osa kliendiga suhtlemisest, vastates mõnele sagedaselt esitatavale küsimusele. Peamiselt on kaks tüüpi vestlusrobotite: valdkonnapõhised ja avatud domeeniga. Valdkonnapõhised vestlusrobotid on tihti kasutusel konkreetse probleemi lahendamiseks ja seetõttu tuleb neid teie valdkonnas tõhusaks tööks kohandada. Avatud domeeniga vestlusrobotitele saab esitada igasuguseid küsimusi, mistõttu nende treenimiseks on vajalik tohutu andmehulk.

Andmekogum: Intentsi json fail

Keele: Python

Kohanenud andeteadlase projektid

9. Pildikirjelduse generaator

Kontrollige projekti täielikku teostust allika koodiga — Pildikirjelduse generaator CNN & LSTM'iga.

Pildi sisu kirjelda on inimestele lihtne ülesanne, kuid arvutitele on pilt lihtsalt arvude kogum, mis esindavad iga pikseli värvitooni väärtust. See on arvutitele keeruline ülesanne. Arvutite jaoks mõista, mis pildil on, ja seejärel luua loomulikul keelel (nt inglise keeles) kirjeldus, on veel üks keeruline ülesanne. See projekt kasutab sügava õppimise meetodeid, kus rakendame konvolutsioonivõrku (CNN) koos korduva närvivõrguga (LSTM), et luua pildikirjelduse generaator.

Andmekogum: Flickr 8K

Keele: Python

Raamistik: , mis pakub mitmeid mudeli koostamise liideseid (Sequential, Functional, Subclassing) ja võimaldab nende

10. Krediitkaardi pettuste tuvastamine

Tehke kõik endast olenev, töötades välja andeteaduse projekti idee — krediitkaardi pettuste tuvastamine masinõppe abil.

Kuni tänase päevani olete hakanud mõistma meetodeid ja kontseptsioone. Liigume nüüd mõnede arenenud andeteaduse projektide juurde. Selles projektis kasutame R keelt selliste algoritmide nagu otsustust puudutavad puudega, logistika regressioon, tehisintellekti neuronvõrgud ja gradienteerimise klassifikaator. Kasutame kaarditehingute andmestikku, et klassifitseerida krediitkaarditehingud petuskeemideks ja ehtiteks. Valime neile erinevad mudelid ja koostame jõudluskaardid.

Keele: R

Andmekogum/Pakett: Kaarditehingute andmestik

11. Filmide Soovitussüsteem

Uurige parima andmeanalüüsi projekti teostust koos lähtekoodiga — Filmide soovitussüsteem R keeles

Selles andmeanalüüsi projektis kasutame R-i, et teha filmisoovitusi masinõppe kaudu. Soovitussüsteem saadab kasutajatele ettepanekuid, põhinedes teiste kasutajate eelistustele ja vaatamisharjumustele. Kui A ja B meeldib Home Alone, ja B armastab Mean Girls, siis võiks A-le soovitada — see võiks talle samuti meeldida. See võimaldab klientidel platvormiga suhelda.

Keele: R

Andmekogum/Pakett: MovieLens andmestik

12. Klientide Segmenteerimine

Käivitage iseloomulik mulje tööandjatele andmeanalüüsi projekti abil (sealhulgas lähtekood) — Klientide segmenteerimine masinõppe avulla.

Klientide segmenteerimine on populaarne rakendus järelevalveta õppimise (unsupervised learning). Klasterdamise abil määravad ettevõtted kliendisegmendid, millega töötada potentsiaalses kasutajate baas. Nad jaotavad kliendid rühmadesse vastavalt ühistele omadustele nagu sugu, vanus, huvid ja kulutamisharjumused, et nad saaksid tõhusalt oma tooteid igale rühmale müüa. Kasutame K-means klasterdamine, samuti visualiseerime soo ja vanuse jaotuse. seejärel analüüsime nende aastaseid sissetulekuid ja kulutuste taset.

Keele: R

Andmekogum/Pakett: Mall_Customers andmestik

13. Rinnavähi Klassifitseerimine

Vaadake täielikku andmeanalüüsi projekti teostust Pythonis — Rinnavähi klassifitseerimine süvaõppe abil.

Tagasi meditsiinilise andmete teaduse panusele, õppigem tuvastama rinnavähki Pythoniga. Kasutame andmestikku IDC_regular, et tuvastada invasiivne piimajuhade kartsinoom, kõige levinum rinnavähi vorm. See areneb piimajuhades, tungides piima näärme kiulisse või rasvkoesse väljaspool juhade. Selles andmete kogumise teadusprojekti idees kasutame Süvaõpe ja Keras'i raamatukogu klassifitseerimiseks.

Keele: Python

Andmekogum/Pakett: IDC_regular

14. Liiklusmärkide tuvastamine

Täpse auto isesõitmise tehnoloogia saavutamine andmeteaduse projekti abil, kasutades CNN-i liiklusmärkide tuvastamiseks avatud lähtekoodiga.

Liiklusmärkide ja liiklusreeglite tundmine on iga juhile väga oluline, et vältida õnnetusi. Reeglitest kinnipidamiseks peab kõigepealt mõistma, millised liiklusmärgid välja näevad. Inimene peab õppima kõik liiklusmärgid enne, kui temale antakse lubade juhtida mõnda sõidukit. Kuid praegu kasvab autonoomsete sõidukite arv, ja lähitulevikus ei pea inimene enam autot iseseisvalt juhtima. Liiklusmärkide tuvastamise projektis saate teada, kuidas programm suudab tuvastada liiklusmärgi tüübi, võttes pildi sisendiks. Saksamaa liiklusmärkide tuvastamise kontrollandmestik (GTSRB) kasutatakse sügava närvivõrgu loomisel, et tuvastada, millisesse klassi liiklusmärk kuulub. Loome ka lihtsa graafilise liidese rakendusega suhtlemiseks.

Keele: Python

Andmekogum: GTSRB (Saksamaa liiklusmärkide tuvastamise standard)

Loe rohkem

• 52 andmete komplekti treeningprojektide jaoks
• Front-end dojos: projektid arendajakogemuse harjutamiseks (5 uut + 43 vana)
• Top-12 kõige huvitavamat IT-dünaamilist infograafikat

Allikas: habr.com