14 avatud lähtekoodiga projekti, et arendada oma andmete teaduse oskusi (lihtne, normaalne, keeruline)

Andmete teadus algajatele

1. Tunnetuse analüüs (Teksti kaudu tuvastamine)

Vaata täielikku andmete teaduse projekti teostust, kasutades allikat — Tunnetuse analüüsi projekt R-is.

Tunnetuse analüüs — see on sõnade analüüs, et määrata emotsioone ja arvamusi, mis võivad olla positiivsed või negatiivsed. See on klassifitseerimise tüüp, kus klassid võivad olla kas binaarsed (positiivsed ja negatiivsed) või mitmekesised (õnnelikud, tigedad, kurvad, vastikud …). Teeme selle andmete teaduse projekti R keeles ja kasutame andmekogumit paketis „janeaustenR“. Kasutame üldotstarbelisi sõnaraamatuid nagu AFINN, bing ja loughran, teeme sisemise ühenduse ja lõpus loome sõnapilve, et visualiseerida tulemust.

Keel: R
Andmekogum/Pakett: janeaustenR

Artikkel on tõlgitud EDISON Software'i toetusel, kes loob virtuaalseid prooviruumid mitme brändi kauplustele, samuti katsetab tarkvara.

2. Valeuudiste tuvastamine (Fake News Detection)

Tõsta oma oskusi uuele tasemele, töötades algajate andmete teaduse projektiga — valeuudiste tuvastamine Pythoniga.

Valeuudised on vale teave, mida jagatakse sotsiaalmeedias ja muudes võrgumeediates poliitiliste eesmärkide saavutamiseks. Selles andmete teaduse projekti idees kasutame Pythonit mudeli loomiseks, mis suudab täpselt määrata, kas uudis on tõene või vale. Loome TfidfVectorizeri ja kasutame PassiveAggressiveClassifierit uudiste klassifitseerimiseks „reaalseteks“ ja „valeuudisteks“. Kasutame andmestikku, mille vorm on 7796 × 4, ja teeme kõik Jupyter Labis.

Keel: Python

Andmekogum/Pakett: news.csv

3. Parkinsoni haiguse tuvastamine

Liigu edasi, töötades andmete teaduse projekti idee kallal — Parkinsoni haiguse tuvastamine XGBoostiga.

Alustasime andmete teaduse kasutamist tervishoiu ja teenuste parandamiseks — kui saame haigust varakult ennustada, on meil palju eeliseid. Niisiis, selles andmete teaduse projekti idees õpime tuvastama Parkinsoni haigust Pythoniga. See on neurodegeneratiivne, progresseeruv keskne närvisüsteemi haigus, mis mõjutab liikumist ja põhjustab värinaid ja jäikust. See mõjutab dopamiini tootvaid neuroneid ajus ning igal aastal mõjutab see rohkem kui miljonit inimest Indias.

Keel: Python

Andmekogum/Pakett: UCI ML Parkinsoni andmekogum

Keskmise keerukusega andmete teaduse projektid

4. Kõne emotsioonide tuvastamine

Vaata täielikku andmete teaduse projekti näidet — kõne tuvastamine Librosaga.

Nüüd õpime kasutama erinevaid teeke. See andmete teaduse projekt kasutab librosat kõne tuvastamiseks. SER on protsess, mis määrab inimeste emotsioone ja afektiivseid seisundeid kõnest. Kuna me kasutame emotsioonide väljendamiseks tooni ja helikõrgust, on SER aktuaalne. Kuid kuna emotsioonid on subjektiivsed, on heli märgistamine keeruline ülesanne. Kasutame mfcc, chroma ja mel funktsioone ning kasutame emotsioonide tuvastamiseks RAVDESS andmestikku. Loome selle mudeli jaoks MLPC klassifikaatori.

Keel: Python

Andmekogum/Pakett: RAVDESS andmestik

5. Soolise ja vanuse tuvastamine

Pimestage tööandjaid selle uusima andmete teaduse projektiga — sugude ja vanuse määramine OpenCV-ga.

See on põnev andmete teaduse projekt Pythonis. Kasutades ainult ühte pilti, õpite ennustama inimese soo ja vanust. Selles tutvustame teile arvutinägemist ja selle põhimõtteid. Loome konvolutsioonilise närvivõrgu ja kasutame Tal Hassneri ja Gil Levy mudeleid Adience andmestikule. Teel kasutame mõningaid .pb, .pbtxt, .prototxt ja .caffemodel faile.

Keel: Python

Andmekogum/Pakett: Adience

6. Uberi andmete analüüs

Vaata täielikku andmete teaduse projekti teostust — Uberi andmete analüüsi projekt R-is.

See on andmete visualiseerimise projekt ggplot2-ga, kus kasutame R ja selle teeke ning analüüsime erinevaid parameetreid. Kasutame New Yorgi Uberi ülesvõttete andmestikku ja loome visualiseerimisi erinevate aastaaegade jaoks. See näitab meile, kuidas aeg mõjutab klientide reiside arvu.

Keel: R

Andmekogum/Pakett: Uberi ülesvõtted New Yorgis

7. Juhi unisuse tuvastamine

Arendage oma oskusi, töötades tipptasemel andmete teaduse projekti kallal — unisuse tuvastamissüsteem OpenCV ja Kerasiga.

Unine sõitmine on äärmiselt ohtlik ning igal aastal toimub umbes tuhandeid õnnetusi, kuna juhid uinutavad sõidu ajal. Sellel Pythonil põhineval projektis loome süsteemi, mis suudab tuvastada uniseid juhte ning teavitada neid helisignaali kaudu.

See projekt on teostatud Keras ja OpenCV abil. Kasutame OpenCV-d näo ja silmade tuvastamiseks ning Keras on meie silmade oleku (Avatud või Suletud) klassifitseerimise jaoks süvaõppe meetodite abil.

8. Chatbot

Looge chatbot Pythoniga ja astuge oma karjääris edasi — Chatbot NLTK & Kerasiga.

Chatbotid on äri lahutamatu osa. Paljud ettevõtted peavad pakkuma teenuseid oma klientidele, ja selleks on vaja palju tööjõudu, aega ja pingutust. Chatbotid saavad automatiseerida suure osa kliendisuhtlusest, vastates mõnele klientide sagedaselt esitatud küsimusele. Peamiselt on kahte tüüpi chatbot'e: domaani-spetsiifilised ja avatud domeeniga. Domaani-spetsiifilisi chatbot'e kasutatakse sageli konkreetse probleemi lahendamiseks, seega peate need oma valdkonnas tõhusalt toimimiseks kohandama. Avatud domeeni chatbot'idele võib esitada igasuguseid küsimusi, seetõttu nõuab nende koolitamine tohutut andmehulka.

Andmekogum: Intents json fail

Keel: Python

Edasijõudnud andeteaduse projektid

9. Image Caption Generator (Pildi Kirjeldaja)

Vaadake projekti täielikku teostust koos allika koodiga — Pildi Kirjeldaja CNN & LSTM abil.

Pildi sisu kirjeldamine on inimestele lihtne ülesanne, kuid arvutite jaoks on pilt lihtsalt numbrite kogum, mis esindab iga piksliga seotud värvi väärtust. See on arvutite jaoks keeruline ülesanne. Mõista, mis pildil on, ja seejärel luua loomuliku keele (näiteks inglise keeles) kirjeldus, on teine keeruline ülesanne. See projekt kasutab süvaõppe meetodeid, kus me rakendame konvolutsioonilist närvivõrku (CNN) koos korduvate närvivõrkudega (LSTM), et luua pildi kirjeldaja.

Andmekogum: Flickr 8K

Keel: Python

Raamistik: Keras

10. Credit Card Fraud Detection (Krediitkaartide Pettuse Tuvastamine)

Maxige oma võimalusi, töötades andeteaduse projektiga — krediitkaartide pettuse tuvastamine masinõppe abil.

Kuni praeguseni olete hakanud mõistma meetodeid ja kontseptsioone. Liigugem edasi mõnele edasijõudnud andeteaduse projektile. Selles projektis kasutame R keelt koos selliste algoritmidega nagu otsustuspuud, logistiline regressioon, tehisnärvivõrgud ja gradienttõuke klassifikaator. Kasutame kaarditehingute andmekogumit, et klassifitseerida krediitkaarditehingud kui petlikud ja ehtsad. Me kohandame neile erinevaid mudeleid ja koostame jõudluskõverad.

Keel: R

Andmekogum/Pakett: Kaarditehingute andmekogum

11. Movie Recommendation System (Filmi Soovitussüsteem)

Uurige välja parima andeteaduse projekti teostus koos allika koodiga — Filmi Soovitussüsteem R keeles

Selles andeteaduse projektis kasutame R-i, et teha filme soovitusi masinõppe abil. Soovitussüsteem edastab kasutajatele ettepanekud, tuginedes teiste kasutajate eelistustele ja vaatamisajaloolle. Kui A ja B meeldib Home Alone, ja B armastab Mean Girls, siis võib A-le soovitada — võib-olla meeldib see ka talle. See võimaldab klientidel suhelda platvormiga.

Keel: R

Andmekogum/Pakett: MovieLens andmekogum

12. Customer Segmentation (Kliendi Sisetamine)

Küpsetage tööandjatele muljet andeteaduse projektiga (koos allika koodiga) — Kliendi segmenteerimine masinõppe abil.

Kliendi segmenteerimine on populaarne rakendus järelevalveta õppimise (unsupervised learning). Klasterdamise abil määravad ettevõtted kliendisegmentide, et töötada potentsiaalse kasutajaskonnaga. Nad jagavad kliente rühmadesse vastavalt sarnastele omadustele, näiteks soole, vanusele, huvidele ja harjumustele, et nad saaksid tõhusalt müüa oma tooteid igale rühmale. Me kasutame K-means klasterdamist, samuti visualiseerime soo ja vanuse jaotust. Seejärel analüüsime nende aastaseid sissetulekuid ja kulutusi.

Keel: R

Andmekogum/Pakett: Mall_Customers andmekogum

13. Breast Cancer Classification (Rinnavähi Klassifitseerimine)

Vaadake täielikku andeteaduse projekti teostust Pythonis — Rinnavähi klassifitseerimine süvaõppe abil.

Naastes andmeteaduse meditsiinilistele panustele, õppime tuvastama rinnavähki Pythoniga. Kasutame andmekogumit IDC_regular, et tuvastada invasiivset piimanäärmekartsinoomi, mis on kõige levinum rinnavähi vorm. See areneb piimanäärmete kanalites, tungides kanali alt välja kiulisse või rasvasesse koe. Selles andmekogumise teadusprojektis kasutame Sügavõpe ja Keras raamatukogu klassifitseerimiseks.

Keel: Python

Andmekogum/Pakett: IDC_regular

14. Teede liiklusmärkide tuvastamine

Autonoomse sõiduki tehnoloogia täpsuse saavutamine andmeteaduse projekti kaudu liiklusmärkide tuvastamiseks CNN-i abil avaallikaga.

Liiklusmärgid ja liiklusreeglid on iga juhi jaoks äärmiselt olulised, et vältida õnnetusi. Reeglitest kinni pidamiseks tuleb kõigepealt mõista, millised liiklusmärgid välja näevad. Inimene peab õppima kõiki liiklusmärke, enne kui talle antakse luba juhtida igasuguseid sõidukeid. Kuid nüüd kasvab autonoomsete sõidukite arv ja lähitulevikus ei juhita autot enam iseseisvalt. Projekti "Liiklusmärkide tuvastamine" käigus õpite, kuidas programm suudab tuvastada, milline liiklusmärk on, võttes pildi sisendiks. Saksamaa liiklusmärkide tuvastamise andmestik (GTSRB) kasutatakse sügava närvivõrgu ehitamiseks selle klassi tuvastamiseks, kuhu liiklusmärk kuulub. Loome ka lihtsa graafilise liidese rakendusega suhtlemiseks.

Keel: Python

Andmekogum: GTSRB (Saksa liiklusmärkide tuvastamise näidis)

Loe veel

• 52 andmestikku treeningprojektide jaoks
• Front-end dook: projektid arendaja oskuste harjutamiseks (5 uut + 43 vana)
• Top-12 kõige huvitavamat IT-dünaamilist infograafikat

Allikas: habr.com