គម្រោងប្រភពបើកចំហចំនួន 14 ដើម្បីបង្កើនជំនាញវិទ្យាសាស្ត្រទិន្នន័យ (ងាយស្រួល ធម្មតា រឹង)

វិទ្យាសាស្ត្រទិន្នន័យសម្រាប់អ្នកចាប់ផ្តើមដំបូង

1. ការវិភាគមនោសញ្ចេតនា (ការវិភាគអារម្មណ៍តាមរយៈអត្ថបទ)

សូមពិនិត្យមើលការអនុវត្តគម្រោងវិទ្យាសាស្ត្រទិន្នន័យពេញលេញដោយប្រើកូដប្រភព − គម្រោងវិភាគអារម្មណ៍នៅក្នុង R.

Sentiment Analysis គឺជាការវិភាគនៃពាក្យដើម្បីកំណត់មនោសញ្ចេតនា និងទស្សនៈ ដែលអាចវិជ្ជមាន ឬអវិជ្ជមាន។ នេះគឺជាប្រភេទនៃចំណាត់ថ្នាក់ដែលថ្នាក់អាចជាគោលពីរ (វិជ្ជមាន និងអវិជ្ជមាន) ឬពហុវចនៈ (រីករាយ, ខឹង, សោកសៅ, អាក្រក់...)។ យើងនឹងអនុវត្តគម្រោង Data Science នេះនៅក្នុង R ហើយនឹងប្រើសំណុំទិន្នន័យនៅក្នុងកញ្ចប់ "janeaustenR" ។ យើងនឹងប្រើវចនានុក្រមគោលបំណងទូទៅដូចជា AFINN, bing និង loughran អនុវត្តការភ្ជាប់ខាងក្នុង ហើយនៅចុងបញ្ចប់យើងនឹងបង្កើតពពកពាក្យដើម្បីបង្ហាញលទ្ធផល។

Язык: R
សំណុំទិន្នន័យ/កញ្ចប់៖ JaneaustenR

អត្ថបទនេះត្រូវបានបកប្រែដោយមានការគាំទ្រពីកម្មវិធី EDISON ដែល ធ្វើឱ្យបន្ទប់សមនិម្មិតសម្រាប់ហាងពហុម៉ាក, ក៏ដូចជា កម្មវិធីសាកល្បង.

2. ការរកឃើញព័ត៌មានក្លែងក្លាយ

យកជំនាញរបស់អ្នកទៅកម្រិតបន្ទាប់ដោយធ្វើការលើគម្រោង Data Science សម្រាប់អ្នកចាប់ផ្តើមដំបូង - ស្វែងរកព័ត៌មានក្លែងក្លាយជាមួយ Python.

ព័ត៌មានក្លែងក្លាយ គឺជាព័ត៌មានមិនពិត ដែលផ្សព្វផ្សាយតាមប្រព័ន្ធផ្សព្វផ្សាយសង្គម និងប្រព័ន្ធផ្សព្វផ្សាយអនឡាញផ្សេងទៀត ដើម្បីសម្រេចបាននូវគោលដៅនយោបាយ។ នៅក្នុងគំនិតគម្រោង Data Science នេះ យើងនឹងប្រើ Python ដើម្បីបង្កើតគំរូដែលអាចកំណត់បានយ៉ាងត្រឹមត្រូវថាតើរឿងព័ត៌មានពិតឬក្លែងក្លាយ។ យើងនឹងបង្កើត TfidfVectorizer ហើយប្រើ PassiveAggressiveClassifier ដើម្បីចាត់ថ្នាក់ព័ត៌មានទៅជា "ពិត" និង "ក្លែងក្លាយ" ។ យើងនឹងប្រើសំណុំទិន្នន័យនៃរូបរាង 7796 × 4 ហើយដំណើរការអ្វីគ្រប់យ៉ាងនៅក្នុង Jupyter Lab ។

Язык: ពស់ថ្លាន់

សំណុំទិន្នន័យ/កញ្ចប់៖ news.csv

3. ការរកឃើញជំងឺផាកឃីនសុន

ឆ្ពោះទៅមុខជាមួយនឹងគំនិតគម្រោងវិទ្យាសាស្ត្រទិន្នន័យរបស់អ្នក - ការរកឃើញជំងឺផាកឃីនសុនដោយប្រើ XGBoost.

យើងបានចាប់ផ្តើមប្រើប្រាស់ Data Science ដើម្បីកែលម្អការថែទាំសុខភាព និងសេវាកម្ម ប្រសិនបើយើងអាចទស្សន៍ទាយជំងឺនៅដំណាក់កាលដំបូង នោះយើងនឹងមានអត្ថប្រយោជន៍ជាច្រើន។ ដូច្នេះ នៅក្នុងគំនិតគម្រោង Data Science នេះ យើងនឹងរៀនពីរបៀបរកឃើញជំងឺ Parkinson ដោយប្រើ Python។ វា​ជា​ជំងឺ​វិវឌ្ឍ​នៃ​ប្រព័ន្ធ​ប្រសាទ​កណ្តាល ដែល​ប៉ះពាល់​ដល់​ចលនា និង​ធ្វើ​ឱ្យ​ញ័រ និង​រឹង​។ វាប៉ះពាល់ដល់សរសៃប្រសាទដែលផលិត dopamine នៅក្នុងខួរក្បាល ហើយជារៀងរាល់ឆ្នាំ វាប៉ះពាល់ដល់មនុស្សជាង 1 លាននាក់នៅក្នុងប្រទេសឥណ្ឌា។

Язык: ពស់ថ្លាន់

សំណុំទិន្នន័យ/កញ្ចប់៖ សំណុំទិន្នន័យ UCI ML Parkinson

គម្រោងវិទ្យាសាស្ត្រទិន្នន័យនៃភាពស្មុគស្មាញមធ្យម

4. ការទទួលស្គាល់អារម្មណ៍នៃការនិយាយ

សូមពិនិត្យមើលការអនុវត្តពេញលេញនៃគម្រោងឧទាហរណ៍វិទ្យាសាស្ត្រទិន្នន័យ − ការទទួលស្គាល់ការនិយាយដោយប្រើ Librosa.

ឥឡូវនេះ ចូរយើងរៀនពីរបៀបប្រើប្រាស់បណ្ណាល័យផ្សេងៗ។ គម្រោងវិទ្យាសាស្ត្រទិន្នន័យនេះប្រើ librosa សម្រាប់ការទទួលស្គាល់ការនិយាយ។ SER គឺជាដំណើរការនៃការកំណត់អត្តសញ្ញាណអារម្មណ៍របស់មនុស្ស និងស្ថានភាពដែលមានឥទ្ធិពលពីការនិយាយ។ ដោយសារយើងប្រើសំនៀង និងសំឡេងដើម្បីបង្ហាញពីអារម្មណ៍ជាមួយនឹងសំឡេងរបស់យើង SER គឺពាក់ព័ន្ធ។ ប៉ុន្តែដោយសារអារម្មណ៍គឺជាប្រធានបទ ចំណារពន្យល់ជាសំឡេងគឺជាកិច្ចការដ៏លំបាកមួយ។ យើងនឹងប្រើមុខងារ mfcc, chroma និង mel ហើយប្រើសំណុំទិន្នន័យ RAVDESS សម្រាប់ការទទួលស្គាល់អារម្មណ៍។ យើងនឹងបង្កើតអ្នកចាត់ថ្នាក់ MLPC សម្រាប់គំរូនេះ។

Язык: ពស់ថ្លាន់

សំណុំទិន្នន័យ/កញ្ចប់៖ សំណុំទិន្នន័យ RAVDESS

5. ការរកឃើញភេទ និងអាយុ

ធ្វើឱ្យនិយោជកចាប់អារម្មណ៍ជាមួយនឹងគម្រោង Data Science ចុងក្រោយបង្អស់ - កំណត់ភេទ និងអាយុដោយប្រើ OpenCV.

នេះគឺជា Data Science ដែលគួរឱ្យចាប់អារម្មណ៍ជាមួយ Python ។ ដោយប្រើរូបភាពតែមួយ អ្នកនឹងរៀនទាយភេទ និងអាយុរបស់មនុស្ស។ នៅក្នុងនេះ យើងនឹងណែនាំអ្នកអំពី Computer Vision និងគោលការណ៍របស់វា។ យើងនឹងសាងសង់ បណ្តាញសរសៃប្រសាទ convolutional ហើយនឹងប្រើគំរូដែលបណ្តុះបណ្តាលដោយ Tal Hassner និង Gil Levy នៅលើសំណុំទិន្នន័យ Adience ។ តាមផ្លូវយើងនឹងប្រើឯកសារ .pb, .pbtxt, .prototxt និង .caffemodel មួយចំនួន។

Язык: ពស់ថ្លាន់

សំណុំទិន្នន័យ/កញ្ចប់៖ ចំណង់ចំណូលចិត្ត

6. ការវិភាគទិន្នន័យ Uber

សូមពិនិត្យមើលការអនុវត្តគម្រោងវិទ្យាសាស្ត្រទិន្នន័យពេញលេញជាមួយនឹងកូដប្រភព − គម្រោងវិភាគទិន្នន័យ Uber នៅ R.

នេះគឺជាគម្រោងមើលឃើញទិន្នន័យជាមួយ ggplot2 ដែលយើងនឹងប្រើ R និងបណ្ណាល័យរបស់វា និងវិភាគប៉ារ៉ាម៉ែត្រផ្សេងៗ។ យើងនឹងប្រើសំណុំទិន្នន័យ Uber Pickups New York City និងបង្កើតការមើលឃើញសម្រាប់ស៊ុមពេលវេលាខុសៗគ្នានៃឆ្នាំ។ វាប្រាប់យើងពីរបៀបដែលពេលវេលាប៉ះពាល់ដល់ការធ្វើដំណើររបស់អតិថិជន។

Язык: R

សំណុំទិន្នន័យ/កញ្ចប់៖ សំណុំទិន្នន័យ Uber Pickups នៅទីក្រុងញូវយ៉ក

7. ការរកឃើញភាពងងុយគេងរបស់អ្នកបើកបរ

ធ្វើឱ្យប្រសើរឡើងនូវជំនាញរបស់អ្នកដោយធ្វើការលើគម្រោងវិទ្យាសាស្ត្រទិន្នន័យកំពូល - ប្រព័ន្ធរកឃើញភាពងងុយដេកជាមួយ OpenCV & Keras.

ការបើកបរងងុយដេកគឺមានគ្រោះថ្នាក់ខ្លាំងណាស់ ហើយគ្រោះថ្នាក់ជិតមួយពាន់កើតឡើងជារៀងរាល់ឆ្នាំ ដោយសារតែអ្នកបើកបរងងុយដេកពេលកំពុងបើកបរ។ នៅក្នុងគម្រោង Python នេះ យើងនឹងបង្កើតប្រព័ន្ធមួយដែលអាចរកឃើញអ្នកបើកបរងងុយដេក និងជូនដំណឹងពួកគេជាមួយនឹងសញ្ញាសំឡេងផងដែរ។

គម្រោងនេះត្រូវបានអនុវត្តដោយប្រើ Keras និង OpenCV ។ យើងនឹងប្រើ OpenCV សម្រាប់ការរកឃើញមុខ និងភ្នែក ហើយជាមួយ Keras យើងនឹងចាត់ថ្នាក់ស្ថានភាពភ្នែក (បើក ឬបិទ) ដោយប្រើបច្ចេកទេសបណ្តាញសរសៃប្រសាទជ្រៅ។

8. ឆាតប៊ឺក

បង្កើត Chatbot ជាមួយ Python ហើយបោះជំហានទៅមុខក្នុងអាជីពរបស់អ្នក - Chatbot ជាមួយ NLTK & Keras.

Chatbots គឺជាផ្នែកសំខាន់មួយនៃអាជីវកម្ម។ អាជីវកម្មជាច្រើនត្រូវផ្តល់សេវាកម្មដល់អតិថិជនរបស់ពួកគេ ហើយវាត្រូវការកម្លាំងពលកម្ម ពេលវេលា និងការខិតខំប្រឹងប្រែងជាច្រើនដើម្បីបម្រើពួកគេ។ Chatbots អាចធ្វើឱ្យអន្តរកម្មអតិថិជនជាច្រើនរបស់អ្នកដោយស្វ័យប្រវត្តិដោយការឆ្លើយសំណួរទូទៅមួយចំនួនដែលអតិថិជនសួរ។ មានមូលដ្ឋានពីរប្រភេទនៃ chatbots: ដែនជាក់លាក់ និងដែនបើកចំហ។ chatbot ជាក់លាក់នៃដែនត្រូវបានប្រើជាញឹកញាប់ដើម្បីដោះស្រាយបញ្ហាជាក់លាក់មួយ។ ដូច្នេះ អ្នកត្រូវប្ដូរវាតាមបំណង ដើម្បីដំណើរការប្រកបដោយប្រសិទ្ធភាពក្នុងវិស័យរបស់អ្នក។ Open-domain chatbots អាចត្រូវបានសួរសំណួរណាមួយ ដូច្នេះការបណ្តុះបណ្តាលពួកគេតម្រូវឱ្យមានទិន្នន័យយ៉ាងច្រើន។

សំណុំទិន្នន័យ៖ ចេតនាឯកសារ json

Язык: ពស់ថ្លាន់

គម្រោងវិទ្យាសាស្ត្រទិន្នន័យកម្រិតខ្ពស់

9. ម៉ាស៊ីនបង្កើតចំណងជើងរូបភាព

ពិនិត្យមើលការអនុវត្តពេញលេញនៃគម្រោងជាមួយកូដប្រភព − ម៉ាស៊ីនបង្កើតចំណងជើងរូបភាពជាមួយ CNN & LSTM.

ការពិពណ៌នាអំពីអ្វីដែលមាននៅក្នុងរូបភាពគឺជាកិច្ចការដ៏ងាយស្រួលមួយសម្រាប់មនុស្ស ប៉ុន្តែសម្រាប់កុំព្យូទ័រ រូបភាពគ្រាន់តែជាលេខស៊េរីដែលតំណាងឱ្យតម្លៃពណ៌នៃភីកសែលនីមួយៗ។ នេះគឺជាការងារដ៏លំបាកសម្រាប់កុំព្យូទ័រ។ ការយល់ដឹងអំពីអ្វីដែលមាននៅក្នុងរូបភាព ហើយបន្ទាប់មកបង្កើតការពិពណ៌នាជាភាសាធម្មជាតិ (ដូចជាភាសាអង់គ្លេស) គឺជាកិច្ចការដ៏លំបាកមួយផ្សេងទៀត។ គម្រោងនេះប្រើបច្ចេកទេសសិក្សាជ្រៅដែលយើងអនុវត្តបណ្តាញសរសៃប្រសាទ Convolutional (CNN) ជាមួយបណ្តាញសរសៃប្រសាទឡើងវិញ (LSTM) ដើម្បីបង្កើតម៉ាស៊ីនបង្កើតការពិពណ៌នារូបភាព។

សំណុំទិន្នន័យ៖ Flickr 8K

Язык: ពស់ថ្លាន់

ក្របខ័ណ្ឌ៖ កេរ៉ាស

10. ការរកឃើញការក្លែងបន្លំកាតឥណទាន

ធ្វើ​ឱ្យ​អស់​ពី​សមត្ថភាព​ពេល​កំពុង​ធ្វើ​ការ​លើ​គំនិត​គម្រោង​វិទ្យាសាស្ត្រ​ទិន្នន័យ​របស់​អ្នក − រកឃើញការក្លែងបន្លំកាតឥណទានដោយប្រើម៉ាស៊ីនរៀន.

មក​ដល់​ពេល​នេះ អ្នក​បាន​ចាប់​ផ្ដើម​យល់​ពី​បច្ចេកទេស និង​គោល​គំនិត។ ចូរបន្តទៅគម្រោងវិទ្យាសាស្ត្រទិន្នន័យកម្រិតខ្ពស់មួយចំនួន។ នៅក្នុងគម្រោងនេះ យើងនឹងប្រើប្រាស់ភាសា R ជាមួយនឹងក្បួនដោះស្រាយដូចជា ដើមឈើការសម្រេចចិត្ត, តំរែតំរង់ផ្នែកភ័ស្តុភារ, បណ្តាញសរសៃប្រសាទសិប្បនិម្មិត និងឧបករណ៍ចាត់ថ្នាក់ជំរុញកម្រិតជម្រាល។ យើងនឹងប្រើសំណុំទិន្នន័យនៃប្រតិបត្តិការកាតដើម្បីចាត់ថ្នាក់ប្រតិបត្តិការកាតឥណទានថាជាការក្លែងបន្លំ ឬពិតប្រាកដ។ យើងនឹងជ្រើសរើសម៉ូដែលផ្សេងៗគ្នាសម្រាប់ពួកគេ និងបង្កើតខ្សែកោងការអនុវត្ត។

Язык: R

សំណុំទិន្នន័យ/កញ្ចប់៖ សំណុំទិន្នន័យប្រតិបត្តិការកាត

11. ប្រព័ន្ធណែនាំភាពយន្ត

សិក្សាការអនុវត្តគម្រោង Data Science ល្អបំផុតជាមួយកូដប្រភព - ប្រព័ន្ធណែនាំភាពយន្តជាភាសា R

នៅក្នុងគម្រោង Data Science នេះ យើងនឹងប្រើ R ដើម្បីអនុវត្តការណែនាំរបស់ភាពយន្តតាមរយៈការរៀនម៉ាស៊ីន។ ប្រព័ន្ធការណែនាំផ្ញើការផ្ដល់យោបល់ទៅអ្នកប្រើប្រាស់តាមរយៈដំណើរការត្រងដោយផ្អែកលើចំណូលចិត្តរបស់អ្នកប្រើប្រាស់ផ្សេងទៀត និងប្រវត្តិរុករក។ ប្រសិនបើ A និង B ចូលចិត្ត Home Alone ហើយ B ចូលចិត្ត Mean Girls នោះអ្នកអាចណែនាំ A - ពួកគេក៏អាចចូលចិត្តវាផងដែរ។ នេះអនុញ្ញាតឱ្យអតិថិជនធ្វើអន្តរកម្មជាមួយវេទិកា។

Язык: R

សំណុំទិន្នន័យ/កញ្ចប់៖ សំណុំទិន្នន័យ MovieLens

12. ការបែងចែកអតិថិជន

ធ្វើឱ្យនិយោជកចាប់អារម្មណ៍ជាមួយនឹងគម្រោងវិទ្យាសាស្ត្រទិន្នន័យ (រួមទាំងកូដប្រភព) - ការបែងចែកអតិថិជនដោយប្រើម៉ាស៊ីនរៀន.

ការបែងចែកអ្នកទិញគឺជាកម្មវិធីដ៏ពេញនិយមមួយ។ ការ​សិក្សា​ដែល​គ្មាន​ការ​ត្រួត​ពិនិត្យ. ដោយប្រើការចង្កោម ក្រុមហ៊ុនកំណត់អត្តសញ្ញាណផ្នែកអតិថិជនដើម្បីកំណត់គោលដៅអ្នកប្រើប្រាស់សក្តានុពល។ ពួកគេបែងចែកអតិថិជនជាក្រុមទៅតាមលក្ខណៈទូទៅដូចជា ភេទ អាយុ ចំណាប់អារម្មណ៍ និងទម្លាប់នៃការចំណាយ ដូច្នេះពួកគេអាចធ្វើទីផ្សារផលិតផលរបស់ពួកគេទៅក្រុមនីមួយៗប្រកបដោយប្រសិទ្ធភាព។ យើងនឹងប្រើ ខេ-មានន័យថាជាក្រុមក៏ដូចជាមើលឃើញការចែកចាយតាមភេទ និងអាយុ។ បន្ទាប់មកយើងនឹងវិភាគកម្រិតចំណូល និងចំណាយប្រចាំឆ្នាំរបស់ពួកគេ។

Язык: R

សំណុំទិន្នន័យ/កញ្ចប់៖ សំណុំទិន្នន័យ Mall_Customers

13. ចំណាត់ថ្នាក់មហារីកសុដន់

ពិនិត្យមើលការអនុវត្តពេញលេញនៃគម្រោងវិទ្យាសាស្ត្រទិន្នន័យនៅក្នុង Python − ចំណាត់ថ្នាក់មហារីកសុដន់ដោយប្រើការសិក្សាស៊ីជម្រៅ.

ត្រលប់មកការរួមចំណែកផ្នែកវេជ្ជសាស្រ្តនៃវិទ្យាសាស្ត្រទិន្នន័យ ចូរយើងរៀនពីរបៀបរកឃើញជំងឺមហារីកសុដន់ដោយប្រើ Python ។ យើងនឹងប្រើប្រាស់សំណុំទិន្នន័យ IDC_regular ដើម្បីកំណត់អត្តសញ្ញាណមហារីកបំពង់ទឹកដែលរាតត្បាត ដែលជាទម្រង់ទូទៅបំផុតនៃជំងឺមហារីកសុដន់។ វាវិវឌ្ឍនៅក្នុងបំពង់ទឹកដោះ ចូលទៅក្នុងជាលិកាសុដន់ដែលមានសរសៃ ឬខ្លាញ់នៅខាងក្រៅបំពង់។ នៅក្នុងគំនិតគម្រោងវិទ្យាសាស្ត្រប្រមូលទិន្នន័យនេះ យើងនឹងប្រើ ការសិក្សាស៊ីជម្រៅ។ និងបណ្ណាល័យ Keras សម្រាប់ចាត់ថ្នាក់។

Язык: ពស់ថ្លាន់

សំណុំទិន្នន័យ/កញ្ចប់៖ IDC_regular

14. ការទទួលស្គាល់ស្លាកសញ្ញាចរាចរណ៍

ការសម្រេចបាននូវភាពជាក់លាក់នៅក្នុងបច្ចេកវិទ្យាបើកបរដោយខ្លួនឯងជាមួយនឹងគម្រោង Data Science ការទទួលស្គាល់សញ្ញាចរាចរណ៍ដោយប្រើ CNN ប្រភព​បើក​ចំហ។

ផ្លាកសញ្ញាផ្លូវ និងច្បាប់ចរាចរណ៍មានសារៈសំខាន់ណាស់សម្រាប់អ្នកបើកបរគ្រប់រូប ដើម្បីបញ្ជៀសគ្រោះថ្នាក់។ ដើម្បី​ធ្វើ​តាម​ច្បាប់ ជា​ដំបូង​អ្នក​ត្រូវ​យល់​ថា​ផ្លាក​សញ្ញា​ផ្លូវ​មាន​រូបរាង​ដូច​ម្តេច។ មនុស្សម្នាក់ត្រូវតែសិក្សាពីផ្លាកសញ្ញាផ្លូវទាំងអស់មុនពេលគាត់ទទួលបានអាជ្ញាប័ណ្ណដើម្បីបើកបរយានយន្តណាមួយ។ ប៉ុន្តែឥឡូវនេះចំនួនយានយន្តស្វយ័តកំពុងកើនឡើង ហើយនៅពេលអនាគតដ៏ខ្លីមនុស្សម្នាក់នឹងលែងបើកបរដោយឯករាជ្យទៀតហើយ។ នៅក្នុងគម្រោង Road Sign Recognition អ្នកនឹងរៀនពីរបៀបដែលកម្មវិធីអាចសម្គាល់ប្រភេទនៃផ្លាកសញ្ញាផ្លូវដោយយករូបភាពជាការបញ្ចូល។ សំណុំទិន្នន័យសម្គាល់សញ្ញាចរាចរណ៍អាល្លឺម៉ង់ (GTSRB) ត្រូវបានប្រើដើម្បីបង្កើតបណ្តាញសរសៃប្រសាទជ្រៅដើម្បីទទួលស្គាល់ថ្នាក់ដែលជាកម្មសិទ្ធិរបស់សញ្ញាចរាចរណ៍។ យើងក៏បង្កើត GUI សាមញ្ញមួយដើម្បីធ្វើអន្តរកម្មជាមួយកម្មវិធីផងដែរ។

Язык: ពស់ថ្លាន់

សំណុំទិន្នន័យ៖ GTSRB (ការទទួលស្គាល់សញ្ញាចរាចរណ៍អាល្លឺម៉ង់)

អាន​បន្ថែម

• សំណុំទិន្នន័យចំនួន 52 សម្រាប់គម្រោងបណ្តុះបណ្តាល
• ដូចូផ្នែកខាងមុខ៖ គម្រោងបណ្តុះបណ្តាលជំនាញអ្នកអភិវឌ្ឍន៍ (៥ ថ្មី + ៤៣ ចាស់)
• កំពូល 12 Infographics ថាមវន្ត IT គួរឱ្យចាប់អារម្មណ៍បំផុត។

ប្រភព: www.habr.com