데이터 과학 기술을 향상시키는 14가지 오픈 소스 프로젝트(쉬움, 보통, 어려움)

초보자를 위한 데이터 과학

1. 감성 분석 (텍스트를 통한 기분 분석)

소스 코드를 사용하여 데이터 과학 프로젝트의 전체 구현 보기 − R의 감정 분석 프로젝트.

감정 분석은 긍정적이거나 부정적인 감정과 의견을 식별하기 위한 단어 분석입니다. 이것은 클래스가 이진(긍정 및 부정) 또는 복수(행복, 분노, 슬픔, 불쾌...)일 수 있는 분류 유형입니다. 이 데이터 과학 프로젝트를 R로 구현하고 "janeaustenR" 패키지의 데이터 세트를 사용합니다. 우리는 AFINN, bing 및 loughran과 같은 범용 사전을 사용하고 내부 조인을 수행하고 마지막에 결과를 표시하는 단어 구름을 만들 것입니다.

언어 : R
데이터세트/패키지: janeoustenR

이 기사는 EDISON Software의 지원으로 번역되었습니다. 멀티 브랜드 매장을 위한 가상 피팅룸 만들기과 테스트 소프트웨어.

2. 가짜 뉴스 탐지

초보자를 위한 데이터 사이언스 프로젝트에 참여하여 기술을 한 단계 끌어올리세요 − Python으로 가짜 뉴스 탐지.

가짜 뉴스는 정치적 목적을 달성하기 위해 소셜 미디어 및 기타 온라인 매체를 통해 유포되는 허위 정보입니다. 이 데이터 과학 프로젝트 아이디어에서 우리는 Python을 사용하여 뉴스가 진짜인지 가짜인지 정확하게 판단할 수 있는 모델을 구축할 것입니다. TfidfVectorizer를 생성하고 PassiveAggressiveClassifier를 사용하여 뉴스를 "진짜"와 "가짜"로 분류합니다. 7796×4 모양 데이터 세트를 사용하고 Jupyter Lab에서 모든 작업을 수행합니다.

언어 : Python

데이터세트/패키지: 뉴스.csv

3. 파킨슨병 진단

데이터 사이언스 프로젝트 아이디어 작업으로 전진 − XGBoost로 파킨슨병 진단.

우리는 데이터 과학을 사용하여 의료 및 서비스를 개선하기 시작했습니다. 초기 단계에서 질병을 예측할 수 있다면 많은 이점이 있을 것입니다. 그래서 이번 데이터 사이언스 프로젝트 아이디어에서는 파이썬을 이용해 파킨슨병을 검출하는 방법을 알아보겠습니다. 움직임에 영향을 미치고 떨림과 경직을 유발하는 중추신경계의 신경퇴행성 진행성 질환입니다. 그것은 뇌의 도파민 생성 뉴런에 영향을 미치며 매년 인도에서 백만 명이 넘는 사람들에게 영향을 미칩니다.

언어 : Python

데이터세트/패키지: UCI ML 파킨슨병 데이터세트

중간 복잡성의 데이터 과학 프로젝트

4. 음성 감정 인식

Data Science 샘플 프로젝트의 전체 구현을 확인하십시오. Librosa로 음성 인식.

이제 다양한 라이브러리를 사용하는 방법을 알아봅시다. 이 데이터 과학 프로젝트는 음성 인식을 위해 librosa를 사용합니다. SER은 말에서 인간의 감정과 정서적 상태를 식별하는 과정입니다. 목소리로 감정을 표현하기 위해 톤과 피치를 사용하기 때문에 SER이 적합합니다. 그러나 감정은 주관적이기 때문에 오디오 주석은 어려운 작업입니다. 감정 인식을 위해 mfcc, chroma 및 mel 기능을 사용하고 RAVDESS 데이터 세트를 사용합니다. 이 모델에 대한 MLPC 분류자를 생성합니다.

언어 : Python

데이터세트/패키지: RAVDESS 데이터 세트

5. 성별 및 연령 감지

최신 데이터 과학 프로젝트로 고용주에게 깊은 인상을 남깁니다. OpenCV로 성별 및 연령 감지.

이것은 Python을 사용한 흥미로운 데이터 과학입니다. 하나의 이미지만 사용하여 사람의 성별과 나이를 예측하는 방법을 배웁니다. 여기에서는 Computer Vision과 그 원리를 소개합니다. 우리는 만들 것이다 컨벌루션 신경망 Adience 데이터 세트에서 Tal Hassner와 Gil Levy가 훈련한 모델을 사용할 것입니다. 그 과정에서 일부 .pb, .pbtxt, .prototxt 및 .caffemodel 파일을 사용할 것입니다.

언어 : Python

데이터세트/패키지: 애디언스

6. 우버 데이터 분석

소스 코드로 데이터 과학 프로젝트의 전체 구현 보기 − R의 Uber 데이터 분석 프로젝트.

이것은 R과 그 라이브러리를 사용하고 다양한 매개변수를 분석할 ggplot2를 사용한 데이터 시각화 프로젝트입니다. Uber Pickups New York 데이터 세트를 사용하고 연중 다양한 시간대에 대한 시각화를 생성합니다. 이는 시간이 고객 여정에 어떤 영향을 미치는지 알려줍니다.

언어 : R

데이터세트/패키지: 뉴욕시 데이터 세트의 Uber 픽업

7. 운전자 졸음 감지

최고의 데이터 사이언스 프로젝트에 참여하여 기술을 업그레이드하세요. OpenCV 및 Keras를 사용한 졸음 감지 시스템.

졸음운전은 운전자가 졸음운전으로 인해 매년 약 천 건의 사고가 발생할 정도로 매우 위험합니다. 이 Python 프로젝트에서는 졸린 운전자를 감지하고 신호음으로 경고할 수 있는 시스템을 만들 것입니다.

이 프로젝트는 Keras와 OpenCV를 사용하여 구현되었습니다. OpenCV를 사용하여 얼굴과 눈을 감지하고 Keras의 도움으로 심층 신경망 방법을 사용하여 눈의 상태(열림 또는 닫힘)를 분류합니다.

8. 챗봇

Python으로 챗봇을 구축하고 경력을 한 단계 발전시키십시오 - NLTK 및 Keras를 사용한 챗봇.

챗봇은 비즈니스의 필수적인 부분입니다. 많은 기업이 고객에게 서비스를 제공해야 하며 서비스를 제공하는 데 많은 인력, 시간 및 노력이 필요합니다. 챗봇은 고객이 묻는 몇 가지 일반적인 질문에 답함으로써 많은 고객 상호 작용을 자동화할 수 있습니다. 기본적으로 챗봇에는 도메인 특정 및 개방형 도메인의 두 가지 유형이 있습니다. 도메인별 챗봇은 종종 특정 문제를 해결하는 데 사용됩니다. 따라서 해당 분야에서 효과적으로 작동하려면 사용자 정의해야 합니다. 오픈 도메인 챗봇은 어떤 질문이든 할 수 있기 때문에 훈련시키려면 엄청난 양의 데이터가 필요합니다.

데이터 세트: 인텐트 json 파일

언어 : Python

고급 데이터 과학 프로젝트

9. 이미지 캡션 생성기

소스 코드로 전체 프로젝트 구현을 확인하십시오. CNN 및 LSTM을 사용한 이미지 캡션 생성기.

이미지에 있는 것을 설명하는 것은 인간에게 쉬운 작업이지만 컴퓨터에게 이미지는 각 픽셀의 색상 값을 나타내는 숫자의 모음일 뿐입니다. 이것은 컴퓨터에게 어려운 작업입니다. 이미지에 무엇이 있는지 이해하고 자연어 설명(예: 영어)을 생성하는 것은 또 다른 어려운 작업입니다. 이 프로젝트는 LSTM(Recurrent Neural Network)과 함께 CNN(Convolutional Neural Network)을 구현하여 이미지 설명 생성기를 만드는 딥 러닝 기술을 사용합니다.

데이터 세트: 플리커 8K

언어 : Python

뼈대: 케 라스

10. 신용카드 사기 탐지

데이터 사이언스 프로젝트 아이디어 작업에 최선을 다하세요 − 기계 학습을 통한 신용 카드 사기 탐지.

지금까지 방법과 개념을 이해하기 시작했습니다. 몇 가지 고급 데이터 과학 프로젝트로 넘어 갑시다. 이 프로젝트에서는 다음과 같은 알고리즘과 함께 R 언어를 사용합니다. 결정 트리, 로지스틱 회귀, 인공 신경망 및 그래디언트 부스팅 분류기. 카드 거래 데이터 세트를 사용하여 신용 카드 거래를 사기 및 진품으로 분류합니다. 우리는 그들을 위해 다른 모델을 선택하고 성능 곡선을 구축할 것입니다.

언어 : R

데이터세트/패키지: 카드 거래 데이터 세트

11. 영화 추천 시스템

소스 코드로 최고의 데이터 과학 프로젝트 구현 탐색 - R의 영화 추천 시스템

이 데이터 사이언스 프로젝트에서는 R을 사용하여 기계 학습을 통해 영화 추천을 실행합니다. 추천 시스템은 다른 사용자의 선호도 및 검색 기록을 기반으로 필터링 프로세스를 통해 사용자에게 제안을 보냅니다. A와 B가 나홀로 집에를 좋아하고 B가 못된 여자를 좋아한다면 A를 제안할 수 있습니다. 그들도 좋아할 것입니다. 이를 통해 클라이언트는 플랫폼과 상호 작용할 수 있습니다.

언어 : R

데이터세트/패키지: MovieLens 데이터세트

12. 고객 세분화

데이터 과학 프로젝트(소스 코드 포함)로 고용주에게 깊은 인상을 남깁니다. 기계 학습을 통한 고객 세분화.

구매자 세분화는 널리 사용되는 애플리케이션입니다. 비지도 학습. 클러스터링을 사용하여 회사는 잠재 사용자 기반과 협력할 고객 세그먼트를 정의합니다. 성별, 연령, 관심사, 소비 습관 등의 공통된 특성에 따라 고객을 그룹으로 나누어 각 그룹에 제품을 효과적으로 마케팅할 수 있습니다. 우리는 사용할 것입니다 K- 평균 클러스터링, 성별 및 연령별 분포를 시각화할 수 있습니다. 그런 다음 연간 수입 및 지출 수준을 분석합니다.

언어 : R

데이터세트/패키지: Mall_Customers 데이터 세트

13. 유방암 분류

Python에서 데이터 과학 프로젝트의 전체 구현 보기 − 딥러닝을 이용한 유방암 분류.

데이터 과학의 의학적 기여로 돌아가서 Python으로 유방암을 감지하는 방법을 알아보겠습니다. IDC_regular 데이터 세트를 사용하여 가장 흔한 형태의 유방암인 침윤성 관 암종을 감지합니다. 그것은 유관에서 발생하여 덕트 외부 유선의 섬유질 또는 지방 조직으로 침투합니다. 이 데이터 수집 과학 프로젝트 아이디어에서 우리는 깊은 학습 분류를 위한 Keras 라이브러리.

언어 : Python

데이터세트/패키지: IDC_일반

14. 교통 표지 인식

데이터 사이언스 프로젝트로 자율주행차 기술의 정확성 달성 CNN을 이용한 교통표지판 인식 오픈 소스.

도로 표지판과 교통 규칙은 모든 운전자가 사고를 피하는 데 매우 중요합니다. 규칙을 따르려면 먼저 도로 표지판이 어떻게 생겼는지 이해해야 합니다. 사람은 차량을 운전할 권리를 부여받기 전에 모든 도로 표지판을 배워야 합니다. 그러나 이제 자율주행차의 수가 증가하고 있으며 가까운 미래에는 사람이 더 이상 혼자 자동차를 운전하지 않게 될 것입니다. 도로 표지판 인식 프로젝트에서는 프로그램이 이미지를 입력으로 사용하여 도로 표지판 유형을 인식하는 방법을 배웁니다. GTSRB(German Road Sign Recognition Reference Dataset)는 교통 표지판이 속한 클래스를 인식하기 위한 심층 신경망을 구축하는 데 사용됩니다. 우리는 또한 애플리케이션과 상호 작용하기 위한 간단한 GUI를 만들고 있습니다.

언어 : Python

데이터 세트: GTRB(독일 교통 표지 인식 벤치마크)

더 읽어보기

• 교육 프로젝트용 데이터 세트 52개
• 프런트엔드 도장: 개발자 기술을 교육하는 프로젝트(신규 5개 + 기존 43개)
• 가장 흥미로운 IT 동적 인포그래픽 상위 12개

출처 : habr.com