인터넷에서 R 또는 Python을 검색하면 데이터 작업에 더 좋고, 빠르고, 편리한 주제에 대한 수백만 개의 기사와 수 킬로미터에 달하는 토론을 찾을 수 있습니다. 그러나 불행히도 이러한 모든 기사와 분쟁은 특별히 유용하지 않습니다.

이 기사의 목적은 두 언어 중 가장 널리 사용되는 패키지의 기본 데이터 처리 기술을 비교하는 것입니다. 그리고 독자들이 아직 모르는 것을 빨리 익히도록 도와주세요. Python으로 글을 쓰는 사람들은 R에서 동일한 작업을 수행하는 방법과 그 반대로 수행하는 방법을 알아보세요.

이 기사에서는 R에서 가장 인기 있는 패키지의 구문을 분석할 것입니다. 이는 라이브러리에 포함된 패키지입니다. tidyverse그리고 패키지도 data.table. 그리고 그들의 구문을 다음과 비교하십시오. pandas, Python에서 가장 인기 있는 데이터 분석 패키지입니다.

Python과 R을 사용하여 데이터 분석의 전체 경로를 로딩부터 분석 창 기능 수행까지 단계별로 진행하겠습니다.

내용

고려 중인 패키지 중 하나에서 일부 데이터 처리 작업을 수행하는 방법을 잊어버린 경우 이 문서를 치트 시트로 사용할 수 있습니다.

1. R과 Python의 주요 구문 차이점
   1.1. 패키지 기능에 액세스
   1.2. 과제
   1.3. 인덱싱
   1.4. 방법과 OOP
   1.5. 파이프라인
   1.6. 데이터 구조
2. 우리가 사용할 패키지에 대한 몇 마디
   2.1. 깔끔한
   2.2. 데이터 테이블
   2.3. 팬더
3. 패키지 설치
4. 데이터 로드
5. 데이터프레임 생성
6. 필요한 열 선택
7. 행 필터링
8. 그룹화 및 집계
9. 테이블의 수직 합집합(UNION)
10. 테이블의 수평 조인(JOIN)
11. 기본 창 기능 및 계산된 열
12. R과 Python의 데이터 처리 방법 간의 대응표
13. 결론
14. 어떤 패키지를 사용하는지에 대한 간단한 설문조사

데이터 분석에 관심이 있으시면 제 글을 찾아보세요. 전보 и 유튜브 채널. 대부분의 콘텐츠는 R 언어에 전념합니다.

R과 Python의 주요 구문 차이점

Python에서 R로 또는 그 반대로 전환하는 것을 더 쉽게 만들기 위해 주의해야 할 몇 가지 주요 사항을 알려 드리겠습니다.

패키지 기능에 액세스

패키지가 R에 로드되면 해당 기능에 액세스하기 위해 패키지 이름을 지정할 필요가 없습니다. 대부분의 경우 이는 R에서는 일반적이지 않지만 허용됩니다. 코드에 해당 함수 중 하나가 필요한 경우 패키지를 가져올 필요가 전혀 없으며, 패키지 이름과 함수 이름을 지정하여 호출하기만 하면 됩니다. R에서 패키지 이름과 함수 이름 사이의 구분 기호는 이중 콜론입니다. package_name::function_name().

반면 Python에서는 이름을 명시적으로 지정하여 패키지의 함수를 호출하는 것이 고전적인 것으로 간주됩니다. 패키지를 다운로드할 때 일반적으로 단축된 이름이 지정됩니다. pandas 보통 가명을 사용한다 pd. 패키지 함수는 점을 통해 액세스됩니다. package_name.function_name().

과제

R에서는 객체에 값을 할당하기 위해 화살표를 사용하는 것이 일반적입니다. obj_name <- value, 단일 등호 기호가 허용되지만 R의 단일 등호는 주로 함수 인수에 값을 전달하는 데 사용됩니다.

Python에서는 단일 등호만으로 할당이 수행됩니다. obj_name = value.

인덱싱

여기에도 상당히 중요한 차이점이 있습니다. R에서 인덱싱은 XNUMX부터 시작하고 결과 범위에 지정된 모든 요소를 ​​포함합니다.

Python에서 인덱싱은 XNUMX부터 시작하며 선택한 범위에는 인덱스에 지정된 마지막 요소가 포함되지 않습니다. 그래서 디자인 x[i:j] Python에서는 j 요소가 포함되지 않습니다.

R 표기법에서는 음수 인덱싱에도 차이가 있습니다. x[-1] 마지막 요소를 제외한 벡터의 모든 요소를 ​​반환합니다. Python에서는 유사한 표기법으로 마지막 요소만 반환합니다.

방법과 OOP

R은 자신만의 방식으로 OOP를 구현합니다. 이에 대해 기사에서 썼습니다. "R 언어의 OOP(1부): S3 클래스". 일반적으로 R은 함수형 언어이며 그 안에 포함된 모든 것은 함수를 기반으로 합니다. 따라서 예를 들어 Excel 사용자의 경우 tydiverse 그것보다 쉬울 것이다 pandas. 이건 내 주관적인 생각일 수도 있지만.

간단히 말해서 R의 개체에는 메서드가 없습니다(S3 클래스에 대해 이야기하지만 훨씬 덜 일반적인 다른 OOP 구현이 있는 경우). 객체의 클래스에 따라 다르게 처리하는 일반화된 함수만 있을 뿐입니다.

파이프라인

아마도 이것이 이름일 것이다. pandas 완전히 정확하지는 않지만 의미를 설명하려고 노력하겠습니다.

중간 계산을 저장하지 않고 작업 환경에서 불필요한 객체를 생성하지 않으려면 일종의 파이프라인을 사용할 수 있습니다. 저것들. 한 함수에서 다음 함수로 계산 결과를 전달하고 중간 결과를 저장하지 않습니다.

중간 계산을 별도의 개체에 저장하는 다음 코드 예제를 살펴보겠습니다.

temp_object <- func1()
temp_object2 <- func2(temp_object )
obj <- func3(temp_object2 )

3가지 작업을 순차적으로 수행했으며 각 작업의 결과는 별도의 개체에 저장되었습니다. 하지만 실제로는 이러한 중간 개체가 필요하지 않습니다.

또는 더 나쁘지만 Excel 사용자에게는 더 친숙합니다.

obj  <- func3(func2(func1()))

이 경우에는 중간 계산 결과를 저장하지 않았지만 중첩된 함수가 포함된 코드를 읽는 것은 매우 불편합니다.

우리는 R의 데이터 처리에 대한 여러 가지 접근 방식을 살펴보고 유사한 작업을 다양한 방식으로 수행합니다.

라이브러리의 파이프라인 tidyverse 운영자가 구현 %>%.

obj <- func1() %>% 
            func2() %>%
            func3()

따라서 우리는 작업 결과를 가져옵니다. func1() 그리고 이를 첫 번째 인수로 전달합니다. func2(), 그런 다음 이 계산 결과를 첫 번째 인수로 전달합니다. func3(). 그리고 결국 우리는 수행된 모든 계산을 객체에 기록합니다. obj <-.

위의 모든 내용은 이 밈의 말보다 더 잘 설명됩니다.

В data.table 체인도 비슷한 방식으로 사용됩니다.

newDT <- DT[where, select|update|do, by][where, select|update|do, by][where, select|update|do, by]

각 대괄호에는 이전 작업의 결과를 사용할 수 있습니다.

В pandas 이러한 작업은 점으로 구분됩니다.

obj = df.fun1().fun2().fun3()

저것들. 우리 테이블을 차지해 df 그리고 그녀의 방법을 사용 fun1(), 그런 다음 얻은 결과에 방법을 적용합니다. fun2()후에 fun3(). 결과 결과는 객체에 저장됩니다 obj .

데이터 구조

R과 Python의 데이터 구조는 유사하지만 이름이 다릅니다.

기술
R의 이름
Python/pandas의 이름

테이블 구조
데이터.프레임, 데이터.테이블, 티블
데이터 프레임

XNUMX차원 값 목록
벡터
팬더의 시리즈 또는 순수 Python의 목록

다단계 비표 형식 구조
목록
사전(dict)

아래에서는 몇 가지 다른 기능과 구문의 차이점을 살펴보겠습니다.

우리가 사용할 패키지에 대한 몇 마디

먼저, 이 기사를 통해 익숙해질 패키지에 대해 조금 설명하겠습니다.

깔끔한

Официальный의 сайт : tidyverse.org

도서관 tidyverse RStudio의 수석 연구 과학자인 Hedley Wickham이 작성했습니다. tidyverse 데이터 처리를 단순화하는 인상적인 패키지 세트로 구성되어 있으며, 그 중 5개는 CRAN 저장소의 상위 10개 다운로드에 포함되어 있습니다.

라이브러리의 핵심은 다음 패키지로 구성됩니다. ggplot2, dplyr, tidyr, readr, purrr, tibble, stringr, forcats. 이러한 각 패키지는 특정 문제를 해결하는 것을 목표로 합니다. 예를 들어 dplyr 데이터 조작을 위해 생성되었으며, tidyr 데이터를 깔끔한 형태로 가져오고, stringr 문자열 작업을 단순화하고 ggplot2 가장 널리 사용되는 데이터 시각화 도구 중 하나입니다.

장점 tidyverse 단순하고 읽기 쉬운 구문으로, 여러 면에서 SQL 쿼리 언어와 유사합니다.

데이터 테이블

Официальный의 сайт : r-datatable.com

저자 data.table H2O.ai의 Matt Dole입니다.

라이브러리의 첫 번째 릴리스는 2006년에 이루어졌습니다.

패키지 구문은 다음과 같이 편리하지 않습니다. tidyverse R의 클래식 데이터프레임과 더 유사하지만 동시에 기능이 크게 확장되었습니다.

이 패키지의 테이블을 사용한 모든 조작은 대괄호 안에 설명되어 있으며 구문을 번역하면 data.table SQL에서는 다음과 같은 결과를 얻습니다. data.table[ WHERE, SELECT, GROUP BY ]

이 패키지의 장점은 대용량 데이터를 처리하는 속도입니다.

팬더

Официальный의 сайт : pandas.pydata.org

라이브러리의 이름은 다차원적으로 구조화된 정보 세트를 설명하는 데 사용되는 계량 경제학 용어인 "패널 데이터"에서 유래되었습니다.

저자 pandas 미국인 웨스 맥키니(Wes McKinney)입니다.

Python의 데이터 분석에 관해서는 다음과 같습니다. pandas 아니요. 모든 소스에서 데이터를 로드하는 것부터 시각화하는 것까지 데이터에 대한 모든 조작을 수행할 수 있는 매우 다기능적인 고급 패키지입니다.

추가 패키지 설치

이 문서에서 설명하는 패키지는 기본 R 및 Python 배포판에 포함되어 있지 않습니다. 약간의 주의사항이 있지만 Anaconda 배포판을 설치한 경우에는 추가로 설치하십시오. pandas 필요하지 않습니다.

R에 패키지 설치

RStudio 개발 환경을 한 번 이상 열었다면 R에 필요한 패키지를 설치하는 방법을 이미 알고 있을 것입니다. 패키지를 설치하려면 표준 명령을 사용하십시오. install.packages() R 자체에서 직접 실행하면 됩니다.

# установка пакетов
install.packages("vroom")
install.packages("readr")
install.packages("dplyr")
install.packages("data.table")

설치 후 패키지를 연결해야 하며 대부분의 경우 명령이 사용됩니다. library().

# подключение или импорт пакетов в рабочее окружение
library(vroom)
library(readr)
library(dplyr)
library(data.table)

Python에 패키지 설치

따라서 순수 Python이 설치되어 있으면 pandas 수동으로 설치해야 합니다. 운영 체제에 따라 명령줄 또는 터미널을 열고 다음 명령을 입력합니다.

pip install pandas

그런 다음 Python으로 돌아가서 다음 명령을 사용하여 설치된 패키지를 가져옵니다. import.

import pandas as pd

데이터 로드

데이터 마이닝은 데이터 분석에서 가장 중요한 단계 중 하나입니다. 원하는 경우 Python과 R 모두 로컬 파일, 인터넷 파일, 웹 사이트, 모든 종류의 데이터베이스 등 모든 소스에서 데이터를 얻을 수 있는 광범위한 기회를 제공합니다.

이 기사 전체에서 다음과 같은 여러 데이터 세트를 사용합니다.

1. Google Analytics에서 두 가지 다운로드.
2. 타이타닉 승객 데이터세트.

모든 데이터는 내 안에 있어요 GitHub의 csv 및 tsv 파일 형식으로 제공됩니다. 어디서 요청하나요?

R에 데이터 로드: tidyverse, vroom, readerr

데이터를 라이브러리에 로드하려면 tidyverse 두 가지 패키지가 있습니다: vroom, readr. vroom 더 현대적이지만 미래에는 패키지가 결합될 수 있습니다.

견적 공식 문서 vroom.

부릉 vs 리더
출시는 무엇입니까? vroom 의미하다 readr? 지금은 두 패키지를 별도로 발전시킬 계획이지만 앞으로는 패키지를 통합할 가능성이 높습니다. vroom의 게으른 읽기의 한 가지 단점은 특정 데이터 문제를 미리 보고할 수 없다는 점입니다. 따라서 이를 통합하는 최선의 방법은 약간의 생각이 필요합니다.

부릉 vs 리더
릴리스는 무엇을 의미합니까? vroom 에 readr? 현재로서는 두 패키지를 별도로 개발할 계획이지만 나중에는 두 패키지를 결합할 수도 있습니다. 게으른 독서의 단점 중 하나 vroom 데이터의 일부 문제는 사전에 보고할 수 없으므로 이를 가장 잘 결합할 수 있는 방법을 고민해야 합니다.

이 기사에서는 두 가지 데이터 로딩 패키지를 모두 살펴보겠습니다.

R에 데이터 로드: vroom 패키지

# install.packages("vroom")
library(vroom)

# Чтение данных
## vroom
ga_nov  <- vroom("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_nowember.csv")
ga_dec  <- vroom("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_december.csv")
titanic <- vroom("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/titanic.csv")

R에 데이터 로드: reader

# install.packages("readr")
library(readr)

# Чтение данных
## readr
ga_nov  <- read_tsv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_nowember.csv")
ga_dec  <- read_tsv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_december.csv")
titanic <- read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/titanic.csv")

패키지 vroom, csv / tsv 데이터 형식에 관계없이 동일한 이름의 기능으로 로딩이 진행됩니다. vroom(), 패키지에 readr 각 형식마다 다른 기능을 사용합니다. read_tsv() и read_csv().

R에 데이터 로드: data.table

В data.table 데이터를 불러오는 기능이 있습니다 fread().

R에 데이터 로드: data.table 패키지

# install.packages("data.table")
library(data.table)

## data.table
ga_nov  <- fread("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_nowember.csv")
ga_dec  <- fread("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_december.csv")
titanic <- fread("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/titanic.csv")

Python에서 데이터 로드: pandas

R 패키지와 비교하면 이 경우 구문은 다음과 가장 가깝습니다. pandas 의지 readr때문에 pandas 어디에서나 데이터를 요청할 수 있으며 이 패키지에는 모든 기능이 포함되어 있습니다. read_*().

• read_csv()
• read_excel()
• read_sql()
• read_json()
• read_html()

그리고 다양한 형식의 데이터를 읽도록 설계된 다른 많은 기능도 있습니다. 그러나 우리의 목적에는 그것으로 충분하다 read_table() 또는 read_csv() 인수 사용 9월 열 구분 기호를 지정합니다.

Python에서 데이터 로드: pandas

import pandas as pd

ga_nov  = pd.read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/russian_text_in_r/ga_nowember.csv", sep = "t")
ga_dec  = pd.read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/russian_text_in_r/ga_december.csv", sep = "t")
titanic = pd.read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/russian_text_in_r/titanic.csv")

데이터프레임 생성

테이블 거대한, 우리가 로드한 필드가 있습니다. 성별, 승객의 성별 식별자를 저장합니다.

그러나 승객 성별에 관한 데이터를 보다 편리하게 표시하려면 성별 코드보다는 이름을 사용해야 합니다.

이를 위해 각각 2개의 열(코드 및 성별 이름)과 2개의 행만 있는 테이블인 작은 디렉터리를 만듭니다.

R에서 데이터프레임 생성: tidyverse, dplyr

아래 코드 예제에서는 함수를 사용하여 원하는 데이터 프레임을 생성합니다. tibble() .

R에서 데이터프레임 생성: dplyr

## dplyr
### создаём справочник
gender <- tibble(id = c(1, 2),
                 gender = c("female", "male"))

R에서 데이터프레임 생성: data.table

R에서 데이터프레임 생성: data.table

## data.table
### создаём справочник
gender <- data.table(id = c(1, 2),
                    gender = c("female", "male"))

Python에서 데이터프레임 만들기: pandas

В pandas 프레임 생성은 여러 단계로 수행됩니다. 먼저 사전을 만든 다음 사전을 데이터프레임으로 변환합니다.

Python에서 데이터프레임 만들기: pandas

# создаём дата фрейм
gender_dict = {'id': [1, 2],
               'gender': ["female", "male"]}
# преобразуем словарь в датафрейм
gender = pd.DataFrame.from_dict(gender_dict)

열 선택

작업하는 테이블에는 수십 또는 수백 개의 데이터 열이 포함될 수 있습니다. 그러나 분석을 수행하려면 일반적으로 소스 테이블에서 사용 가능한 모든 열이 필요하지 않습니다.

따라서 소스 테이블을 사용하여 수행할 첫 번째 작업 중 하나는 불필요한 정보를 지우고 이 정보가 차지하는 메모리를 확보하는 것입니다.

R에서 열 선택: tidyverse, dplyr

구문 dplyr SQL 쿼리 언어와 매우 유사하므로 익숙하다면 이 패키지를 빠르게 마스터할 수 있습니다.

열을 선택하려면 다음 기능을 사용하십시오. select().

다음은 다음과 같은 방법으로 열을 선택할 수 있는 코드의 예입니다.

• 필수 열의 이름 나열
• 정규식을 사용하여 열 이름 참조
• 데이터 유형 또는 열에 포함된 데이터의 기타 속성별

R에서 열 선택: dplyr

# Выбор нужных столбцов
## dplyr
### выбрать по названию столбцов
select(ga_nov, date, source, sessions)
### исключь по названию столбцов
select(ga_nov, -medium, -bounces)
### выбрать по регулярному выражению, стобцы имена которых заканчиваются на s
select(ga_nov, matches("s$"))
### выбрать по условию, выбираем только целочисленные столбцы
select_if(ga_nov, is.integer)

R에서 열 선택: data.table

에서 동일한 작업 data.table 약간 다르게 수행되므로 기사 시작 부분에서 대괄호 안에 어떤 인수가 있는지 설명했습니다. data.table.

DT[i,j,by]

장소 :
나 - 어디, 즉 행으로 필터링
j - 선택|업데이트|실행, 즉 열 선택 및 변환
기준 - 데이터 그룹화

R에서 열 선택: data.table

## data.table
### выбрать по названию столбцов
ga_nov[ , .(date, source, sessions) ]
### исключь по названию столбцов
ga_nov[ , .SD, .SDcols = ! names(ga_nov) %like% "medium|bounces" ]
### выбрать по регулярному выражению
ga_nov[, .SD, .SDcols = patterns("s$")]

변수 .SD 모든 열에 액세스할 수 있으며 .SDcols 정규식 또는 기타 함수를 사용하여 필요한 열을 필터링하여 필요한 열의 이름을 필터링합니다.

Python, pandas에서 열 선택

이름으로 열을 선택하려면 pandas 그들의 이름 목록을 제공하는 것으로 충분합니다. 그리고 정규식을 사용하여 이름별로 열을 선택하거나 제외하려면 다음 함수를 사용해야 합니다. drop() и filter(), 및 인수 축 = 1, 이는 행이 아닌 열을 처리해야 함을 나타냅니다.

데이터 유형별로 필드를 선택하려면 다음 기능을 사용하십시오. select_dtypes(), 그리고 인수로 포함 또는 제외 선택해야 하는 필드에 해당하는 데이터 유형 목록을 전달합니다.

Python에서 열 선택: pandas

# Выбор полей по названию
ga_nov[['date', 'source', 'sessions']]
# Исключить по названию
ga_nov.drop(['medium', 'bounces'], axis=1)
# Выбрать по регулярному выражению
ga_nov.filter(regex="s$", axis=1)
# Выбрать числовые поля
ga_nov.select_dtypes(include=['number'])
# Выбрать текстовые поля
ga_nov.select_dtypes(include=['object'])

행 필터링

예를 들어 소스 테이블에 수년간의 데이터가 포함될 수 있지만 지난 달만 분석하면 됩니다. 이번에도 추가 라인은 데이터 처리 프로세스 속도를 늦추고 PC 메모리를 방해합니다.

R의 행 필터링: tydyverse, dplyr

В dplyr 이 함수는 행을 필터링하는 데 사용됩니다. filter(). 데이터프레임을 첫 번째 인수로 사용하고 필터링 조건을 나열합니다.

테이블을 필터링하는 논리식을 작성할 때 이 경우 테이블 이름을 선언하지 않고 따옴표 없이 열 이름을 지정하십시오.

여러 논리식을 사용하여 필터링하는 경우 다음 연산자를 사용하세요.

• & 또는 쉼표 - 논리 AND
• | - 논리적 OR

R의 행 필터링: dplyr

# фильтрация строк
## dplyr
### фильтрация строк по одному условию
filter(ga_nov, source == "google")
### фильтр по двум условиям соединённым логическим и
filter(ga_nov, source == "google" & sessions >= 10)
### фильтр по двум условиям соединённым логическим или
filter(ga_nov, source == "google" | sessions >= 10)

R의 행 필터링: data.table

위에서 이미 썼듯이, data.table 데이터 변환 구문은 대괄호로 묶입니다.

DT[i,j,by]

장소 :
나 - 어디, 즉 행으로 필터링
j - 선택|업데이트|실행, 즉 열 선택 및 변환
기준 - 데이터 그룹화

인수는 행을 필터링하는 데 사용됩니다. i, 대괄호 안에 첫 번째 위치가 있습니다.

열은 따옴표 없이 테이블 이름을 지정하지 않고 논리식으로 액세스됩니다.

논리식은 다음과 같은 방식으로 서로 관련됩니다. dplyr & 및 | 연산자를 통해

R의 행 필터링: data.table

## data.table
### фильтрация строк по одному условию
ga_nov[source == "google"]
### фильтр по двум условиям соединённым логическим и
ga_nov[source == "google" & sessions >= 10]
### фильтр по двум условиям соединённым логическим или
ga_nov[source == "google" | sessions >= 10]

Python에서 문자열 필터링: pandas

행별로 필터링 pandas 필터링과 유사 data.table, 대괄호 안에 표시됩니다.

이 경우 열에 대한 액세스는 반드시 데이터 프레임 이름을 표시하여 수행되며 열 이름은 대괄호 안에 따옴표로 표시 할 수도 있습니다 (예 df['col_name']) 또는 마침표 뒤에 따옴표가 없습니다(예 df.col_name).

여러 조건으로 데이터프레임을 필터링해야 하는 경우 각 조건을 괄호 안에 넣어야 합니다. 논리적 조건은 연산자에 의해 서로 연결됩니다. & и |.

Python에서 문자열 필터링: pandas

# Фильтрация строк таблицы
### фильтрация строк по одному условию
ga_nov[ ga_nov['source'] == "google" ]
### фильтр по двум условиям соединённым логическим и
ga_nov[(ga_nov['source'] == "google") & (ga_nov['sessions'] >= 10)]
### фильтр по двум условиям соединённым логическим или
ga_nov[(ga_nov['source'] == "google") | (ga_nov['sessions'] >= 10)]

데이터 그룹화 및 집계

데이터 분석에서 가장 일반적으로 사용되는 작업 중 하나는 그룹화 및 집계입니다.

이러한 작업을 수행하기 위한 구문은 우리가 검토하는 모든 패키지에 분산되어 있습니다.

이 경우 데이터프레임을 예로 들어 보겠습니다. 거대한, 객실 클래스에 따른 항공권 수와 평균 비용을 계산합니다.

R의 데이터 그룹화 및 집계: tidyverse, dplyr

В dplyr 이 기능은 그룹화에 사용됩니다. group_by(), 그리고 집계를 위해 summarise(). 사실은, dplyr 모든 기능이 있습니다 summarise_*(), 하지만 이 글의 목적은 기본 구문을 비교하는 것이므로 그러한 정글에 들어가지는 않겠습니다.

기본 집계 함수:

• sum() — 요약
• min() / max() – 최소값과 최대값
• mean() - 평균
• median() — 중앙값
• length() - 수량

R의 그룹화 및 집계: dplyr

## dplyr
### группировка и агрегация строк
group_by(titanic, Pclass) %>%
  summarise(passangers = length(PassengerId),
            avg_price  = mean(Fare))

기능에서 group_by() 우리는 테이블을 첫 번째 인수로 전달했습니다. 거대한을 누른 다음 필드를 표시했습니다. 피클래스, 이를 통해 테이블을 그룹화합니다. 연산자를 사용한 이 연산의 결과 %>% 함수의 첫 번째 인수로 전달됨 summarise(), 필드 2개를 더 추가했습니다. 통행인 и 평균 가격. 먼저 함수를 이용해서 length() 티켓 수를 계산하고 두 번째에는 함수를 사용하여 mean() 평균 티켓 가격을 받았습니다.

R의 데이터 그룹화 및 집계: data.table

В data.table 인수가 집계에 사용됩니다. j 대괄호 안에 두 번째 위치가 있으며 그룹화를 위해 by 또는 keyby, 세 번째 위치를 갖습니다.

이 경우 집계 함수 목록은 에 설명된 것과 동일합니다. dplyr, 왜냐하면 이는 기본 R 구문의 함수입니다.

R의 그룹화 및 집계: data.table

## data.table
### фильтрация строк по одному условию
titanic[, .(passangers = length(PassengerId),
            avg_price  = mean(Fare)),
        by = Pclass]

Python의 데이터 그룹화 및 집계: pandas

그룹화 pandas 비슷하다 dplyr하지만 집계는 다음과 유사하지 않습니다. dplyr 별말씀을요 data.table.

그룹화하려면 다음 메소드를 사용하십시오. groupby(), 데이터프레임을 그룹화할 열 목록을 전달해야 합니다.

집계를 위해 다음 메소드를 사용할 수 있습니다. agg()사전을 허용합니다. 사전 키는 집계 함수를 적용할 컬럼이고, 값은 집계 함수의 이름입니다.

집계 함수:

• sum() — 요약
• min() / max() – 최소값과 최대값
• mean() - 평균
• median() — 중앙값
• count() - 수량

기능 reset_index() 아래 예에서는 중첩된 인덱스를 재설정하는 데 사용됩니다. pandas 기본값은 데이터 집계 후입니다.

상징 다음 줄로 이동할 수 있게 해줍니다.

Python의 그룹화 및 집계: pandas

# группировка и агрегация данных
titanic.groupby(["Pclass"]).
    agg({'PassengerId': 'count', 'Fare': 'mean'}).
        reset_index()

테이블의 수직 조인

동일한 구조의 두 개 이상의 테이블을 조인하는 작업입니다. 우리가 로드한 데이터에는 테이블이 포함되어 있습니다. ga_nov и ga_dec. 이 테이블은 구조가 동일합니다. 동일한 열과 이러한 열의 데이터 유형이 있습니다.

이는 XNUMX월과 XNUMX월에 대한 Google Analytics의 업로드입니다. 이 섹션에서는 이 데이터를 하나의 표로 결합합니다.

R의 테이블을 수직으로 결합: tidyverse, dplyr

В dplyr 함수를 사용하여 2개의 테이블을 하나로 결합할 수 있습니다. bind_rows(), 테이블을 인수로 전달합니다.

R의 행 필터링: dplyr

# Вертикальное объединение таблиц
## dplyr
bind_rows(ga_nov, ga_dec)

R의 테이블을 수직으로 조인: data.table

복잡하지도 않으니 활용해 볼까요 rbind().

R의 행 필터링: data.table

## data.table
rbind(ga_nov, ga_dec)

Python에서 테이블을 수직으로 조인: pandas

В pandas 이 함수는 테이블을 조인하는 데 사용됩니다. concat(), 이를 결합하려면 프레임 목록을 전달해야 합니다.

Python에서 문자열 필터링: pandas

# вертикальное объединение таблиц
pd.concat([ga_nov, ga_dec])

테이블의 수평 조인

키를 통해 두 번째 테이블의 열을 첫 번째 테이블에 추가하는 작업입니다. 이는 일부 참조 데이터(예: 제품 비용)를 사용하여 팩트 테이블(예: 판매 데이터가 있는 테이블)을 강화할 때 자주 사용됩니다.

조인에는 여러 가지 유형이 있습니다.

이전에 로드된 테이블에서 거대한 우리에겐 칼럼이 있어요 성별, 이는 승객의 성별 코드에 해당합니다:

1 - 여성
2 - 남성

또한 참고서인 표를 만들었습니다. 성별. 승객의 성별에 대한 데이터를 보다 편리하게 표시하려면 디렉토리에서 성별 이름을 추가해야 합니다. 성별 테이블로 거대한.

R의 수평 테이블 조인: tidyverse, dplyr

В dplyr 수평 결합에는 다양한 기능이 있습니다:

• inner_join()
• left_join()
• right_join()
• full_join()
• semi_join()
• nest_join()
• anti_join()

내 실무에서 가장 일반적으로 사용되는 것은 left_join().

처음 두 개의 인수로 위에 나열된 함수는 조인할 두 개의 테이블을 사용하고 세 번째 인수로 by 조인할 열을 지정해야 합니다.

R의 수평 테이블 조인: dplyr

# объединяем таблицы
left_join(titanic, gender,
          by = c("Sex" = "id"))

R의 테이블 수평 조인: data.table

В data.table 함수를 사용하여 키로 테이블을 조인해야 합니다. merge().

data.table의 merge() 함수에 대한 인수

• x, y — 조인할 테이블
• by — 두 테이블의 이름이 같은 경우 조인할 키가 되는 열
• by.x, by.y — 테이블에 서로 다른 이름이 있는 경우 병합할 열 이름
• all, all.x, all.y — 조인 유형, all은 두 테이블의 모든 행을 반환합니다. all.x는 LEFT JOIN 작업에 해당하고(첫 번째 테이블의 모든 행은 그대로 유지됨) all.y — RIGHT JOIN 작업(두 번째 테이블의 모든 행을 그대로 둡니다).

R의 테이블 수평 조인: data.table

# объединяем таблицы
merge(titanic, gender, by.x = "Sex", by.y = "id", all.x = T)

Python의 수평 테이블 조인: pandas

뿐만 아니라 data.table에 pandas 이 함수는 테이블을 조인하는 데 사용됩니다. merge().

Pandas의 merge() 함수 인수

• 방법 — 연결 유형: 왼쪽, 오른쪽, 외부, 내부
• on — 두 테이블에서 동일한 이름을 갖는 경우 키인 열
• left_on, right_on — 테이블에 다른 이름이 있는 경우 키 열의 이름

Python의 수평 테이블 조인: pandas

# объединяем по ключу
titanic.merge(gender, how = "left", left_on = "Sex", right_on = "id")

기본 창 기능 및 계산된 열

윈도우 함수는 집계 함수와 의미가 유사하며, 데이터 분석에도 자주 사용됩니다. 그러나 집계 함수와 달리 창 함수는 나가는 데이터 프레임의 행 수를 변경하지 않습니다.

기본적으로 창 기능을 사용하여 들어오는 데이터 프레임을 일부 기준에 따라 여러 부분으로 나눕니다. 하나의 필드 또는 여러 필드의 값으로. 그리고 각 창에서 산술 연산을 수행합니다. 이러한 작업의 결과는 각 줄에 반환됩니다. 테이블의 총 행 수를 변경하지 않고.

예를 들어 테이블을 보자 거대한. 객실 클래스 내에서 각 항공권의 가격이 몇 퍼센트인지 계산할 수 있습니다.

이렇게 하려면 각 줄에 이 줄의 티켓이 속한 현재 객실 클래스에 대한 티켓의 총 비용을 가져온 다음 각 티켓의 비용을 동일한 객실 클래스의 모든 티켓의 총 비용으로 나누어야 합니다. .

R의 창 함수: tidyverse, dplyr

행 그룹화를 사용하지 않고 새 열을 추가하려면 dplyr 기능을 제공 mutate().

데이터를 필드별로 그룹화하면 위에서 설명한 문제를 해결할 수 있습니다. 피클래스 새 열의 필드를 합산합니다. 요금. 다음으로 테이블의 그룹을 해제하고 필드 값을 나눕니다. 요금 이전 단계에서 발생한 일에 대해 설명합니다.

R의 창 함수: dplyr

group_by(titanic, Pclass) %>%
  mutate(Pclass_cost = sum(Fare)) %>%
  ungroup() %>%
  mutate(ticket_fare_rate = Fare / Pclass_cost)

R의 창 함수: data.table

솔루션 알고리즘은 다음과 동일하게 유지됩니다. dplyr, 테이블을 필드별로 창으로 분할해야 합니다. 피클래스. 각 행에 해당하는 그룹의 금액을 새 열에 출력하고 해당 그룹의 각 티켓 비용의 몫을 계산하는 열을 추가합니다.

새 열을 추가하려면 data.table 교환원 있음 :=. 아래는 패키지를 사용하여 문제를 해결하는 예입니다. data.table

R의 창 함수: data.table

titanic[,c("Pclass_cost","ticket_fare_rate") := .(sum(Fare), Fare / Pclass_cost), 
        by = Pclass]

Python의 창 함수: pandas

새 열을 추가하는 한 가지 방법 pandas - 기능을 사용 assign(). 행을 그룹화하지 않고 객실 클래스별 티켓 비용을 요약하기 위해 다음 기능을 사용하겠습니다. transform().

다음은 테이블에 추가하는 솔루션의 예입니다. 거대한 같은 2열.

Python의 창 함수: pandas

titanic.assign(Pclass_cost      =  titanic.groupby('Pclass').Fare.transform(sum),
               ticket_fare_rate = lambda x: x['Fare'] / x['Pclass_cost'])

기능 및 메소드 대응표

다음은 우리가 고려한 패키지의 데이터로 다양한 작업을 수행하는 방법 간의 대응 표입니다.

기술
깔끔한
데이터 테이블
팬더

데이터 로드
vroom()/ readr::read_csv() / readr::read_tsv()
fread()
read_csv()

데이터프레임 생성
tibble()
data.table()
dict() + from_dict()

열 선택
select()
논쟁 j, 대괄호 안의 두 번째 위치
대괄호 안에 필수 열 목록을 전달합니다. / drop() / filter() / select_dtypes()

행 필터링
filter()
논쟁 i, 대괄호 안의 첫 번째 위치
대괄호 안에 필터링 조건을 나열합니다 / filter()

그룹화 및 집계
group_by() + summarise()
인수들 j + by
groupby() + agg()

테이블의 수직 합집합(UNION)
bind_rows()
rbind()
concat()

테이블의 수평 조인(JOIN)
left_join() / *_join()
merge()
merge()

기본 창 기능 및 계산된 열 추가
group_by() + mutate()
논쟁 j 연산자를 사용하여 := + 인수 by
transform() + assign()

결론

아마도 기사에서 나는 가장 최적의 데이터 처리 구현을 설명하지 않았으므로 의견에서 내 실수를 수정하거나 기사에 제공된 정보를 R/Python에서 데이터 작업을 위한 다른 기술로 보완하면 기쁠 것입니다.

위에서 썼듯이 이 기사의 목적은 어떤 언어가 더 나은지에 대한 의견을 강요하는 것이 아니라 두 언어를 모두 배울 수 있는 기회를 단순화하거나 필요한 경우 두 언어 사이를 전환하는 것이었습니다.

기사가 마음에 드셨다면 제 새로운 구독자가 생겨서 기쁩니다. 유튜브 и 이야기 채널.

Опрос

다음 중 어떤 패키지를 작업에 사용하시나요?

댓글에 선택 이유를 적어주세요.

등록된 사용자만 설문 조사에 참여할 수 있습니다. 로그인제발

어떤 데이터 처리 패키지를 사용하십니까(여러 옵션 선택 가능)

• 45,2%tidyverse19

• 33,3%데이터.테이블14

• 54,8%팬더23

42명의 사용자가 투표했습니다. 9명의 사용자가 기권했습니다.

출처 : habr.com