인터넷에서 R이나 Python을 검색하면 데이터 작업에 어떤 것이 더 좋고, 더 빠르고, 더 편리한지에 대한 수백만 개의 글과 수 킬로미터에 달하는 토론을 접할 수 있습니다. 하지만 안타깝게도 이러한 모든 글과 논쟁은 특별한 이점을 가져다주지 못합니다.

이 글의 목적은 두 언어에서 가장 널리 사용되는 패키지의 주요 데이터 처리 기법을 비교하는 것입니다. 또한, 아직 모르는 기법을 최대한 빨리 익힐 수 있도록 돕고자 합니다. Python으로 코딩하는 사람들에게는 R에서 동일한 기법을 사용하는 방법을 알려주고, 반대로 R에서 Python으로 코딩하는 사람들에게는 R에서 동일한 기법을 사용하는 방법을 알려줍니다.

이 기사에서는 R에서 가장 인기 있는 패키지의 구문을 분석합니다. 이는 라이브러리에 포함된 패키지입니다. tidyverse, 패키지도 포함 data.table. 그리고 그들의 구문을 비교해 보자 pandas, 파이썬에서 가장 인기 있는 데이터 분석 패키지입니다.

Python과 R을 사용하여 데이터 로드부터 분석 및 윈도우 함수 수행까지 전체 데이터 분석 과정을 단계별로 살펴보겠습니다.

내용

이 문서는 고려 중인 패키지 중 하나에서 일부 데이터 처리 작업을 수행하는 방법을 잊어버린 경우 요약지로 사용할 수 있습니다.

1. R과 Python의 주요 구문 차이점
   1.1. 패키지 함수 접근
   1.2. 과제
   1.3. 인덱싱
   1.4. 방법 및 OOP
   1.5. 파이프라인
   1.6. 데이터 구조
2. 우리가 사용할 패키지에 대한 몇 마디
   2.1. 깔끔한
   2.2. 데이터 테이블
   2.3. 팬더
3. 패키지 설치
4. 데이터 로드
5. 데이터 프레임 생성
6. 원하는 열 선택
7. 행 필터링
8. 그룹화 및 집계
9. 수직 테이블 조인(UNION)
10. 수평 테이블 조인(JOIN)
11. 기본 창 함수 및 계산된 열
12. R과 Python의 데이터 처리 방법 간 대응표
13. 결론
14. 어떤 패키지를 사용하는지에 대한 간단한 설문 조사

데이터 분석에 관심이 있으시다면 다음을 찾으실 수 있습니다. 전보 и 유튜브 채널. 대부분의 콘텐츠는 R 언어에 전념합니다.

R과 Python의 주요 구문 차이점

Python에서 R로, 또는 그 반대로 쉽게 전환할 수 있도록 주의해야 할 몇 가지 핵심 사항은 다음과 같습니다.

패키지 함수 접근

패키지가 R에 로드되면 해당 함수에 접근하기 위해 패키지 이름을 지정할 필요가 없습니다. R에서는 대부분의 경우 그렇지 않지만, 허용됩니다. 코드에서 해당 함수 중 하나가 필요한 경우 패키지를 가져올 필요가 전혀 없으며, 패키지 이름과 함수 이름만 지정하여 호출하면 됩니다. R에서 패키지 이름과 함수 사이의 구분 기호는 이중 콜론입니다. package_name::function_name().

반면 Python에서는 패키지 이름을 명시적으로 지정하여 해당 패키지의 함수를 호출하는 것이 전통적인 방식으로 간주됩니다. 패키지를 로드할 때는 일반적으로 다음과 같이 약어 이름이 지정됩니다. pandas 가명은 보통 사용된다 pd패키지 함수는 점을 통해 접근됩니다. package_name.function_name().

과제

R에서는 화살표를 사용하여 객체에 값을 할당하는 것이 일반적입니다. obj_name <- value, 단일 등호도 허용되지만 R에서 단일 등호는 주로 함수 인수에 값을 전달하는 데 사용됩니다.

파이썬에서는 할당은 단 하나의 등호 기호로만 이루어집니다. obj_name = value.

인덱싱

여기에는 상당히 중요한 차이점도 있습니다. R에서는 인덱싱이 1부터 시작하여 결과 범위에 지정된 모든 요소를 ​​포함합니다.

파이썬에서 인덱싱은 0부터 시작하며, 선택된 범위에는 인덱싱에 지정된 마지막 요소가 포함되지 않습니다. 따라서 다음과 같은 구조가 생성됩니다. x[i:j] Python에서는 j 요소가 포함되지 않습니다.

R에서는 음수 인덱싱에도 차이가 있습니다. x[-1] 마지막 요소를 제외한 벡터의 모든 요소를 ​​반환합니다. Python에서는 같은 표기법으로 마지막 요소만 반환합니다.

방법 및 OOP

R에는 자체 OOP 구현이 있습니다. 저는 이에 대해 기사에 썼습니다. "R의 객체 지향 프로그래밍(1부): S3 클래스"일반적으로 R은 함수형 언어이며, 모든 기능은 함수를 기반으로 합니다. 따라서 Excel 사용자의 경우, tydiverse 그것은 ~보다 더 쉬울 것이다 pandas이것은 저의 주관적인 의견일 수도 있습니다.

간단히 말해, R의 객체에는 메서드가 없습니다(S3 클래스에 대해 이야기하는 경우지만, 훨씬 덜 일반적인 다른 OOP 구현도 있습니다). 객체의 클래스에 따라 다르게 처리하는 일반화된 함수만 있습니다.

파이프라인

아마도 이게 그 이름일 거야 pandas 전적으로 정확하지는 않겠지만, 의미를 설명하려고 노력해 보겠습니다.

중간 계산을 저장하지 않고 작업 환경에 불필요한 객체를 늘리지 않으려면 일종의 컨베이어를 사용할 수 있습니다. 즉, 계산 결과를 한 함수에서 다음 함수로 전달하고 중간 결과를 저장하지 않는 것입니다.

다음 코드 예제를 살펴보겠습니다. 여기서는 중간 계산을 별도의 객체에 저장합니다.

temp_object <- func1()
temp_object2 <- func2(temp_object )
obj <- func3(temp_object2 )

세 가지 연산을 순차적으로 수행하고 각 연산의 결과를 별도의 객체에 저장했습니다. 하지만 실제로는 이러한 중간 객체가 필요하지 않습니다.

아니면 더 나쁘긴 하지만 Excel 사용자에게는 더 친숙할 수도 있습니다.

obj  <- func3(func2(func1()))

이 경우에는 계산의 중간 결과를 저장하지 않았지만, 서로 중첩된 함수가 있는 코드를 읽는 것은 매우 불편했습니다.

R에서 데이터 처리를 위한 다양한 접근 방식을 살펴보겠습니다. 각 접근 방식은 유사한 작업을 각기 다르게 수행합니다.

라이브러리의 파이프라인 tidyverse 운영자에 의해 구현됩니다 %>%.

obj <- func1() %>% 
            func2() %>%
            func3()

따라서 우리는 작업의 결과를 취합니다. func1() 그리고 첫 번째 인수로 전달합니다. func2(), 그런 다음 이 계산의 결과를 첫 번째 인수로 전달합니다. func3(). 마지막으로, 우리는 수행된 모든 계산을 객체에 기록합니다. obj <-.

이 밈은 위에서 설명한 모든 내용을 말로 표현하는 것보다 더 잘 보여줍니다.

В data.table 사슬도 비슷한 방식으로 사용됩니다.

newDT <- DT[where, select|update|do, by][where, select|update|do, by][where, select|update|do, by]

각 대괄호 안에는 이전 연산의 결과를 사용할 수 있습니다.

В pandas 이러한 작업은 마침표로 구분됩니다.

obj = df.fun1().fun2().fun3()

즉, 우리는 우리의 테이블을 가져갑니다 df 그리고 우리는 그녀의 방법을 사용합니다 fun1(), 그런 다음 우리는 얻은 결과에 이 방법을 적용합니다. fun2()후에 fun3(). 얻은 결과를 객체에 저장합니다. obj .

데이터 구조

R과 Python의 데이터 구조는 비슷하지만 이름이 다릅니다.

기술
제목 R
Python / pandas에서의 이름

테이블 구조
데이터 프레임, 데이터 테이블, 티블
데이터 프레임

1차원 값 목록
벡터
판다스의 시리즈 또는 순수 파이썬의 리스트

다단계 비표형 구조
목록
사전(dict)

아래에서는 구문의 다른 특징과 차이점을 살펴보겠습니다.

우리가 사용할 패키지에 대한 몇 마디

먼저, 이 글에서 소개할 패키지에 대해 간략히 설명하겠습니다.

깔끔한

Официальный의 сайт : tidyverse.org

도서관 tidyverse RStudio의 수석 연구원인 Hadley Wickham이 작성했습니다. tidyverse 데이터 처리를 간소화하는 인상적인 패키지 세트로 구성되어 있으며, 그 중 5개는 CRAN 저장소에서 가장 많이 다운로드된 10개 패키지에 포함됩니다.

라이브러리의 핵심은 다음 패키지로 구성됩니다. ggplot2, dplyr, tidyr, readr, purrr, tibble, stringr, forcats. 이러한 각 패키지는 특정 문제 해결을 목표로 합니다. 예를 들어 dplyr 데이터 조작을 위해 설계됨 tidyr 데이터를 깔끔한 형태로 가져오려면, stringr 문자열 작업이 더 쉬워집니다. ggplot2 가장 인기 있는 데이터 시각화 도구 중 하나입니다.

이점 tidyverse 구문이 간단하고 가독성이 뛰어나며, 여러 면에서 SQL 쿼리 언어와 유사합니다.

데이터 테이블

Официальный의 сайт : r-데이터테이블닷컴

저자 data.table H2O.ai의 Matt Dole입니다.

이 라이브러리는 2006년에 처음 공개되었습니다.

패키지 구문은 다음과 같이 편리하지 않습니다. tidyverse R의 기존 데이터프레임과 더 비슷하지만, 동시에 기능이 상당히 확장되었습니다.

이 패키지의 테이블에 대한 모든 조작은 대괄호로 설명되어 있으며 구문을 번역하면 data.table SQL에서는 다음과 같은 결과를 얻을 수 있습니다. data.table[ WHERE, SELECT, GROUP BY ]

이 패키지의 장점은 대량의 데이터를 처리하는 속도입니다.

팬더

Официальный의 сайт : pandas.pydata.org

이 도서관의 이름은 다차원적으로 구조화된 정보 세트를 설명하는 데 사용되는 경제 용어인 "패널 데이터"에서 유래되었습니다.

저자 pandas 미국인 웨스 매키니입니다.

파이썬으로 데이터 분석을 할 때, pandas 아니요. 모든 소스에서 데이터를 로드하는 것부터 시각화하는 것까지, 데이터 조작을 수행할 수 있는 매우 다기능적이고 고수준의 패키지입니다.

추가 패키지 설치

이 글에서 다루는 패키지는 R과 Python 기본 배포판에는 포함되어 있지 않습니다. 단, Anaconda 배포판을 설치했다면 추가로 설치해야 합니다. pandas 필요하지 않습니다.

R에 패키지 설치

RStudio 개발 환경을 열어본 적이 있다면 R에 필요한 패키지를 설치하는 방법을 이미 알고 있을 것입니다. 패키지를 설치하려면 표준 명령을 사용하십시오. install.packages() R에서 직접 실행하면 됩니다.

# установка пакетов
install.packages("vroom")
install.packages("readr")
install.packages("dplyr")
install.packages("data.table")

설치 후 패키지를 연결해야 하며 대부분의 경우 다음 명령이 사용됩니다. library().

# подключение или импорт пакетов в рабочее окружение
library(vroom)
library(readr)
library(dplyr)
library(data.table)

Python에 패키지 설치

따라서 순수 Python이 설치되어 있다면 pandas 수동으로 설치해야 합니다. 운영 체제에 따라 명령줄이나 터미널을 열고 다음 명령을 입력하세요.

pip install pandas

그 후 Python으로 돌아가서 다음 명령으로 설치된 패키지를 가져옵니다. import.

import pandas as pd

데이터 로드

데이터 마이닝은 데이터 분석에서 가장 중요한 단계 중 하나입니다. Python과 R은 로컬 파일, 인터넷 파일, 웹사이트, 모든 종류의 데이터베이스 등 어떤 소스에서든 데이터를 수집할 수 있는 광범위한 기능을 제공합니다.

이 문서에서는 여러 데이터 세트를 사용합니다.

1. Google Analytics에서 두 번 다운로드했습니다.
2. 타이타닉 승객 데이터 세트.

모든 데이터는 내 것입니다 GitHub의 csv 및 tsv 파일 형식으로 요청드리겠습니다.

R에 데이터 로딩: tidyverse, vroom, readr

라이브러리에 데이터를 로드하려면 tidyverse 두 가지 패키지가 의도되었습니다. vroom, readr. vroom 지금은 더 현대적이지만, 앞으로는 패키지가 결합될 수도 있습니다.

견적 공식 문서 vroom.

브룸 대 리더
출시는 무엇입니까? vroom 의미하다 readr? 현재로서는 두 패키지가 개별적으로 발전하도록 둘 계획이지만, 향후에는 통합할 가능성이 높습니다. vroom의 느린 읽기 속도의 한 가지 단점은 특정 데이터 문제를 미리 보고할 수 없다는 것입니다. 따라서 이러한 문제를 통합하는 가장 좋은 방법은 신중하게 고려해야 합니다.

브룸 대 리더
릴리스는 무슨 뜻인가요? vroom 에 readr? 현재 두 패키지를 별도로 개발할 계획이지만, 향후에는 통합할 가능성이 높습니다. 게으른 읽기의 단점 중 하나는 vroom 일부 데이터 문제는 미리 전달할 수 없기 때문에, 이를 가장 잘 결합하는 방법에 대해 생각해 볼 필요가 있습니다.

이 기사에서는 데이터 로딩을 위한 두 패키지를 살펴보겠습니다.

R에 데이터 로드: vroom 패키지

# install.packages("vroom")
library(vroom)

# Чтение данных
## vroom
ga_nov  <- vroom("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_nowember.csv")
ga_dec  <- vroom("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_december.csv")
titanic <- vroom("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/titanic.csv")

R에 데이터 로딩: readr

# install.packages("readr")
library(readr)

# Чтение данных
## readr
ga_nov  <- read_tsv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_nowember.csv")
ga_dec  <- read_tsv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_december.csv")
titanic <- read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/titanic.csv")

패키지 vroom, csv/tsv 데이터 형식에 관계없이 동일한 이름의 함수에 의해 로딩이 수행됩니다. vroom(), 패키지로 readr 각 형식에 따라 다른 기능을 사용합니다 read_tsv() и read_csv().

R에 데이터 로드: data.table

В data.table 데이터를 로딩하는 기능이 있습니다 fread().

R에 데이터 로드: data.table 패키지

# install.packages("data.table")
library(data.table)

## data.table
ga_nov  <- fread("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_nowember.csv")
ga_dec  <- fread("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_december.csv")
titanic <- fread("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/titanic.csv")

Python에 데이터 로딩: pandas

R 패키지와 비교해 보면 이 경우 구문상 가장 가까운 것은 pandas 의지 readr때문에 pandas 어디에서나 데이터를 요청할 수 있으며 이 패키지에는 전체 기능 패밀리가 있습니다. read_*().

• read_csv()
• read_excel()
• read_sql()
• read_json()
• read_html()

그리고 다양한 포맷의 데이터를 읽도록 설계된 다른 많은 함수들이 있습니다. 하지만 우리의 목적에는 충분합니다. read_table() 또는 read_csv() 인수 사용 9월 열 구분 기호를 지정합니다.

Python에 데이터 로딩: pandas

import pandas as pd

ga_nov  = pd.read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/russian_text_in_r/ga_nowember.csv", sep = "t")
ga_dec  = pd.read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/russian_text_in_r/ga_december.csv", sep = "t")
titanic = pd.read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/russian_text_in_r/titanic.csv")

데이터 프레임 생성

테이블 거대한우리가 로드한 , 거기에 필드가 있습니다 성별승객의 성별 식별자를 저장합니다.

하지만 승객의 성별에 따른 데이터를 더욱 편리하게 표현하려면 성별 코드가 아닌 이름을 사용해야 합니다.

이를 위해 우리는 작은 참고서를 만들 것입니다. 이 표에는 각각 2개의 열(코드와 성별 이름)과 2개의 행만 있을 것입니다.

R에서 데이터프레임 만들기: tidyverse, dplyr

아래 코드 예제에서는 다음 함수를 사용하여 원하는 데이터 프레임을 생성합니다. tibble() .

R에서 DataFrame 만들기: dplyr

## dplyr
### создаём справочник
gender <- tibble(id = c(1, 2),
                 gender = c("female", "male"))

R에서 데이터프레임 만들기: data.table

R에서 데이터프레임 만들기: data.table

## data.table
### создаём справочник
gender <- data.table(id = c(1, 2),
                    gender = c("female", "male"))

Python에서 DataFrame 만들기: pandas

В pandas 프레임 생성은 여러 단계로 진행됩니다. 먼저 사전을 만들고, 그다음 사전을 데이터 프레임으로 변환합니다.

Python에서 DataFrame 만들기: pandas

# создаём дата фрейм
gender_dict = {'id': [1, 2],
               'gender': ["female", "male"]}
# преобразуем словарь в датафрейм
gender = pd.DataFrame.from_dict(gender_dict)

열 선택

작업하는 테이블에는 수십 개 또는 수백 개의 데이터 열이 포함될 수 있습니다. 하지만 일반적으로 분석을 수행하는 데 원본 테이블에 있는 모든 열이 필요한 것은 아닙니다.

따라서 원본 표에서 가장 먼저 해야 할 작업 중 하나는 불필요한 정보를 지우고 이 정보가 차지하고 있는 메모리를 확보하는 것입니다.

R에서 열 선택: tidyverse, dplyr

구문 dplyr 이 패키지는 SQL 쿼리 언어와 매우 유사합니다. 이 언어에 익숙하다면 이 패키지를 매우 빨리 익힐 수 있을 것입니다.

이 함수는 열을 선택하는 데 사용됩니다. select().

다음은 다음과 같은 방법으로 열을 선택할 수 있는 몇 가지 코드 예입니다.

• 필수 열의 이름을 나열한 후
• 정규 표현식을 사용하여 열 이름에 액세스
• 열에 포함된 데이터의 데이터 유형 또는 기타 속성에 따라

R에서 열 선택: dplyr

# Выбор нужных столбцов
## dplyr
### выбрать по названию столбцов
select(ga_nov, date, source, sessions)
### исключь по названию столбцов
select(ga_nov, -medium, -bounces)
### выбрать по регулярному выражению, стобцы имена которых заканчиваются на s
select(ga_nov, matches("s$"))
### выбрать по условию, выбираем только целочисленные столбцы
select_if(ga_nov, is.integer)

R에서 열 선택: data.table

동일한 작업 data.table 약간 다르게 수행됩니다. 기사 시작 부분에서 대괄호 안에 있는 인수에 대한 설명을 제공했습니다. data.table.

DT[i,j,by]

장소 :
i — 즉, 행으로 필터링
j — select|update|do, 즉 열을 선택하고 변환합니다.
— 데이터 그룹화

R에서 열 선택: data.table

## data.table
### выбрать по названию столбцов
ga_nov[ , .(date, source, sessions) ]
### исключь по названию столбцов
ga_nov[ , .SD, .SDcols = ! names(ga_nov) %like% "medium|bounces" ]
### выбрать по регулярному выражению
ga_nov[, .SD, .SDcols = patterns("s$")]

변수 .SD 모든 열에 액세스할 수 있습니다. .SDcols 정규 표현식이나 다른 함수를 사용하여 필요한 열의 이름을 필터링하여 필요한 열을 필터링합니다.

Python, Pandas에서 열 선택하기

이름으로 열을 선택하려면 pandas 이름 목록을 전달하면 됩니다. 정규 표현식을 사용하여 이름으로 열을 선택하거나 제외하려면 다음 함수를 사용해야 합니다. drop() и filter(), 그리고 주장 축 = 1행이 아닌 열을 처리하도록 지정하는 옵션입니다.

데이터 유형별로 필드를 선택하려면 다음 함수를 사용하세요. select_dtypes(), 그리고 논쟁에서 들 또는 제외 선택해야 하는 필드에 해당하는 데이터 유형 목록을 전달합니다.

Python에서 열 선택: pandas

# Выбор полей по названию
ga_nov[['date', 'source', 'sessions']]
# Исключить по названию
ga_nov.drop(['medium', 'bounces'], axis=1)
# Выбрать по регулярному выражению
ga_nov.filter(regex="s$", axis=1)
# Выбрать числовые поля
ga_nov.select_dtypes(include=['number'])
# Выбрать текстовые поля
ga_nov.select_dtypes(include=['object'])

행 필터링

예를 들어, 원본 테이블에는 몇 년치 데이터가 포함되어 있지만, 최근 한 달치만 분석하면 되는 경우가 있습니다. 이 경우에도 행이 많을수록 데이터 처리 속도가 느려지고 PC 메모리 사용량이 증가합니다.

R에서 행 필터링: tydyverse, dplyr

В dplyr 줄을 필터링하려면 이 함수를 사용합니다. filter()첫 번째 인수로 데이터 프레임을 받은 다음 필터 조건을 나열합니다.

이 경우 테이블을 필터링하기 위해 논리 표현식을 작성할 때 따옴표 없이 열 이름을 지정하고 테이블 이름을 선언하지 마세요.

필터에 여러 논리 표현식을 적용할 때 다음 연산자를 사용하세요.

• & 또는 쉼표 - 논리적 AND
• | — 논리적 OR

R에서 행 필터링: dplyr

# фильтрация строк
## dplyr
### фильтрация строк по одному условию
filter(ga_nov, source == "google")
### фильтр по двум условиям соединённым логическим и
filter(ga_nov, source == "google" & sessions >= 10)
### фильтр по двум условиям соединённым логическим или
filter(ga_nov, source == "google" | sessions >= 10)

R에서 행 필터링: data.table

위에 쓴 것처럼, data.table 데이터 변환 구문은 대괄호로 묶습니다.

DT[i,j,by]

장소 :
i — 즉, 행으로 필터링
j — select|update|do, 즉 열을 선택하고 변환합니다.
— 데이터 그룹화

인수는 행을 필터링하는 데 사용됩니다. i, 대괄호 안의 첫 번째 위치에 있습니다.

열은 따옴표나 테이블 이름 없이 논리 표현식으로 참조됩니다.

논리 표현식은 다음과 같은 방식으로 연결됩니다. dplyr 연산자 &와 |를 통해.

R에서 행 필터링: data.table

## data.table
### фильтрация строк по одному условию
ga_nov[source == "google"]
### фильтр по двум условиям соединённым логическим и
ga_nov[source == "google" & sessions >= 10]
### фильтр по двум условиям соединённым логическим или
ga_nov[source == "google" | sessions >= 10]

파이썬에서 문자열 필터링: pandas

행별로 필터링 pandas 여과와 유사 data.table, 그리고 대괄호 안에서 수행됩니다.

이 경우, 열에 대한 접근은 데이터 프레임 이름을 의무적으로 표시하여 수행됩니다. 또한, 열 이름은 대괄호( ) 안에 따옴표로 표시될 수도 있습니다.예 df['col_name']), 또는 점 뒤에 따옴표 없이 (예 df.col_name).

여러 조건으로 데이터 프레임을 필터링해야 하는 경우, 각 조건을 괄호로 묶어야 합니다. 논리적 조건은 연산자로 연결됩니다. & и |.

파이썬에서 문자열 필터링: pandas

# Фильтрация строк таблицы
### фильтрация строк по одному условию
ga_nov[ ga_nov['source'] == "google" ]
### фильтр по двум условиям соединённым логическим и
ga_nov[(ga_nov['source'] == "google") & (ga_nov['sessions'] >= 10)]
### фильтр по двум условиям соединённым логическим или
ga_nov[(ga_nov['source'] == "google") | (ga_nov['sessions'] >= 10)]

데이터 그룹화 및 집계

데이터 분석에서 가장 자주 사용되는 작업 중 하나는 그룹화와 집계입니다.

이러한 작업을 수행하는 구문은 지금까지 살펴본 모든 패키지에서 서로 다릅니다.

이 경우 데이터프레임을 예로 들어 보겠습니다. 거대한그리고, 객실 등급에 따라 티켓 수와 평균 비용을 계산해 보겠습니다.

R에서 데이터 그룹화 및 집계: tidyverse, dplyr

В dplyr 이 함수는 그룹화에 사용됩니다 group_by(), 그리고 집계를 위해 summarise(). 사실은, dplyr 함수의 전체 제품군이 있습니다 summarise_*()하지만 이 글의 목적은 기본적인 구문을 비교하는 것이므로, 그러한 세부 사항은 다루지 않겠습니다.

주요 집계 기능:

• sum() — 요약
• min() / max() — 최소값과 최대값
• mean() — 산술 평균
• median() — 중앙값
• length() - 수량

R에서의 그룹화 및 집계: dplyr

## dplyr
### группировка и агрегация строк
group_by(titanic, Pclass) %>%
  summarise(passangers = length(PassengerId),
            avg_price  = mean(Fare))

기능에서 group_by() 첫 번째 인수로 우리는 테이블을 전달했습니다. 거대한, 그리고 필드를 표시했습니다. 피클래스, 이를 통해 테이블을 그룹화합니다. 연산자를 사용하여 이 연산을 수행한 결과는 다음과 같습니다. %>% 함수의 첫 번째 인수로 전달됨 summarise(), 그리고 2개의 필드를 더 추가했습니다: 승객들 и 평균 가격. 첫 번째에서는 함수를 사용하여 length() 티켓 수를 계산하고 두 번째에는 함수를 사용하여 mean() 평균 티켓 가격을 받았습니다.

R에서 데이터 그룹화 및 집계: data.table

В data.table 인수는 집계에 사용됩니다. j 대괄호 안에 두 번째 위치가 있고 그룹화하기 위해 by 또는 keyby, 3번째 위치를 차지함.

이 경우의 집계 함수 목록은 다음에 설명된 것과 동일합니다. dplyr이는 기본 R 구문의 함수이기 때문입니다.

R에서의 그룹화 및 집계: data.table

## data.table
### фильтрация строк по одному условию
titanic[, .(passangers = length(PassengerId),
            avg_price  = mean(Fare)),
        by = Pclass]

Python에서 데이터 그룹화 및 집계: pandas

그룹화 pandas 와 유사하다 dplyr, 그러나 집계는 어떤 것과도 유사하지 않습니다. dplyr 별말씀을요 data.table.

그룹화의 경우 다음 방법을 사용하세요. groupby()데이터 프레임을 그룹화할 열 목록을 전달해야 합니다.

집계를 위해서는 다음 방법을 사용할 수 있습니다. agg()사전을 사용합니다. 사전 키는 집계 함수를 적용할 열이고, 값은 집계 함수의 이름입니다.

집계 함수:

• sum() — 요약
• min() / max() — 최소값과 최대값
• mean() — 산술 평균
• median() — 중앙값
• count() - 수량

기능 reset_index() 아래 예에서는 중첩된 인덱스를 재설정하는 데 사용됩니다. pandas 기본적으로 데이터 집계 후에 설정됩니다.

상징 다음 줄로 이동할 수 있습니다.

파이썬에서의 그룹화와 집계: 판다스

# группировка и агрегация данных
titanic.groupby(["Pclass"]).
    agg({'PassengerId': 'count', 'Fare': 'mean'}).
        reset_index()

수직 테이블 조인

동일한 구조의 두 개 이상의 테이블을 결합하는 작업입니다. 로드한 데이터에는 테이블이 포함되어 있습니다. 가_노브 и 가_데크이러한 테이블은 구조가 동일합니다. 즉, 해당 열과 열의 데이터 유형이 동일합니다.

이는 11월과 12월의 Google Analytics 데이터를 추출한 것입니다. 이 섹션에서는 이 데이터를 하나의 표로 결합하겠습니다.

R에서 테이블의 수직 조인: tidyverse, dplyr

В dplyr 다음 함수를 사용하여 2개의 테이블을 하나로 병합할 수 있습니다. bind_rows()인수로 테이블을 전달합니다.

R에서 행 필터링: dplyr

# Вертикальное объединение таблиц
## dplyr
bind_rows(ga_nov, ga_dec)

R에서 테이블의 수직 조인: data.table

또한 복잡하지도 않습니다. 우리는 그것을 사용합니다. rbind().

R에서 행 필터링: data.table

## data.table
rbind(ga_nov, ga_dec)

파이썬에서 테이블의 수직 조인: pandas

В pandas 테이블을 결합하려면 함수를 사용하세요 concat(), 프레임을 결합하기 위해 프레임 목록을 전달해야 합니다.

파이썬에서 문자열 필터링: pandas

# вертикальное объединение таблиц
pd.concat([ga_nov, ga_dec])

수평 테이블 조인

두 번째 테이블의 열을 키를 기준으로 첫 번째 테이블에 추가하는 연산입니다. 팩트 테이블(예: 판매 데이터가 있는 테이블)에 참조 데이터(예: 상품 원가)를 추가할 때 자주 사용됩니다.

통합에는 여러 유형이 있습니다.

이전에 로드된 테이블에서 거대한 우리는 열이 있어요 성별이는 승객의 성별 코드에 해당합니다.

1 - 여성
2 - 남성

또한, 우리는 참고서를 위한 표를 만들었습니다. 성별승객의 성별에 대한 데이터를 보다 편리하게 표현하기 위해 디렉토리에서 성별 이름을 추가해야 합니다. 성별 표에서 거대한.

R에서 테이블의 수평 조인: tidyverse, dplyr

В dplyr 수평적 통합을 위한 다양한 기능이 있습니다.

• inner_join()
• left_join()
• right_join()
• full_join()
• semi_join()
• nest_join()
• anti_join()

내 실습에서 가장 자주 사용되는 것은 left_join().

위에 나열된 함수는 첫 번째 두 인수로 두 개의 테이블을 조인하고 세 번째 인수로 두 개의 테이블을 조인합니다. by 조인할 열을 지정해야 합니다.

R에서 테이블의 수평 조인: dplyr

# объединяем таблицы
left_join(titanic, gender,
          by = c("Sex" = "id"))

R에서 테이블의 수평 조인: data.table

В data.table 함수를 사용하여 키로 테이블을 결합해야 합니다. merge().

data.table의 merge() 함수 인수

• x, y — 통합을 위한 표
• by — 두 테이블에서 동일한 이름을 갖는 경우 조인의 키가 되는 열
• by.x, by.y — 테이블에 다른 이름이 있는 경우 조인할 열의 이름
• all, all.x, all.y — 연결 유형, all은 두 테이블의 모든 행을 반환하고, all.x는 LEFT JOIN 작업에 해당합니다(첫 번째 테이블의 모든 행을 그대로 둡니다). all.y — RIGHT JOIN 작업에 해당합니다(두 번째 테이블의 모든 행을 그대로 둡니다).

R에서 테이블의 수평 조인: data.table

# объединяем таблицы
merge(titanic, gender, by.x = "Sex", by.y = "id", all.x = T)

파이썬에서 테이블의 수평 조인: pandas

와 동일 data.table에 pandas 테이블을 조인하려면 함수를 사용합니다. merge().

pandas의 merge() 함수의 인수

• 방법 — 연결 유형: 왼쪽, 오른쪽, 바깥쪽, 안쪽
• on — 두 테이블에서 동일한 이름을 갖는 경우 키인 열
• left_on, right_on — 테이블에서 이름이 다른 경우 키 열의 이름

파이썬에서 테이블의 수평 조인: pandas

# объединяем по ключу
titanic.merge(gender, how = "left", left_on = "Sex", right_on = "id")

기본 창 함수 및 계산된 열

윈도우 함수는 집계 함수와 의미가 유사하며 데이터 분석에도 자주 사용됩니다. 하지만 집계 함수와 달리 윈도우 함수는 출력 데이터 프레임의 행 개수를 변경하지 않습니다.

기본적으로 윈도우 함수를 사용하여 입력 데이터 프레임을 특정 특징, 즉 하나 또는 여러 필드의 값을 기준으로 여러 부분으로 나눕니다. 그리고 각 윈도우에 대해 산술 연산을 수행합니다. 이러한 연산의 결과는 테이블의 총 행 개수를 변경하지 않고 각 행에 반환됩니다.

예를 들어 테이블을 살펴보겠습니다. 거대한각 티켓의 객실 등급별 비용이 몇 퍼센트인지 계산해 볼 수 있습니다.

이를 위해서는 해당 노선의 항공권이 속한 현재 객실 등급에 대한 각 노선의 총 항공권 비용을 구한 다음, 각 항공권의 비용을 동일한 객실 등급에 대한 모든 항공권의 총 비용으로 나누어야 합니다.

R의 윈도우 함수: tidyverse, dplyr

행 그룹화를 사용하지 않고 새 열을 추가하려면 dplyr 기능을 수행한다 mutate().

위에서 설명한 문제는 필드별로 데이터를 그룹화하여 해결할 수 있습니다. 피클래스 그리고 새로운 열에 필드를 요약합니다. 요금. 다음으로 테이블의 그룹을 해제하고 필드 값을 나눕니다. 요금 이전 단계에서 무슨 일이 일어났는지에 따라.

R의 윈도우 함수: dplyr

group_by(titanic, Pclass) %>%
  mutate(Pclass_cost = sum(Fare)) %>%
  ungroup() %>%
  mutate(ticket_fare_rate = Fare / Pclass_cost)

R의 윈도우 함수: data.table

해결 알고리즘은 다음과 같습니다. dplyr, 우리는 필드별로 테이블을 창으로 분할해야 합니다. 피클래스각 행에 해당하는 그룹의 합계를 새 열에 표시하고, 해당 그룹에서 각 티켓의 비용 점유율을 계산할 열을 추가합니다.

새로운 열을 추가하려면 data.table 운영자 있음 :=아래는 패키지를 사용하여 문제를 해결하는 예입니다. data.table

R의 윈도우 함수: data.table

titanic[,c("Pclass_cost","ticket_fare_rate") := .(sum(Fare), Fare / Pclass_cost), 
        by = Pclass]

파이썬의 윈도우 함수: pandas

새 열을 추가하는 한 가지 방법 pandas — 기능을 사용하세요 assign(). 행을 그룹화하지 않고 객실 등급별 티켓 비용을 합산하려면 다음 함수를 사용합니다. transform().

아래는 테이블에 추가하는 솔루션의 예입니다. 거대한 같은 2개의 열.

파이썬의 윈도우 함수: pandas

titanic.assign(Pclass_cost      =  titanic.groupby('Pclass').Fare.transform(sum),
               ticket_fare_rate = lambda x: x['Fare'] / x['Pclass_cost'])

함수와 메서드 간의 대응표

아래는 우리가 고려한 패키지의 데이터를 사용하여 다양한 작업을 수행하는 방법의 대응 관계를 나타낸 표입니다.

기술
깔끔한
데이터 테이블
팬더

데이터 로드
vroom()/ readr::read_csv() / readr::read_tsv()
fread()
read_csv()

데이터 프레임 생성
tibble()
data.table()
dict() + from_dict()

열 선택
select()
논쟁 j, 대괄호 안의 두 번째 위치
우리는 대괄호 / 안에 필수 열 목록을 전달합니다. drop() / filter() / select_dtypes()

행 필터링
filter()
논쟁 i, 대괄호 안의 첫 번째 위치
필터링 조건을 대괄호로 나열합니다. filter()

그룹화 및 집계
group_by() + summarise()
인수들 j + by
groupby() + agg()

수직 테이블 조인(UNION)
bind_rows()
rbind()
concat()

수평 테이블 조인(JOIN)
left_join() / *_join()
merge()
merge()

기본 창 함수 및 계산된 열 추가
group_by() + mutate()
논쟁 j 연산자를 사용하여 := + 인수 by
transform() + assign()

결론

제가 이 글에서 설명한 내용이 데이터 처리의 최적 구현이 아닐 수도 있으니, 댓글로 제 실수를 수정해 주시거나, 이 글에 제공된 정보를 R/Python에서 데이터를 처리하는 다른 방법으로 보완해 주시면 감사하겠습니다.

위에서 언급했듯이, 이 글의 목적은 어느 언어가 더 나은지에 대한 나의 의견을 강요하는 것이 아니라, 두 언어를 모두 배울 수 있는 기회를 단순화하거나, 필요하다면 두 언어 간을 전환할 수 있도록 돕는 것입니다.

기사가 마음에 드셨다면 저의 새로운 구독자가 생겨서 기쁠 것입니다. 유튜브 и 이야기 채널.

Опрос

나열된 패키지 중에서 업무에 사용하는 패키지는 무엇인가요?

댓글에 당신의 선택 이유를 적어주세요.

등록된 사용자만 설문 조사에 참여할 수 있습니다. 로그인제발

어떤 데이터 처리 패키지를 사용하시나요? (여러 옵션 선택 가능)

• 45,2%tidyverse19

• 33,3%데이터.테이블14

• 54,8%판다23

42명의 사용자가 투표했습니다. 9명의 사용자가 기권했습니다.

출처 : habr.com