Търсейки R или Python в интернет, ще намерите милиони статии и километри дискусии на тема кой е по-добър, по-бърз и по-удобен за работа с данни. Но за съжаление всички тези статии и спорове не са особено полезни.

Целта на тази статия е да сравни основните техники за обработка на данни в най-популярните пакети на двата езика. И помогнете на читателите бързо да овладеят нещо, което все още не знаят. За тези, които пишат на Python, разберете как да направите същото нещо в R и обратно.

По време на статията ще анализираме синтаксиса на най-популярните пакети в R. Това са пакетите, включени в библиотеката tidyverseа също и опаковката data.table. И сравнете синтаксиса им с pandas, най-популярният пакет за анализ на данни в Python.

Ще преминем стъпка по стъпка през целия път на анализ на данни от зареждането им до извършване на аналитични прозоречни функции с помощта на Python и R.

Съдържание

Тази статия може да се използва като измамен лист, ако сте забравили как да извършите някаква операция по обработка на данни в един от разглежданите пакети.

1. Основни разлики в синтаксиса между R и Python
   1.1. Достъп до функциите на пакета
   1.2. Възлагане
   1.3. Индексирането
   1.4. Методи и ООП
   1.5. Тръбопроводи
   1.6. Структури на данни
2. Няколко думи за пакетите, които ще използваме
   2.1. тидиверс
   2.2. таблица с данни
   2.3. панди
3. Инсталиране на пакети
4. Зареждане на данни
5. Създаване на кадри с данни
6. Избиране на колоните, от които се нуждаете
7. Филтриране на редове
8. Групиране и агрегиране
9. Вертикално обединяване на таблици (UNION)
10. Хоризонтално свързване на таблици (JOIN)
11. Основни прозоречни функции и изчисляеми колони
12. Таблица на съответствие между методите за обработка на данни в R и Python
13. Заключение
14. Кратка анкета за това кой пакет използвате

Ако се интересувате от анализ на данни, може да намерите моя телеграма и YouTube канали. По-голямата част от съдържанието на който е посветено на езика R.

Основни разлики в синтаксиса между R и Python

За да ви улесня при преминаването от Python към R или обратно, ще дам няколко основни момента, на които трябва да обърнете внимание.

Достъп до функциите на пакета

След като пакетът бъде зареден в R, не е необходимо да указвате името на пакета, за да получите достъп до неговите функции. В повечето случаи това не е често срещано в R, но е приемливо. Не е нужно изобщо да импортирате пакет, ако имате нужда от една от неговите функции във вашия код, а просто го извикайте, като посочите името на пакета и името на функцията. Разделителят между имената на пакетите и функциите в R е двоеточие. package_name::function_name().

В Python, напротив, се счита за класическо извикването на функциите на пакет чрез изрично посочване на името му. Когато се изтегли пакет, обикновено му се дава съкратено име, напр. pandas обикновено се използва псевдоним pd. Достъп до функция на пакет се осъществява чрез точка package_name.function_name().

Възлагане

В R е обичайно да се използва стрелка за присвояване на стойност на обект. obj_name <- value, въпреки че е разрешен единичен знак за равенство, единичният знак за равенство в R се използва предимно за предаване на стойности към аргументите на функцията.

В Python присвояването се извършва изключително с един знак за равенство obj_name = value.

Индексирането

Тук също има доста съществени разлики. В R индексирането започва от едно и включва всички посочени елементи в резултантния диапазон,

В Python индексирането започва от нула и избраният диапазон не включва последния елемент, посочен в индекса. Така че дизайн x[i:j] в Python няма да включва елемента j.

Има и разлики в отрицателното индексиране, в R нотация x[-1] ще върне всички елементи на вектора с изключение на последния. В Python подобна нотация ще върне само последния елемент.

Методи и ООП

R имплементира OOP по свой собствен начин, писах за това в статията „ООП на езика R (част 1): S3 класове“. Като цяло R е функционален език и всичко в него е изградено върху функции. Ето защо, например, за потребители на Excel, отидете на tydiverse ще бъде по-лесно от pandas. Въпреки че това може да е мое субективно мнение.

Накратко, обектите в R нямат методи (ако говорим за S3 класове, но има други ООП реализации, които са много по-рядко срещани). Има само обобщени функции, които ги обработват по различен начин в зависимост от класа на обекта.

Тръбопроводи

Може би това е името на pandas Няма да е съвсем правилно, но ще се опитам да обясня смисъла.

За да не спестявате междинни изчисления и да не създавате ненужни обекти в работната среда, можете да използвате един вид конвейер. Тези. предаване на резултата от изчисление от една функция към следващата и не записвайте междинни резултати.

Нека вземем следния пример с код, където съхраняваме междинни изчисления в отделни обекти:

temp_object <- func1()
temp_object2 <- func2(temp_object )
obj <- func3(temp_object2 )

Извършихме последователно 3 операции, като резултатът от всяка беше записан в отделен обект. Но всъщност ние не се нуждаем от тези междинни обекти.

Или още по-лошо, но по-познато на потребителите на Excel.

obj  <- func3(func2(func1()))

В този случай не запазихме междинни резултати от изчисленията, но четенето на код с вложени функции е изключително неудобно.

Ще разгледаме няколко подхода за обработка на данни в R и те извършват подобни операции по различни начини.

Тръбопроводи в библиотеката tidyverse реализирани от оператора %>%.

obj <- func1() %>% 
            func2() %>%
            func3()

Така получаваме резултата от работата func1() и го предайте като първи аргумент на func2(), тогава предаваме резултата от това изчисление като първи аргумент func3(). И накрая записваме всички извършени изчисления в обекта obj <-.

Всичко по-горе е илюстрирано по-добре от думите от този мем:

В data.table веригите се използват по подобен начин.

newDT <- DT[where, select|update|do, by][where, select|update|do, by][where, select|update|do, by]

Във всяка от квадратните скоби можете да използвате резултата от предишната операция.

В pandas такива операции са разделени с точка.

obj = df.fun1().fun2().fun3()

Тези. вземаме нашата маса df и използва нейния метод fun1(), след което прилагаме метода към получения резултат fun2()след fun3(). Полученият резултат се записва в обект OBJ .

Структури на данни

Структурите на данни в R и Python са подобни, но имат различни имена.

описание
Име на R
Име в Python/pandas

Структура на таблицата
data.frame, data.table, tibble
DataFrame

Едномерен списък от стойности
вектор
Серия в pandas или списък в чист Python

Многостепенна нетаблична структура
списък
речник (dict)

По-долу ще разгледаме някои други функции и разлики в синтаксиса.

Няколко думи за пакетите, които ще използваме

Първо, ще ви разкажа малко за пакетите, с които ще се запознаете по време на тази статия.

тидиверс

Официальный сайт: tidyverse.org

Библиотека tidyverse написано от Хедли Уикъм, старши научен сътрудник в RStudio. tidyverse се състои от впечатляващ набор от пакети, които опростяват обработката на данни, 5 от които са включени в първите 10 изтегляния от хранилището на CRAN.

Ядрото на библиотеката се състои от следните пакети: ggplot2, dplyr, tidyr, readr, purrr, tibble, stringr, forcats. Всеки от тези пакети е насочен към решаване на конкретен проблем. Например dplyr създаден за манипулиране на данни, tidyr за привеждане на данните в чист вид, stringr опростява работата с низове и ggplot2 е един от най-популярните инструменти за визуализация на данни.

Предимството tidyverse е простотата и лесният за четене синтаксис, който в много отношения е подобен на езика за заявки SQL.

таблица с данни

Официальный сайт: r-datatable.com

от data.table е Мат Доул от H2O.ai.

Първото издание на библиотеката се състоя през 2006 г.

Синтаксисът на пакета не е толкова удобен, колкото в tidyverse и напомня повече на класическите кадри с данни в R, но в същото време значително разширена функционалност.

Всички манипулации с таблицата в този пакет са описани в квадратни скоби и ако преведете синтаксиса data.table в SQL получавате нещо подобно: data.table[ WHERE, SELECT, GROUP BY ]

Силата на този пакет е скоростта на обработка на големи количества данни.

панди

Официальный сайт: pandas.pydata.org

Името на библиотеката идва от иконометричния термин „панелни данни“, използван за описание на многомерни структурирани набори от информация.

от pandas е американецът Уес Маккини.

Когато става въпрос за анализ на данни в Python, равен pandas Не. Много многофункционален пакет от високо ниво, който ви позволява да извършвате всякакви манипулации с данни, от зареждане на данни от всякакви източници до визуализирането им.

Инсталиране на допълнителни пакети

Пакетите, обсъждани в тази статия, не са включени в основните дистрибуции на R и Python. Въпреки че има малко предупреждение, ако сте инсталирали дистрибуцията на Anaconda, инсталирайте допълнително pandas не се изисква.

Инсталиране на пакети в R

Ако поне веднъж сте отворили средата за разработка на RStudio, вероятно вече знаете как да инсталирате необходимия пакет в R. За да инсталирате пакети, използвайте стандартната команда install.packages() като го стартирате директно в самия R.

# установка пакетов
install.packages("vroom")
install.packages("readr")
install.packages("dplyr")
install.packages("data.table")

След инсталирането е необходимо пакетите да бъдат свързани, за което в повечето случаи се използва командата library().

# подключение или импорт пакетов в рабочее окружение
library(vroom)
library(readr)
library(dplyr)
library(data.table)

Инсталиране на пакети в Python

Така че, ако имате инсталиран чист Python, тогава pandas трябва да го инсталирате ръчно. Отворете команден ред или терминал в зависимост от вашата операционна система и въведете следната команда.

pip install pandas

След това се връщаме към Python и импортираме инсталирания пакет с командата import.

import pandas as pd

Зареждане на данни

Извличането на данни е една от най-важните стъпки в анализа на данни. Както Python, така и R, ако желаете, ви предоставят широки възможности за получаване на данни от всякакви източници: локални файлове, файлове от Интернет, уебсайтове, всякакви бази данни.

В цялата статия ще използваме няколко набора от данни:

1. Две изтегляния от Google Analytics.
2. Набор от данни за пътниците на Титаник.

Всички данни са на мен GitHub под формата на csv и tsv файлове. Откъде ще ги поискаме?

Зареждане на данни в R: tidyverse, vroom, readr

За зареждане на данни в библиотека tidyverse Има два пакета: vroom, readr. vroom по-модерни, но в бъдеще пакетите може да се комбинират.

Цитат от официална документация vroom.

vroom срещу читател
Какво означава освобождаването на vroom означава за readr? Засега планираме да оставим двата пакета да се развиват отделно, но вероятно ще обединим пакетите в бъдеще. Един недостатък на мързеливото четене на vroom е, че някои проблеми с данните не могат да бъдат докладвани предварително, така че как най-добре да ги обедините изисква известно обмисляне.

vroom срещу readr
Какво означава освобождаване? vroom за readr? В момента планираме да разработим двата пакета поотделно, но вероятно ще ги комбинираме в бъдеще. Един от недостатъците на мързеливото четене vroom е, че някои проблеми с данните не могат да бъдат докладвани предварително, така че трябва да помислите как най-добре да ги комбинирате.

В тази статия ще разгледаме и двата пакета за зареждане на данни:

Зареждане на данни в R: vroom пакет

# install.packages("vroom")
library(vroom)

# Чтение данных
## vroom
ga_nov  <- vroom("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_nowember.csv")
ga_dec  <- vroom("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_december.csv")
titanic <- vroom("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/titanic.csv")

Зареждане на данни в R: readr

# install.packages("readr")
library(readr)

# Чтение данных
## readr
ga_nov  <- read_tsv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_nowember.csv")
ga_dec  <- read_tsv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_december.csv")
titanic <- read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/titanic.csv")

В пакета vroom, независимо от формата на данните csv / tsv, зареждането се извършва от функцията със същото име vroom(), в опаковката readr използваме различна функция за всеки формат read_tsv() и read_csv().

Зареждане на данни в R: data.table

В data.table има функция за зареждане на данни fread().

Зареждане на данни в пакет R: data.table

# install.packages("data.table")
library(data.table)

## data.table
ga_nov  <- fread("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_nowember.csv")
ga_dec  <- fread("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_december.csv")
titanic <- fread("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/titanic.csv")

Зареждане на данни в Python: pandas

Ако сравним с R пакети, тогава в този случай синтаксисът е най-близък до pandas ще readr, защото pandas може да изисква данни отвсякъде и в този пакет има цяло семейство функции read_*().

• read_csv()
• read_excel()
• read_sql()
• read_json()
• read_html()

И много други функции, предназначени да четат данни от различни формати. Но за нашите цели е достатъчно read_table() или read_csv() използвайки аргумент септември за да посочите разделителя на колони.

Зареждане на данни в Python: pandas

import pandas as pd

ga_nov  = pd.read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/russian_text_in_r/ga_nowember.csv", sep = "t")
ga_dec  = pd.read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/russian_text_in_r/ga_december.csv", sep = "t")
titanic = pd.read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/russian_text_in_r/titanic.csv")

Създаване на кадри с данни

Таблица титаничен, който заредихме, има поле секс, който съхранява идентификатора на пола на пътника.

Но за по-удобно представяне на данните по пол на пътника, трябва да използвате името, а не кода на пола.

За да направим това, ще създадем малка директория, таблица, в която ще има само 2 колони (код и име на пола) и съответно 2 реда.

Създаване на рамка с данни в R: tidyverse, dplyr

В примера на код по-долу създаваме желаната рамка от данни с помощта на функцията tibble() .

Създаване на рамка с данни в R: dplyr

## dplyr
### создаём справочник
gender <- tibble(id = c(1, 2),
                 gender = c("female", "male"))

Създаване на рамка с данни в R: data.table

Създаване на рамка с данни в R: data.table

## data.table
### создаём справочник
gender <- data.table(id = c(1, 2),
                    gender = c("female", "male"))

Създаване на рамка с данни в Python: pandas

В pandas Създаването на рамки се извършва на няколко етапа, първо създаваме речник и след това преобразуваме речника в рамка с данни.

Създаване на рамка с данни в Python: pandas

# создаём дата фрейм
gender_dict = {'id': [1, 2],
               'gender': ["female", "male"]}
# преобразуем словарь в датафрейм
gender = pd.DataFrame.from_dict(gender_dict)

Избиране на колони

Таблиците, с които работите, могат да съдържат десетки или дори стотици колони с данни. Но за да извършите анализ, като правило не се нуждаете от всички колони, които са налични в изходната таблица.

Следователно една от първите операции, които ще извършите с таблицата източник, е да я изчистите от ненужна информация и да освободите паметта, която тази информация заема.

Избиране на колони в R: tidyverse, dplyr

синтаксис dplyr е много подобен на езика за заявки SQL, ако сте запознати с него, бързо ще овладеете този пакет.

За да изберете колони, използвайте функцията select().

По-долу са дадени примери за код, с който можете да избирате колони по следните начини:

• Изброяване на имената на необходимите колони
• Обърнете се към имената на колоните, като използвате регулярни изрази
• По тип данни или всяко друго свойство на данните, съдържащи се в колоната

Избиране на колони в R: dplyr

# Выбор нужных столбцов
## dplyr
### выбрать по названию столбцов
select(ga_nov, date, source, sessions)
### исключь по названию столбцов
select(ga_nov, -medium, -bounces)
### выбрать по регулярному выражению, стобцы имена которых заканчиваются на s
select(ga_nov, matches("s$"))
### выбрать по условию, выбираем только целочисленные столбцы
select_if(ga_nov, is.integer)

Избиране на колони в R: data.table

Същите операции в data.table се изпълняват малко по-различно, в началото на статията предоставих описание на аргументите в квадратни скоби data.table.

DT[i,j,by]

Къде:
i - където, т.е. филтриране по редове
j - изберете|update|do, т.е. избиране на колони и преобразуването им
по - групиране на данни

Избиране на колони в R: data.table

## data.table
### выбрать по названию столбцов
ga_nov[ , .(date, source, sessions) ]
### исключь по названию столбцов
ga_nov[ , .SD, .SDcols = ! names(ga_nov) %like% "medium|bounces" ]
### выбрать по регулярному выражению
ga_nov[, .SD, .SDcols = patterns("s$")]

променлив .SD позволява достъп до всички колони и .SDcols филтрирайте необходимите колони с помощта на регулярни изрази или други функции за филтриране на имената на колоните, от които се нуждаете.

Избиране на колони в Python, pandas

За да изберете колони по име в pandas достатъчно е да предоставите списък с техните имена. И за да изберете или изключите колони по име с помощта на регулярни изрази, трябва да използвате функциите drop() и filter(), и аргумент ос=1, с което указвате, че е необходимо да се обработват колони, а не редове.

За да изберете поле по тип данни, използвайте функцията select_dtypes(), и в аргументи include или изключвам предаване на списък с типове данни, съответстващи на полетата, които трябва да изберете.

Избиране на колони в Python: pandas

# Выбор полей по названию
ga_nov[['date', 'source', 'sessions']]
# Исключить по названию
ga_nov.drop(['medium', 'bounces'], axis=1)
# Выбрать по регулярному выражению
ga_nov.filter(regex="s$", axis=1)
# Выбрать числовые поля
ga_nov.select_dtypes(include=['number'])
# Выбрать текстовые поля
ga_nov.select_dtypes(include=['object'])

Филтриране на редове

Например изходната таблица може да съдържа данни за няколко години, но трябва да анализирате само последния месец. Отново допълнителните редове ще забавят процеса на обработка на данни и ще запушат паметта на компютъра.

Филтриране на редове в R: tydyverse, dplyr

В dplyr функцията се използва за филтриране на редове filter(). Той приема рамка с данни като първи аргумент, след което изброявате условията за филтриране.

Когато пишете логически изрази за филтриране на таблица, в този случай посочете имената на колоните без кавички и без да декларирате името на таблицата.

Когато използвате множество логически изрази за филтриране, използвайте следните оператори:

• & или запетая - логическо И
• | - логическо ИЛИ

Филтриране на редове в R: dplyr

# фильтрация строк
## dplyr
### фильтрация строк по одному условию
filter(ga_nov, source == "google")
### фильтр по двум условиям соединённым логическим и
filter(ga_nov, source == "google" & sessions >= 10)
### фильтр по двум условиям соединённым логическим или
filter(ga_nov, source == "google" | sessions >= 10)

Филтриране на редове в R: data.table

Както вече писах по-горе, в data.table синтаксисът за преобразуване на данни е ограден в квадратни скоби.

DT[i,j,by]

Къде:
i - където, т.е. филтриране по редове
j - изберете|update|do, т.е. избиране на колони и преобразуването им
по - групиране на данни

Аргументът се използва за филтриране на редове i, което има първа позиция в квадратни скоби.

Колоните се достъпват в логически изрази без кавички и без посочване на името на таблицата.

Логическите изрази са свързани един с друг по същия начин, както в dplyr чрез операторите & и |.

Филтриране на редове в R: data.table

## data.table
### фильтрация строк по одному условию
ga_nov[source == "google"]
### фильтр по двум условиям соединённым логическим и
ga_nov[source == "google" & sessions >= 10]
### фильтр по двум условиям соединённым логическим или
ga_nov[source == "google" | sessions >= 10]

Филтриране на низове в Python: pandas

Филтриране по редове в pandas подобно на филтриране в data.table, и се прави в квадратни скоби.

В този случай достъпът до колоните се осъществява задължително чрез посочване на името на рамката с данни; тогава името на колоната може също да бъде посочено в кавички в квадратни скоби (пример df['col_name']), или без кавички след точката (пример df.col_name).

Ако трябва да филтрирате рамка от данни по няколко условия, всяко условие трябва да бъде поставено в скоби. Логическите условия са свързани помежду си чрез оператори & и |.

Филтриране на низове в Python: pandas

# Фильтрация строк таблицы
### фильтрация строк по одному условию
ga_nov[ ga_nov['source'] == "google" ]
### фильтр по двум условиям соединённым логическим и
ga_nov[(ga_nov['source'] == "google") & (ga_nov['sessions'] >= 10)]
### фильтр по двум условиям соединённым логическим или
ga_nov[(ga_nov['source'] == "google") | (ga_nov['sessions'] >= 10)]

Групиране и агрегиране на данни

Една от най-често използваните операции в анализа на данни е групирането и агрегирането.

Синтаксисът за извършване на тези операции е разпръснат във всички пакети, които преглеждаме.

В този случай ще вземем рамка с данни като пример титаничени изчислете броя и средната цена на билетите в зависимост от класа на кабината.

Групиране и агрегиране на данни в R: tidyverse, dplyr

В dplyr функцията се използва за групиране group_by(), и за агрегиране summarise(). Всъщност, dplyr има цяло семейство от функции summarise_*(), но целта на тази статия е да сравни основния синтаксис, така че няма да навлизаме в такава джунгла.

Основни агрегиращи функции:

• sum() — сумиране
• min() / max() – минимална и максимална стойност
• mean() - средно аритметично
• median() - Медиана
• length() - количество

Групиране и агрегиране в R: dplyr

## dplyr
### группировка и агрегация строк
group_by(titanic, Pclass) %>%
  summarise(passangers = length(PassengerId),
            avg_price  = mean(Fare))

Във функция group_by() подадохме таблицата като първи аргумент титаничен, и след това посочи полето Pclass, по който ще групираме нашата таблица. Резултатът от тази операция с помощта на оператора %>% предава се като първи аргумент на функцията summarise()и добави още 2 полета: пътници и ср.цена. В първия, използвайки функцията length() изчислява броя на билетите, а във втория с помощта на функцията mean() получи средната цена на билета.

Групиране и агрегиране на данни в R: data.table

В data.table аргументът се използва за агрегиране j който има втора позиция в квадратни скоби и за групиране by или keyby, които са на трета позиция.

Списъкът с функции за агрегиране в този случай е идентичен с описания в dplyr, защото това са функции от основния R синтаксис.

Групиране и агрегиране в R: data.table

## data.table
### фильтрация строк по одному условию
titanic[, .(passangers = length(PassengerId),
            avg_price  = mean(Fare)),
        by = Pclass]

Групиране и агрегиране на данни в Python: pandas

Групиране в pandas подобен на dplyr, но агрегирането не е подобно на dplyr въобще не data.table.

За да групирате, използвайте метода groupby(), в който трябва да подадете списък с колони, по които рамката с данни ще бъде групирана.

За агрегиране можете да използвате метода agg()който приема речник. Ключовете на речника са колоните, върху които ще приложите функциите за агрегиране, а стойностите са имената на функциите за агрегиране.

Функции за агрегиране:

• sum() — сумиране
• min() / max() – минимална и максимална стойност
• mean() - средно аритметично
• median() - Медиана
• count() - количество

Функция reset_index() в примера по-долу се използва за нулиране на вложени индекси, които pandas по подразбиране след агрегиране на данни.

Символ ви позволява да преминете към следващия ред.

Групиране и агрегиране в Python: pandas

# группировка и агрегация данных
titanic.groupby(["Pclass"]).
    agg({'PassengerId': 'count', 'Fare': 'mean'}).
        reset_index()

Вертикално свързване на таблици

Операция, при която свързвате две или повече таблици с еднаква структура. Данните, които заредихме, съдържат таблици ga_nov и ga_dec. Тези таблици са идентични по структура, т.е. имат едни и същи колони и типовете данни в тези колони.

Това е качване от Google Analytics за месец ноември и декември, в този раздел ще обединим тези данни в една таблица.

Вертикално свързващи таблици в R: tidyverse, dplyr

В dplyr Можете да комбинирате 2 таблици в една с помощта на функцията bind_rows(), предавайки таблици като свои аргументи.

Филтриране на редове в R: dplyr

# Вертикальное объединение таблиц
## dplyr
bind_rows(ga_nov, ga_dec)

Вертикално свързване на таблици в R: data.table

Също така не е нищо сложно, нека използваме rbind().

Филтриране на редове в R: data.table

## data.table
rbind(ga_nov, ga_dec)

Вертикално съединяване на таблици в Python: pandas

В pandas функцията се използва за свързване на таблици concat(), в който трябва да подадете списък с рамки, за да ги комбинирате.

Филтриране на низове в Python: pandas

# вертикальное объединение таблиц
pd.concat([ga_nov, ga_dec])

Хоризонтално свързване на таблици

Операция, при която колони от втората се добавят към първата таблица по ключ. Често се използва при обогатяване на таблица с факти (например таблица с данни за продажби) с някои референтни данни (например цена на продукт).

Има няколко вида съединения:

В предварително заредената таблица титаничен имаме колона секс, което съответства на кода на пола на пътника:

1 - женски
2 - мъжки

Също така, създадохме таблица - справочник пол. За по-удобно представяне на данните за пола на пътниците, трябва да добавим името на пола от указателя пол към масата титаничен.

Обединяване на хоризонтална маса в R: tidyverse, dplyr

В dplyr Има цяло семейство функции за хоризонтално свързване:

• inner_join()
• left_join()
• right_join()
• full_join()
• semi_join()
• nest_join()
• anti_join()

Най-често използваният в моята практика е left_join().

Като първи два аргумента функциите, изброени по-горе, приемат две таблици за обединяване, а като трети аргумент by трябва да посочите колоните, които да се присъединят.

Обединяване на хоризонтална маса в R: dplyr

# объединяем таблицы
left_join(titanic, gender,
          by = c("Sex" = "id"))

Хоризонтално свързване на таблици в R: data.table

В data.table Трябва да свържете таблици по ключ, като използвате функцията merge().

Аргументи за функция merge() в data.table

• x, y — Таблици за свързване
• от — Колона, която е ключът за присъединяване, ако има едно и също име в двете таблици
• by.x, by.y — Имена на колони за обединяване, ако имат различни имена в таблиците
• all, all.x, all.y — Тип на свързване, all ще върне всички редове от двете таблици, all.x съответства на операцията LEFT JOIN (ще остави всички редове на първата таблица), all.y — съответства на Операция RIGHT JOIN (ще остави всички редове на втората таблица).

Хоризонтално свързване на таблици в R: data.table

# объединяем таблицы
merge(titanic, gender, by.x = "Sex", by.y = "id", all.x = T)

Обединяване на хоризонтални таблици в Python: pandas

Както и в data.table, Аз Н pandas функцията се използва за свързване на таблици merge().

Аргументи на функцията merge() в pandas

• как — Тип връзка: ляво, дясно, външно, вътрешно
• on — Колона, която е ключ, ако има едно и също име в двете таблици
• left_on, right_on — Имена на ключови колони, ако имат различни имена в таблиците

Обединяване на хоризонтални таблици в Python: pandas

# объединяем по ключу
titanic.merge(gender, how = "left", left_on = "Sex", right_on = "id")

Основни прозоречни функции и изчисляеми колони

Функциите на прозореца са подобни по значение на функциите за агрегиране и също често се използват при анализ на данни. Но за разлика от функциите за агрегиране, прозоречните функции не променят броя на редовете на изходящата рамка с данни.

По същество, използвайки функцията прозорец, ние разделяме входящия кадър с данни на части според някакъв критерий, т.е. по стойността на едно поле или няколко полета. И ние извършваме аритметични операции на всеки прозорец. Резултатът от тези операции ще бъде върнат във всеки ред, т.е. без промяна на общия брой редове в таблицата.

Например, нека вземем масата титаничен. Можем да изчислим какъв процент е цената на всеки билет в рамките на неговата класа на кабината.

За да направим това, трябва да получим във всеки ред общата цена на билет за текущата класа на кабината, към която принадлежи билетът в този ред, след което да разделим цената на всеки билет на общата цена на всички билети от същата класа на кабината .

Функции на прозореца в R: tidyverse, dplyr

За да добавите нови колони, без да използвате групиране на редове, в dplyr изпълнява функция mutate().

Можете да разрешите проблема, описан по-горе, като групирате данните по поле Pclass и сумиране на полето в нова колона храна. След това разгрупирайте таблицата и разделете стойностите на полетата храна към това, което се случи в предишната стъпка.

Функции на прозореца в R: dplyr

group_by(titanic, Pclass) %>%
  mutate(Pclass_cost = sum(Fare)) %>%
  ungroup() %>%
  mutate(ticket_fare_rate = Fare / Pclass_cost)

Прозоречни функции в R: data.table

Алгоритъмът за решение остава същият като в dplyr, трябва да разделим таблицата на прозорци по поле Pclass. Изведете в нова колона сумата за групата, съответстваща на всеки ред, и добавете колона, в която изчисляваме дела от цената на всеки билет в неговата група.

За да добавите нови колони към data.table присъстващ оператор :=. По-долу е даден пример за решаване на проблем с помощта на пакета data.table

Прозоречни функции в R: data.table

titanic[,c("Pclass_cost","ticket_fare_rate") := .(sum(Fare), Fare / Pclass_cost), 
        by = Pclass]

Прозоречни функции в Python: pandas

Един от начините за добавяне на нова колона към pandas - използвайте функцията assign(). За да обобщим цената на билетите по класа на кабината, без групиране на редове, ще използваме функцията transform().

По-долу е пример за решение, в което добавяме към таблицата титаничен същите 2 колони.

Прозоречни функции в Python: pandas

titanic.assign(Pclass_cost      =  titanic.groupby('Pclass').Fare.transform(sum),
               ticket_fare_rate = lambda x: x['Fare'] / x['Pclass_cost'])

Таблица за съответствие на функциите и методите

По-долу е дадена таблица на съответствие между методите за извършване на различни операции с данни в пакетите, които разгледахме.

описание
тидиверс
таблица с данни
панди

Зареждане на данни
vroom()/ readr::read_csv() / readr::read_tsv()
fread()
read_csv()

Създаване на кадри с данни
tibble()
data.table()
dict() + from_dict()

Избиране на колони
select()
аргумент j, втора позиция в квадратни скоби
предаваме списъка с необходимите колони в квадратни скоби / drop() / filter() / select_dtypes()

Филтриране на редове
filter()
аргумент i, първа позиция в квадратни скоби
Изброяваме условията за филтриране в квадратни скоби / filter()

Групиране и агрегиране
group_by() + summarise()
аргументи j + by
groupby() + agg()

Вертикално обединяване на таблици (UNION)
bind_rows()
rbind()
concat()

Хоризонтално свързване на таблици (JOIN)
left_join() / *_join()
merge()
merge()

Основни функции на прозореца и добавяне на изчислени колони
group_by() + mutate()
аргумент j с помощта на оператора := + аргумент by
transform() + assign()

Заключение

Може би в статията описах не най-оптималните реализации на обработката на данни, така че ще се радвам, ако коригирате грешките ми в коментарите или просто допълните информацията, дадена в статията, с други техники за работа с данни в R / Python.

Както писах по-горе, целта на статията не беше да наложи мнение кой език е по-добър, а да опрости възможността да научите двата езика или, ако е необходимо, да мигрирате между тях.

Ако сте харесали статията, ще се радвам да имам нови абонати за моята YouTube и телеграма канали.

Опрос

Кои от следните пакети използвате в работата си?

В коментарите можете да напишете причината за вашия избор.

В анкетата могат да участват само регистрирани потребители. Впиши се, Моля те.

Кой пакет за обработка на данни използвате (можете да изберете няколко опции)

• 45,2%tidyverse19

• 33,3%данни.таблица14

• 54,8%панди23

42 потребители гласуваха. 9 потребители се въздържаха.

Източник: www.habr.com