Претражујући Р или Питхон на Интернету, наћи ћете милионе чланака и километре расправа на тему који је бољи, бржи и погоднији за рад са подацима. Али, нажалост, сви ови чланци и спорови нису посебно корисни.

Сврха овог чланка је упоређивање основних техника обраде података у најпопуларнијим пакетима оба језика. И помозите читаоцима да брзо савладају нешто што још не знају. За оне који пишу у Питхон-у, сазнајте како да ураде исту ствар у Р-у и обрнуто.

У чланку ћемо анализирати синтаксу најпопуларнијих пакета у Р. Ово су пакети укључени у библиотеку tidyverseа такође и пакет data.table. И упоредите њихову синтаксу са pandas, најпопуларнији пакет за анализу података у Питхон-у.

Проћи ћемо корак по корак кроз цео пут анализе података од учитавања до извођења аналитичких функција прозора користећи Питхон и Р.

Садржина

Овај чланак се може користити као варалица ако сте заборавили да извршите неку операцију обраде података у једном од пакета који се разматрају.

Главне синтаксичке разлике између Р и Питхон-а
КСНУМКС. Приступ функцијама пакета
КСНУМКС. Додељивање
КСНУМКС. Индексирање
КСНУМКС. Методе и ООП
КСНУМКС. Цевоводи
КСНУМКС. Структуре података
Неколико речи о пакетима које ћемо користити
КСНУМКС. тидиверсе
КСНУМКС. подаци.табела
КСНУМКС. панде
Инсталирање пакета
Учитавање података
Креирање оквира података
Одабир колона које су вам потребне
Филтрирање редова
Груписање и агрегација
Вертикална унија табела (УНИОН)
Хоризонтално спајање табела (ЈОИН)
Основне функције прозора и израчунате колоне
Табела кореспонденције између метода обраде података у Р и Питхон-у
Закључак
Кратка анкета о томе који пакет користите

Ако сте заинтересовани за анализу података, можда ћете пронаћи мој телеграм и ИоуТубе канала. Већина садржаја је посвећена Р језику.

Главне синтаксичке разлике између Р и Питхон-а

Да бих вам олакшао прелазак са Питхон-а на Р, или обрнуто, даћу неколико главних тачака на које треба да обратите пажњу.

Приступ функцијама пакета

Када се пакет учита у Р, не морате да наведете име пакета да бисте приступили његовим функцијама. У већини случајева ово није уобичајено у Р, али је прихватљиво. Не морате уопште да увозите пакет ако вам је потребна нека од његових функција у вашем коду, већ га једноставно позовите тако што ћете навести име пакета и име функције. Разделник између имена пакета и функција у Р је двострука тачка. package_name::function_name().

У Питхон-у се, напротив, сматра класичним позивање функција пакета експлицитним навођењем његовог имена. Када се пакет преузме, обично му се даје скраћено име, нпр. pandas обично се користи псеудоним pd. Функцији пакета се приступа преко тачке package_name.function_name().

Додељивање

У Р, уобичајено је користити стрелицу за додељивање вредности објекту. obj_name <- value, иако је дозвољен један знак једнакости, један знак једнакости у Р се користи првенствено за прослеђивање вредности аргументима функције.

У Питхон-у, додељивање се врши искључиво са једним знаком једнакости obj_name = value.

Индексирање

Овде такође постоје прилично значајне разлике. У Р, индексирање почиње од један и укључује све наведене елементе у резултујућем опсегу,

У Питхон-у индексирање почиње од нуле и изабрани опсег не укључује последњи елемент наведен у индексу. Дакле дизајн x[i:j] у Питхон-у неће укључивати ј елемент.

Постоје и разлике у негативном индексирању, у Р нотацији x[-1] ће вратити све елементе вектора осим последњег. У Питхон-у, слична нотација ће вратити само последњи елемент.

Методе и ООП

Р имплементира ООП на свој начин, о томе сам писао у чланку „ООП на језику Р (1. део): С3 класе“. Уопштено говорећи, Р је функционални језик и све у њему је изграђено на функцијама. Стога, на пример, за кориснике програма Екцел идите на tydiverse биће лакше него pandas. Иако је ово можда моје субјективно мишљење.

Укратко, објекти у Р немају методе (ако говоримо о С3 класама, али постоје и друге ООП имплементације које су много ређе). Постоје само генерализоване функције које их различито обрађују у зависности од класе објекта.

Цевоводи

Можда је ово име за pandas Неће бити сасвим тачно, али покушаћу да објасним значење.

Да не бисте сачували међупрорачуне и не производили непотребне објекте у радном окружењу, можете користити неку врсту цевовода. Оне. пренети резултат прорачуна са једне функције на другу и не чувати међурезултате.

Узмимо следећи пример кода, где посредне прорачуне чувамо у одвојеним објектима:

temp_object <- func1()
temp_object2 <- func2(temp_object )
obj <- func3(temp_object2 )

Извели смо 3 операције узастопно, а резултат сваке је сачуван у посебном објекту. Али у ствари, ови међуобјекти нам нису потребни.

Или још горе, али познатије корисницима Екцел-а.

obj  <- func3(func2(func1()))

У овом случају нисмо сачували међурезултате прорачуна, али је читање кода са угнежђеним функцијама изузетно незгодно.

Погледаћемо неколико приступа обради података у Р-у, а они обављају сличне операције на различите начине.

Цевоводи у библиотеци tidyverse имплементира оператер %>%.

obj <- func1() %>% 
            func2() %>%
            func3()

Тако узимамо резултат рада func1() и проследите га као први аргумент func2(), онда резултат овог прорачуна преносимо као први аргумент func3(). И на крају све извршене прорачуне уписујемо у објекат obj <-.

Све горе наведено је боље од речи илустровано овим мемом:

В data.table ланци се користе на сличан начин.

newDT <- DT[where, select|update|do, by][where, select|update|do, by][where, select|update|do, by]

У свакој од угластих заграда можете користити резултат претходне операције.

В pandas такве операције су одвојене тачком.

obj = df.fun1().fun2().fun3()

Оне. узимамо свој сто df и користити њен метод fun1(), затим методу примењујемо на добијени резултат fun2(), после fun3(). Добијени резултат се чува у објекту ОБЈ .

Структуре података

Структуре података у Р и Питхон-у су сличне, али имају различита имена.

Опис
Име у Р
Име у Питхон/пандас

Структура табеле
дата.фраме, дата.табле, тиббле
Оквир података

Једнодимензионална листа вредности
Вецтор
Серија у пандама или листа у чистом Питхон-у

Вишеслојна нетабеларна структура
Листа
речник (дикт)

У наставку ћемо погледати неке друге карактеристике и разлике у синтакси.

Неколико речи о пакетима које ћемо користити

Прво ћу вам рећи нешто о пакетима са којима ћете се упознати током овог чланка.

тидиверсе

Званични сајт: тидиверсе.орг

библиотека tidyverse написао Хедли Викам, виши научни научник у РСтудиу. tidyverse састоји се од импресивног скупа пакета који поједностављују обраду података, од којих је 5 укључено у првих 10 преузимања из ЦРАН спремишта.

Језгро библиотеке чине следећи пакети: ggplot2, dplyr, tidyr, readr, purrr, tibble, stringr, forcats. Сваки од ових пакета је усмерен на решавање одређеног проблема. На пример dplyr креиран за манипулацију подацима, tidyr да доведе податке у уредан облик, stringr поједностављује рад са стринговима, и ggplot2 је један од најпопуларнијих алата за визуелизацију података.

Предност tidyverse је једноставност и лако читљива синтакса, која је на много начина слична СКЛ језику упита.

подаци.табела

Званични сајт: р-дататабле.цом

Од аутора data.table је Матт Доле из Х2О.аи.

Прво издање библиотеке одржано је 2006. године.

Синтакса пакета није тако згодна као у tidyverse и више подсећа на класичне оквире података у Р, али је истовремено значајно проширен у функционалности.

Све манипулације са табелом у овом пакету су описане у угластим заградама, а ако преведете синтаксу data.table у СКЛ-у добијате нешто овако: data.table[ WHERE, SELECT, GROUP BY ]

Снага овог пакета је брзина обраде великих количина података.

панде

Званични сајт: пандас.пидата.орг

Назив библиотеке потиче од економетријског термина „панел подаци“, који се користи за описивање вишедимензионалних структурираних скупова информација.

Од аутора pandas је Американац Вес Мекини.

Када је реч о анализи података у Питхон-у, једнако pandas Не. Веома мултифункционалан пакет високог нивоа који вам омогућава да извршите било какву манипулацију са подацима, од учитавања података из било ког извора до визуелизације.

Инсталирање додатних пакета

Пакети о којима се говори у овом чланку нису укључени у основне Р и Питхон дистрибуције. Иако постоји мало упозорење, ако сте инсталирали дистрибуцију Анацонда, инсталирајте додатно pandas није потребно.

Инсталирање пакета у Р

Ако сте бар једном отворили развојно окружење РСтудио, вероватно већ знате како да инсталирате потребан пакет у Р. Да бисте инсталирали пакете, користите стандардну команду install.packages() покретањем директно у самом Р.

# установка пакетов
install.packages("vroom")
install.packages("readr")
install.packages("dplyr")
install.packages("data.table")

Након инсталације потребно је повезати пакете, за шта се у већини случајева користи команда library().

# подключение или импорт пакетов в рабочее окружение
library(vroom)
library(readr)
library(dplyr)
library(data.table)

Инсталирање пакета у Питхон-у

Дакле, ако имате инсталиран чисти Питхон pandas морате да га инсталирате ручно. Отворите командну линију или терминал, у зависности од вашег оперативног система и унесите следећу команду.

pip install pandas

Затим се враћамо на Питхон и командом увозимо инсталирани пакет import.

import pandas as pd

Учитавање података

Дата мининг је један од најважнијих корака у анализи података. И Питхон и Р, ако желите, пружају вам широке могућности за добијање података из било ког извора: локалних датотека, датотека са Интернета, веб локација, свих врста база података.

У чланку ћемо користити неколико скупова података:

Два преузимања са Гоогле аналитике.
Титаниц Пассенгер Датасет.

Сви подаци су на мом ГитХуб у облику цсв и тсв датотека. Одакле ћемо их тражити?

Учитавање података у Р: тидиверсе, вроом, реадр

За учитавање података у библиотеку tidyverse Постоје два пакета: vroom, readr. vroom модернији, али у будућности пакети могу бити комбиновани.

Цитат из званична документација vroom.

вроом вс реадер
Шта значи ослобађање од vroom значи за readr? За сада планирамо да дозволимо да се ова два пакета развијају одвојено, али вероватно ћемо у будућности ујединити пакете. Једна мана вроомовог лењог читања је да се одређени проблеми са подацима не могу пријавити унапред, па је потребно размислити о томе како их најбоље ујединити.

вроом вс реадр
Шта значи ослобађање? vroom за readr? Тренутно планирамо да развијамо оба пакета одвојено, али ћемо их вероватно комбиновати у будућности. Један од недостатака лењог читања vroom је да се неки проблеми са подацима не могу пријавити унапред, па треба размислити како их најбоље комбиновати.

У овом чланку ћемо погледати оба пакета за учитавање података:

Учитавање података у пакет Р: вроом

# install.packages("vroom")
library(vroom)

# Чтение данных
## vroom
ga_nov  <- vroom("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_nowember.csv")
ga_dec  <- vroom("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_december.csv")
titanic <- vroom("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/titanic.csv")

Учитавање података у Р: реадр

# install.packages("readr")
library(readr)

# Чтение данных
## readr
ga_nov  <- read_tsv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_nowember.csv")
ga_dec  <- read_tsv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_december.csv")
titanic <- read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/titanic.csv")

У пакету vroom, без обзира на цсв / тсв формат података, учитавање се врши помоћу истоимене функције vroom(), у пакету readr користимо различите функције за сваки формат read_tsv() и read_csv().

Учитавање података у Р: дата.табле

В data.table постоји функција за учитавање података fread().

Учитавање података у пакет Р: дата.табле

# install.packages("data.table")
library(data.table)

## data.table
ga_nov  <- fread("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_nowember.csv")
ga_dec  <- fread("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/ga_december.csv")
titanic <- fread("https://raw.githubusercontent.com/selesnow/publications/master/data_example/r_python_data/titanic.csv")

Учитавање података у Питхон-у: панде

Ако упоредимо са Р пакетима, онда је у овом случају синтакса најближа pandas воља readr, јер pandas може захтевати податке са било ког места, а у овом пакету постоји читава породица функција read_*().

read_csv()
read_excel()
read_sql()
read_json()
read_html()

И многе друге функције дизајниране за читање података из различитих формата. Али за наше потребе то је довољно read_table() или read_csv() користећи аргумент Сеп да одредите сепаратор колона.

Учитавање података у Питхон-у: панде

import pandas as pd

ga_nov  = pd.read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/russian_text_in_r/ga_nowember.csv", sep = "t")
ga_dec  = pd.read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/russian_text_in_r/ga_december.csv", sep = "t")
titanic = pd.read_csv("https://raw.githubusercontent.com/selesnow/publications/master/data_example/russian_text_in_r/titanic.csv")

Креирање оквира података

Сто Титаниц, који смо учитали, постоји поље Секс, који чува идентификатор пола путника.

Али за практичнију презентацију података према полу путника, требало би да користите име, а не шифру пола.

Да бисмо то урадили, направићемо мали директоријум, табелу у којој ће бити само 2 колоне (код и назив пола) и 2 реда, респективно.

Креирање оквира података у Р: тидиверсе, дплир

У примеру кода испод, креирамо жељени оквир података помоћу функције tibble() .

Креирање оквира података у Р: дплир

## dplyr
### создаём справочник
gender <- tibble(id = c(1, 2),
                 gender = c("female", "male"))

Креирање оквира података у Р: дата.табле

Креирање оквира података у Р: дата.табле

## data.table
### создаём справочник
gender <- data.table(id = c(1, 2),
                    gender = c("female", "male"))

Креирање оквира података у Питхон-у: пандас

В pandas Креирање оквира се одвија у неколико фаза, прво креирамо речник, а затим конвертујемо речник у оквир података.

Креирање оквира података у Питхон-у: пандас

# создаём дата фрейм
gender_dict = {'id': [1, 2],
               'gender': ["female", "male"]}
# преобразуем словарь в датафрейм
gender = pd.DataFrame.from_dict(gender_dict)

Избор колоне

Табеле са којима радите могу да садрже десетине или чак стотине колона података. Али да бисте извршили анализу, по правилу, нису вам потребне све колоне које су доступне у изворној табели.

Стога, једна од првих операција коју ћете извршити са изворном табелом је да је очистите од непотребних информација и ослободите меморију коју ове информације заузимају.

Избор колона у Р: тидиверсе, дплир

синтакса dplyr је веома сличан СКЛ језику упита, ако сте упознати са њим, брзо ћете савладати овај пакет.

Да бисте изабрали колоне, користите функцију select().

Испод су примери кода помоћу којих можете да изаберете колоне на следеће начине:

Навођење имена потребних колона
Погледајте називе колона користећи регуларне изразе
По типу података или било ком другом својству података садржаних у колони

Избор колона у Р: дплир

# Выбор нужных столбцов
## dplyr
### выбрать по названию столбцов
select(ga_nov, date, source, sessions)
### исключь по названию столбцов
select(ga_nov, -medium, -bounces)
### выбрать по регулярному выражению, стобцы имена которых заканчиваются на s
select(ga_nov, matches("s$"))
### выбрать по условию, выбираем только целочисленные столбцы
select_if(ga_nov, is.integer)

Избор колона у Р: подаци.табела

Исте операције у data.table се изводе мало другачије, на почетку чланка сам дао опис који су аргументи у угластим заградама data.table.

DT[i,j,by]

Где је:
ја - где, тј. филтрирање по редовима
ј - изаберите|ажурирај|уради, тј. бирање колона и њихово претварање
по - груписање података

Избор колона у Р: подаци.табела

## data.table
### выбрать по названию столбцов
ga_nov[ , .(date, source, sessions) ]
### исключь по названию столбцов
ga_nov[ , .SD, .SDcols = ! names(ga_nov) %like% "medium|bounces" ]
### выбрать по регулярному выражению
ga_nov[, .SD, .SDcols = patterns("s$")]

Вариабле .SD омогућава вам приступ свим колонама, и .SDcols филтрирајте потребне колоне користећи регуларне изразе или друге функције да бисте филтрирали називе колона које су вам потребне.

Одабир колона у Питхон-у, панде

Да бисте изабрали колоне по имену у pandas довољно је навести списак њихових имена. А да бисте изабрали или искључили колоне по имену помоћу регуларних израза, потребно је да користите функције drop() и filter(), и аргумент акис=1, чиме указујете да је потребно обрадити колоне, а не редове.

Да бисте изабрали поље према типу података, користите функцију select_dtypes(), и у аргументе обухватити или искључити проследите листу типова података који одговарају пољима која треба да изаберете.

Избор колона у Питхон-у: пандас

# Выбор полей по названию
ga_nov[['date', 'source', 'sessions']]
# Исключить по названию
ga_nov.drop(['medium', 'bounces'], axis=1)
# Выбрать по регулярному выражению
ga_nov.filter(regex="s$", axis=1)
# Выбрать числовые поля
ga_nov.select_dtypes(include=['number'])
# Выбрать текстовые поля
ga_nov.select_dtypes(include=['object'])

Филтрирање редова

На пример, изворна табела може да садржи податке за неколико година, али треба да анализирате само прошли месец. Опет, додатне линије ће успорити процес обраде података и зачепити меморију рачунара.

Филтрирање редова у Р: тидиверсе, дплир

В dplyr функција се користи за филтрирање редова filter(). Узима оквир података као први аргумент, а затим наводите услове филтрирања.

Када пишете логичке изразе за филтрирање табеле, у овом случају наведите имена колона без наводника и без декларисања имена табеле.

Када користите више логичких израза за филтрирање, користите следеће операторе:

& или зарез - логичко И
| - логичко ИЛИ

Филтрирање редова у Р: дплир

# фильтрация строк
## dplyr
### фильтрация строк по одному условию
filter(ga_nov, source == "google")
### фильтр по двум условиям соединённым логическим и
filter(ga_nov, source == "google" & sessions >= 10)
### фильтр по двум условиям соединённым логическим или
filter(ga_nov, source == "google" | sessions >= 10)

Филтрирање редова у Р: подаци.табела

Као што сам већ написао горе, у data.table синтакса конверзије података је затворена у угластим заградама.

DT[i,j,by]

Аргумент се користи за филтрирање редова i, који има прву позицију у угластим заградама.

Ступцима се приступа у логичким изразима без наводника и без навођења имена табеле.

Логички изрази су међусобно повезани на исти начин као у dplyr преко & и | оператора.

Филтрирање редова у Р: подаци.табела

## data.table
### фильтрация строк по одному условию
ga_nov[source == "google"]
### фильтр по двум условиям соединённым логическим и
ga_nov[source == "google" & sessions >= 10]
### фильтр по двум условиям соединённым логическим или
ga_nov[source == "google" | sessions >= 10]

Филтрирање стрингова у Питхон-у: пандас

Филтрирајте по редовима у pandas слично филтрирању у data.table, а ради се у угластим заградама.

У овом случају, приступ колонама се врши обавезно навођењем назива оквира података; тада се назив колоне може навести и под наводницима у угластим заградама (пример df['col_name']), или без наводника после тачке (пример df.col_name).

Ако треба да филтрирате оквир података према неколико услова, сваки услов мора бити стављен у заграде. Логички услови су међусобно повезани операторима & и |.

Филтрирање стрингова у Питхон-у: пандас

# Фильтрация строк таблицы
### фильтрация строк по одному условию
ga_nov[ ga_nov['source'] == "google" ]
### фильтр по двум условиям соединённым логическим и
ga_nov[(ga_nov['source'] == "google") & (ga_nov['sessions'] >= 10)]
### фильтр по двум условиям соединённым логическим или
ga_nov[(ga_nov['source'] == "google") | (ga_nov['sessions'] >= 10)]

Груписање и агрегација података

Једна од најчешће коришћених операција у анализи података је груписање и агрегација.

Синтакса за извођење ових операција је разбацана по свим пакетима које прегледамо.

У овом случају, узећемо оквир података као пример Титаниц, и израчунати број и просечну цену карата у зависности од класе кабине.

Груписање и агрегација података у Р: тидиверсе, дплир

В dplyr функција се користи за груписање group_by(), и за агрегацију summarise(). Заправо, dplyr постоји читава породица функција summarise_*(), али сврха овог чланка је да упореди основну синтаксу, тако да нећемо улазити у такву џунглу.

Основне функције агрегације:

sum() — сумирање
min() / max() – минимална и максимална вредност
mean() - просек
median() — медијана
length() - количина

Груписање и агрегација у Р: дплир

## dplyr
### группировка и агрегация строк
group_by(titanic, Pclass) %>%
  summarise(passangers = length(PassengerId),
            avg_price  = mean(Fare))

У функцији group_by() проследили смо табелу као први аргумент Титаниц, а затим означио поље Пцласс, по којима ћемо груписати нашу табелу. Резултат ове операције помоћу оператора %>% прослеђен као први аргумент функцији summarise(), и додао још 2 поља: путницима и авг_прице. У првом, користећи функцију length() израчунао број карата, а у другом користећи функцију mean() добио просечну цену карте.

Груписање и агрегирање података у Р: подаци.табела

В data.table аргумент се користи за агрегацију j који има другу позицију у угластим заградама, а за груписање by или keyby, који имају трећу позицију.

Листа функција агрегације у овом случају је идентична оној описаној у dplyr, јер то су функције из основне Р синтаксе.

Груписање и агрегација у Р: подаци.табела

## data.table
### фильтрация строк по одному условию
titanic[, .(passangers = length(PassengerId),
            avg_price  = mean(Fare)),
        by = Pclass]

Груписање и агрегација података у Питхон-у: панде

Груписање у pandas слично dplyr, али агрегација није слична dplyr није на data.table.

За груписање користите метод groupby(), у који треба да проследите листу колона по којима ће оквир података бити груписан.

За агрегацију можете користити метод agg()који прихвата речник. Кључеви речника су колоне на које ћете применити функције агрегације, а вредности су називи функција агрегације.

Функције агрегације:

sum() — сумирање
min() / max() – минимална и максимална вредност
mean() - просек
median() — медијана
count() - количина

Функција reset_index() у примеру испод се користи за ресетовање угнежђених индекса који pandas подразумевано након агрегације података.

симбол омогућава вам да пређете на следећи ред.

Груписање и агрегација у Питхон-у: панде

# группировка и агрегация данных
titanic.groupby(["Pclass"]).
    agg({'PassengerId': 'count', 'Fare': 'mean'}).
        reset_index()

Вертикални спој табела

Операција у којој спајате две или више табела исте структуре. Подаци које смо учитали садрже табеле га_нов и га_дец. Ове табеле су идентичне по структури, тј. имају исте колоне и типове података у овим колонама.

Ово је отпремање из Гоогле аналитике за месец новембар и децембар, у овом одељку ћемо комбиновати ове податке у једну табелу.

Вертикално спајање табела у Р: тидиверсе, дплир

В dplyr Помоћу функције можете комбиновати 2 табеле у једну bind_rows(), преносећи табеле као своје аргументе.

Филтрирање редова у Р: дплир

# Вертикальное объединение таблиц
## dplyr
bind_rows(ga_nov, ga_dec)

Вертикално спајање табела у Р: подаци.табела

Такође није ништа компликовано, хајде да користимо rbind().

Филтрирање редова у Р: подаци.табела

## data.table
rbind(ga_nov, ga_dec)

Вертикално спајање табела у Питхон-у: панде

В pandas функција се користи за спајање табела concat(), у који треба да проследите листу оквира да бисте их комбиновали.

Филтрирање стрингова у Питхон-у: пандас

# вертикальное объединение таблиц
pd.concat([ga_nov, ga_dec])

Хоризонтално спајање табела

Операција у којој се колоне из друге додају првој табели помоћу кључа. Често се користи када се обогаћује табела чињеница (на пример, табела са подацима о продаји) неким референтним подацима (на пример, цена производа).

Постоји неколико врста спојева:

У претходно учитаној табели Титаниц имамо колону Секс, што одговара коду пола путника:

1 - женско
2 - мушко

Такође, направили смо табелу - референтну књигу пол. За практичнији приказ података о полу путника, потребно је додати назив пола из именика пол до стола Титаниц.

Хоризонтално спајање табеле у Р: тидиверсе, дплир

В dplyr Постоји читава породица функција за хоризонтално спајање:

inner_join()
left_join()
right_join()
full_join()
semi_join()
nest_join()
anti_join()

Најчешће коришћени у мојој пракси је left_join().

Као прва два аргумента, горе наведене функције узимају две табеле за спајање и као трећи аргумент by морате навести колоне за придруживање.

Хоризонтално спајање табеле у Р: дплир

# объединяем таблицы
left_join(titanic, gender,
          by = c("Sex" = "id"))

Хоризонтално спајање табела у Р: подаци.табела

В data.table Морате спојити табеле помоћу кључа помоћу функције merge().

Аргументи за функцију мерге() у дата.табле

к, и — Табеле за спајање
би — Колона која је кључ за спајање ако има исто име у обе табеле
би.к, би.и — Имена колона које треба спојити, ако имају различита имена у табелама
алл, алл.к, алл.и — Тип спајања, алл ће вратити све редове из обе табеле, алл.к одговара операцији ЛЕФТ ЈОИН (оставиће све редове прве табеле), алл.и — одговара РИГХТ ЈОИН операција (напустиће све редове друге табеле).

Хоризонтално спајање табела у Р: подаци.табела

# объединяем таблицы
merge(titanic, gender, by.x = "Sex", by.y = "id", all.x = T)

Хоризонтално спајање табеле у Питхон-у: панде

Као и у data.tableУ pandas функција се користи за спајање табела merge().

Аргументи функције мерге() у пандама

како — Тип везе: лева, десна, спољашња, унутрашња
он — Колона која је кључ ако има исто име у обе табеле
лефт_он, ригхт_он — Имена кључних колона, ако имају различита имена у табелама

Хоризонтално спајање табеле у Питхон-у: панде

# объединяем по ключу
titanic.merge(gender, how = "left", left_on = "Sex", right_on = "id")

Основне функције прозора и израчунате колоне

Функције прозора су по значењу сличне функцијама агрегације, а такође се често користе у анализи података. Али за разлику од функција агрегације, функције прозора не мењају број редова одлазног оквира података.

У суштини, користећи функцију прозора, делимо долазни оквир података на делове према неком критеријуму, тј. по вредности поља или неколико поља. И вршимо аритметичке операције на сваком прозору. Резултат ових операција биће враћен у сваком реду, тј. без промене укупног броја редова у табели.

На пример, узмимо сто Титаниц. Можемо израчунати колики је проценат цене сваке карте у оквиру класе кабине.

Да бисмо то урадили, потребно је да у свакој линији добијемо укупну цену карте за тренутну класу кабине којој припада карта у овој линији, а затим поделимо цену сваке карте са укупном ценом свих карата исте класе кабине .

Функције прозора у Р: тидиверсе, дплир

Да бисте додали нове колоне, без коришћења груписања редова, у dplyr служи функцији mutate().

Горе описани проблем можете решити груписањем података по пољу Пцласс и сабирање поља у нову колону Фаре. Затим разгрупишите табелу и поделите вредности поља Фаре на оно што се догодило у претходном кораку.

Функције прозора у Р: дплир

group_by(titanic, Pclass) %>%
  mutate(Pclass_cost = sum(Fare)) %>%
  ungroup() %>%
  mutate(ticket_fare_rate = Fare / Pclass_cost)

Функције прозора у Р: подаци.табела

Алгоритам решења остаје исти као у dplyr, треба да поделимо табелу на прозоре по пољу Пцласс. У нову колону унесите износ за групу која одговара сваком реду и додајте колону у којој израчунавамо удео цене сваке карте у њеној групи.

Да бисте додали нове колоне у data.table присутан оператер :=. Испод је пример решавања проблема помоћу пакета data.table

Функције прозора у Р: подаци.табела

titanic[,c("Pclass_cost","ticket_fare_rate") := .(sum(Fare), Fare / Pclass_cost), 
        by = Pclass]

Функције прозора у Питхон-у: панде

Један од начина да додате нову колону у pandas - користите функцију assign(). Да бисмо сумирали цену карата по класама кабине, без груписања редова, користићемо функцију transform().

Испод је пример решења у коме додајемо у табелу Титаниц исте 2 колоне.

Функције прозора у Питхон-у: панде

titanic.assign(Pclass_cost      =  titanic.groupby('Pclass').Fare.transform(sum),
               ticket_fare_rate = lambda x: x['Fare'] / x['Pclass_cost'])

Табела кореспонденције функција и метода

Испод је табела кореспонденције између метода за извођење различитих операција са подацима у пакетима које смо разматрали.

Опис
тидиверсе
подаци.табела
панде

Учитавање података
vroom()/ readr::read_csv() / readr::read_tsv()
fread()
read_csv()

Креирање оквира података
tibble()
data.table()
dict() + from_dict()

Избор колоне
select()
аргумент j, друга позиција у угластим заградама
листу потребних колона преносимо у угластим заградама / drop() / filter() / select_dtypes()

Филтрирање редова
filter()
аргумент i, прва позиција у угластим заградама
Услове филтрирања наводимо у угластим заградама / filter()

Груписање и агрегација
group_by() + summarise()
аргументе j + by
groupby() + agg()

Вертикална унија табела (УНИОН)
bind_rows()
rbind()
concat()

Хоризонтално спајање табела (ЈОИН)
left_join() / *_join()
merge()
merge()

Основне функције прозора и додавање израчунатих колона
group_by() + mutate()
аргумент j користећи оператера := + аргумент by
transform() + assign()

Закључак

Можда сам у чланку описао не најоптималније имплементације обраде података, па ће ми бити драго ако исправите моје грешке у коментарима или једноставно допуните информације дате у чланку другим техникама за рад са подацима у Р / Питхон-у.

Као што сам горе написао, сврха чланка није била да наметне своје мишљење о томе који је језик бољи, већ да поједностави могућност учења оба језика, или, ако је потребно, мигрира између њих.

Ако вам се допао чланак, биће ми драго да имам нове претплатнике на мој ИоуТубе и telegram канала.

Опрос

Које од следећих пакета користите у свом раду?

У коментарима можете написати разлог свог избора.

Само регистровани корисници могу учествовати у анкети. Пријавите се, Добродошао си.

Који пакет за обраду података користите (можете изабрати неколико опција)

100%тидиверсе19
100%подаци.табела14
100%пандас23

42 корисника је гласало. 9 корисника је било уздржано.

Извор: ввв.хабр.цом

Који језик изабрати за рад са подацима - Р или Питхон? И једно и друго! Прелазак са панди на тидиверсе и податке.табела и назад