ProHoster > Блог > администрация > Разширяване на вложени колони - списъци с помощта на езика R (пакет tidyr и функции на семейството unnest)
Разширяване на вложени колони - списъци с помощта на езика R (пакет tidyr и функции на семейството unnest)
В повечето случаи, когато работите с отговор, получен от API, или с други данни, които имат сложна дървовидна структура, се сблъсквате с JSON и XML формати.
Тези формати имат много предимства: те съхраняват данните доста компактно и ви позволяват да избегнете ненужно дублиране на информация.
Недостатъкът на тези формати е сложността на тяхната обработка и анализ. Неструктурираните данни не могат да се използват в изчисленията и върху тях не може да се изгражда визуализация.
Тази статия е логично продължение на публикацията „R пакет tidyr и неговите нови функции pivot_longer и pivot_wider“. Той ще ви помогне да приведете неструктурирани структури от данни в позната и подходяща за анализ таблична форма с помощта на пакета tidyr, включени в ядрото на библиотеката tidyverse, и неговото семейство от функции unnest_*().
Съдържание
Ако се интересувате от анализ на данни, може да се интересувате от моя телеграма и YouTube канали. По-голямата част от съдържанието на който е посветено на езика R.
Правоъгълник(бележка на преводача, не намерих подходящи опции за превод за този термин, така че ще го оставим такъв, какъвто е.) е процес на привеждане на неструктурирани данни с вложени масиви в двумерна таблица, състояща се от познати редове и колони. IN tidyr Има няколко функции, които ще ви помогнат да разширите колони от вложен списък и да намалите данните до правоъгълна таблична форма:
unnest_longer() взема всеки елемент от списъка с колони и създава нов ред.
unnest_wider() взема всеки елемент от списъка с колони и създава нова колона.
unnest_auto() автоматично определя коя функция е най-добре да се използва unnest_longer() или unnest_wider().
hoist() подобен на unnest_wider() но избира само посочените компоненти и ви позволява да работите с няколко нива на влагане.
Повечето от проблемите, свързани с пренасянето на неструктурирани данни с няколко нива на влагане в двумерна таблица, могат да бъдат решени чрез комбиниране на изброените функции с dplyr.
За да демонстрираме тези техники, ще използваме пакета repurrrsive, който предоставя множество сложни списъци на много нива, извлечени от уеб API.
Нека започнем с gh_users, списък, който съдържа информация за шест потребители на GitHub. Първо нека трансформираме списъка gh_users в дрънкане кадър:
users <- tibble( user = gh_users )
Това изглежда малко неинтуитивно: защо да предоставяте списък gh_users, към по-сложна структура от данни? Но рамката с данни има голямо предимство: тя комбинира множество вектори, така че всичко да се проследява в един обект.
Всеки обектен елемент users е именуван списък, в който всеки елемент представлява колона.
В този случай имаме таблица, състояща се от 30 колони и няма да имаме нужда от повечето от тях, така че можем вместо unnest_wider() да се използва hoist(). hoist() ни позволява да извличаме избрани компоненти, използвайки същия синтаксис като purrr::pluck():
users %>% hoist(user,
followers = "followers",
login = "login",
url = "html_url"
)
#> # A tibble: 6 x 4
#> followers login url user
#> <int> <chr> <chr> <list>
#> 1 303 gaborcsardi https://github.com/gaborcsardi <named list [27]>
#> 2 780 jennybc https://github.com/jennybc <named list [27]>
#> 3 3958 jtleek https://github.com/jtleek <named list [27]>
#> 4 115 juliasilge https://github.com/juliasilge <named list [27]>
#> 5 213 leeper https://github.com/leeper <named list [27]>
#> 6 34 masalmon https://github.com/masalmon <named list [27]>
hoist() премахва посочените наименувани компоненти от списък с колони потребителтака че можете да помислите hoist() като преместване на компоненти от вътрешния списък на рамка за дата до нейното най-високо ниво.
Github хранилища
Подравняване на списъка gh_repos започваме по подобен начин, като го преобразуваме в tibble:
Този път елементите потребител представляват списък с хранилища, притежавани от този потребител. Всяко хранилище е отделно наблюдение, така че според концепцията за чисти данни (приблизително подредени данни) те трябва да станат нови редове, поради което използваме unnest_longer() и не unnest_wider():
repos <- repos %>% unnest_longer(repo)
repos
#> # A tibble: 176 x 1
#> repo
#> <list>
#> 1 <named list [68]>
#> 2 <named list [68]>
#> 3 <named list [68]>
#> 4 <named list [68]>
#> 5 <named list [68]>
#> 6 <named list [68]>
#> 7 <named list [68]>
#> 8 <named list [68]>
#> 9 <named list [68]>
#> 10 <named list [68]>
#> # … with 166 more rows
Сега можем да използваме unnest_wider() или hoist() :
repos %>% hoist(repo,
login = c("owner", "login"),
name = "name",
homepage = "homepage",
watchers = "watchers_count"
)
#> # A tibble: 176 x 5
#> login name homepage watchers repo
#> <chr> <chr> <chr> <int> <list>
#> 1 gaborcsardi after <NA> 5 <named list [65]>
#> 2 gaborcsardi argufy <NA> 19 <named list [65]>
#> 3 gaborcsardi ask <NA> 5 <named list [65]>
#> 4 gaborcsardi baseimports <NA> 0 <named list [65]>
#> 5 gaborcsardi citest <NA> 0 <named list [65]>
#> 6 gaborcsardi clisymbols "" 18 <named list [65]>
#> 7 gaborcsardi cmaker <NA> 0 <named list [65]>
#> 8 gaborcsardi cmark <NA> 0 <named list [65]>
#> 9 gaborcsardi conditions <NA> 0 <named list [65]>
#> 10 gaborcsardi crayon <NA> 52 <named list [65]>
#> # … with 166 more rows
Обърнете внимание на употребата c("owner", "login"): Това ни позволява да получим стойността от второ ниво от вложен списък owner. Алтернативен подход е да получите целия списък owner и след това с помощта на функцията unnest_wider() поставете всеки от неговите елементи в колона:
Вместо да мислите за избора на правилната функция unnest_longer() или unnest_wider() можеш да използваш unnest_auto(). Тази функция използва няколко евристични метода, за да избере най-подходящата функция за трансформиране на данните и показва съобщение за избрания метод.
got_chars има идентична структура на gh_users: Това е набор от наименувани списъци, където всеки елемент от вътрешния списък описва някакъв атрибут на герой от Game of Thrones. Привеждане got_chars За табличния изглед започваме със създаване на рамка за дата, точно както в предишните примери, и след това преобразуваме всеки елемент в отделна колона:
chars <- tibble(char = got_chars)
chars
#> # A tibble: 30 x 1
#> char
#> <list>
#> 1 <named list [18]>
#> 2 <named list [18]>
#> 3 <named list [18]>
#> 4 <named list [18]>
#> 5 <named list [18]>
#> 6 <named list [18]>
#> 7 <named list [18]>
#> 8 <named list [18]>
#> 9 <named list [18]>
#> 10 <named list [18]>
#> # … with 20 more rows
chars2 <- chars %>% unnest_wider(char)
chars2
#> # A tibble: 30 x 18
#> url id name gender culture born died alive titles aliases father
#> <chr> <int> <chr> <chr> <chr> <chr> <chr> <lgl> <list> <list> <chr>
#> 1 http… 1022 Theo… Male Ironbo… In 2… "" TRUE <chr … <chr [… ""
#> 2 http… 1052 Tyri… Male "" In 2… "" TRUE <chr … <chr [… ""
#> 3 http… 1074 Vict… Male Ironbo… In 2… "" TRUE <chr … <chr [… ""
#> 4 http… 1109 Will Male "" "" In 2… FALSE <chr … <chr [… ""
#> 5 http… 1166 Areo… Male Norvos… In 2… "" TRUE <chr … <chr [… ""
#> 6 http… 1267 Chett Male "" At H… In 2… FALSE <chr … <chr [… ""
#> 7 http… 1295 Cres… Male "" In 2… In 2… FALSE <chr … <chr [… ""
#> 8 http… 130 Aria… Female Dornish In 2… "" TRUE <chr … <chr [… ""
#> 9 http… 1303 Daen… Female Valyri… In 2… "" TRUE <chr … <chr [… ""
#> 10 http… 1319 Davo… Male Wester… In 2… "" TRUE <chr … <chr [… ""
#> # … with 20 more rows, and 7 more variables: mother <chr>, spouse <chr>,
#> # allegiances <list>, books <list>, povBooks <list>, tvSeries <list>,
#> # playedBy <list>
Структура got_chars малко по-трудно от gh_users, защото някои компоненти на списъка char сами по себе си са списък, в резултат на което получаваме стълбове - списъци:
Вашите по-нататъшни действия зависят от целите на анализа. Може би трябва да поставите информация на редовете за всяка книга и серия, в която се появява героят:
chars2 %>%
select(name, books, tvSeries) %>%
pivot_longer(c(books, tvSeries), names_to = "media", values_to = "value") %>%
unnest_longer(value)
#> # A tibble: 180 x 3
#> name media value
#> <chr> <chr> <chr>
#> 1 Theon Greyjoy books A Game of Thrones
#> 2 Theon Greyjoy books A Storm of Swords
#> 3 Theon Greyjoy books A Feast for Crows
#> 4 Theon Greyjoy tvSeries Season 1
#> 5 Theon Greyjoy tvSeries Season 2
#> 6 Theon Greyjoy tvSeries Season 3
#> 7 Theon Greyjoy tvSeries Season 4
#> 8 Theon Greyjoy tvSeries Season 5
#> 9 Theon Greyjoy tvSeries Season 6
#> 10 Tyrion Lannister books A Feast for Crows
#> # … with 170 more rows
Или може би искате да създадете таблица, която ви позволява да съпоставите характера и работата:
chars2 %>%
select(name, title = titles) %>%
unnest_longer(title)
#> # A tibble: 60 x 2
#> name title
#> <chr> <chr>
#> 1 Theon Greyjoy Prince of Winterfell
#> 2 Theon Greyjoy Captain of Sea Bitch
#> 3 Theon Greyjoy Lord of the Iron Islands (by law of the green lands)
#> 4 Tyrion Lannister Acting Hand of the King (former)
#> 5 Tyrion Lannister Master of Coin (former)
#> 6 Victarion Greyjoy Lord Captain of the Iron Fleet
#> 7 Victarion Greyjoy Master of the Iron Victory
#> 8 Will ""
#> 9 Areo Hotah Captain of the Guard at Sunspear
#> 10 Chett ""
#> # … with 50 more rows
(Обърнете внимание на празните стойности "" в полето title, това се дължи на грешки, направени при въвеждане на данни в got_chars: всъщност герои, за които няма съответстващи заглавия на книги и телевизионни сериали в полето title трябва да има вектор с дължина 0, а не вектор с дължина 1, съдържащ празния низ.)
Можем да пренапишем горния пример с помощта на функцията unnest_auto(). Този подход е удобен за еднократен анализ, но не трябва да разчитате на него unnest_auto() за редовна употреба. Въпросът е, че ако структурата на вашите данни се промени unnest_auto() може да промени избрания механизъм за трансформация на данни, ако първоначално е разширил колоните на списъка в редове с помощта на unnest_longer(), тогава когато структурата на входящите данни се промени, логиката може да бъде променена в полза unnest_wider(), а използването на този подход на постоянна основа може да доведе до неочаквани грешки.
tibble(char = got_chars) %>%
unnest_auto(char) %>%
select(name, title = titles) %>%
unnest_auto(title)
#> Using `unnest_wider(char)`; elements have 18 names in common
#> Using `unnest_longer(title)`; no element has names
#> # A tibble: 60 x 2
#> name title
#> <chr> <chr>
#> 1 Theon Greyjoy Prince of Winterfell
#> 2 Theon Greyjoy Captain of Sea Bitch
#> 3 Theon Greyjoy Lord of the Iron Islands (by law of the green lands)
#> 4 Tyrion Lannister Acting Hand of the King (former)
#> 5 Tyrion Lannister Master of Coin (former)
#> 6 Victarion Greyjoy Lord Captain of the Iron Fleet
#> 7 Victarion Greyjoy Master of the Iron Victory
#> 8 Will ""
#> 9 Areo Hotah Captain of the Guard at Sunspear
#> 10 Chett ""
#> # … with 50 more rows
Геокодиране с Google
След това ще разгледаме по-сложна структура на данните, получени от услугата за геокодиране на Google. Кеширането на идентификационни данни е против правилата за работа с API на Google Maps, така че първо ще напиша проста обвивка около API. Което се основава на съхраняване на API ключа на Google Maps в променлива на средата; Ако нямате ключа за работа с API на Google Maps, съхранен във вашите променливи на средата, фрагментите от код, представени в този раздел, няма да бъдат изпълнени.
has_key <- !identical(Sys.getenv("GOOGLE_MAPS_API_KEY"), "")
if (!has_key) {
message("No Google Maps API key found; code chunks will not be run")
}
# https://developers.google.com/maps/documentation/geocoding
geocode <- function(address, api_key = Sys.getenv("GOOGLE_MAPS_API_KEY")) {
url <- "https://maps.googleapis.com/maps/api/geocode/json"
url <- paste0(url, "?address=", URLencode(address), "&key=", api_key)
jsonlite::read_json(url)
}
Списъкът, който тази функция връща, е доста сложен:
За щастие можем да решим проблема с преобразуването на тези данни в таблична форма стъпка по стъпка с помощта на функции tidyr. За да направя задачата малко по-предизвикателна и реалистична, ще започна с геокодиране на няколко града:
city <- c ( "Houston" , "LA" , "New York" , "Chicago" , "Springfield" ) city_geo <- purrr::map (city, geocode)
Ще преобразувам получения резултат в tibble, за улеснение ще добавя колона със съответното име на града.
loc <- tibble(city = city, json = city_geo)
loc
#> # A tibble: 5 x 2
#> city json
#> <chr> <list>
#> 1 Houston <named list [2]>
#> 2 LA <named list [2]>
#> 3 New York <named list [2]>
#> 4 Chicago <named list [2]>
#> 5 Springfield <named list [2]>
Първото ниво съдържа компоненти status и result, с които можем да разширим unnest_wider() :
loc %>%
unnest_wider(json)
#> # A tibble: 5 x 3
#> city results status
#> <chr> <list> <chr>
#> 1 Houston <list [1]> OK
#> 2 LA <list [1]> OK
#> 3 New York <list [1]> OK
#> 4 Chicago <list [1]> OK
#> 5 Springfield <list [1]> OK
Моля, имайте предвид, че results е списък на много нива. Повечето градове имат 1 елемент (представляващ уникална стойност, съответстваща на API за геокодиране), но Спрингфийлд има два. Можем да ги разделим на отделни редове с unnest_longer() :
loc %>%
unnest_wider(json) %>%
unnest_longer(results)
#> # A tibble: 5 x 3
#> city results status
#> <chr> <list> <chr>
#> 1 Houston <named list [5]> OK
#> 2 LA <named list [5]> OK
#> 3 New York <named list [5]> OK
#> 4 Chicago <named list [5]> OK
#> 5 Springfield <named list [5]> OK
Сега всички те имат едни и същи компоненти, които могат да бъдат проверени с помощта на unnest_wider():
loc %>%
unnest_wider(json) %>%
unnest_longer(results) %>%
unnest_wider(results)
#> # A tibble: 5 x 7
#> city address_componen… formatted_addre… geometry place_id types status
#> <chr> <list> <chr> <list> <chr> <lis> <chr>
#> 1 Houst… <list [4]> Houston, TX, USA <named … ChIJAYWN… <lis… OK
#> 2 LA <list [4]> Los Angeles, CA… <named … ChIJE9on… <lis… OK
#> 3 New Y… <list [3]> New York, NY, U… <named … ChIJOwg_… <lis… OK
#> 4 Chica… <list [4]> Chicago, IL, USA <named … ChIJ7cv0… <lis… OK
#> 5 Sprin… <list [5]> Springfield, MO… <named … ChIJP5jI… <lis… OK
Можем да намерим координатите на географската ширина и дължина на всеки град, като разширим списъка geometry:
loc %>%
unnest_wider(json) %>%
unnest_longer(results) %>%
unnest_wider(results) %>%
unnest_wider(geometry)
#> # A tibble: 5 x 10
#> city address_compone… formatted_addre… bounds location location_type
#> <chr> <list> <chr> <list> <list> <chr>
#> 1 Hous… <list [4]> Houston, TX, USA <name… <named … APPROXIMATE
#> 2 LA <list [4]> Los Angeles, CA… <name… <named … APPROXIMATE
#> 3 New … <list [3]> New York, NY, U… <name… <named … APPROXIMATE
#> 4 Chic… <list [4]> Chicago, IL, USA <name… <named … APPROXIMATE
#> 5 Spri… <list [5]> Springfield, MO… <name… <named … APPROXIMATE
#> # … with 4 more variables: viewport <list>, place_id <chr>, types <list>,
#> # status <chr>
И след това местоположението, за което трябва да се разширите location:
loc %>%
unnest_wider(json) %>%
unnest_longer(results) %>%
unnest_wider(results) %>%
unnest_wider(geometry) %>%
unnest_wider(location)
#> # A tibble: 5 x 11
#> city address_compone… formatted_addre… bounds lat lng location_type
#> <chr> <list> <chr> <list> <dbl> <dbl> <chr>
#> 1 Hous… <list [4]> Houston, TX, USA <name… 29.8 -95.4 APPROXIMATE
#> 2 LA <list [4]> Los Angeles, CA… <name… 34.1 -118. APPROXIMATE
#> 3 New … <list [3]> New York, NY, U… <name… 40.7 -74.0 APPROXIMATE
#> 4 Chic… <list [4]> Chicago, IL, USA <name… 41.9 -87.6 APPROXIMATE
#> 5 Spri… <list [5]> Springfield, MO… <name… 37.2 -93.3 APPROXIMATE
#> # … with 4 more variables: viewport <list>, place_id <chr>, types <list>,
#> # status <chr>
Още веднъж, unnest_auto() опростява описаната операция с някои рискове, които могат да бъдат причинени от промяна на структурата на входящите данни:
loc %>%
unnest_auto(json) %>%
unnest_auto(results) %>%
unnest_auto(results) %>%
unnest_auto(geometry) %>%
unnest_auto(location)
#> Using `unnest_wider(json)`; elements have 2 names in common
#> Using `unnest_longer(results)`; no element has names
#> Using `unnest_wider(results)`; elements have 5 names in common
#> Using `unnest_wider(geometry)`; elements have 4 names in common
#> Using `unnest_wider(location)`; elements have 2 names in common
#> # A tibble: 5 x 11
#> city address_compone… formatted_addre… bounds lat lng location_type
#> <chr> <list> <chr> <list> <dbl> <dbl> <chr>
#> 1 Hous… <list [4]> Houston, TX, USA <name… 29.8 -95.4 APPROXIMATE
#> 2 LA <list [4]> Los Angeles, CA… <name… 34.1 -118. APPROXIMATE
#> 3 New … <list [3]> New York, NY, U… <name… 40.7 -74.0 APPROXIMATE
#> 4 Chic… <list [4]> Chicago, IL, USA <name… 41.9 -87.6 APPROXIMATE
#> 5 Spri… <list [5]> Springfield, MO… <name… 37.2 -93.3 APPROXIMATE
#> # … with 4 more variables: viewport <list>, place_id <chr>, types <list>,
#> # status <chr>
Можем също така просто да погледнем първия адрес за всеки град:
loc %>%
unnest_wider(json) %>%
hoist(results, first_result = 1) %>%
unnest_wider(first_result) %>%
unnest_wider(geometry) %>%
unnest_wider(location)
#> # A tibble: 5 x 11
#> city address_compone… formatted_addre… bounds lat lng location_type
#> <chr> <list> <chr> <list> <dbl> <dbl> <chr>
#> 1 Hous… <list [4]> Houston, TX, USA <name… 29.8 -95.4 APPROXIMATE
#> 2 LA <list [4]> Los Angeles, CA… <name… 34.1 -118. APPROXIMATE
#> 3 New … <list [3]> New York, NY, U… <name… 40.7 -74.0 APPROXIMATE
#> 4 Chic… <list [4]> Chicago, IL, USA <name… 41.9 -87.6 APPROXIMATE
#> 5 Spri… <list [5]> Springfield, MO… <name… 37.2 -93.3 APPROXIMATE
#> # … with 4 more variables: viewport <list>, place_id <chr>, types <list>,
#> # status <chr>
Или използвайте hoist() за гмуркане на няколко нива, към което да отидете директно lat и lng.
loc %>%
hoist(json,
lat = list("results", 1, "geometry", "location", "lat"),
lng = list("results", 1, "geometry", "location", "lng")
)
#> # A tibble: 5 x 4
#> city lat lng json
#> <chr> <dbl> <dbl> <list>
#> 1 Houston 29.8 -95.4 <named list [2]>
#> 2 LA 34.1 -118. <named list [2]>
#> 3 New York 40.7 -74.0 <named list [2]>
#> 4 Chicago 41.9 -87.6 <named list [2]>
#> 5 Springfield 37.2 -93.3 <named list [2]>
Дискография на Шарла Гелфанд
Накрая ще разгледаме най-сложната структура - дискографията на Шарла Гелфанд. Както в примерите по-горе, започваме с преобразуване на списъка в рамка с данни с една колона и след това го разширяваме, така че всеки компонент да е отделна колона. Също така трансформирам колоната date_added в подходящия формат за дата и час в R.
discs <- tibble(disc = discog) %>%
unnest_wider(disc) %>%
mutate(date_added = as.POSIXct(strptime(date_added, "%Y-%m-%dT%H:%M:%S")))
discs
#> # A tibble: 155 x 5
#> instance_id date_added basic_information id rating
#> <int> <dttm> <list> <int> <int>
#> 1 354823933 2019-02-16 17:48:59 <named list [11]> 7496378 0
#> 2 354092601 2019-02-13 14:13:11 <named list [11]> 4490852 0
#> 3 354091476 2019-02-13 14:07:23 <named list [11]> 9827276 0
#> 4 351244906 2019-02-02 11:39:58 <named list [11]> 9769203 0
#> 5 351244801 2019-02-02 11:39:37 <named list [11]> 7237138 0
#> 6 351052065 2019-02-01 20:40:53 <named list [11]> 13117042 0
#> 7 350315345 2019-01-29 15:48:37 <named list [11]> 7113575 0
#> 8 350315103 2019-01-29 15:47:22 <named list [11]> 10540713 0
#> 9 350314507 2019-01-29 15:44:08 <named list [11]> 11260950 0
#> 10 350314047 2019-01-29 15:41:35 <named list [11]> 11726853 0
#> # … with 145 more rows
На това ниво получаваме информация кога всеки диск е добавен към дискографията на Sharla, но не виждаме никакви данни за тези дискове. За да направим това, трябва да разширим колоната basic_information:
discs %>% unnest_wider(basic_information)
#> Column name `id` must not be duplicated.
#> Use .name_repair to specify repair.
За съжаление ще получим грешка, защото... вътре в списъка basic_information има колона със същото име basic_information. Ако възникне такава грешка, за да определите бързо причината, можете да използвате names_repair = "unique":
След това можете да ги присъедините обратно към оригиналния набор от данни, ако е необходимо.
Заключение
До ядрото на библиотеката tidyverse включва много полезни пакети, обединени от обща философия за обработка на данни.
В тази статия разгледахме семейството от функции unnest_*(), които са насочени към работа с извличане на елементи от вложени списъци. Този пакет съдържа много други полезни функции, които улесняват конвертирането на данни според концепцията Подредени данни.