R 패키지 tidyr 및 새로운 기능ivot_longer 및ivot_wider

패키지 정리정돈 R 언어에서 가장 인기 있는 라이브러리 중 하나의 핵심에 포함되어 있습니다. 깔끔한.
패키지의 주요 목적은 데이터를 정확한 형식으로 가져오는 것입니다.

이미 Habré에서 사용 가능 출판 이 패키지에만 전념했지만 그 날짜는 2015년으로 거슬러 올라갑니다. 그리고 저자인 Hedley Wickham이 며칠 전에 발표한 최신 변경 사항에 대해 말씀드리고 싶습니다.

S.J.K.: Gather() 및 Spread()는 더 이상 사용되지 않나요?

해들리 위컴: 어느 정도. 우리는 더 이상 이러한 기능의 사용을 권장하지 않고 버그를 수정하지 않을 것입니다. 그러나 해당 기능은 현재 상태로 패키지에 계속 존재합니다.

내용

데이터 분석에 관심이 있다면 제 글에도 관심이 있으실 겁니다. 전보 и 유튜브 채널. 대부분의 콘텐츠는 R 언어에 전념합니다.

• 깔끔한 데이터 개념
• tidyr 패키지에 포함된 주요 기능
• 데이터를 넓은 형식에서 긴 형식으로 또는 그 반대로 변환하는 새로운 개념
• 최신 버전의 tidyr 0.8.3.9000 설치
• 새로운 기능으로 전환
• 데이터를 와이드 형식에서 긴 형식으로 변환하는 간단한 예
• 명세서
• 다중 값(.value)을 사용한 지정
• 날짜 프레임을 긴 형식에서 넓은 형식으로 변환
  • 테이블을 와이드 형식으로 변환하는 가장 간단한 예
  • 여러 소스 변수에서 열 이름 생성
• 새로운 tidyr 개념을 활용한 몇 가지 고급 사례
  • 미국 인구 조사 소득 및 임대 데이터 세트를 예로 사용하여 데이터를 정리합니다.
  • 세계 은행
  • 연락처 목록
• 결론

깔끔한 데이터 개념

골 정리정돈 — 데이터를 소위 깔끔한 형식으로 가져오는 데 도움이 됩니다. 깔끔한 데이터는 다음과 같은 데이터입니다.

• 각 변수는 열에 있습니다.
• 각 관측값은 문자열입니다.
• 각 값은 셀입니다.

분석을 수행할 때, 깔끔한 데이터로 제시된 데이터로 작업하는 것이 훨씬 쉽고 편리합니다.

tidyr 패키지에 포함된 주요 기능

tidyr에는 테이블을 변환하도록 설계된 함수 세트가 포함되어 있습니다.

• fill() — 이전 값으로 열의 누락된 값을 채웁니다.
• separate() — 구분 기호를 사용하여 하나의 필드를 여러 개로 분할합니다.
• unite() — 여러 필드를 하나로 결합하는 작업, 즉 함수의 반대 동작을 수행합니다. separate();
• pivot_longer() — 데이터를 와이드 형식에서 긴 형식으로 변환하는 기능
• pivot_wider() - 데이터를 긴 형식에서 와이드 형식으로 변환하는 기능입니다. 함수가 수행한 작업의 역동작 pivot_longer().
• gather()쓸모없는 — 데이터를 와이드 형식에서 긴 형식으로 변환하는 기능
• spread()쓸모없는 - 데이터를 긴 형식에서 와이드 형식으로 변환하는 기능입니다. 함수가 수행한 작업의 역동작 gather().

데이터를 넓은 형식에서 긴 형식으로 또는 그 반대로 변환하는 새로운 개념

이전에는 이러한 종류의 변환에 함수가 사용되었습니다. gather() и spread(). 수년 동안 이러한 함수가 존재하면서 패키지 작성자를 포함한 대부분의 사용자에게 이러한 함수의 이름과 해당 인수가 명확하지 않아 해당 함수를 찾고 이러한 함수 중 어떤 함수가 변환하는지 이해하는 데 어려움을 겪었다는 것이 분명해졌습니다. 날짜 프레임을 넓은 형식에서 긴 형식으로, 또는 그 반대로 변경합니다.

이와 관련하여, 정리정돈 날짜 프레임을 변환하도록 설계된 두 가지 새롭고 중요한 기능이 추가되었습니다.

새로운 기능 pivot_longer() и pivot_wider() 패키지의 일부 기능에서 영감을 얻었습니다. cdata, John Mount와 Nina Zumel이 제작했습니다.

최신 버전의 tidyr 0.8.3.9000 설치

새로운 최신 버전의 패키지를 설치하려면 정리정돈 0.8.3.9000, 새로운 기능을 사용할 수 있는 경우 다음 코드를 사용하세요.

devtools::install_github("tidyverse/tidyr")

이 글을 쓰는 시점에서 이러한 기능은 GitHub의 개발 버전 패키지에서만 사용할 수 있습니다.

새로운 기능으로 전환

사실, 새로운 기능을 사용하기 위해 이전 스크립트를 전송하는 것은 어렵지 않습니다. 더 나은 이해를 위해 이전 기능 문서의 예를 들어 새로운 기능을 사용하여 동일한 작업이 수행되는 방법을 보여 드리겠습니다. pivot_*() 기능.

와이드 형식을 긴 형식으로 변환합니다.

수집 함수 문서의 예제 코드

# example
library(dplyr)
stocks <- data.frame(
  time = as.Date('2009-01-01') + 0:9,
  X = rnorm(10, 0, 1),
  Y = rnorm(10, 0, 2),
  Z = rnorm(10, 0, 4)
)

# old
stocks_gather <- stocks %>% gather(key   = stock, 
                                   value = price, 
                                   -time)

# new
stocks_long   <- stocks %>% pivot_longer(cols      = -time, 
                                       names_to  = "stock", 
                                       values_to = "price")

긴 형식을 와이드 형식으로 변환합니다.

확산 함수 문서의 예제 코드

# old
stocks_spread <- stocks_gather %>% spread(key = stock, 
                                          value = price) 

# new 
stock_wide    <- stocks_long %>% pivot_wider(names_from  = "stock",
                                            values_from = "price")

왜냐하면 위의 작업 예에서 pivot_longer() и pivot_wider(), 원본 테이블에서 주식 인수에 나열된 열이 없습니다. 이름_대상 и 값_to 이름은 따옴표로 묶어야 합니다.

새로운 개념의 작업으로 전환하는 방법을 가장 쉽게 파악하는 데 도움이 되는 표 정리정돈.

저자의 메모

아래의 모든 텍스트는 적응형입니다. 심지어 무료 번역이라고 말하고 싶습니다. 삽화 공식 tidyverse 라이브러리 웹사이트에서.

데이터를 와이드 형식에서 긴 형식으로 변환하는 간단한 예

pivot_longer () — 열 수를 줄이고 행 수를 늘려 데이터 세트를 더 길게 만듭니다.

기사에 제시된 예제를 실행하려면 먼저 필요한 패키지를 연결해야 합니다.

library(tidyr)
library(dplyr)
library(readr)

사람들에게 종교와 연간 소득에 관해 질문한 설문 조사 결과가 포함된 테이블이 있다고 가정해 보겠습니다.

#> # A tibble: 18 x 11
#>    religion `<$10k` `$10-20k` `$20-30k` `$30-40k` `$40-50k` `$50-75k`
#>    <chr>      <dbl>     <dbl>     <dbl>     <dbl>     <dbl>     <dbl>
#>  1 Agnostic      27        34        60        81        76       137
#>  2 Atheist       12        27        37        52        35        70
#>  3 Buddhist      27        21        30        34        33        58
#>  4 Catholic     418       617       732       670       638      1116
#>  5 Don’t k…      15        14        15        11        10        35
#>  6 Evangel…     575       869      1064       982       881      1486
#>  7 Hindu          1         9         7         9        11        34
#>  8 Histori…     228       244       236       238       197       223
#>  9 Jehovah…      20        27        24        24        21        30
#> 10 Jewish        19        19        25        25        30        95
#> # … with 8 more rows, and 4 more variables: `$75-100k` <dbl>,
#> #   `$100-150k` <dbl>, `>150k` <dbl>, `Don't know/refused` <dbl>

이 테이블에는 응답자의 종교 데이터가 행으로 포함되어 있으며 소득 수준은 열 이름에 분산되어 있습니다. 각 카테고리의 응답자 수는 종교와 소득 수준이 교차하는 셀 값에 저장됩니다. 테이블을 깔끔하고 올바른 형식으로 만들려면 다음을 사용하는 것으로 충분합니다. pivot_longer():

pew %>% 
  pivot_longer(cols = -religion, names_to = "income", values_to = "count")

pew %>% 
  pivot_longer(cols = -religion, names_to = "income", values_to = "count")
#> # A tibble: 180 x 3
#>    religion income             count
#>    <chr>    <chr>              <dbl>
#>  1 Agnostic <$10k                 27
#>  2 Agnostic $10-20k               34
#>  3 Agnostic $20-30k               60
#>  4 Agnostic $30-40k               81
#>  5 Agnostic $40-50k               76
#>  6 Agnostic $50-75k              137
#>  7 Agnostic $75-100k             122
#>  8 Agnostic $100-150k            109
#>  9 Agnostic >150k                 84
#> 10 Agnostic Don't know/refused    96
#> # … with 170 more rows

함수 인수 pivot_longer()

• 첫 번째 인수 목걸이, 병합해야 할 열을 설명합니다. 이 경우 다음을 제외한 모든 열은 시간.
• 논의 이름_대상 우리가 연결한 열의 이름에서 생성될 변수의 이름을 제공합니다.
• 값_to 병합된 열의 셀 값에 저장된 데이터에서 생성될 변수의 이름을 제공합니다.

명세서

이것은 패키지의 새로운 기능입니다. 정리정돈, 이전에는 레거시 기능으로 작업할 때 사용할 수 없었습니다.

사양은 데이터 프레임으로, 각 행은 새 출력 날짜 프레임의 한 열과 다음으로 시작하는 두 개의 특수 열에 해당합니다.

• .name을 원래 열 이름을 포함합니다.
• .값 셀 값이 포함될 열의 이름을 포함합니다.

사양의 나머지 열은 새 열이 압축된 열의 이름을 표시하는 방법을 반영합니다. .name을.

사양은 열 이름에 저장된 메타데이터를 설명합니다. 각 열에 대해 하나의 행과 각 변수에 대해 하나의 열이 열 이름과 결합됩니다. 이 정의는 현재로서는 혼란스러워 보일 수 있지만 몇 가지 예를 살펴보면 훨씬 더 이해하기 쉬워질 것입니다. 더 명확해졌습니다.

사양의 요점은 변환 중인 데이터 프레임에 대한 새 메타데이터를 검색, 수정 및 정의할 수 있다는 것입니다.

테이블을 와이드 형식에서 긴 형식으로 변환할 때 사양 작업을 하려면 다음 함수를 사용하십시오. pivot_longer_spec().

이 함수의 작동 방식은 위에서 설명한 방식으로 모든 날짜 프레임을 가져와 해당 메타데이터를 생성한다는 것입니다.

예를 들어, 패키지와 함께 제공되는 who 데이터 세트를 살펴보겠습니다. 정리정돈. 이 데이터 세트에는 결핵 발병률에 대해 국제 보건 기구에서 제공한 정보가 포함되어 있습니다.

who
#> # A tibble: 7,240 x 60
#>    country iso2  iso3   year new_sp_m014 new_sp_m1524 new_sp_m2534
#>    <chr>   <chr> <chr> <int>       <int>        <int>        <int>
#>  1 Afghan… AF    AFG    1980          NA           NA           NA
#>  2 Afghan… AF    AFG    1981          NA           NA           NA
#>  3 Afghan… AF    AFG    1982          NA           NA           NA
#>  4 Afghan… AF    AFG    1983          NA           NA           NA
#>  5 Afghan… AF    AFG    1984          NA           NA           NA
#>  6 Afghan… AF    AFG    1985          NA           NA           NA
#>  7 Afghan… AF    AFG    1986          NA           NA           NA
#>  8 Afghan… AF    AFG    1987          NA           NA           NA
#>  9 Afghan… AF    AFG    1988          NA           NA           NA
#> 10 Afghan… AF    AFG    1989          NA           NA           NA
#> # … with 7,230 more rows, and 53 more variables

사양을 구축해 보겠습니다.

spec <- who %>%
  pivot_longer_spec(new_sp_m014:newrel_f65, values_to = "count")

#> # A tibble: 56 x 3
#>    .name        .value name        
#>    <chr>        <chr>  <chr>       
#>  1 new_sp_m014  count  new_sp_m014 
#>  2 new_sp_m1524 count  new_sp_m1524
#>  3 new_sp_m2534 count  new_sp_m2534
#>  4 new_sp_m3544 count  new_sp_m3544
#>  5 new_sp_m4554 count  new_sp_m4554
#>  6 new_sp_m5564 count  new_sp_m5564
#>  7 new_sp_m65   count  new_sp_m65  
#>  8 new_sp_f014  count  new_sp_f014 
#>  9 new_sp_f1524 count  new_sp_f1524
#> 10 new_sp_f2534 count  new_sp_f2534
#> # … with 46 more rows

분야 국가, iso2, iso3 이미 변수입니다. 우리의 임무는 다음과 같이 열을 뒤집는 것입니다. new_sp_m014 에 newrel_f65.

이러한 열의 이름에는 다음 정보가 저장됩니다.

• 접두사 new_ 열에 새로운 결핵 사례에 대한 데이터가 포함되어 있음을 나타내며 현재 날짜 프레임에는 새로운 질병에 대한 정보만 포함되어 있으므로 현재 맥락에서 이 접두사는 어떤 의미도 갖지 않습니다.
• sp/rel/sp/ep 질병을 진단하는 방법을 설명합니다.
• m/f 환자의 성별.
• 014/1524/2535/3544/4554/65 환자 연령대.

함수를 사용하여 이 열을 분할할 수 있습니다. extract()정규 표현식을 사용합니다.

spec <- spec %>%
        extract(name, c("diagnosis", "gender", "age"), "new_?(.*)_(.)(.*)")

#> # A tibble: 56 x 5
#>    .name        .value diagnosis gender age  
#>    <chr>        <chr>  <chr>     <chr>  <chr>
#>  1 new_sp_m014  count  sp        m      014  
#>  2 new_sp_m1524 count  sp        m      1524 
#>  3 new_sp_m2534 count  sp        m      2534 
#>  4 new_sp_m3544 count  sp        m      3544 
#>  5 new_sp_m4554 count  sp        m      4554 
#>  6 new_sp_m5564 count  sp        m      5564 
#>  7 new_sp_m65   count  sp        m      65   
#>  8 new_sp_f014  count  sp        f      014  
#>  9 new_sp_f1524 count  sp        f      1524 
#> 10 new_sp_f2534 count  sp        f      2534 
#> # … with 46 more rows

칼럼을 참고해주세요 .name을 이는 원본 데이터 세트의 열 이름에 대한 인덱스이므로 변경되지 않은 상태로 유지되어야 합니다.

성별 및 연령(열 성별 и 나이)에는 고정된 값과 알려진 값이 있으므로 이러한 열을 요인으로 변환하는 것이 좋습니다.

spec <-  spec %>%
            mutate(
              gender = factor(gender, levels = c("f", "m")),
              age = factor(age, levels = unique(age), ordered = TRUE)
            ) 

마지막으로 우리가 만든 사양을 원래 날짜 프레임에 적용하기 위해 누구 우리는 인수를 사용해야합니다 투기 기능에서 pivot_longer().

who %>% pivot_longer(spec = spec)

#> # A tibble: 405,440 x 8
#>    country     iso2  iso3   year diagnosis gender age   count
#>    <chr>       <chr> <chr> <int> <chr>     <fct>  <ord> <int>
#>  1 Afghanistan AF    AFG    1980 sp        m      014      NA
#>  2 Afghanistan AF    AFG    1980 sp        m      1524     NA
#>  3 Afghanistan AF    AFG    1980 sp        m      2534     NA
#>  4 Afghanistan AF    AFG    1980 sp        m      3544     NA
#>  5 Afghanistan AF    AFG    1980 sp        m      4554     NA
#>  6 Afghanistan AF    AFG    1980 sp        m      5564     NA
#>  7 Afghanistan AF    AFG    1980 sp        m      65       NA
#>  8 Afghanistan AF    AFG    1980 sp        f      014      NA
#>  9 Afghanistan AF    AFG    1980 sp        f      1524     NA
#> 10 Afghanistan AF    AFG    1980 sp        f      2534     NA
#> # … with 405,430 more rows

방금 수행한 모든 작업은 다음과 같이 개략적으로 설명할 수 있습니다.

다중 값(.value)을 사용한 지정

위의 예에서 사양 열은 .값 값이 하나만 포함되어 있으므로 대부분의 경우에 해당됩니다.

그러나 때로는 값의 데이터 유형이 다른 열에서 데이터를 수집해야 하는 상황이 발생할 수 있습니다. 레거시 기능 사용 spread() 이것은 꽤 어려울 것입니다.

아래 예는 다음에서 가져온 것입니다. 삽화 패키지에 데이터 테이블.

훈련 데이터프레임을 만들어 보겠습니다.

family <- tibble::tribble(
  ~family,  ~dob_child1,  ~dob_child2, ~gender_child1, ~gender_child2,
       1L, "1998-11-26", "2000-01-29",             1L,             2L,
       2L, "1996-06-22",           NA,             2L,             NA,
       3L, "2002-07-11", "2004-04-05",             2L,             2L,
       4L, "2004-10-10", "2009-08-27",             1L,             1L,
       5L, "2000-12-05", "2005-02-28",             2L,             1L,
)
family <- family %>% mutate_at(vars(starts_with("dob")), parse_date)

#> # A tibble: 5 x 5
#>   family dob_child1 dob_child2 gender_child1 gender_child2
#>    <int> <date>     <date>             <int>         <int>
#> 1      1 1998-11-26 2000-01-29             1             2
#> 2      2 1996-06-22 NA                     2            NA
#> 3      3 2002-07-11 2004-04-05             2             2
#> 4      4 2004-10-10 2009-08-27             1             1
#> 5      5 2000-12-05 2005-02-28             2             1

생성된 날짜 프레임에는 각 줄에 한 가족의 자녀에 대한 데이터가 포함됩니다. 가족에게는 한두 명의 자녀가 있을 수 있습니다. 각 어린이에 대해 생년월일과 성별에 대한 데이터가 제공되며 각 어린이의 데이터는 별도의 열에 있습니다. 우리의 임무는 분석을 위해 이 데이터를 올바른 형식으로 가져오는 것입니다.

각 어린이에 대한 정보에는 성별과 생년월일(접두사가 붙은 열)이라는 두 가지 변수가 있습니다. 세례 생년월일, 접두사가 있는 열 포함 성별 아이의 성별을 포함합니다). 예상되는 결과는 별도의 열에 표시되어야 한다는 것입니다. 우리는 열이 다음과 같은 사양을 생성하여 이를 수행할 수 있습니다. .value 두 가지 다른 의미를 갖게 됩니다.

spec <- family %>%
  pivot_longer_spec(-family) %>%
  separate(col = name, into = c(".value", "child"))%>%
  mutate(child = parse_number(child))

#> # A tibble: 4 x 3
#>   .name         .value child
#>   <chr>         <chr>  <dbl>
#> 1 dob_child1    dob        1
#> 2 dob_child2    dob        2
#> 3 gender_child1 gender     1
#> 4 gender_child2 gender     2

이제 위 코드가 수행하는 작업을 단계별로 살펴보겠습니다.

• pivot_longer_spec(-family) — 패밀리 열을 제외한 모든 기존 열을 압축하는 사양을 만듭니다.
• separate(col = name, into = c(".value", "child")) - 열을 분할 .name을, 밑줄을 사용하고 결과 값을 열에 입력하는 소스 필드의 이름을 포함합니다. .값 и 아이.
• mutate(child = parse_number(child)) — 필드 값 변환 아이 텍스트에서 숫자 데이터 유형으로.

이제 결과 사양을 원본 데이터 프레임에 적용하고 테이블을 원하는 형식으로 가져올 수 있습니다.

family %>% 
    pivot_longer(spec = spec, na.rm = T)

#> # A tibble: 9 x 4
#>   family child dob        gender
#>    <int> <dbl> <date>      <int>
#> 1      1     1 1998-11-26      1
#> 2      1     2 2000-01-29      2
#> 3      2     1 1996-06-22      2
#> 4      3     1 2002-07-11      2
#> 5      3     2 2004-04-05      2
#> 6      4     1 2004-10-10      1
#> 7      4     2 2009-08-27      1
#> 8      5     1 2000-12-05      2
#> 9      5     2 2005-02-28      1

우리는 논쟁을 사용합니다 na.rm = TRUE, 현재 데이터 형식에서는 존재하지 않는 관측값에 대해 추가 행을 생성해야 하기 때문입니다. 왜냐하면 2번 가족에게는 자녀가 한 명뿐이고, na.rm = TRUE 계열 2가 출력에 하나의 행을 갖도록 보장합니다.

날짜 프레임을 긴 형식에서 넓은 형식으로 변환

pivot_wider() -는 역변환이고, 그 반대의 경우 행 수를 줄여 날짜 프레임의 열 수를 늘립니다.

이러한 종류의 변환은 데이터를 정확한 형식으로 가져오는 데 거의 사용되지 않지만 이 기술은 프레젠테이션에 사용되는 피벗 테이블을 만들거나 다른 도구와 통합하는 데 유용할 수 있습니다.

실제로 기능은 pivot_longer() и pivot_wider() 대칭적이며 서로 반대되는 동작을 생성합니다. 즉: df %>% pivot_longer(spec = spec) %>% pivot_wider(spec = spec) и df %>% pivot_wider(spec = spec) %>% pivot_longer(spec = spec) 원본 df를 반환합니다.

테이블을 와이드 형식으로 변환하는 가장 간단한 예

기능이 어떻게 작동하는지 보여주기 위해 pivot_wider() 우리는 데이터 세트를 사용할 것입니다 물고기_만남, 이는 다양한 스테이션이 강을 따라 물고기의 움직임을 기록하는 방법에 대한 정보를 저장합니다.

#> # A tibble: 114 x 3
#>    fish  station  seen
#>    <fct> <fct>   <int>
#>  1 4842  Release     1
#>  2 4842  I80_1       1
#>  3 4842  Lisbon      1
#>  4 4842  Rstr        1
#>  5 4842  Base_TD     1
#>  6 4842  BCE         1
#>  7 4842  BCW         1
#>  8 4842  BCE2        1
#>  9 4842  BCW2        1
#> 10 4842  MAE         1
#> # … with 104 more rows

대부분의 경우, 각 역에 대한 정보를 별도의 열에 표시하면 이 표가 더 많은 정보를 제공하고 사용하기 더 쉬워집니다.

fish_encounters %>% pivot_wider(names_from = station, values_from = seen)

fish_encounters %>% pivot_wider(names_from = station, values_from = seen)
#> # A tibble: 19 x 12
#>    fish  Release I80_1 Lisbon  Rstr Base_TD   BCE   BCW  BCE2  BCW2   MAE
#>    <fct>   <int> <int>  <int> <int>   <int> <int> <int> <int> <int> <int>
#>  1 4842        1     1      1     1       1     1     1     1     1     1
#>  2 4843        1     1      1     1       1     1     1     1     1     1
#>  3 4844        1     1      1     1       1     1     1     1     1     1
#>  4 4845        1     1      1     1       1    NA    NA    NA    NA    NA
#>  5 4847        1     1      1    NA      NA    NA    NA    NA    NA    NA
#>  6 4848        1     1      1     1      NA    NA    NA    NA    NA    NA
#>  7 4849        1     1     NA    NA      NA    NA    NA    NA    NA    NA
#>  8 4850        1     1     NA     1       1     1     1    NA    NA    NA
#>  9 4851        1     1     NA    NA      NA    NA    NA    NA    NA    NA
#> 10 4854        1     1     NA    NA      NA    NA    NA    NA    NA    NA
#> # … with 9 more rows, and 1 more variable: MAW <int>

이 데이터 세트는 스테이션에서 물고기를 감지한 경우에만 정보를 기록합니다. 어떤 스테이션에서 물고기가 기록되지 않은 경우 이 데이터는 테이블에 포함되지 않습니다. 이는 출력이 NA로 채워짐을 의미합니다.

그러나 이 경우 기록이 없다는 것은 물고기가 보이지 않았다는 것을 의미하므로 다음과 같은 주장을 사용할 수 있습니다. 값_채우기 기능에서 pivot_wider() 다음 누락된 값을 0으로 채웁니다.

fish_encounters %>% pivot_wider(
  names_from = station, 
  values_from = seen,
  values_fill = list(seen = 0)
)

#> # A tibble: 19 x 12
#>    fish  Release I80_1 Lisbon  Rstr Base_TD   BCE   BCW  BCE2  BCW2   MAE
#>    <fct>   <int> <int>  <int> <int>   <int> <int> <int> <int> <int> <int>
#>  1 4842        1     1      1     1       1     1     1     1     1     1
#>  2 4843        1     1      1     1       1     1     1     1     1     1
#>  3 4844        1     1      1     1       1     1     1     1     1     1
#>  4 4845        1     1      1     1       1     0     0     0     0     0
#>  5 4847        1     1      1     0       0     0     0     0     0     0
#>  6 4848        1     1      1     1       0     0     0     0     0     0
#>  7 4849        1     1      0     0       0     0     0     0     0     0
#>  8 4850        1     1      0     1       1     1     1     0     0     0
#>  9 4851        1     1      0     0       0     0     0     0     0     0
#> 10 4854        1     1      0     0       0     0     0     0     0     0
#> # … with 9 more rows, and 1 more variable: MAW <int>

여러 소스 변수에서 열 이름 생성

제품, 국가, 연도의 조합이 포함된 테이블이 있다고 가정해 보겠습니다. 테스트 날짜 프레임을 생성하려면 다음 코드를 실행하면 됩니다.

df <- expand_grid(
  product = c("A", "B"), 
  country = c("AI", "EI"), 
  year = 2000:2014
) %>%
  filter((product == "A" & country == "AI") | product == "B") %>% 
  mutate(value = rnorm(nrow(.)))

#> # A tibble: 45 x 4
#>    product country  year    value
#>    <chr>   <chr>   <int>    <dbl>
#>  1 A       AI       2000 -2.05   
#>  2 A       AI       2001 -0.676  
#>  3 A       AI       2002  1.60   
#>  4 A       AI       2003 -0.353  
#>  5 A       AI       2004 -0.00530
#>  6 A       AI       2005  0.442  
#>  7 A       AI       2006 -0.610  
#>  8 A       AI       2007 -2.77   
#>  9 A       AI       2008  0.899  
#> 10 A       AI       2009 -0.106  
#> # … with 35 more rows

우리의 임무는 하나의 열에 제품과 국가의 각 조합에 대한 데이터가 포함되도록 데이터 프레임을 확장하는 것입니다. 이렇게 하려면 인수를 전달하면 됩니다. 이름_출처 병합할 필드의 이름을 포함하는 벡터입니다.

df %>% pivot_wider(names_from = c(product, country),
                 values_from = "value")

#> # A tibble: 15 x 4
#>     year     A_AI    B_AI    B_EI
#>    <int>    <dbl>   <dbl>   <dbl>
#>  1  2000 -2.05     0.607   1.20  
#>  2  2001 -0.676    1.65   -0.114 
#>  3  2002  1.60    -0.0245  0.501 
#>  4  2003 -0.353    1.30   -0.459 
#>  5  2004 -0.00530  0.921  -0.0589
#>  6  2005  0.442   -1.55    0.594 
#>  7  2006 -0.610    0.380  -1.28  
#>  8  2007 -2.77     0.830   0.637 
#>  9  2008  0.899    0.0175 -1.30  
#> 10  2009 -0.106   -0.195   1.03  
#> # … with 5 more rows

기능에 사양을 적용할 수도 있습니다. pivot_wider(). 하지만 제출할 때 pivot_wider() 사양은 반대 변환을 수행합니다. pivot_longer(): 다음에 지정된 열 .name을, 다음의 값을 사용하여 .값 및 기타 열.

이 데이터 세트의 경우 데이터에 있는 항목뿐만 아니라 가능한 모든 국가 및 제품 조합에 자체 열이 있도록 하려면 사용자 지정 사양을 생성할 수 있습니다.

spec <- df %>% 
  expand(product, country, .value = "value") %>% 
  unite(".name", product, country, remove = FALSE)

#> # A tibble: 4 x 4
#>   .name product country .value
#>   <chr> <chr>   <chr>   <chr> 
#> 1 A_AI  A       AI      value 
#> 2 A_EI  A       EI      value 
#> 3 B_AI  B       AI      value 
#> 4 B_EI  B       EI      value

df %>% pivot_wider(spec = spec) %>% head()

#> # A tibble: 6 x 5
#>    year     A_AI  A_EI    B_AI    B_EI
#>   <int>    <dbl> <dbl>   <dbl>   <dbl>
#> 1  2000 -2.05       NA  0.607   1.20  
#> 2  2001 -0.676      NA  1.65   -0.114 
#> 3  2002  1.60       NA -0.0245  0.501 
#> 4  2003 -0.353      NA  1.30   -0.459 
#> 5  2004 -0.00530    NA  0.921  -0.0589
#> 6  2005  0.442      NA -1.55    0.594

새로운 tidyr 개념을 활용한 몇 가지 고급 사례

미국 인구 조사 소득 및 임대 데이터 세트를 예로 사용하여 데이터를 정리합니다.

데이터 세트 us_rent_income 2017년 미국 모든 주의 중간 소득 및 임대료 정보가 포함되어 있습니다(데이터 세트는 패키지로 제공됨). 깔끔한 인구 조사).

us_rent_income
#> # A tibble: 104 x 5
#>    GEOID NAME       variable estimate   moe
#>    <chr> <chr>      <chr>       <dbl> <dbl>
#>  1 01    Alabama    income      24476   136
#>  2 01    Alabama    rent          747     3
#>  3 02    Alaska     income      32940   508
#>  4 02    Alaska     rent         1200    13
#>  5 04    Arizona    income      27517   148
#>  6 04    Arizona    rent          972     4
#>  7 05    Arkansas   income      23789   165
#>  8 05    Arkansas   rent          709     5
#>  9 06    California income      29454   109
#> 10 06    California rent         1358     3
#> # … with 94 more rows

데이터세트에 데이터가 저장되는 형태로 us_rent_income 이를 사용하여 작업하는 것은 매우 불편하므로 열이 있는 데이터 세트를 생성하고 싶습니다. 임대, 임대료_모, 왔다, 소득_모에. 이 사양을 만드는 방법은 여러 가지가 있지만 중요한 점은 변수 값과 변수의 모든 조합을 생성해야 한다는 것입니다. 견적/모에그런 다음 열 이름을 생성합니다.

  spec <- us_rent_income %>% 
    expand(variable, .value = c("estimate", "moe")) %>% 
    mutate(
      .name = paste0(variable, ifelse(.value == "moe", "_moe", ""))
    )

#> # A tibble: 4 x 3
#>   variable .value   .name     
#>   <chr>    <chr>    <chr>     
#> 1 income   estimate income    
#> 2 income   moe      income_moe
#> 3 rent     estimate rent      
#> 4 rent     moe      rent_moe

이 사양을 제공 pivot_wider() 우리가 찾고 있는 결과를 제공합니다:

us_rent_income %>% pivot_wider(spec = spec)

#> # A tibble: 52 x 6
#>    GEOID NAME                 income income_moe  rent rent_moe
#>    <chr> <chr>                 <dbl>      <dbl> <dbl>    <dbl>
#>  1 01    Alabama               24476        136   747        3
#>  2 02    Alaska                32940        508  1200       13
#>  3 04    Arizona               27517        148   972        4
#>  4 05    Arkansas              23789        165   709        5
#>  5 06    California            29454        109  1358        3
#>  6 08    Colorado              32401        109  1125        5
#>  7 09    Connecticut           35326        195  1123        5
#>  8 10    Delaware              31560        247  1076       10
#>  9 11    District of Columbia  43198        681  1424       17
#> 10 12    Florida               25952         70  1077        3
#> # … with 42 more rows

세계 은행

때로는 데이터 세트를 원하는 형식으로 가져오는 데 여러 단계가 필요할 수 있습니다.
데이터세트 world_bank_pop 2000년부터 2018년까지 각 국가의 인구에 대한 세계은행 데이터가 포함되어 있습니다.

#> # A tibble: 1,056 x 20
#>    country indicator `2000` `2001` `2002` `2003`  `2004`  `2005`   `2006`
#>    <chr>   <chr>      <dbl>  <dbl>  <dbl>  <dbl>   <dbl>   <dbl>    <dbl>
#>  1 ABW     SP.URB.T… 4.24e4 4.30e4 4.37e4 4.42e4 4.47e+4 4.49e+4  4.49e+4
#>  2 ABW     SP.URB.G… 1.18e0 1.41e0 1.43e0 1.31e0 9.51e-1 4.91e-1 -1.78e-2
#>  3 ABW     SP.POP.T… 9.09e4 9.29e4 9.50e4 9.70e4 9.87e+4 1.00e+5  1.01e+5
#>  4 ABW     SP.POP.G… 2.06e0 2.23e0 2.23e0 2.11e0 1.76e+0 1.30e+0  7.98e-1
#>  5 AFG     SP.URB.T… 4.44e6 4.65e6 4.89e6 5.16e6 5.43e+6 5.69e+6  5.93e+6
#>  6 AFG     SP.URB.G… 3.91e0 4.66e0 5.13e0 5.23e0 5.12e+0 4.77e+0  4.12e+0
#>  7 AFG     SP.POP.T… 2.01e7 2.10e7 2.20e7 2.31e7 2.41e+7 2.51e+7  2.59e+7
#>  8 AFG     SP.POP.G… 3.49e0 4.25e0 4.72e0 4.82e0 4.47e+0 3.87e+0  3.23e+0
#>  9 AGO     SP.URB.T… 8.23e6 8.71e6 9.22e6 9.77e6 1.03e+7 1.09e+7  1.15e+7
#> 10 AGO     SP.URB.G… 5.44e0 5.59e0 5.70e0 5.76e0 5.75e+0 5.69e+0  4.92e+0
#> # … with 1,046 more rows, and 11 more variables: `2007` <dbl>,
#> #   `2008` <dbl>, `2009` <dbl>, `2010` <dbl>, `2011` <dbl>, `2012` <dbl>,
#> #   `2013` <dbl>, `2014` <dbl>, `2015` <dbl>, `2016` <dbl>, `2017` <dbl>

우리의 목표는 각 변수가 해당 열에 포함된 깔끔한 데이터 세트를 만드는 것입니다. 정확히 어떤 단계가 필요한지는 확실하지 않지만 가장 명백한 문제부터 시작하겠습니다. 연도가 여러 열에 걸쳐 분산되어 있다는 것입니다.

이 문제를 해결하려면 다음 기능을 사용해야 합니다. pivot_longer().

pop2 <- world_bank_pop %>% 
  pivot_longer(`2000`:`2017`, names_to = "year")

#> # A tibble: 19,008 x 4
#>    country indicator   year  value
#>    <chr>   <chr>       <chr> <dbl>
#>  1 ABW     SP.URB.TOTL 2000  42444
#>  2 ABW     SP.URB.TOTL 2001  43048
#>  3 ABW     SP.URB.TOTL 2002  43670
#>  4 ABW     SP.URB.TOTL 2003  44246
#>  5 ABW     SP.URB.TOTL 2004  44669
#>  6 ABW     SP.URB.TOTL 2005  44889
#>  7 ABW     SP.URB.TOTL 2006  44881
#>  8 ABW     SP.URB.TOTL 2007  44686
#>  9 ABW     SP.URB.TOTL 2008  44375
#> 10 ABW     SP.URB.TOTL 2009  44052
#> # … with 18,998 more rows

다음 단계는 표시 변수를 살펴보는 것입니다.
pop2 %>% count(indicator)

#> # A tibble: 4 x 2
#>   indicator       n
#>   <chr>       <int>
#> 1 SP.POP.GROW  4752
#> 2 SP.POP.TOTL  4752
#> 3 SP.URB.GROW  4752
#> 4 SP.URB.TOTL  4752

SP.POP.GROW가 인구 증가인 경우 SP.POP.TOTL은 총 인구이고 SP.URB입니다. * 똑같지만 도시 지역에만 해당됩니다. 이 값을 면적 - 면적(전체 또는 도시)과 실제 데이터(인구 또는 성장)가 포함된 변수의 두 가지 변수로 나누어 보겠습니다.

pop3 <- pop2 %>% 
  separate(indicator, c(NA, "area", "variable"))

#> # A tibble: 19,008 x 5
#>    country area  variable year  value
#>    <chr>   <chr> <chr>    <chr> <dbl>
#>  1 ABW     URB   TOTL     2000  42444
#>  2 ABW     URB   TOTL     2001  43048
#>  3 ABW     URB   TOTL     2002  43670
#>  4 ABW     URB   TOTL     2003  44246
#>  5 ABW     URB   TOTL     2004  44669
#>  6 ABW     URB   TOTL     2005  44889
#>  7 ABW     URB   TOTL     2006  44881
#>  8 ABW     URB   TOTL     2007  44686
#>  9 ABW     URB   TOTL     2008  44375
#> 10 ABW     URB   TOTL     2009  44052
#> # … with 18,998 more rows

이제 우리가 해야 할 일은 변수를 두 개의 열로 나누는 것입니다.

pop3 %>% 
  pivot_wider(names_from = variable, values_from = value)

#> # A tibble: 9,504 x 5
#>    country area  year   TOTL    GROW
#>    <chr>   <chr> <chr> <dbl>   <dbl>
#>  1 ABW     URB   2000  42444  1.18  
#>  2 ABW     URB   2001  43048  1.41  
#>  3 ABW     URB   2002  43670  1.43  
#>  4 ABW     URB   2003  44246  1.31  
#>  5 ABW     URB   2004  44669  0.951 
#>  6 ABW     URB   2005  44889  0.491 
#>  7 ABW     URB   2006  44881 -0.0178
#>  8 ABW     URB   2007  44686 -0.435 
#>  9 ABW     URB   2008  44375 -0.698 
#> 10 ABW     URB   2009  44052 -0.731 
#> # … with 9,494 more rows

연락처 목록

마지막 예를 들어, 웹사이트에서 복사하여 붙여넣은 연락처 목록이 있다고 가정해 보겠습니다.

contacts <- tribble(
  ~field, ~value,
  "name", "Jiena McLellan",
  "company", "Toyota", 
  "name", "John Smith", 
  "company", "google", 
  "email", "[email protected]",
  "name", "Huxley Ratcliffe"
)

어떤 데이터가 어떤 연락처에 속하는지 식별하는 변수가 없기 때문에 이 목록을 표로 작성하는 것은 매우 어렵습니다. 각 새 연락처의 데이터가 "이름"으로 시작한다는 점을 참고하여 이 문제를 해결할 수 있으므로 고유 식별자를 만들고 필드 열에 "이름" 값이 포함될 때마다 이를 1씩 증가시킬 수 있습니다.

contacts <- contacts %>% 
  mutate(
    person_id = cumsum(field == "name")
  )
contacts

#> # A tibble: 6 x 3
#>   field   value            person_id
#>   <chr>   <chr>                <int>
#> 1 name    Jiena McLellan           1
#> 2 company Toyota                   1
#> 3 name    John Smith               2
#> 4 company google                   2
#> 5 email   [email protected]          2
#> 6 name    Huxley Ratcliffe         3

이제 각 연락처에 대한 고유 ID가 있으므로 필드와 값을 열로 바꿀 수 있습니다.

contacts %>% 
  pivot_wider(names_from = field, values_from = value)

#> # A tibble: 3 x 4
#>   person_id name             company email          
#>       <int> <chr>            <chr>   <chr>          
#> 1         1 Jiena McLellan   Toyota  <NA>           
#> 2         2 John Smith       google  [email protected]
#> 3         3 Huxley Ratcliffe <NA>    <NA>

결론

내 개인적인 의견은 새로운 개념이 정리정돈 기존 기능보다 훨씬 더 직관적이고 기능면에서 월등합니다. spread() и gather(). 이 기사가 귀하의 문제 해결에 도움이 되었기를 바랍니다. pivot_longer() и pivot_wider().

출처 : habr.com