R パッケージ Tidyr とその新しい関数 pivot_longer および pivot_wider

パッケージ きちんとした R 言語で最も人気のあるライブラリの XNUMX つのコアに含まれています - きちんとした.
パッケージの主な目的は、データを正確な形式にすることです。

すでにハブレで入手可能 出版物 このパッケージ専用ですが、その起源は 2015 年に遡ります。 そして、著者のヘドリー・ウィッカムによって数日前に発表された最新の変更についてお話したいと思います。

SJK: Gather() と Spread() は非推奨になるのでしょうか?

ハドリー・ウィッカム： ある程度。 これらの関数の使用は推奨されなくなり、バグは修正されますが、現在の状態でパッケージに存在し続けます。

ページ内容

データ分析に興味がある場合は、私の記事に興味があるかもしれません。 電報 и ユーチューブ チャンネル。 コンテンツのほとんどは R 言語専用です。

• TidyDataのコンセプト
• Tidyr パッケージに含まれる主な機能
• データをワイド形式からロング形式へ、またはその逆に変換するための新しいコンセプト
• 最新バージョンのtidyr 0.8.3.9000をインストールする
• 新機能への移行
• データをワイド形式からロング形式に変換する簡単な例
• 仕様書
• 複数の値を使用した指定(.value)
• 日付フレームをロング形式からワイド形式に変換する
  • テーブルをワイド形式に変換する最も単純な例
  • 複数のソース変数から列名を生成する
• 新しいtidyrコンセプトを使用したいくつかの先進的な例
  • 例として米国国勢調査の収入と家賃のデータセットを使用してデータをクリーンアップします。
  • 世界銀行
  • 連絡先リスト
• まとめ

TidyDataのコンセプト

目標 きちんとした — データをいわゆる整った形式にするのに役立ちます。 ニート データとは、次のようなデータです。

• 各変数は列内にあります。
• 各観測値は文字列です。
• 各値はセルです。

分析を行うときに、整然としたデータで表示されるデータを操作する方がはるかに簡単で便利です。

Tidyr パッケージに含まれる主な機能

tinyr には、テーブルを変換するために設計された一連の関数が含まれています。

• fill() — 列の欠損値を以前の値で埋める。
• separate() — 区切り文字を使用して XNUMX つのフィールドを複数のフィールドに分割します。
• unite() — 複数のフィールドを XNUMX つに結合する操作、つまり関数の逆アクションを実行します。 separate();
• pivot_longer() — データをワイド形式からロング形式に変換する関数。
• pivot_wider() - データをロングフォーマットからワイドフォーマットに変換する機能。 関数によって実行される操作の逆の操作 pivot_longer().
• gather()廃止 — データをワイド形式からロング形式に変換する関数。
• spread()廃止 - データをロングフォーマットからワイドフォーマットに変換する機能。 関数によって実行される操作の逆の操作 gather().

データをワイド形式からロング形式へ、またはその逆に変換するための新しいコンセプト

以前は、この種の変換には関数が使用されていました。 gather() и spread()。 これらの関数が何年も存在するうちに、パッケージの作成者を含むほとんどのユーザーにとって、これらの関数の名前とその引数が明確ではなく、それらを見つけたり、どの関数が変換するのかを理解することが困難であることが明らかになりました。ワイド形式からロング形式への日付フレーム、またはその逆の日付フレーム。

この点に関して、 きちんとした 日付フレームを変換するために設計された XNUMX つの新しい重要な関数が追加されました。

新機能 pivot_longer() и pivot_wider() パッケージのいくつかの機能からインスピレーションを得たもの cdata、ジョン・マウントとニーナ・ズメルによって作成されました。

最新バージョンのtidyr 0.8.3.9000をインストールする

新しい最新バージョンのパッケージをインストールするには きちんとした 0.8.3.9000で、新しい機能が利用できる場合は、次のコードを使用します。

devtools::install_github("tidyverse/tidyr")

執筆時点では、これらの関数は GitHub 上のパッケージの開発バージョンでのみ使用できます。

新機能への移行

実際、古いスクリプトを移行して新しい関数で動作させることは難しくありません。よりよく理解するために、古い関数のドキュメントから例をとり、新しい関数を使用して同じ操作がどのように実行されるかを示します。 pivot_*() 関数。

ワイド形式をロング形式に変換します。

収集関数ドキュメントのコード例

# example
library(dplyr)
stocks <- data.frame(
  time = as.Date('2009-01-01') + 0:9,
  X = rnorm(10, 0, 1),
  Y = rnorm(10, 0, 2),
  Z = rnorm(10, 0, 4)
)

# old
stocks_gather <- stocks %>% gather(key   = stock, 
                                   value = price, 
                                   -time)

# new
stocks_long   <- stocks %>% pivot_longer(cols      = -time, 
                                       names_to  = "stock", 
                                       values_to = "price")

ロングフォーマットからワイドフォーマットへの変換。

拡散関数のドキュメントからのコード例

# old
stocks_spread <- stocks_gather %>% spread(key = stock, 
                                          value = price) 

# new 
stock_wide    <- stocks_long %>% pivot_wider(names_from  = "stock",
                                            values_from = "price")

なぜなら上記の作業例では、 pivot_longer() и pivot_wider()、元の表では ストック 引数に列がリストされていません 名前を付ける и 値_to それらの名前は引用符で囲む必要があります。

新しいコンセプトでの作業に切り替える方法を最も簡単に理解するのに役立つ表 きちんとした.

著者からのメモ

以下のテキストはすべてアダプティブです。自由翻訳とさえ言えます。 ビネット Tidyverse ライブラリの公式 Web サイトから。

データをワイド形式からロング形式に変換する簡単な例

pivot_longer () — 列の数を減らし、行の数を増やすことにより、データ セットが長くなります。

この記事で紹介されている例を実行するには、まず必要なパッケージを接続する必要があります。

library(tidyr)
library(dplyr)
library(readr)

(とりわけ) 宗教と年収について人々に尋ねた調査の結果を含む表があるとします。

#> # A tibble: 18 x 11
#>    religion `<$10k` `$10-20k` `$20-30k` `$30-40k` `$40-50k` `$50-75k`
#>    <chr>      <dbl>     <dbl>     <dbl>     <dbl>     <dbl>     <dbl>
#>  1 Agnostic      27        34        60        81        76       137
#>  2 Atheist       12        27        37        52        35        70
#>  3 Buddhist      27        21        30        34        33        58
#>  4 Catholic     418       617       732       670       638      1116
#>  5 Don’t k…      15        14        15        11        10        35
#>  6 Evangel…     575       869      1064       982       881      1486
#>  7 Hindu          1         9         7         9        11        34
#>  8 Histori…     228       244       236       238       197       223
#>  9 Jehovah…      20        27        24        24        21        30
#> 10 Jewish        19        19        25        25        30        95
#> # … with 8 more rows, and 4 more variables: `$75-100k` <dbl>,
#> #   `$100-150k` <dbl>, `>150k` <dbl>, `Don't know/refused` <dbl>

このテーブルには、回答者の宗教データが行に含まれており、収入レベルが列名全体に分散されています。 各カテゴリの回答者の数は、宗教と収入レベルの交差点のセル値に保存されます。 テーブルをきちんとした正しい形式にするには、次のように使用するだけで十分です。 pivot_longer():

pew %>% 
  pivot_longer(cols = -religion, names_to = "income", values_to = "count")

pew %>% 
  pivot_longer(cols = -religion, names_to = "income", values_to = "count")
#> # A tibble: 180 x 3
#>    religion income             count
#>    <chr>    <chr>              <dbl>
#>  1 Agnostic <$10k                 27
#>  2 Agnostic $10-20k               34
#>  3 Agnostic $20-30k               60
#>  4 Agnostic $30-40k               81
#>  5 Agnostic $40-50k               76
#>  6 Agnostic $50-75k              137
#>  7 Agnostic $75-100k             122
#>  8 Agnostic $100-150k            109
#>  9 Agnostic >150k                 84
#> 10 Agnostic Don't know/refused    96
#> # … with 170 more rows

関数の引数 pivot_longer()

• 最初の引数 コルズでは、どの列をマージする必要があるかを説明します。 この場合、次を除くすべての列 時間.
• 引数 名前を付ける 連結した列の名前から作成される変数の名前を指定します。
• 値_to 結合された列のセルの値に格納されたデータから作成される変数の名前を指定します。

仕様書

これはパッケージの新機能です きちんとした、これまではレガシー関数を使用する場合には利用できませんでした。

仕様はデータ フレームであり、その各行は新しい出力日付フレームの XNUMX つの列と、次で始まる XNUMX つの特別な列に対応します。

• .nameの 元の列名が含まれます。
• 。値 セル値を含む列の名前が含まれます。

仕様の残りの列は、新しい列が圧縮された列の名前をどのように表示するかを反映します。 .nameの.

この仕様では、列名に格納されるメタデータを説明します。列ごとに XNUMX 行、変数ごとに XNUMX 列を指定し、列名と組み合わせると、この定義は現時点ではわかりにくいように思えるかもしれませんが、いくつかの例を見ると、よりわかりやすくなります。より明確に。

この仕様のポイントは、変換されるデータフレームの新しいメタデータを取得、変更、定義できることです。

テーブルをワイド形式からロング形式に変換するときに仕様を操作するには、関数を使用します pivot_longer_spec().

この関数がどのように機能するかというと、任意の日付フレームを受け取り、上で説明した方法でそのメタデータを生成します。

例として、パッケージに付属している who データセットを見てみましょう きちんとした。 このデータセットには、国際保健機関から提供された結核の発生率に関する情報が含まれています。

who
#> # A tibble: 7,240 x 60
#>    country iso2  iso3   year new_sp_m014 new_sp_m1524 new_sp_m2534
#>    <chr>   <chr> <chr> <int>       <int>        <int>        <int>
#>  1 Afghan… AF    AFG    1980          NA           NA           NA
#>  2 Afghan… AF    AFG    1981          NA           NA           NA
#>  3 Afghan… AF    AFG    1982          NA           NA           NA
#>  4 Afghan… AF    AFG    1983          NA           NA           NA
#>  5 Afghan… AF    AFG    1984          NA           NA           NA
#>  6 Afghan… AF    AFG    1985          NA           NA           NA
#>  7 Afghan… AF    AFG    1986          NA           NA           NA
#>  8 Afghan… AF    AFG    1987          NA           NA           NA
#>  9 Afghan… AF    AFG    1988          NA           NA           NA
#> 10 Afghan… AF    AFG    1989          NA           NA           NA
#> # … with 7,230 more rows, and 53 more variables

その仕様を構築しましょう。

spec <- who %>%
  pivot_longer_spec(new_sp_m014:newrel_f65, values_to = "count")

#> # A tibble: 56 x 3
#>    .name        .value name        
#>    <chr>        <chr>  <chr>       
#>  1 new_sp_m014  count  new_sp_m014 
#>  2 new_sp_m1524 count  new_sp_m1524
#>  3 new_sp_m2534 count  new_sp_m2534
#>  4 new_sp_m3544 count  new_sp_m3544
#>  5 new_sp_m4554 count  new_sp_m4554
#>  6 new_sp_m5564 count  new_sp_m5564
#>  7 new_sp_m65   count  new_sp_m65  
#>  8 new_sp_f014  count  new_sp_f014 
#>  9 new_sp_f1524 count  new_sp_f1524
#> 10 new_sp_f2534 count  new_sp_f2534
#> # … with 46 more rows

フィールド 国, iso2, iso3 はすでに変数になっています。 私たちのタスクは、列を反転することです。 new_sp_m014 上の newrel_f65.

これらの列の名前には、次の情報が保存されます。

• プレフィックス new_ 列には結核の新規症例に関するデータが含まれていることを示しますが、現在の日付フレームには新規疾患に関する情報のみが含まれるため、現在のコンテキストにおけるこの接頭辞は何の意味も持ちません。
• sp/rel/sp/ep 病気を診断する方法を説明します。
• m/f 患者の性別。
• 014/1524/2535/3544/4554/65 患者の年齢層。

関数を使用してこれらの列を分割できます。 extract()正規表現を使用します。

spec <- spec %>%
        extract(name, c("diagnosis", "gender", "age"), "new_?(.*)_(.)(.*)")

#> # A tibble: 56 x 5
#>    .name        .value diagnosis gender age  
#>    <chr>        <chr>  <chr>     <chr>  <chr>
#>  1 new_sp_m014  count  sp        m      014  
#>  2 new_sp_m1524 count  sp        m      1524 
#>  3 new_sp_m2534 count  sp        m      2534 
#>  4 new_sp_m3544 count  sp        m      3544 
#>  5 new_sp_m4554 count  sp        m      4554 
#>  6 new_sp_m5564 count  sp        m      5564 
#>  7 new_sp_m65   count  sp        m      65   
#>  8 new_sp_f014  count  sp        f      014  
#>  9 new_sp_f1524 count  sp        f      1524 
#> 10 new_sp_f2534 count  sp        f      2534 
#> # … with 46 more rows

コラムにご注目ください .nameの これは元のデータセットの列名のインデックスであるため、変更しないでください。

性別と年齢（欄） 性別 и 年齢) には固定の既知の値があるため、これらの列を係数に変換することをお勧めします。

spec <-  spec %>%
            mutate(
              gender = factor(gender, levels = c("f", "m")),
              age = factor(age, levels = unique(age), ordered = TRUE)
            ) 

最後に、作成した仕様を元の日付フレームに適用するため、 who 引数を使用する必要があります スペック 機能的に pivot_longer().

who %>% pivot_longer(spec = spec)

#> # A tibble: 405,440 x 8
#>    country     iso2  iso3   year diagnosis gender age   count
#>    <chr>       <chr> <chr> <int> <chr>     <fct>  <ord> <int>
#>  1 Afghanistan AF    AFG    1980 sp        m      014      NA
#>  2 Afghanistan AF    AFG    1980 sp        m      1524     NA
#>  3 Afghanistan AF    AFG    1980 sp        m      2534     NA
#>  4 Afghanistan AF    AFG    1980 sp        m      3544     NA
#>  5 Afghanistan AF    AFG    1980 sp        m      4554     NA
#>  6 Afghanistan AF    AFG    1980 sp        m      5564     NA
#>  7 Afghanistan AF    AFG    1980 sp        m      65       NA
#>  8 Afghanistan AF    AFG    1980 sp        f      014      NA
#>  9 Afghanistan AF    AFG    1980 sp        f      1524     NA
#> 10 Afghanistan AF    AFG    1980 sp        f      2534     NA
#> # … with 405,430 more rows

私たちが今行ったことはすべて、次のように概略的に表すことができます。

複数の値を使用した指定(.value)

上記の例では、仕様欄 。値 値が XNUMX つだけ含まれていましたが、ほとんどの場合これが当てはまります。

ただし、値のデータ型が異なる列からデータを収集する必要がある状況が発生することがあります。 従来の関数の使用 spread() これはかなり難しいでしょう。

以下の例はから引用したものです ビネット パッケージに データ表.

トレーニング データフレームを作成しましょう。

family <- tibble::tribble(
  ~family,  ~dob_child1,  ~dob_child2, ~gender_child1, ~gender_child2,
       1L, "1998-11-26", "2000-01-29",             1L,             2L,
       2L, "1996-06-22",           NA,             2L,             NA,
       3L, "2002-07-11", "2004-04-05",             2L,             2L,
       4L, "2004-10-10", "2009-08-27",             1L,             1L,
       5L, "2000-12-05", "2005-02-28",             2L,             1L,
)
family <- family %>% mutate_at(vars(starts_with("dob")), parse_date)

#> # A tibble: 5 x 5
#>   family dob_child1 dob_child2 gender_child1 gender_child2
#>    <int> <date>     <date>             <int>         <int>
#> 1      1 1998-11-26 2000-01-29             1             2
#> 2      2 1996-06-22 NA                     2            NA
#> 3      3 2002-07-11 2004-04-05             2             2
#> 4      4 2004-10-10 2009-08-27             1             1
#> 5      5 2000-12-05 2005-02-28             2             1

作成された日付フレームには、各行に XNUMX つの家族の子供に関するデータが含まれています。 家族には XNUMX 人か XNUMX 人の子供がいるかもしれません。 各子供について、生年月日と性別に関するデータが提供され、各子供のデータは別々の列にあります。私たちの仕事は、このデータを分析用に正しい形式に変換することです。

各子供に関する情報を含む XNUMX つの変数があることに注意してください: 性別と生年月日 (接頭辞が付いている列) 洗礼 生年月日を含む、接頭辞付きの列 性別 子供の性別が含まれます）。 期待される結果は、それらが別々の列に表示されることです。 これを行うには、次の列を含む仕様を生成します。 .value XNUMXつの異なる意味になります。

spec <- family %>%
  pivot_longer_spec(-family) %>%
  separate(col = name, into = c(".value", "child"))%>%
  mutate(child = parse_number(child))

#> # A tibble: 4 x 3
#>   .name         .value child
#>   <chr>         <chr>  <dbl>
#> 1 dob_child1    dob        1
#> 2 dob_child2    dob        2
#> 3 gender_child1 gender     1
#> 4 gender_child2 gender     2

それでは、上記のコードによって実行されるアクションを段階的に見てみましょう。

• pivot_longer_spec(-family) — ファミリ列を除くすべての既存の列を圧縮する仕様を作成します。
• separate(col = name, into = c(".value", "child")) - 列を分割する .nameの、ソースフィールドの名前が含まれており、アンダースコアを使用して結果の値を列に入力します。 。値 и 子.
• mutate(child = parse_number(child)) — フィールド値を変換します 子 テキスト データ型から数値データ型へ。

これで、結果の仕様を元のデータフレームに適用し、テーブルを目的の形式にすることができます。

family %>% 
    pivot_longer(spec = spec, na.rm = T)

#> # A tibble: 9 x 4
#>   family child dob        gender
#>    <int> <dbl> <date>      <int>
#> 1      1     1 1998-11-26      1
#> 2      1     2 2000-01-29      2
#> 3      2     1 1996-06-22      2
#> 4      3     1 2002-07-11      2
#> 5      3     2 2004-04-05      2
#> 6      4     1 2004-10-10      1
#> 7      4     2 2009-08-27      1
#> 8      5     1 2000-12-05      2
#> 9      5     2 2005-02-28      1

引数を使用します na.rm = TRUE現在のデータ形式では、存在しない観測値に対して余分な行の作成が強制されるためです。 なぜなら家族2には子供がXNUMX人だけですが、 na.rm = TRUE ファミリ 2 の出力には XNUMX 行が含まれることが保証されます。

日付フレームをロング形式からワイド形式に変換する

pivot_wider() - は逆変換であり、その逆は行数を減らすことで日付フレームの列数を増やします。

データを正確な形式にするためにこの種の変換が使用されることはほとんどありませんが、この手法はプレゼンテーションで使用されるピボット テーブルを作成したり、他のツールと統合したりする場合に役立ちます。

実際の機能は pivot_longer() и pivot_wider() は対称的であり、互いに逆のアクションを生成します。つまり、次のとおりです。 df %>% pivot_longer(spec = spec) %>% pivot_wider(spec = spec) и df %>% pivot_wider(spec = spec) %>% pivot_longer(spec = spec) 元の df を返します。

テーブルをワイド形式に変換する最も単純な例

関数がどのように動作するかを示すため pivot_wider() データセットを使用します 魚との出会い、さまざまなステーションが川に沿った魚の動きをどのように記録するかに関する情報が保存されています。

#> # A tibble: 114 x 3
#>    fish  station  seen
#>    <fct> <fct>   <int>
#>  1 4842  Release     1
#>  2 4842  I80_1       1
#>  3 4842  Lisbon      1
#>  4 4842  Rstr        1
#>  5 4842  Base_TD     1
#>  6 4842  BCE         1
#>  7 4842  BCW         1
#>  8 4842  BCE2        1
#>  9 4842  BCW2        1
#> 10 4842  MAE         1
#> # … with 104 more rows

ほとんどの場合、各ステーションの情報を別の列に表示すると、この表の情報がさらに多くなり、使いやすくなります。

fish_encounters %>% pivot_wider(names_from = station, values_from = seen)

fish_encounters %>% pivot_wider(names_from = station, values_from = seen)
#> # A tibble: 19 x 12
#>    fish  Release I80_1 Lisbon  Rstr Base_TD   BCE   BCW  BCE2  BCW2   MAE
#>    <fct>   <int> <int>  <int> <int>   <int> <int> <int> <int> <int> <int>
#>  1 4842        1     1      1     1       1     1     1     1     1     1
#>  2 4843        1     1      1     1       1     1     1     1     1     1
#>  3 4844        1     1      1     1       1     1     1     1     1     1
#>  4 4845        1     1      1     1       1    NA    NA    NA    NA    NA
#>  5 4847        1     1      1    NA      NA    NA    NA    NA    NA    NA
#>  6 4848        1     1      1     1      NA    NA    NA    NA    NA    NA
#>  7 4849        1     1     NA    NA      NA    NA    NA    NA    NA    NA
#>  8 4850        1     1     NA     1       1     1     1    NA    NA    NA
#>  9 4851        1     1     NA    NA      NA    NA    NA    NA    NA    NA
#> 10 4854        1     1     NA    NA      NA    NA    NA    NA    NA    NA
#> # … with 9 more rows, and 1 more variable: MAW <int>

このデータセットは、ステーションによって魚が検出されたときの情報のみを記録します。 どこかのステーションで魚が記録されていない場合、このデータはテーブルには含まれません。 これは、出力が NA で埋められることを意味します。

ただし、この場合、記録がないということは魚が見られなかったことを意味することがわかっているので、次の引数を使用できます。 値_フィル 機能的に pivot_wider() これらの欠損値をゼロで埋めます。

fish_encounters %>% pivot_wider(
  names_from = station, 
  values_from = seen,
  values_fill = list(seen = 0)
)

#> # A tibble: 19 x 12
#>    fish  Release I80_1 Lisbon  Rstr Base_TD   BCE   BCW  BCE2  BCW2   MAE
#>    <fct>   <int> <int>  <int> <int>   <int> <int> <int> <int> <int> <int>
#>  1 4842        1     1      1     1       1     1     1     1     1     1
#>  2 4843        1     1      1     1       1     1     1     1     1     1
#>  3 4844        1     1      1     1       1     1     1     1     1     1
#>  4 4845        1     1      1     1       1     0     0     0     0     0
#>  5 4847        1     1      1     0       0     0     0     0     0     0
#>  6 4848        1     1      1     1       0     0     0     0     0     0
#>  7 4849        1     1      0     0       0     0     0     0     0     0
#>  8 4850        1     1      0     1       1     1     1     0     0     0
#>  9 4851        1     1      0     0       0     0     0     0     0     0
#> 10 4854        1     1      0     0       0     0     0     0     0     0
#> # … with 9 more rows, and 1 more variable: MAW <int>

複数のソース変数から列名を生成する

製品、国、年の組み合わせを含むテーブルがあると想像してください。 テスト日付フレームを生成するには、次のコードを実行します。

df <- expand_grid(
  product = c("A", "B"), 
  country = c("AI", "EI"), 
  year = 2000:2014
) %>%
  filter((product == "A" & country == "AI") | product == "B") %>% 
  mutate(value = rnorm(nrow(.)))

#> # A tibble: 45 x 4
#>    product country  year    value
#>    <chr>   <chr>   <int>    <dbl>
#>  1 A       AI       2000 -2.05   
#>  2 A       AI       2001 -0.676  
#>  3 A       AI       2002  1.60   
#>  4 A       AI       2003 -0.353  
#>  5 A       AI       2004 -0.00530
#>  6 A       AI       2005  0.442  
#>  7 A       AI       2006 -0.610  
#>  8 A       AI       2007 -2.77   
#>  9 A       AI       2008  0.899  
#> 10 A       AI       2009 -0.106  
#> # … with 35 more rows

私たちのタスクは、製品と国の組み合わせごとに XNUMX つの列にデータが含まれるようにデータ フレームを拡張することです。 これを行うには、引数を渡すだけです 名前の由来 マージされるフィールドの名前を含むベクトル。

df %>% pivot_wider(names_from = c(product, country),
                 values_from = "value")

#> # A tibble: 15 x 4
#>     year     A_AI    B_AI    B_EI
#>    <int>    <dbl>   <dbl>   <dbl>
#>  1  2000 -2.05     0.607   1.20  
#>  2  2001 -0.676    1.65   -0.114 
#>  3  2002  1.60    -0.0245  0.501 
#>  4  2003 -0.353    1.30   -0.459 
#>  5  2004 -0.00530  0.921  -0.0589
#>  6  2005  0.442   -1.55    0.594 
#>  7  2006 -0.610    0.380  -1.28  
#>  8  2007 -2.77     0.830   0.637 
#>  9  2008  0.899    0.0175 -1.30  
#> 10  2009 -0.106   -0.195   1.03  
#> # … with 5 more rows

関数に仕様を適用することもできます pivot_wider()。 しかし、提出すると、 pivot_wider() 仕様では逆の変換が行われます pivot_longer(): で指定された列 .nameのの値を使用して、 。値 その他のコラムも。

このデータセットでは、データ内に存在するものだけでなく、考えられるすべての国と製品の組み合わせに独自の列を持たせたい場合は、カスタム仕様を生成できます。

spec <- df %>% 
  expand(product, country, .value = "value") %>% 
  unite(".name", product, country, remove = FALSE)

#> # A tibble: 4 x 4
#>   .name product country .value
#>   <chr> <chr>   <chr>   <chr> 
#> 1 A_AI  A       AI      value 
#> 2 A_EI  A       EI      value 
#> 3 B_AI  B       AI      value 
#> 4 B_EI  B       EI      value

df %>% pivot_wider(spec = spec) %>% head()

#> # A tibble: 6 x 5
#>    year     A_AI  A_EI    B_AI    B_EI
#>   <int>    <dbl> <dbl>   <dbl>   <dbl>
#> 1  2000 -2.05       NA  0.607   1.20  
#> 2  2001 -0.676      NA  1.65   -0.114 
#> 3  2002  1.60       NA -0.0245  0.501 
#> 4  2003 -0.353      NA  1.30   -0.459 
#> 5  2004 -0.00530    NA  0.921  -0.0589
#> 6  2005  0.442      NA -1.55    0.594

新しいtidyrコンセプトを使用したいくつかの先進的な例

例として米国国勢調査の収入と家賃のデータセットを使用してデータをクリーンアップします。

データセット us_rent_income 2017 年の米国各州の収入と家賃の中央値情報が含まれています (データセットはパッケージで入手可能) 国勢調査).

us_rent_income
#> # A tibble: 104 x 5
#>    GEOID NAME       variable estimate   moe
#>    <chr> <chr>      <chr>       <dbl> <dbl>
#>  1 01    Alabama    income      24476   136
#>  2 01    Alabama    rent          747     3
#>  3 02    Alaska     income      32940   508
#>  4 02    Alaska     rent         1200    13
#>  5 04    Arizona    income      27517   148
#>  6 04    Arizona    rent          972     4
#>  7 05    Arkansas   income      23789   165
#>  8 05    Arkansas   rent          709     5
#>  9 06    California income      29454   109
#> 10 06    California rent         1358     3
#> # … with 94 more rows

データがデータセットに保存される形式 us_rent_income これらを扱うのは非常に不便なので、列を含むデータセットを作成したいと思います。 家賃, レンタルモエ, 来ます, 収入萌え。 この仕様を作成するには多くの方法がありますが、重要な点は、変数値と変数のあらゆる組み合わせを生成する必要があるということです。 推定/萌えそして列名を生成します。

  spec <- us_rent_income %>% 
    expand(variable, .value = c("estimate", "moe")) %>% 
    mutate(
      .name = paste0(variable, ifelse(.value == "moe", "_moe", ""))
    )

#> # A tibble: 4 x 3
#>   variable .value   .name     
#>   <chr>    <chr>    <chr>     
#> 1 income   estimate income    
#> 2 income   moe      income_moe
#> 3 rent     estimate rent      
#> 4 rent     moe      rent_moe

この仕様を提供する pivot_wider() 探している結果が得られます。

us_rent_income %>% pivot_wider(spec = spec)

#> # A tibble: 52 x 6
#>    GEOID NAME                 income income_moe  rent rent_moe
#>    <chr> <chr>                 <dbl>      <dbl> <dbl>    <dbl>
#>  1 01    Alabama               24476        136   747        3
#>  2 02    Alaska                32940        508  1200       13
#>  3 04    Arizona               27517        148   972        4
#>  4 05    Arkansas              23789        165   709        5
#>  5 06    California            29454        109  1358        3
#>  6 08    Colorado              32401        109  1125        5
#>  7 09    Connecticut           35326        195  1123        5
#>  8 10    Delaware              31560        247  1076       10
#>  9 11    District of Columbia  43198        681  1424       17
#> 10 12    Florida               25952         70  1077        3
#> # … with 42 more rows

世界銀行

データセットを目的の形式にするには、いくつかの手順が必要になる場合があります。
データセット ワールドバンクポップ 2000 年から 2018 年までの各国の人口に関する世界銀行のデータが含まれています。

#> # A tibble: 1,056 x 20
#>    country indicator `2000` `2001` `2002` `2003`  `2004`  `2005`   `2006`
#>    <chr>   <chr>      <dbl>  <dbl>  <dbl>  <dbl>   <dbl>   <dbl>    <dbl>
#>  1 ABW     SP.URB.T… 4.24e4 4.30e4 4.37e4 4.42e4 4.47e+4 4.49e+4  4.49e+4
#>  2 ABW     SP.URB.G… 1.18e0 1.41e0 1.43e0 1.31e0 9.51e-1 4.91e-1 -1.78e-2
#>  3 ABW     SP.POP.T… 9.09e4 9.29e4 9.50e4 9.70e4 9.87e+4 1.00e+5  1.01e+5
#>  4 ABW     SP.POP.G… 2.06e0 2.23e0 2.23e0 2.11e0 1.76e+0 1.30e+0  7.98e-1
#>  5 AFG     SP.URB.T… 4.44e6 4.65e6 4.89e6 5.16e6 5.43e+6 5.69e+6  5.93e+6
#>  6 AFG     SP.URB.G… 3.91e0 4.66e0 5.13e0 5.23e0 5.12e+0 4.77e+0  4.12e+0
#>  7 AFG     SP.POP.T… 2.01e7 2.10e7 2.20e7 2.31e7 2.41e+7 2.51e+7  2.59e+7
#>  8 AFG     SP.POP.G… 3.49e0 4.25e0 4.72e0 4.82e0 4.47e+0 3.87e+0  3.23e+0
#>  9 AGO     SP.URB.T… 8.23e6 8.71e6 9.22e6 9.77e6 1.03e+7 1.09e+7  1.15e+7
#> 10 AGO     SP.URB.G… 5.44e0 5.59e0 5.70e0 5.76e0 5.75e+0 5.69e+0  4.92e+0
#> # … with 1,046 more rows, and 11 more variables: `2007` <dbl>,
#> #   `2008` <dbl>, `2009` <dbl>, `2010` <dbl>, `2011` <dbl>, `2012` <dbl>,
#> #   `2013` <dbl>, `2014` <dbl>, `2015` <dbl>, `2016` <dbl>, `2017` <dbl>

私たちの目標は、各変数を独自の列に含むきちんとしたデータセットを作成することです。 正確にどのような手順が必要かは不明ですが、最も明白な問題、つまり年が複数の列にまたがっていることから始めます。

これを修正するには、関数を使用する必要があります pivot_longer().

pop2 <- world_bank_pop %>% 
  pivot_longer(`2000`:`2017`, names_to = "year")

#> # A tibble: 19,008 x 4
#>    country indicator   year  value
#>    <chr>   <chr>       <chr> <dbl>
#>  1 ABW     SP.URB.TOTL 2000  42444
#>  2 ABW     SP.URB.TOTL 2001  43048
#>  3 ABW     SP.URB.TOTL 2002  43670
#>  4 ABW     SP.URB.TOTL 2003  44246
#>  5 ABW     SP.URB.TOTL 2004  44669
#>  6 ABW     SP.URB.TOTL 2005  44889
#>  7 ABW     SP.URB.TOTL 2006  44881
#>  8 ABW     SP.URB.TOTL 2007  44686
#>  9 ABW     SP.URB.TOTL 2008  44375
#> 10 ABW     SP.URB.TOTL 2009  44052
#> # … with 18,998 more rows

次のステップでは、指標変数を確認します。
pop2 %>% count(indicator)

#> # A tibble: 4 x 2
#>   indicator       n
#>   <chr>       <int>
#> 1 SP.POP.GROW  4752
#> 2 SP.POP.TOTL  4752
#> 3 SP.URB.GROW  4752
#> 4 SP.URB.TOTL  4752

ここで、SP.POP.GROW は人口増加、SP.POP.TOTL は総人口、SP.URB は人口増加です。 ※同様ですが都市部のみとなります。 これらの値を XNUMX つの変数、つまり面積 - 面積 (総面積または都市) と実際のデータを含む変数 (人口または成長) に分割しましょう。

pop3 <- pop2 %>% 
  separate(indicator, c(NA, "area", "variable"))

#> # A tibble: 19,008 x 5
#>    country area  variable year  value
#>    <chr>   <chr> <chr>    <chr> <dbl>
#>  1 ABW     URB   TOTL     2000  42444
#>  2 ABW     URB   TOTL     2001  43048
#>  3 ABW     URB   TOTL     2002  43670
#>  4 ABW     URB   TOTL     2003  44246
#>  5 ABW     URB   TOTL     2004  44669
#>  6 ABW     URB   TOTL     2005  44889
#>  7 ABW     URB   TOTL     2006  44881
#>  8 ABW     URB   TOTL     2007  44686
#>  9 ABW     URB   TOTL     2008  44375
#> 10 ABW     URB   TOTL     2009  44052
#> # … with 18,998 more rows

あとは、変数を XNUMX つの列に分割するだけです。

pop3 %>% 
  pivot_wider(names_from = variable, values_from = value)

#> # A tibble: 9,504 x 5
#>    country area  year   TOTL    GROW
#>    <chr>   <chr> <chr> <dbl>   <dbl>
#>  1 ABW     URB   2000  42444  1.18  
#>  2 ABW     URB   2001  43048  1.41  
#>  3 ABW     URB   2002  43670  1.43  
#>  4 ABW     URB   2003  44246  1.31  
#>  5 ABW     URB   2004  44669  0.951 
#>  6 ABW     URB   2005  44889  0.491 
#>  7 ABW     URB   2006  44881 -0.0178
#>  8 ABW     URB   2007  44686 -0.435 
#>  9 ABW     URB   2008  44375 -0.698 
#> 10 ABW     URB   2009  44052 -0.731 
#> # … with 9,494 more rows

連絡先リスト

最後の例として、Web サイトからコピーして貼り付けた連絡先リストがあると想像してください。

contacts <- tribble(
  ~field, ~value,
  "name", "Jiena McLellan",
  "company", "Toyota", 
  "name", "John Smith", 
  "company", "google", 
  "email", "[email protected]",
  "name", "Huxley Ratcliffe"
)

どのデータがどの連絡先に属するかを識別する変数がないため、このリストを表にまとめるのは非常に困難です。 この問題は、各新しい連絡先のデータが「name」で始まることに注意することで修正できます。そのため、一意の識別子を作成し、フィールド列に値「name」が含まれるたびに XNUMX ずつ増やすことができます。

contacts <- contacts %>% 
  mutate(
    person_id = cumsum(field == "name")
  )
contacts

#> # A tibble: 6 x 3
#>   field   value            person_id
#>   <chr>   <chr>                <int>
#> 1 name    Jiena McLellan           1
#> 2 company Toyota                   1
#> 3 name    John Smith               2
#> 4 company google                   2
#> 5 email   [email protected]          2
#> 6 name    Huxley Ratcliffe         3

各連絡先に一意の ID が設定されたので、フィールドと値を列に変換できます。

contacts %>% 
  pivot_wider(names_from = field, values_from = value)

#> # A tibble: 3 x 4
#>   person_id name             company email          
#>       <int> <chr>            <chr>   <chr>          
#> 1         1 Jiena McLellan   Toyota  <NA>           
#> 2         2 John Smith       google  [email protected]
#> 3         3 Huxley Ratcliffe <NA>    <NA>

まとめ

私の個人的な意見としては、新しいコンセプトは、 きちんとした 従来の機能よりも真に直感的で機能的にも大幅に優れています spread() и gather()。 この記事があなたの対処に役立つことを願っています pivot_longer() и pivot_wider().

出所： habr.com