包 整理 包含在 R 语言中最流行的库之一的核心中 - 整洁的.
该包的主要目的是将数据转化为准确的形式。
已在 Habré 上提供
SJK:gather() 和 spread() 会被弃用吗?
哈德利·威克姆(Hadley Wickham): 在某种程度上。 我们将不再建议使用这些函数并修复其中的错误,但它们将继续以其当前状态存在于包中。
内容
如果您对数据分析感兴趣,您可能会对我的文章感兴趣
整洁数据概念 tidyr 包中包含的主要功能 将数据从宽格式转换为长格式,反之亦然的新概念 安装最新版本的 tidyr 0.8.3.9000 过渡到新功能 将数据从宽格式转换为长格式的简单示例 产品规格 使用多个值的规范(.value) 将日期帧从长格式转换为宽格式 使用新 tidyr 概念的几个高级示例 结论
整洁数据概念
目标 整理 — 帮助您将数据呈现为所谓的整齐形式。 整洁数据是指以下数据:
- 每个变量都在一列中。
- 每个观察结果都是一个字符串。
- 每个值都是一个单元格。
在进行分析时,使用以整齐数据形式呈现的数据会更加容易和方便。
tidyr 包中包含的主要功能
tidyr 包含一组旨在转换表的函数:
fill()
— 用以前的值填充列中的缺失值;separate()
— 使用分隔符将一个字段拆分为多个字段;unite()
— 执行将多个字段合并为一个的操作,该函数的逆操作separate()
;pivot_longer()
— 将数据从宽格式转换为长格式的函数;pivot_wider()
- 将数据从长格式转换为宽格式的函数。 函数执行的操作的逆操作pivot_longer()
.gather()
过时的 — 将数据从宽格式转换为长格式的函数;spread()
过时的 - 将数据从长格式转换为宽格式的函数。 函数执行的操作的逆操作gather()
.
将数据从宽格式转换为长格式,反之亦然的新概念
以前,函数用于这种转换 gather()
и spread()
。 这些函数存在多年后,很明显,对于大多数用户(包括包的作者)来说,这些函数的名称及其参数并不十分明显,并且导致查找它们和理解这些函数中哪些函数进行转换时遇到困难日期框从宽格式到长格式,反之亦然。
对此,在 整理 添加了两个新的重要函数,旨在转换日期框架。
新功能 pivot_longer()
и pivot_wider()
受到软件包中的一些功能的启发 数据,由约翰·蒙特和尼娜·祖梅尔创作。
安装最新版本的 tidyr 0.8.3.9000
安装最新版本的软件包 整理 0.8.3.9000,如果有新功能可用,请使用以下代码。
devtools::install_github("tidyverse/tidyr")
在撰写本文时,这些函数仅在 GitHub 上的开发版本中可用。
过渡到新功能
事实上,迁移旧脚本来使用新函数并不困难;为了更好地理解,我将从旧函数的文档中举一个例子,展示如何使用新函数执行相同的操作 pivot_*()
功能。
将宽格式转换为长格式。
收集函数文档中的示例代码
# example
library(dplyr)
stocks <- data.frame(
time = as.Date('2009-01-01') + 0:9,
X = rnorm(10, 0, 1),
Y = rnorm(10, 0, 2),
Z = rnorm(10, 0, 4)
)
# old
stocks_gather <- stocks %>% gather(key = stock,
value = price,
-time)
# new
stocks_long <- stocks %>% pivot_longer(cols = -time,
names_to = "stock",
values_to = "price")
将长格式转换为宽格式。
扩展函数文档中的示例代码
# old
stocks_spread <- stocks_gather %>% spread(key = stock,
value = price)
# new
stock_wide <- stocks_long %>% pivot_wider(names_from = "stock",
values_from = "price")
因为在上面的工作示例中 pivot_longer()
и pivot_wider()
,在原表中 股票 参数中未列出任何列 姓名_to и 值_to 他们的名字必须用引号引起来。
一张表格将帮助您最轻松地了解如何转而使用新概念 整理.
来自作者的注释
下面的所有文字都是自适应的,我什至会说免费翻译
小插曲 来自 tidyverse 图书馆官方网站。
将数据从宽格式转换为长格式的简单示例
pivot_longer ()
— 通过减少列数和增加行数来使数据集更长。
要运行本文中提供的示例,您首先需要连接必要的包:
library(tidyr)
library(dplyr)
library(readr)
假设我们有一个表格,其中包含一项调查结果(除其他外)询问人们的宗教信仰和年收入:
#> # A tibble: 18 x 11
#> religion `<$10k` `$10-20k` `$20-30k` `$30-40k` `$40-50k` `$50-75k`
#> <chr> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
#> 1 Agnostic 27 34 60 81 76 137
#> 2 Atheist 12 27 37 52 35 70
#> 3 Buddhist 27 21 30 34 33 58
#> 4 Catholic 418 617 732 670 638 1116
#> 5 Don’t k… 15 14 15 11 10 35
#> 6 Evangel… 575 869 1064 982 881 1486
#> 7 Hindu 1 9 7 9 11 34
#> 8 Histori… 228 244 236 238 197 223
#> 9 Jehovah… 20 27 24 24 21 30
#> 10 Jewish 19 19 25 25 30 95
#> # … with 8 more rows, and 4 more variables: `$75-100k` <dbl>,
#> # `$100-150k` <dbl>, `>150k` <dbl>, `Don't know/refused` <dbl>
该表按行包含受访者的宗教数据,收入水平分散在各列名称中。 每个类别的受访者数量存储在宗教和收入水平交叉点的单元格值中。 为了使表格变得整齐、正确的格式,使用就足够了 pivot_longer()
:
pew %>%
pivot_longer(cols = -religion, names_to = "income", values_to = "count")
pew %>%
pivot_longer(cols = -religion, names_to = "income", values_to = "count")
#> # A tibble: 180 x 3
#> religion income count
#> <chr> <chr> <dbl>
#> 1 Agnostic <$10k 27
#> 2 Agnostic $10-20k 34
#> 3 Agnostic $20-30k 60
#> 4 Agnostic $30-40k 81
#> 5 Agnostic $40-50k 76
#> 6 Agnostic $50-75k 137
#> 7 Agnostic $75-100k 122
#> 8 Agnostic $100-150k 109
#> 9 Agnostic >150k 84
#> 10 Agnostic Don't know/refused 96
#> # … with 170 more rows
函数参数 pivot_longer()
- 第一个论点 列,描述需要合并哪些列。 在这种情况下,除 次.
- 争论 姓名_to 给出将从我们连接的列的名称创建的变量的名称。
- 值_to 给出将从存储在合并列的单元格值中的数据创建的变量的名称。
产品规格
这是该包的新功能 整理,以前在使用遗留函数时不可用。
规范是一个数据框,其每一行对应于新输出日期框架中的一列,以及两个以以下开头的特殊列:
- 。名称 包含原始列名称。
- .value的 包含将包含单元格值的列的名称。
规范的其余列反映了新列将如何显示压缩列的名称 。名称.
规范描述了以列名存储的元数据,每列一行,每个变量一列,与列名结合起来,这个定义目前看起来可能很混乱,但是看了几个例子就会变得很多更清晰。
该规范的要点是您可以检索、修改和定义正在转换的数据帧的新元数据。
要在将表从宽格式转换为长格式时使用规范,请使用该函数 pivot_longer_spec()
.
该函数的工作原理是,它采用任何日期框架并以上述方式生成其元数据。
作为示例,我们以包中提供的 who 数据集为例 整理。 该数据集包含国际卫生组织提供的有关结核病发病率的信息。
who
#> # A tibble: 7,240 x 60
#> country iso2 iso3 year new_sp_m014 new_sp_m1524 new_sp_m2534
#> <chr> <chr> <chr> <int> <int> <int> <int>
#> 1 Afghan… AF AFG 1980 NA NA NA
#> 2 Afghan… AF AFG 1981 NA NA NA
#> 3 Afghan… AF AFG 1982 NA NA NA
#> 4 Afghan… AF AFG 1983 NA NA NA
#> 5 Afghan… AF AFG 1984 NA NA NA
#> 6 Afghan… AF AFG 1985 NA NA NA
#> 7 Afghan… AF AFG 1986 NA NA NA
#> 8 Afghan… AF AFG 1987 NA NA NA
#> 9 Afghan… AF AFG 1988 NA NA NA
#> 10 Afghan… AF AFG 1989 NA NA NA
#> # … with 7,230 more rows, and 53 more variables
让我们构建它的规范。
spec <- who %>%
pivot_longer_spec(new_sp_m014:newrel_f65, values_to = "count")
#> # A tibble: 56 x 3
#> .name .value name
#> <chr> <chr> <chr>
#> 1 new_sp_m014 count new_sp_m014
#> 2 new_sp_m1524 count new_sp_m1524
#> 3 new_sp_m2534 count new_sp_m2534
#> 4 new_sp_m3544 count new_sp_m3544
#> 5 new_sp_m4554 count new_sp_m4554
#> 6 new_sp_m5564 count new_sp_m5564
#> 7 new_sp_m65 count new_sp_m65
#> 8 new_sp_f014 count new_sp_f014
#> 9 new_sp_f1524 count new_sp_f1524
#> 10 new_sp_f2534 count new_sp_f2534
#> # … with 46 more rows
领域 国家, iso2, iso3 已经是变量。 我们的任务是翻转列 新_sp_m014 上 newrel_f65.
这些列的名称存储以下信息:
- 字首
new_
表示该列包含有关结核病新病例的数据,当前日期范围仅包含有关新疾病的信息,因此此前缀在当前上下文中不具有任何含义。 sp
/rel
/sp
/ep
描述了一种诊断疾病的方法。m
/f
患者的性别。014
/1524
/2535
/3544
/4554
/65
患者年龄范围。
我们可以使用函数拆分这些列 extract()
使用正则表达式。
spec <- spec %>%
extract(name, c("diagnosis", "gender", "age"), "new_?(.*)_(.)(.*)")
#> # A tibble: 56 x 5
#> .name .value diagnosis gender age
#> <chr> <chr> <chr> <chr> <chr>
#> 1 new_sp_m014 count sp m 014
#> 2 new_sp_m1524 count sp m 1524
#> 3 new_sp_m2534 count sp m 2534
#> 4 new_sp_m3544 count sp m 3544
#> 5 new_sp_m4554 count sp m 4554
#> 6 new_sp_m5564 count sp m 5564
#> 7 new_sp_m65 count sp m 65
#> 8 new_sp_f014 count sp f 014
#> 9 new_sp_f1524 count sp f 1524
#> 10 new_sp_f2534 count sp f 2534
#> # … with 46 more rows
请注意栏目 。名称 应保持不变,因为这是我们对原始数据集的列名称的索引。
性别和年龄(列 性别 и 年龄)具有固定且已知的值,因此建议将这些列转换为因子:
spec <- spec %>%
mutate(
gender = factor(gender, levels = c("f", "m")),
age = factor(age, levels = unique(age), ordered = TRUE)
)
最后,为了将我们创建的规范应用到原始日期范围 谁 我们需要使用一个参数 规格 在功能上 pivot_longer()
.
who %>% pivot_longer(spec = spec)
#> # A tibble: 405,440 x 8
#> country iso2 iso3 year diagnosis gender age count
#> <chr> <chr> <chr> <int> <chr> <fct> <ord> <int>
#> 1 Afghanistan AF AFG 1980 sp m 014 NA
#> 2 Afghanistan AF AFG 1980 sp m 1524 NA
#> 3 Afghanistan AF AFG 1980 sp m 2534 NA
#> 4 Afghanistan AF AFG 1980 sp m 3544 NA
#> 5 Afghanistan AF AFG 1980 sp m 4554 NA
#> 6 Afghanistan AF AFG 1980 sp m 5564 NA
#> 7 Afghanistan AF AFG 1980 sp m 65 NA
#> 8 Afghanistan AF AFG 1980 sp f 014 NA
#> 9 Afghanistan AF AFG 1980 sp f 1524 NA
#> 10 Afghanistan AF AFG 1980 sp f 2534 NA
#> # … with 405,430 more rows
我们刚才所做的一切可以示意性地描述如下:
使用多个值的规范(.value)
在上面的例子中,规格栏 .value的 仅包含一个值,大多数情况都是这种情况。
但有时,当您需要从值中具有不同数据类型的列收集数据时,可能会出现这种情况。 使用遗留函数 spread()
这很难做到。
下面的例子摘自
让我们创建一个训练数据框。
family <- tibble::tribble(
~family, ~dob_child1, ~dob_child2, ~gender_child1, ~gender_child2,
1L, "1998-11-26", "2000-01-29", 1L, 2L,
2L, "1996-06-22", NA, 2L, NA,
3L, "2002-07-11", "2004-04-05", 2L, 2L,
4L, "2004-10-10", "2009-08-27", 1L, 1L,
5L, "2000-12-05", "2005-02-28", 2L, 1L,
)
family <- family %>% mutate_at(vars(starts_with("dob")), parse_date)
#> # A tibble: 5 x 5
#> family dob_child1 dob_child2 gender_child1 gender_child2
#> <int> <date> <date> <int> <int>
#> 1 1 1998-11-26 2000-01-29 1 2
#> 2 2 1996-06-22 NA 2 NA
#> 3 3 2002-07-11 2004-04-05 2 2
#> 4 4 2004-10-10 2009-08-27 1 1
#> 5 5 2000-12-05 2005-02-28 2 1
创建的日期范围在每一行中包含一个家庭的孩子的数据。 家庭可能有一两个孩子。 对于每个孩子,提供了出生日期和性别的数据,并且每个孩子的数据位于单独的列中;我们的任务是将这些数据转换为正确的格式以进行分析。
请注意,我们有两个变量包含每个孩子的信息:性别和出生日期(带有前缀的列 洗礼 包含出生日期,带有前缀的列 性别 包含孩子的性别)。 预期的结果是它们应该出现在单独的列中。 我们可以通过生成一个规范来做到这一点,其中列 .value
将有两种不同的含义。
spec <- family %>%
pivot_longer_spec(-family) %>%
separate(col = name, into = c(".value", "child"))%>%
mutate(child = parse_number(child))
#> # A tibble: 4 x 3
#> .name .value child
#> <chr> <chr> <dbl>
#> 1 dob_child1 dob 1
#> 2 dob_child2 dob 2
#> 3 gender_child1 gender 1
#> 4 gender_child2 gender 2
那么,让我们一步步看看上面代码执行的操作。
pivot_longer_spec(-family)
— 创建压缩除族列之外的所有现有列的规范。separate(col = name, into = c(".value", "child"))
- 拆分列 。名称,其中包含源字段的名称,使用下划线并将结果值输入到列中 .value的 и 孩子.mutate(child = parse_number(child))
— 转换字段值 孩子 从文本数据类型到数字数据类型。
现在我们可以将生成的规范应用到原始数据帧并将表格转换为所需的形式。
family %>%
pivot_longer(spec = spec, na.rm = T)
#> # A tibble: 9 x 4
#> family child dob gender
#> <int> <dbl> <date> <int>
#> 1 1 1 1998-11-26 1
#> 2 1 2 2000-01-29 2
#> 3 2 1 1996-06-22 2
#> 4 3 1 2002-07-11 2
#> 5 3 2 2004-04-05 2
#> 6 4 1 2004-10-10 1
#> 7 4 2 2009-08-27 1
#> 8 5 1 2000-12-05 2
#> 9 5 2 2005-02-28 1
我们使用论证 na.rm = TRUE
,因为数据的当前形式强制为不存在的观测值创建额外的行。 因为家庭2只有一个孩子, na.rm = TRUE
保证系列 2 将在输出中包含一行。
将日期帧从长格式转换为宽格式
pivot_wider()
- 是逆变换,反之亦然,通过减少行数来增加日期框的列数。
这种转换很少用于将数据转换为准确的形式,但是,这种技术对于创建演示文稿中使用的数据透视表或与某些其他工具集成非常有用。
其实功能 pivot_longer()
и pivot_wider()
是对称的,并且产生彼此相反的作用,即: df %>% pivot_longer(spec = spec) %>% pivot_wider(spec = spec)
и df %>% pivot_wider(spec = spec) %>% pivot_longer(spec = spec)
将返回原始 df。
将表格转换为宽格式的最简单示例
演示该功能如何工作 pivot_wider()
我们将使用数据集 鱼的遭遇,它存储有关不同站点如何记录鱼类沿河运动的信息。
#> # A tibble: 114 x 3
#> fish station seen
#> <fct> <fct> <int>
#> 1 4842 Release 1
#> 2 4842 I80_1 1
#> 3 4842 Lisbon 1
#> 4 4842 Rstr 1
#> 5 4842 Base_TD 1
#> 6 4842 BCE 1
#> 7 4842 BCW 1
#> 8 4842 BCE2 1
#> 9 4842 BCW2 1
#> 10 4842 MAE 1
#> # … with 104 more rows
在大多数情况下,如果您在单独的列中提供每个站点的信息,则此表将提供更多信息且更易于使用。
fish_encounters %>% pivot_wider(names_from = station, values_from = seen)
fish_encounters %>% pivot_wider(names_from = station, values_from = seen)
#> # A tibble: 19 x 12
#> fish Release I80_1 Lisbon Rstr Base_TD BCE BCW BCE2 BCW2 MAE
#> <fct> <int> <int> <int> <int> <int> <int> <int> <int> <int> <int>
#> 1 4842 1 1 1 1 1 1 1 1 1 1
#> 2 4843 1 1 1 1 1 1 1 1 1 1
#> 3 4844 1 1 1 1 1 1 1 1 1 1
#> 4 4845 1 1 1 1 1 NA NA NA NA NA
#> 5 4847 1 1 1 NA NA NA NA NA NA NA
#> 6 4848 1 1 1 1 NA NA NA NA NA NA
#> 7 4849 1 1 NA NA NA NA NA NA NA NA
#> 8 4850 1 1 NA 1 1 1 1 NA NA NA
#> 9 4851 1 1 NA NA NA NA NA NA NA NA
#> 10 4854 1 1 NA NA NA NA NA NA NA NA
#> # … with 9 more rows, and 1 more variable: MAW <int>
该数据集仅记录该站检测到鱼时的信息,即如果某个站没有记录任何鱼类,则该数据将不会出现在表中。 这意味着输出将被 NA 填充。
然而,在这种情况下,我们知道没有记录意味着没有看到鱼,所以我们可以使用参数 值填充 在功能上 pivot_wider()
并用零填充这些缺失值:
fish_encounters %>% pivot_wider(
names_from = station,
values_from = seen,
values_fill = list(seen = 0)
)
#> # A tibble: 19 x 12
#> fish Release I80_1 Lisbon Rstr Base_TD BCE BCW BCE2 BCW2 MAE
#> <fct> <int> <int> <int> <int> <int> <int> <int> <int> <int> <int>
#> 1 4842 1 1 1 1 1 1 1 1 1 1
#> 2 4843 1 1 1 1 1 1 1 1 1 1
#> 3 4844 1 1 1 1 1 1 1 1 1 1
#> 4 4845 1 1 1 1 1 0 0 0 0 0
#> 5 4847 1 1 1 0 0 0 0 0 0 0
#> 6 4848 1 1 1 1 0 0 0 0 0 0
#> 7 4849 1 1 0 0 0 0 0 0 0 0
#> 8 4850 1 1 0 1 1 1 1 0 0 0
#> 9 4851 1 1 0 0 0 0 0 0 0 0
#> 10 4854 1 1 0 0 0 0 0 0 0 0
#> # … with 9 more rows, and 1 more variable: MAW <int>
从多个源变量生成列名
假设我们有一个包含产品、国家/地区和年份组合的表。 要生成测试日期范围,您可以运行以下代码:
df <- expand_grid(
product = c("A", "B"),
country = c("AI", "EI"),
year = 2000:2014
) %>%
filter((product == "A" & country == "AI") | product == "B") %>%
mutate(value = rnorm(nrow(.)))
#> # A tibble: 45 x 4
#> product country year value
#> <chr> <chr> <int> <dbl>
#> 1 A AI 2000 -2.05
#> 2 A AI 2001 -0.676
#> 3 A AI 2002 1.60
#> 4 A AI 2003 -0.353
#> 5 A AI 2004 -0.00530
#> 6 A AI 2005 0.442
#> 7 A AI 2006 -0.610
#> 8 A AI 2007 -2.77
#> 9 A AI 2008 0.899
#> 10 A AI 2009 -0.106
#> # … with 35 more rows
我们的任务是扩展数据框架,以便一列包含产品和国家/地区每种组合的数据。 为此,只需传入参数即可 姓名_来自 包含要合并的字段名称的向量。
df %>% pivot_wider(names_from = c(product, country),
values_from = "value")
#> # A tibble: 15 x 4
#> year A_AI B_AI B_EI
#> <int> <dbl> <dbl> <dbl>
#> 1 2000 -2.05 0.607 1.20
#> 2 2001 -0.676 1.65 -0.114
#> 3 2002 1.60 -0.0245 0.501
#> 4 2003 -0.353 1.30 -0.459
#> 5 2004 -0.00530 0.921 -0.0589
#> 6 2005 0.442 -1.55 0.594
#> 7 2006 -0.610 0.380 -1.28
#> 8 2007 -2.77 0.830 0.637
#> 9 2008 0.899 0.0175 -1.30
#> 10 2009 -0.106 -0.195 1.03
#> # … with 5 more rows
您还可以将规范应用于函数 pivot_wider()
。 但当提交给 pivot_wider()
规范进行相反的转换 pivot_longer()
: 中指定的列 。名称,使用来自的值 .value的 和其他专栏。
对于此数据集,如果您希望每个可能的国家/地区和产品组合都有自己的列,而不仅仅是数据中存在的列,则可以生成自定义规范:
spec <- df %>%
expand(product, country, .value = "value") %>%
unite(".name", product, country, remove = FALSE)
#> # A tibble: 4 x 4
#> .name product country .value
#> <chr> <chr> <chr> <chr>
#> 1 A_AI A AI value
#> 2 A_EI A EI value
#> 3 B_AI B AI value
#> 4 B_EI B EI value
df %>% pivot_wider(spec = spec) %>% head()
#> # A tibble: 6 x 5
#> year A_AI A_EI B_AI B_EI
#> <int> <dbl> <dbl> <dbl> <dbl>
#> 1 2000 -2.05 NA 0.607 1.20
#> 2 2001 -0.676 NA 1.65 -0.114
#> 3 2002 1.60 NA -0.0245 0.501
#> 4 2003 -0.353 NA 1.30 -0.459
#> 5 2004 -0.00530 NA 0.921 -0.0589
#> 6 2005 0.442 NA -1.55 0.594
使用新 tidyr 概念的几个高级示例
以美国人口普查收入和租金数据集为例清理数据。
数据集 我们的租金收入 包含 2017 年美国每个州的中位收入和租金信息(数据集可在包中找到) 整理人口普查).
us_rent_income
#> # A tibble: 104 x 5
#> GEOID NAME variable estimate moe
#> <chr> <chr> <chr> <dbl> <dbl>
#> 1 01 Alabama income 24476 136
#> 2 01 Alabama rent 747 3
#> 3 02 Alaska income 32940 508
#> 4 02 Alaska rent 1200 13
#> 5 04 Arizona income 27517 148
#> 6 04 Arizona rent 972 4
#> 7 05 Arkansas income 23789 165
#> 8 05 Arkansas rent 709 5
#> 9 06 California income 29454 109
#> 10 06 California rent 1358 3
#> # … with 94 more rows
数据在数据集中存储的形式 我们的租金收入 使用它们非常不方便,因此我们想创建一个包含列的数据集: 租用, 租_萌, 如何, 收入_教育部。 创建此规范的方法有很多种,但要点是我们需要生成变量值的每种组合以及 估计/教育部然后生成列名。
spec <- us_rent_income %>%
expand(variable, .value = c("estimate", "moe")) %>%
mutate(
.name = paste0(variable, ifelse(.value == "moe", "_moe", ""))
)
#> # A tibble: 4 x 3
#> variable .value .name
#> <chr> <chr> <chr>
#> 1 income estimate income
#> 2 income moe income_moe
#> 3 rent estimate rent
#> 4 rent moe rent_moe
提供本规范 pivot_wider()
给了我们我们正在寻找的结果:
us_rent_income %>% pivot_wider(spec = spec)
#> # A tibble: 52 x 6
#> GEOID NAME income income_moe rent rent_moe
#> <chr> <chr> <dbl> <dbl> <dbl> <dbl>
#> 1 01 Alabama 24476 136 747 3
#> 2 02 Alaska 32940 508 1200 13
#> 3 04 Arizona 27517 148 972 4
#> 4 05 Arkansas 23789 165 709 5
#> 5 06 California 29454 109 1358 3
#> 6 08 Colorado 32401 109 1125 5
#> 7 09 Connecticut 35326 195 1123 5
#> 8 10 Delaware 31560 247 1076 10
#> 9 11 District of Columbia 43198 681 1424 17
#> 10 12 Florida 25952 70 1077 3
#> # … with 42 more rows
世界银行
有时将数据集转换为所需的形式需要几个步骤。
数据集 世界银行流行音乐 包含世界银行 2000 年至 2018 年间每个国家的人口数据。
#> # A tibble: 1,056 x 20
#> country indicator `2000` `2001` `2002` `2003` `2004` `2005` `2006`
#> <chr> <chr> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
#> 1 ABW SP.URB.T… 4.24e4 4.30e4 4.37e4 4.42e4 4.47e+4 4.49e+4 4.49e+4
#> 2 ABW SP.URB.G… 1.18e0 1.41e0 1.43e0 1.31e0 9.51e-1 4.91e-1 -1.78e-2
#> 3 ABW SP.POP.T… 9.09e4 9.29e4 9.50e4 9.70e4 9.87e+4 1.00e+5 1.01e+5
#> 4 ABW SP.POP.G… 2.06e0 2.23e0 2.23e0 2.11e0 1.76e+0 1.30e+0 7.98e-1
#> 5 AFG SP.URB.T… 4.44e6 4.65e6 4.89e6 5.16e6 5.43e+6 5.69e+6 5.93e+6
#> 6 AFG SP.URB.G… 3.91e0 4.66e0 5.13e0 5.23e0 5.12e+0 4.77e+0 4.12e+0
#> 7 AFG SP.POP.T… 2.01e7 2.10e7 2.20e7 2.31e7 2.41e+7 2.51e+7 2.59e+7
#> 8 AFG SP.POP.G… 3.49e0 4.25e0 4.72e0 4.82e0 4.47e+0 3.87e+0 3.23e+0
#> 9 AGO SP.URB.T… 8.23e6 8.71e6 9.22e6 9.77e6 1.03e+7 1.09e+7 1.15e+7
#> 10 AGO SP.URB.G… 5.44e0 5.59e0 5.70e0 5.76e0 5.75e+0 5.69e+0 4.92e+0
#> # … with 1,046 more rows, and 11 more variables: `2007` <dbl>,
#> # `2008` <dbl>, `2009` <dbl>, `2010` <dbl>, `2011` <dbl>, `2012` <dbl>,
#> # `2013` <dbl>, `2014` <dbl>, `2015` <dbl>, `2016` <dbl>, `2017` <dbl>
我们的目标是创建一个整洁的数据集,每个变量都在自己的列中。 目前尚不清楚到底需要采取哪些步骤,但我们将从最明显的问题开始:年份分布在多个列中。
为了解决这个问题,您需要使用该功能 pivot_longer()
.
pop2 <- world_bank_pop %>%
pivot_longer(`2000`:`2017`, names_to = "year")
#> # A tibble: 19,008 x 4
#> country indicator year value
#> <chr> <chr> <chr> <dbl>
#> 1 ABW SP.URB.TOTL 2000 42444
#> 2 ABW SP.URB.TOTL 2001 43048
#> 3 ABW SP.URB.TOTL 2002 43670
#> 4 ABW SP.URB.TOTL 2003 44246
#> 5 ABW SP.URB.TOTL 2004 44669
#> 6 ABW SP.URB.TOTL 2005 44889
#> 7 ABW SP.URB.TOTL 2006 44881
#> 8 ABW SP.URB.TOTL 2007 44686
#> 9 ABW SP.URB.TOTL 2008 44375
#> 10 ABW SP.URB.TOTL 2009 44052
#> # … with 18,998 more rows
下一步是查看指示变量。
pop2 %>% count(indicator)
#> # A tibble: 4 x 2
#> indicator n
#> <chr> <int>
#> 1 SP.POP.GROW 4752
#> 2 SP.POP.TOTL 4752
#> 3 SP.URB.GROW 4752
#> 4 SP.URB.TOTL 4752
其中 SP.POP.GROW 是人口增长,SP.POP.TOTL 是总人口,SP.URB。 * 同样的事情,但仅适用于城市地区。 让我们将这些值分为两个变量:面积 - 面积(总面积或城市面积)和一个包含实际数据(人口或增长)的变量:
pop3 <- pop2 %>%
separate(indicator, c(NA, "area", "variable"))
#> # A tibble: 19,008 x 5
#> country area variable year value
#> <chr> <chr> <chr> <chr> <dbl>
#> 1 ABW URB TOTL 2000 42444
#> 2 ABW URB TOTL 2001 43048
#> 3 ABW URB TOTL 2002 43670
#> 4 ABW URB TOTL 2003 44246
#> 5 ABW URB TOTL 2004 44669
#> 6 ABW URB TOTL 2005 44889
#> 7 ABW URB TOTL 2006 44881
#> 8 ABW URB TOTL 2007 44686
#> 9 ABW URB TOTL 2008 44375
#> 10 ABW URB TOTL 2009 44052
#> # … with 18,998 more rows
现在我们要做的就是将变量分成两列:
pop3 %>%
pivot_wider(names_from = variable, values_from = value)
#> # A tibble: 9,504 x 5
#> country area year TOTL GROW
#> <chr> <chr> <chr> <dbl> <dbl>
#> 1 ABW URB 2000 42444 1.18
#> 2 ABW URB 2001 43048 1.41
#> 3 ABW URB 2002 43670 1.43
#> 4 ABW URB 2003 44246 1.31
#> 5 ABW URB 2004 44669 0.951
#> 6 ABW URB 2005 44889 0.491
#> 7 ABW URB 2006 44881 -0.0178
#> 8 ABW URB 2007 44686 -0.435
#> 9 ABW URB 2008 44375 -0.698
#> 10 ABW URB 2009 44052 -0.731
#> # … with 9,494 more rows
联络人清单
最后一个例子,假设您有一个从网站复制并粘贴的联系人列表:
contacts <- tribble(
~field, ~value,
"name", "Jiena McLellan",
"company", "Toyota",
"name", "John Smith",
"company", "google",
"email", "[email protected]",
"name", "Huxley Ratcliffe"
)
将此列表制成表格非常困难,因为没有变量可以识别哪些数据属于哪个联系人。 我们可以通过注意到每个新联系人的数据以“name”开头来解决此问题,因此我们可以创建一个唯一标识符,并在每次字段列包含值“name”时将其加一:
contacts <- contacts %>%
mutate(
person_id = cumsum(field == "name")
)
contacts
#> # A tibble: 6 x 3
#> field value person_id
#> <chr> <chr> <int>
#> 1 name Jiena McLellan 1
#> 2 company Toyota 1
#> 3 name John Smith 2
#> 4 company google 2
#> 5 email [email protected] 2
#> 6 name Huxley Ratcliffe 3
现在我们为每个联系人都有了唯一的 ID,我们可以将字段和值转换为列:
contacts %>%
pivot_wider(names_from = field, values_from = value)
#> # A tibble: 3 x 4
#> person_id name company email
#> <int> <chr> <chr> <chr>
#> 1 1 Jiena McLellan Toyota <NA>
#> 2 2 John Smith google [email protected]
#> 3 3 Huxley Ratcliffe <NA> <NA>
结论
我个人的看法是新概念 整理 真正更加直观,并且在功能上明显优于传统功能 spread()
и gather()
。 我希望这篇文章能帮助你解决 pivot_longer()
и pivot_wider()
.
来源: habr.com