R paketea tidyr eta bere funtzio berriak pivot_longer eta pivot_wider
pakete txukun R hizkuntzako liburutegi ezagunenetako baten muinean sartuta - txukuna.
Paketearen helburu nagusia datuak forma zehatz batean ekartzea da.
Dagoeneko eskuragarri dago Habré-n argitalpena pakete honi eskainia, baina 2015ekoa da. Eta orain dela egun batzuk bere egileak, Hedley Wickhamek, iragarritako aldaketa berrienak kontatu nahi ditut.
SJK: Gather() eta spread() zaharkituta geratuko al da?
Hadley Wickham: Neurri batean. Aurrerantzean ez dugu funtzio hauek erabiltzea gomendatuko eta horietan akatsak konponduko, baina paketean egongo dira uneko egoeran.
Edukia
Datuen analisia interesatzen bazaizu, baliteke nirea interesatzea telegrama и youtube kanalak. Eduki gehienak R hizkuntzari eskainitakoak dira.
Helburua txukun — datuak forma txukuna deitzen den batera eramaten lagunduko dizu. Datu garbiak datuak dira non:
Aldagai bakoitza zutabe batean dago.
Behaketa bakoitza kate bat da.
Balio bakoitza gelaxka bat da.
Analisiak egiterakoan datu txukunetan aurkezten diren datuekin lan egitea askoz errazagoa eta erosoagoa da.
Tidyr paketean sartzen diren funtzio nagusiak
tidyr-ek taulak eraldatzeko diseinatutako funtzio multzo bat dauka:
fill() — falta diren balioak zutabe batean aurreko balioekin betetzea;
separate() — eremu bat hainbatetan banatzen du bereizle bat erabiliz;
unite() — Hainbat eremu bakarrean konbinatzeko eragiketa egiten du, funtzioaren alderantzizko ekintza separate();
pivot_longer() — datuak formatu zabaletik formatu luzera bihurtzen dituen funtzioa;
pivot_wider() - datuak formatu luzetik formatu zabalera bihurtzen dituen funtzioa. Funtzioak egiten duenaren alderantzizko eragiketa pivot_longer().
gather()zaharkitua — datuak formatu zabaletik formatu luzera bihurtzen dituen funtzioa;
spread()zaharkitua - datuak formatu luzetik formatu zabalera bihurtzen dituen funtzioa. Funtzioak egiten duenaren alderantzizko eragiketa gather().
Datuak formatu zabaletik luzera eta alderantziz bihurtzeko kontzeptu berria
Aurretik, funtzioak erabiltzen ziren eraldaketa mota honetarako gather() и spread(). Funtzio hauek egon ziren urteetan zehar, begi bistakoa izan zen erabiltzaile gehienentzat, paketearen egilea barne, funtzio horien izenak eta haien argumentuak ez zirela guztiz agerikoak, eta zailtasunak eragiten zituela horiek aurkitzeko eta funtzio hauetako zein bihurtzen den ulertzeko. data-markoa formatu zabaletik luzera, eta alderantziz.
Ildo horretatik, urtean txukun Bi funtzio berri eta garrantzitsu gehitu dira, data-markoak eraldatzeko diseinatuta daudenak.
Ezaugarri berriak pivot_longer() и pivot_wider() paketearen ezaugarri batzuetan inspiratu ziren cdata, John Mount eta Nina Zumel-ek sortua.
Tidyr 0.8.3.9000 bertsio berriena instalatzen
Paketearen bertsio berria eta berriena instalatzeko txukun0.8.3.9000, eginbide berriak eskuragarri daudenean, erabili hurrengo kodea.
devtools::install_github("tidyverse/tidyr")
Idazteko unean, funtzio hauek GitHub-en paketearen garapenerako bertsioan bakarrik daude eskuragarri.
Ezaugarri berrietarako trantsizioa
Izan ere, script zaharrak funtzio berriekin lan egiteko bihurtzea ez da zaila, hobeto ulertzeko, funtzio zaharren dokumentaziotik adibide bat hartuko dut eta eragiketa berdinak nola egiten diren erakutsiko dut berriak erabiliz. pivot_*() funtzioak.
Bihurtu formatu zabala formatu luzera.
Bildu funtzioaren dokumentazioko kodea adibidea
# example
library(dplyr)
stocks <- data.frame(
time = as.Date('2009-01-01') + 0:9,
X = rnorm(10, 0, 1),
Y = rnorm(10, 0, 2),
Z = rnorm(10, 0, 4)
)
# old
stocks_gather <- stocks %>% gather(key = stock,
value = price,
-time)
# new
stocks_long <- stocks %>% pivot_longer(cols = -time,
names_to = "stock",
values_to = "price")
Formatu luzea formatu zabalera bihurtzea.
Hedapen funtzioaren dokumentazioko kodea adibidea
# old
stocks_spread <- stocks_gather %>% spread(key = stock,
value = price)
# new
stock_wide <- stocks_long %>% pivot_wider(names_from = "stock",
values_from = "price")
Zeren lan egiteko goiko adibideetan pivot_longer() и pivot_wider(), jatorrizko taulan stock argumentuetan zerrendatutako zutaberik ez izenak_to и balioak_to haien izenak komatxo artean egon behar dira.
Kontzeptu berri batekin lanera nola aldatu jakiteko errazen lagunduko dizun taula txukun.
Egilearen oharra
Beheko testu guztia moldagarria da, itzulpen librea ere esango nuke binetak tidyverse liburutegiko webgune ofizialetik.
Datuak formatu zabaletik luzera bihurtzeko adibide sinplea
pivot_longer () — Datu multzoak luzeagoak egiten ditu, zutabe kopurua murriztuz eta errenkada kopurua handituz.
Artikuluan aurkezten diren adibideak exekutatzeko, lehenik eta behin beharrezko paketeak konektatu behar dituzu:
library(tidyr)
library(dplyr)
library(readr)
Demagun taula bat daukagula inkesta baten emaitzekin (besteak beste) jendeari beren erlijioaz eta urteko diru-sarreraz galdetuz:
Taula honek inkestatuen erlijio datuak errenkadetan jasotzen ditu, eta diru-sarrera-mailak zutabe-izenetan banatuta daude. Kategoria bakoitzeko inkestatuen kopurua erlijioaren eta errenta-mailaren arteko elkargunean dauden gelaxken balioetan gordetzen da. Taula formatu txukun eta zuzen batean ekartzeko, nahikoa da erabiltzea pivot_longer():
Lehen argumentua lepokoak, zein zutabe batu behar diren deskribatzen du. Kasu honetan, zutabe guztiak izan ezik denbora.
Argudioa izenak_to kateatu ditugun zutabeen izenetatik sortuko den aldagaiaren izena ematen du.
balioak_to batutako zutabeen gelaxken balioetan gordetako datuetatik sortuko den aldagai baten izena ematen du.
Zehaztapenak
Hau paketearen funtzionaltasun berria da txukun, lehendik erabilgarri ez zegoen funtzio zaharrekin lan egitean.
Zehaztapen bat datu-marko bat da, eta errenkada bakoitza irteera-data-marko berriko zutabe bati dagokio eta honekin hasten diren bi zutabe berezi:
. Izena jatorrizko zutabearen izena dauka.
.balioa gelaxken balioak edukiko dituen zutabearen izena dauka.
Zehaztapenaren gainerako zutabeek zutabe berriak konprimitutako zutabeen izena nola erakutsiko duten islatzen dute . Izena.
Zehaztapenak zutabe-izen batean gordetako metadatuak deskribatzen ditu, zutabe bakoitzeko errenkada bat eta aldagai bakoitzeko zutabe batekin, zutabe-izenarekin konbinatuta, definizio hau nahasia dirudi une honetan, baina adibide batzuk ikusi ondoren asko bihurtuko da. argiago.
Zehaztapenaren helburua da bihurtzen ari den datu-markoaren metadatu berriak berreskuratu, aldatu eta defini ditzakezula.
Taula formatu zabal batetik formatu luze batera bihurtzean zehaztapenekin lan egiteko, erabili funtzioa pivot_longer_spec().
Funtzio honek nola funtzionatzen duen da edozein data-marko hartzen duela eta bere metadatuak goian azaldutako eran sortzen dituela.
Adibide gisa, har dezagun paketearekin ematen den who datu multzoa txukun. Datu multzo honek nazioarteko osasun erakundeak tuberkulosiaren intzidentziari buruz emandako informazioa jasotzen du.
who
#> # A tibble: 7,240 x 60
#> country iso2 iso3 year new_sp_m014 new_sp_m1524 new_sp_m2534
#> <chr> <chr> <chr> <int> <int> <int> <int>
#> 1 Afghan… AF AFG 1980 NA NA NA
#> 2 Afghan… AF AFG 1981 NA NA NA
#> 3 Afghan… AF AFG 1982 NA NA NA
#> 4 Afghan… AF AFG 1983 NA NA NA
#> 5 Afghan… AF AFG 1984 NA NA NA
#> 6 Afghan… AF AFG 1985 NA NA NA
#> 7 Afghan… AF AFG 1986 NA NA NA
#> 8 Afghan… AF AFG 1987 NA NA NA
#> 9 Afghan… AF AFG 1988 NA NA NA
#> 10 Afghan… AF AFG 1989 NA NA NA
#> # … with 7,230 more rows, and 53 more variables
Eraiki ditzagun bere zehaztapena.
spec <- who %>%
pivot_longer_spec(new_sp_m014:newrel_f65, values_to = "count")
eremuak herrialde, isoxnumx, isoxnumx aldagaiak dira jada. Gure zeregina zutabeak iraultzea da berria_sp_m014 on newrel_f65.
Zutabe hauen izenek informazio hau gordetzen dute:
aurrizki new_ zutabeak tuberkulosi kasu berriei buruzko datuak dituela adierazten du, uneko data-markoak gaixotasun berriei buruzko informazioa baino ez daukala, beraz, egungo testuinguruan aurrizki honek ez du inolako esanahirik.
sp/rel/sp/ep gaixotasun bat diagnostikatzeko metodo bat deskribatzen du.
Azkenik, sortu dugun zehaztapena jatorrizko data markoari aplikatzeko duten argudio bat erabili behar dugu zehaztapenak funtzioan pivot_longer().
who %>% pivot_longer(spec = spec)
#> # A tibble: 405,440 x 8
#> country iso2 iso3 year diagnosis gender age count
#> <chr> <chr> <chr> <int> <chr> <fct> <ord> <int>
#> 1 Afghanistan AF AFG 1980 sp m 014 NA
#> 2 Afghanistan AF AFG 1980 sp m 1524 NA
#> 3 Afghanistan AF AFG 1980 sp m 2534 NA
#> 4 Afghanistan AF AFG 1980 sp m 3544 NA
#> 5 Afghanistan AF AFG 1980 sp m 4554 NA
#> 6 Afghanistan AF AFG 1980 sp m 5564 NA
#> 7 Afghanistan AF AFG 1980 sp m 65 NA
#> 8 Afghanistan AF AFG 1980 sp f 014 NA
#> 9 Afghanistan AF AFG 1980 sp f 1524 NA
#> 10 Afghanistan AF AFG 1980 sp f 2534 NA
#> # … with 405,430 more rows
Egin berri dugun guztia eskematikoki honela irudikatu daiteke:
Hainbat balio erabiliz (.value) zehaztapena
Goiko adibidean, zehaztapenen zutabea .balioa balio bakarra zuen, kasu gehienetan hala da.
Baina noizean behin egoera bat sor daiteke balioetan datu mota desberdinak dituzten zutabeetako datuak bildu behar dituzunean. Oinarrizko funtzio bat erabiliz spread() hori egitea nahiko zaila izango litzateke.
Beheko adibidea hemendik hartua da binetak paketera datuak.taula.
Sortutako data-markoak lerro bakoitzean familia bateko seme-alabei buruzko datuak ditu. Familiek seme-alaba bat edo bi izan ditzakete. Haur bakoitzeko, jaiotegunaren eta generoaren datuak ematen dira, eta ume bakoitzaren datuak zutabe ezberdinetan daude; gure zeregina datu horiek azterketarako formatu egokian jartzea da.
Kontuan izan haur bakoitzari buruzko informazioa duten bi aldagai ditugula: haien sexua eta jaiotze data (aurrizkia duten zutabeak). ondoren jaiotze data, aurrizkia duten zutabeak ditu genero haurraren sexua eduki). Espero den emaitza da zutabe bereizietan agertu behar direla. Hau egin dezakegu zehaztapen bat sortuz zein zutabea .value bi esanahi ezberdin izango ditu.
spec <- family %>%
pivot_longer_spec(-family) %>%
separate(col = name, into = c(".value", "child"))%>%
mutate(child = parse_number(child))
#> # A tibble: 4 x 3
#> .name .value child
#> <chr> <chr> <dbl>
#> 1 dob_child1 dob 1
#> 2 dob_child2 dob 2
#> 3 gender_child1 gender 1
#> 4 gender_child2 gender 2
Beraz, ikus ditzagun urratsez urrats goiko kodeak egiten dituen ekintzak.
pivot_longer_spec(-family) — Sortu lehendik dauden zutabe guztiak konprimitzen dituen zehaztapena, familiaren zutabea izan ezik.
separate(col = name, into = c(".value", "child")) - zatitu zutabea . Izena, sorburu-eremuen izenak biltzen dituena, azpimarra erabiliz eta ondoriozko balioak zutabeetan sartuz .balioa и seme-alaba.
Argumentua erabiltzen dugu na.rm = TRUE, datuen uneko formak existitzen ez diren behaketetarako errenkada gehigarriak sortzera behartzen baitu. Zeren 2. familiak ume bakarra du, na.rm = TRUE 2. familiak irteeran errenkada bat izango duela bermatzen du.
Data-markoak formatu luzetik zabalera bihurtzea
pivot_wider() - alderantzizko transformazioa da, eta alderantziz data markoaren zutabe kopurua handitzen du errenkada kopurua murriztuz.
Eraldaketa mota hau oso gutxitan erabiltzen da datuak forma zehatzetara eramateko, hala ere, teknika hau erabilgarria izan daiteke aurkezpenetan erabiltzen diren taula dinamikoak sortzeko edo beste tresna batzuekin integratzeko.
Izan ere, funtzioak pivot_longer() и pivot_wider() simetrikoak dira, eta elkarren arteko alderantzizko ekintzak sortzen dituzte, hau da: df %>% pivot_longer(spec = spec) %>% pivot_wider(spec = spec) и df %>% pivot_wider(spec = spec) %>% pivot_longer(spec = spec) jatorrizko df itzuliko du.
Taula formatu zabal batera bihurtzeko adibiderik errazena
Funtzioak nola funtzionatzen duen erakusteko pivot_wider() datu multzoa erabiliko dugu arrain_topaketak, geltoki ezberdinek ibaian zehar arrainen mugimendua nola erregistratzen duten buruzko informazioa gordetzen duena.
#> # A tibble: 114 x 3
#> fish station seen
#> <fct> <fct> <int>
#> 1 4842 Release 1
#> 2 4842 I80_1 1
#> 3 4842 Lisbon 1
#> 4 4842 Rstr 1
#> 5 4842 Base_TD 1
#> 6 4842 BCE 1
#> 7 4842 BCW 1
#> 8 4842 BCE2 1
#> 9 4842 BCW2 1
#> 10 4842 MAE 1
#> # … with 104 more rows
Kasu gehienetan, taula hau informazio gehiago eta erabiltzeko errazago izango da geltoki bakoitzaren informazioa zutabe bereizi batean aurkezten baduzu.
fish_encounters %>% pivot_wider(names_from = station, values_from = seen)
#> # A tibble: 19 x 12
#> fish Release I80_1 Lisbon Rstr Base_TD BCE BCW BCE2 BCW2 MAE
#> <fct> <int> <int> <int> <int> <int> <int> <int> <int> <int> <int>
#> 1 4842 1 1 1 1 1 1 1 1 1 1
#> 2 4843 1 1 1 1 1 1 1 1 1 1
#> 3 4844 1 1 1 1 1 1 1 1 1 1
#> 4 4845 1 1 1 1 1 NA NA NA NA NA
#> 5 4847 1 1 1 NA NA NA NA NA NA NA
#> 6 4848 1 1 1 1 NA NA NA NA NA NA
#> 7 4849 1 1 NA NA NA NA NA NA NA NA
#> 8 4850 1 1 NA 1 1 1 1 NA NA NA
#> 9 4851 1 1 NA NA NA NA NA NA NA NA
#> 10 4854 1 1 NA NA NA NA NA NA NA NA
#> # … with 9 more rows, and 1 more variable: MAW <int>
Datu multzo honek estazioak arrainak detektatu dituenean soilik erregistratzen du informazioa, hau da. Estazioren batek arrainren bat erregistratu ez badu, datu hori ez da taulan egongo. Horrek esan nahi du irteera NAz beteko dela.
Hala ere, kasu honetan badakigu erregistrorik ez egoteak arraina ikusi ez dela esan nahi duela, beraz, argumentua erabil dezakegu balioak_bete funtzioan pivot_wider() eta bete falta diren balio hauek zeroz:
Zutabe-izen bat sortzea hainbat iturri-aldagaietatik
Imajinatu produktua, herrialdea eta urtea konbinatzen dituen taula bat dugula. Proba data-markoa sortzeko, honako kodea exekutatu dezakezu:
df <- expand_grid(
product = c("A", "B"),
country = c("AI", "EI"),
year = 2000:2014
) %>%
filter((product == "A" & country == "AI") | product == "B") %>%
mutate(value = rnorm(nrow(.)))
#> # A tibble: 45 x 4
#> product country year value
#> <chr> <chr> <int> <dbl>
#> 1 A AI 2000 -2.05
#> 2 A AI 2001 -0.676
#> 3 A AI 2002 1.60
#> 4 A AI 2003 -0.353
#> 5 A AI 2004 -0.00530
#> 6 A AI 2005 0.442
#> 7 A AI 2006 -0.610
#> 8 A AI 2007 -2.77
#> 9 A AI 2008 0.899
#> 10 A AI 2009 -0.106
#> # … with 35 more rows
Gure zeregina datu-markoa zabaltzea da, zutabe batek produktuaren eta herrialdearen konbinazio bakoitzeko datuak eduki ditzan. Horretarako, argumentua pasa besterik ez dago izenak_tik batu beharreko eremuen izenak dituen bektore bat.
Funtzio bati zehaztapenak ere aplika ditzakezu pivot_wider(). Baina aurkeztutakoan pivot_wider() zehaztapenak kontrako bihurketa egiten du pivot_longer(): atalean zehaztutako zutabeak . Izena, balioak erabiliz .balioa eta beste zutabe batzuk.
Datu multzo honetarako, zehaztapen pertsonalizatu bat sor dezakezu herrialde eta produktu konbinazio posible guztiek bere zutabea izatea nahi baduzu, ez datuetan daudenak bakarrik:
#> # A tibble: 4 x 4
#> .name product country .value
#> <chr> <chr> <chr> <chr>
#> 1 A_AI A AI value
#> 2 A_EI A EI value
#> 3 B_AI B AI value
#> 4 B_EI B EI value
df %>% pivot_wider(spec = spec) %>% head()
#> # A tibble: 6 x 5
#> year A_AI A_EI B_AI B_EI
#> <int> <dbl> <dbl> <dbl> <dbl>
#> 1 2000 -2.05 NA 0.607 1.20
#> 2 2001 -0.676 NA 1.65 -0.114
#> 3 2002 1.60 NA -0.0245 0.501
#> 4 2003 -0.353 NA 1.30 -0.459
#> 5 2004 -0.00530 NA 0.921 -0.0589
#> 6 2005 0.442 NA -1.55 0.594
Tidyr kontzeptu berriarekin lan egiteko hainbat adibide aurreratu
Datuak garbitzea AEBetako Erroldako Errenta eta Alokairuen datu multzoa adibide gisa erabiliz.
Datu multzoa us_errenta_sarrera 2017rako AEBetako estatu bakoitzaren batez besteko diru-sarreren eta alokairuaren informazioa jasotzen du (paketean eskuragarri dauden datuak errolda txukuna).
us_rent_income
#> # A tibble: 104 x 5
#> GEOID NAME variable estimate moe
#> <chr> <chr> <chr> <dbl> <dbl>
#> 1 01 Alabama income 24476 136
#> 2 01 Alabama rent 747 3
#> 3 02 Alaska income 32940 508
#> 4 02 Alaska rent 1200 13
#> 5 04 Arizona income 27517 148
#> 6 04 Arizona rent 972 4
#> 7 05 Arkansas income 23789 165
#> 8 05 Arkansas rent 709 5
#> 9 06 California income 29454 109
#> 10 06 California rent 1358 3
#> # … with 94 more rows
Datuak datu multzoan gordetzen diren moduan us_errenta_sarrera haiekin lan egitea oso deserosoa da, beraz, zutabeekin datu multzo bat sortu nahiko genuke: alokatzeko, alokatu_moe, nola, errenta_moe. Zehaztapen hau sortzeko modu asko daude, baina puntu nagusia da balio aldakorren konbinazio guztiak sortu behar ditugula eta estimatu/moeeta gero sortu zutabearen izena.
Batzuetan, datu-multzo bat nahi den formara eramateak hainbat urrats behar ditu.
Datu multzoa munduko_banku_pop 2000 eta 2018 bitartean herrialde bakoitzeko biztanleriari buruzko Munduko Bankuaren datuak biltzen ditu.
Gure helburua aldagai bakoitza bere zutabean datu multzo txukun bat sortzea da. Ez dago argi zein pauso behar diren, baina arazo nabarienetik hasiko gara: urtea hainbat zutabetan banatuta dago.
Hau konpontzeko funtzioa erabili behar duzu pivot_longer().
Hurrengo urratsa adierazlearen aldagaia aztertzea da. pop2 %>% count(indicator)
#> # A tibble: 4 x 2
#> indicator n
#> <chr> <int>
#> 1 SP.POP.GROW 4752
#> 2 SP.POP.TOTL 4752
#> 3 SP.URB.GROW 4752
#> 4 SP.URB.TOTL 4752
Non SP.POP.GROW biztanleriaren hazkundea den, SP.POP.TOTL biztanleria osoa den eta SP.URB. * gauza bera, baina hiriguneetarako bakarrik. Bana ditzagun balio hauek bi aldagaitan: azalera - azalera (guztira edo hirikoa) eta benetako datuak dituen aldagai bat (biztanleria edo hazkundea):
Zerrenda hau taularatzea nahiko zaila da, ez baitago aldagairik zein datu zein kontakturi dagozkion identifikatzen duenik. Hau konpondu dezakegu kontaktu berri bakoitzaren datuak "izena"-rekin hasten direla ohartuz, beraz, identifikatzaile esklusibo bat sor dezakegu eta eremuko zutabeak "izena" balioa duen bakoitzean bat handitu dezakegu:
#> # A tibble: 6 x 3
#> field value person_id
#> <chr> <chr> <int>
#> 1 name Jiena McLellan 1
#> 2 company Toyota 1
#> 3 name John Smith 2
#> 4 company google 2
#> 5 email [email protected] 2
#> 6 name Huxley Ratcliffe 3
Orain kontaktu bakoitzaren ID bakarra dugula, eremua eta balioa zutabeetan bihur ditzakegu:
#> # A tibble: 3 x 4
#> person_id name company email
#> <int> <chr> <chr> <chr>
#> 1 1 Jiena McLellan Toyota <NA>
#> 2 2 John Smith google [email protected]
#> 3 3 Huxley Ratcliffe <NA> <NA>
Ondorioa
Nire iritzi pertsonala kontzeptu berria da txukun benetan intuitiboagoa, eta funtzionalitatean nabarmen handiagoa izan ohi diren funtzioekin alderatuta spread() и gather(). Artikulu honek aurre egiten lagundu izana espero dut pivot_longer() и pivot_wider().