按模式向数据框添加行

Question

我有一个数据框，参与者（ID）连续回答了几个问卷（每行是一个问卷）。 他们都从“一般”问卷开始，然后回答成对的“前”和“后”问卷（“订单”列）。 列“值”显示示例数据（有更多包含数据的列和更多参与者）。 参与者之间回答“对”的数量不同。

    ID   Order     Value
1   1    general     1
2   1    pre         3
3   1    post        4
4   1    post        7
5   1    pre         0
6   1    post       10
7   2    general     1
8   2    post        0
9   2    pre        12
10  3    general    12
11  3    pre         3
12  3    post        4
13  3    pre         6
14  3    pre         8

示例数据：

df1 <- data.frame("ID" = as.factor(c('1', '1', '1', '1', '1', '1', '2', '2', '2', '3', '3', '3', '3', '3')), "Order" = as.factor(c('general', 'pre', 'post', 'post', 'pre', 'post', 'general', 'post', 'pre', 'general', 'pre', 'post', 'pre', 'pre')), "Value" = as.numeric(c('1', '3','4','7','0','10', '1','0','12', '12', '3', '4', '6','8')))

问题：一些参与者忘记/未能回答前/后配对的前问卷，其他人忘记/未能回答前/后配对的后问卷。

目标：我需要为每对不完整的“前”行或“后”行添加。 因此，连续行应始终读取 pre post pre post pre post 等。添加的行应包括 ID 以及来自该对现有部分的值。

> df2
   ID    Order Value
1   1  general     1
2   1      pre     3
3   1     post     4
4   1      pre     7
5   1     post     7
6   1      pre     0
7   1     post    10
8   2  general     1
9   2      pre     0
10  2     post     0
11  2      pre    12
12  2     post    12
13  3  general    12
14  3      pre     3
15  3     post     4
16  3      pre     6
17  3     post     6
18  3      pre     8
19  3     post     8

在此处查看示例数据：

df2 <- data.frame("ID" = as.factor(c('1', '1', '1', '1', '1', '1', '1', '2', '2', '2', '2', '2', '3', '3', '3', '3', '3', '3', '3')), "Order" = as.factor(c('general', 'pre', 'post', 'pre', 'post', 'pre', 'post', 'general', 'pre', 'post', 'pre', 'post', 'general', 'pre', 'post', 'pre', 'post', 'pre', 'post')), "Value" = as.numeric(c('1', '3', '4', '7', '7', '0', '10', '1', '0', '0', '12', '12', '12', '3', '4', '6', '6', '8', '8')))

每个参与者的前/后对的数量可能不同。

我在这里问了一个类似的问题 - 但这不适用于这种特殊情况。 另一个建议的解决方案也没有。 我尝试了不同版本的 complete() 函数和 expand.grid。

Answer 1

这可能是另一种方法：

library(tidyverse)

df1 %>%
  mutate(rn = row_number()) %>%
  pivot_wider(id_cols = c(ID, rn), names_from = Order, values_from = Value) %>%
  mutate(post2 = if_else(!is.na(lead(post)), lead(post), pre),
         pre2 = if_else(!is.na(post2) & is.na(pre), post2, pre)) %>%
  select(-c(rn, pre, post)) %>%
  pivot_longer(cols = c(general, pre2, post2), names_to = "Order", values_to = "Value") %>%
  drop_na()

输出

# A tibble: 19 x 3
   ID    Order   Value
   <fct> <chr>   <dbl>
 1 1     general     1
 2 1     pre2        3
 3 1     post2       4
 4 1     pre2        7
 5 1     post2       7
 6 1     pre2        0
 7 1     post2      10
 8 2     general     1
 9 2     pre2        0
10 2     post2       0
11 2     pre2       12
12 2     post2      12
13 3     general    12
14 3     pre2        3
15 3     post2       4
16 3     pre2        6
17 3     post2       6
18 3     pre2        8
19 3     post2       8

编辑：

要将此解决方案推广到多个Value列，您需要先使用pivot_longer将数据转换为更可行的格式。 此外，您需要对列名变量进行group_by ，以便使用lead您只查看适合该变量的值。

例如，假设您有两列Value1和Value2 ：

df1 <- data.frame("ID" = as.factor(c('1', '1', '1', '1', '1', '1', '2', '2', '2', '3', '3', '3', '3', '3')), 
                  "Order" = as.factor(c('general', 'pre', 'post', 'post', 'pre', 'post', 'general', 'post', 'pre', 'general', 'pre', 'post', 'pre', 'pre')), 
                  "Value1" = as.numeric(c('1', '3','4','7','0','10', '1','0','12', '12', '3', '4', '6','8')),
                  "Value2" = as.numeric(c('4', '2','1','9','2','15', '2','11','18', '16', '5', '5', '8','10')))

您可以执行以下操作：

df1 %>%
  pivot_longer(cols = starts_with("Value"), names_to = "ValueName", values_to = "Value") %>%
  mutate(rn = row_number()) %>%
  pivot_wider(id_cols = c(ID, rn, ValueName), names_from = Order, values_from = Value) %>%
  group_by(ID, ValueName) %>%
  mutate(post2 = if_else(!is.na(lead(post)), lead(post), pre),
         pre2 = if_else(!is.na(post2) & is.na(pre), post2, pre)) %>%
  select(-c(rn, pre, post)) %>%
  rename(pre = pre2, post = post2) %>%
  pivot_longer(cols = c(general, pre, post), names_to = "Order", values_to = "Value") %>%
  drop_na() %>%
  arrange(ValueName, ID) %>%
  print(n=50)

输出

# A tibble: 38 x 4
# Groups:   ID, ValueName [6]
   ID    ValueName Order   Value
   <fct> <chr>     <chr>   <dbl>
 1 1     Value1    general     1
 2 1     Value1    pre         3
 3 1     Value1    post        4
 4 1     Value1    pre         7
 5 1     Value1    post        7
 6 1     Value1    pre         0
 7 1     Value1    post       10
 8 2     Value1    general     1
 9 2     Value1    pre         0
10 2     Value1    post        0
11 2     Value1    pre        12
12 2     Value1    post       12
13 3     Value1    general    12
14 3     Value1    pre         3
15 3     Value1    post        4
16 3     Value1    pre         6
17 3     Value1    post        6
18 3     Value1    pre         8
19 3     Value1    post        8
20 1     Value2    general     4
21 1     Value2    pre         2
22 1     Value2    post        1
23 1     Value2    pre         9
24 1     Value2    post        9
25 1     Value2    pre         2
26 1     Value2    post       15
27 2     Value2    general     2
28 2     Value2    pre        11
29 2     Value2    post       11
30 2     Value2    pre        18
31 2     Value2    post       18
32 3     Value2    general    16
33 3     Value2    pre         5
34 3     Value2    post        5
35 3     Value2    pre         8
36 3     Value2    post        8
37 3     Value2    pre        10
38 3     Value2    post       10

数据以长格式保留 - 但最后也可以使用pivot_wider转换为宽格式。

Answer 2

这是诀窍：

df1 <- data.frame("ID" = as.factor(c('1', '1', '1', '1', '1', '1', '2', '2', '2', '3', '3', '3', '3', '3')), "Order" = as.factor(c('general', 'pre', 'post', 'post', 'pre', 'post', 'general', 'post', 'pre', 'general', 'pre', 'post', 'pre', 'pre')), "Value" = as.numeric(c('1', '3','4','7','0','10', '1','0','12', '12', '3', '4', '6','8')))
df2 <- data.frame("ID" = as.factor(c('1', '1', '1', '1', '1', '1', '1', '2', '2', '2', '2', '2', '3', '3', '3', '3', '3', '3', '3')), "Order" = as.factor(c('general', 'pre', 'post', 'pre', 'post', 'pre', 'post', 'general', 'pre', 'post', 'pre', 'post', 'general', 'pre', 'post', 'pre', 'post', 'pre', 'post')), "Value" = as.numeric(c('1', '3', '4', '7', '7', '0', '10', '1', '0', '0', '12', '12', '12', '3', '4', '6', '6', '8', '8')))

temp <- df1 %>% 
  mutate(
    ID = as.character(ID),
    Order = as.character(Order),
  ) %>% 
  group_by(ID) %>% 
  mutate(
    last = lag(Order),
    `next` = lead(Order),
    rowID = row_number(),
    filter = if_else((rowID == 2 & Order == "post") | (Order == "pre" & `next` != "post") | (Order == "post" & last != "pre"), 1, 0)
  ) %>% 
  ungroup() %>% 
  replace_na(list(filter = 1))
add_rows <- temp %>% 
  filter(filter == 1) %>% 
  mutate(
    Order = if_else(Order == "post", "pre", "post")
  )

temp %>% 
  bind_rows(add_rows) %>% 
  arrange(ID, rowID) %>% 
  select(ID, Order, Value) %>% 
  mutate(
    ID = as.factor(ID),
    Order = as.factor(Order),
  )

Answer 3

为了完整起见，这里还有一个data.table解决方案，它使用rowid() 、 CJ()和nafill() 。 一般来说，该方法包括三个步骤：

1. 创建一个完整的对表，
2. 与原始表连接，
3. 填补缺失值。

library(data.table)
setDT(df1)[, oid := rowid(ID, Order)][]
df1[, Order := factor(Order, level = c("general", "pre", "post"))]
tmp <- df1[, CJ(oid, Order, unique = TRUE), by = ID][!(oid > 1 & Order == "general")]
result <- df1[tmp, on = .(ID, Order, oid)][
  , Value := nafill(nafill(Value, "locf"), "nocb"), by = .(ID, oid)][, oid := NULL][]
result

 ID Order Value 1: 1 general 1 2: 1 pre 3 3: 1 post 4 4: 1 pre 0 5: 1 post 7 6: 1 pre 10 7: 1 post 10 8: 2 general 1 9: 2 pre 12 10: 2 post 0 11: 3 general 12 12: 3 pre 3 13: 3 post 4 14: 3 pre 6 15: 3 post 6 16: 3 pre 8 17: 3 post 8

详细说明

1. 在将df1强制转换为 data.table 类后，添加了一个新列oid ，用于计算属于ID和Order的行。 所以， df1变成

    ID   Order Value oid
 1:  1 general     1   1
 2:  1     pre     3   1
 3:  1    post     4   1
 4:  1    post     7   2
 5:  1     pre     0   2
 6:  1    post    10   3
 7:  2 general     1   1
 8:  2    post     0   1
 9:  2     pre    12   1
10:  3 general    12   1
11:  3     pre     3   1
12:  3    post     4   1
13:  3     pre     6   2
14:  3     pre     8   3

2. Order的因子级别必须重新排序，以便“pre”是第二级，而“post”是第三级。 这是下一步所必需的
3. 现在，创建了一个 data.table tmp ，其中包含所有完整的对。 这是通过将唯一的oid序列（例如1, 2, 3与每个ID的Order的因子水平交叉连接来实现的。 CJ()类似于expand.grid() 。 结果被过滤以只保留一个“常规”行以及每个ID所需的尽可能多的“前”和“后”对。

    ID oid   Order
 1:  1   1 general
 2:  1   1     pre
 3:  1   1    post
 4:  1   2     pre
 5:  1   2    post
 6:  1   3     pre
 7:  1   3    post
 8:  2   1 general
 9:  2   1     pre
10:  2   1    post
11:  3   1 general
12:  3   1     pre
13:  3   1    post
14:  3   2     pre
15:  3   2    post
16:  3   3     pre
17:  3   3    post

4. df1与tmp右连接以将Value列附加到匹配的行。 df1没有匹配行的缺失值显示为NA 。 使用nafill()函数（截至 2019 年 10 月 3 日的data.table版本 1.12.4 的新功能nafill() ，这些缺失值被前一次观察结果和nafill()观察结果替换，即在两个方向上。 最后，删除oid列。