R mapply函数运行缓慢

Question

我正在为一系列多项选择题考试计算项目统计信息。 我有一个使用mapply的解决方案，该解决方案在技术上是可行的，但是要计算一个更复杂的统计信息需要花费几个小时。 我拥有的第一个数据集是针对每个学生针对每次评估回答的每个问题单独包含一行的数据集。

df <- data.frame(c(rep("s1", 5), rep("s2", 5), rep("s3", 5),rep("s4", 5)),"a1", c("i1", "i2", "i3", "i4", "i5"), c(1, 0), 1)

colnames(df) <- c("student", "assessment", "item", "score", "points.possible")

我要做的第一步（只有一次）是创建一个包含所有唯一项的表。 在这种情况下，这很简单，因为只有一个评估和5个项目。

unique <- subset(df[,c("assessment", "item")], !duplicated(df[,c("assessment", "item")]))

然后，我需要为这些项目中的每一项计算统计信息。 但是，棘手的部分是计算需要计算学生在整个评估中获得的总分。 这是我为此编写的函数。

fun1 <- function(a.id, i.id) {
  # subset original dataframe for just one assessment
  subsetdf <- df[df$assessment == a.id,]

  # generate list of students that got the item right and wrong
  correct <- subsetdf$student[subsetdf$item==i.id & subsetdf$score==1]
  wrong <- subsetdf$student[subsetdf$item==i.id & subsetdf$score==0]

  # scores by student
  scores <- aggregate(score ~ student, data=subsetdf,sum)/aggregate(points.possible ~ student, data=subsetdf, sum)  

  # average scores for students that got item right/wrong
  x.1 <- sum(subsetdf$score[subsetdf$student %in% correct])/sum(subsetdf$points.possible[subsetdf$student %in% correct])
  x.0 <- sum(subsetdf$score[subsetdf$student %in% wrong])/sum(subsetdf$points.possible[subsetdf$student %in% wrong])

  # percent of students that got item right
  p <- length(correct)/(length(correct)+length(wrong))

  # final stat calculation
  r <- ((x.1-x.0)*sqrt(p*(1-p)))/sd(scores[,2])
  print(r)
}

然后，我使用mapply在整个原始数据集上循环使用此函数，同时使用较小的数据集作为输入。

unique$r <- mapply(fun1, unique$assessment, unique$item)

我很高兴能够使它工作，但是当我使用更大的数据集（“ df”使用约700万行，“唯一”使用约2000行）时，则需要花费一些时间（几个小时）。关于解决该问题的其他更有效方法的任何技巧吗？我知道一个问题是我的函数每次循环时都会为原始大型数据集创建一个副本，但我不知道该怎么做没有那个。

我仍然认为自己是R这类用法的初学者，因此任何建议将不胜感激！

Answer 1

当你表演

scores <- aggregate(score ~ student, data=subsetdf,sum)/aggregate(points.possible ~ student, data=subsetdf, sum)  

结果不是严格的数字，结果是一个数据帧（例如，对于a.id = 'a1', i.id = 'i1' ）：

> aggregate(score ~ student, data=subsetdf,sum)
      student score
1      s1     3
2      s2     2
3      s3     3
4      s4     2

因此，当您将二者's1'/'s1' ， 's1'/'s1'的结果不是数字，并引发警告。

1. 没有必要制造correct和wrong 。 将该列的值视为指示该学生是对还是错的指标。

而是，请执行以下操作：

scores <- aggregate(subsetdf[,c('score', 'points.possible')], by = list(subsetdf$student), sum)
names(scores) <- c('student', 'score','points.possible')
scores$avg.score <- scores$score/scores$points.possible

我会对x.0和x.1做同样的x.0 。 如果您通过i.id创建一个子集，然后聚合该数据帧的子集，这还可以节省一些步骤。 您要为每个学生两次检查他们是否correct或wrong （对于score和points.possible ），这一事实也非常昂贵。