数据表中变量的唯一Ob数

Question

我使用以下命令将大数据文件读入R中

data <- as.data.set(spss.system.file(paste(path, file, sep = '/')))

数据集包含不属于的列，仅包含空格。 此问题与R根据附加到SPSS文件（ 源 ）的变量标签创建新变量有关。

不幸的是，我无法确定解决问题所需的选项。 我已经尝试了所有：foreign :: read.spss，memisc：spss.system.file和Hemisc :: spss.get，没有运气。

相反，我想读取整个数据集（使用ghost列）并手动删除不必要的变量。 由于ghost列只包含空格，我想从我的data.table中删除任何变量，其中唯一观察的数量等于1。

我的数据很大，因此它们以data.table格式存储。 我想确定一种简单的方法来检查每列中唯一观察的数量，并删除仅包含一个唯一观察的列。

require(data.table)

### Create a data.table
dt <- data.table(a = 1:10,
                 b = letters[1:10],
                 c = rep(1, times = 10))

### Create a comparable data.frame
df <- data.frame(dt)

### Expected result
unique(dt$a)

### Expected result
length(unique(dt$a))

但是，我希望计算大型数据文件的obs数，因此不希望按名称引用每一列。 我不是eval（parse（））的粉丝。

### I want to determine the number of unique obs in
  # each variable, for a large list of vars
lapply(names(df), function(x) {
    length(unique(df[, x]))
})

### Unexpected result
length(unique(dt[, 'a', with = F]))  # Returns 1

在我看来问题是这样的

dt[, 'a', with = F]

返回类“data.table”的对象。 这个对象的长度是1是有道理的，因为它是一个包含1个变量的data.table。 我们知道data.frames实际上只是变量列表，所以在这种情况下，列表的长度只有1。

这是使用data.frame方式解决方案的伪代码：

for (x in names(data)) {
  unique.obs <- length(unique(data[, x]))
  if (unique.obs == 1) {
    data[, x] <- NULL
  }
}

关于如何更有效地询问data.table中列的独特观察数量的任何见解将非常感激。 或者，如果您可以建议如果在数据中只有一个独特的观察结果，那么如何删除观察结果。表格会更好。

Answer 1

更新： uniqueN

从版本1.9.6开始，该解决方案的内置（优化）版本是uniqueN功能。 现在这很简单：

dt[ , lapply(.SD, uniqueN)]

---

如果要在每列中找到唯一值的数量，例如

 dt[, lapply(.SD, function(x) length(unique(x)))]
##     a  b c
## 1: 10 10 1

要使你的函数工作，你需要在[.data.table使用with=FALSE ，或者只是使用[[而不是（读fortune(312) ......）

lapply(names(df) function(x) length(unique(dt[, x, with = FALSE])))

要么

 lapply(names(df) function(x) length(unique(dt[[x]])))

将工作

一步到位

dt[,names(dt) := lapply(.SD, function(x) if(length(unique(x)) ==1) {return(NULL)} else{return(x)})]


 # or to avoid calling `.SD` 

dt[, Filter(names(dt), f = function(x) length(unique(dt[[x]]))==1) := NULL]

Answer 2

其他答案中的方法很好。 另一种添加到混音中的方法，只是为了好玩：

for (i in names(DT)) if (length(unique(DT[[i]]))==1) DT[,(i):=NULL]

或者如果列名可能重复：

for (i in ncol(DT):1) if (length(unique(DT[[i]]))==1) DT[,(i):=NULL]

注意： (i)在LHS上:=是使用i的值而不是名为"i"的列的技巧。

Answer 3

这是你的核心问题的解决方案（我希望我做对了）。

require(data.table)

### Create a data.table
dt <- data.table(a = 1:10,
                 b = letters[1:10],
                 d1 = "",
                 c = rep(1, times = 10),
                 d2 = "")
dt
     a b d1 c d2
 1:  1 a    1   
 2:  2 b    1   
 3:  3 c    1   
 4:  4 d    1   
 5:  5 e    1   
 6:  6 f    1   
 7:  7 g    1   
 8:  8 h    1   
 9:  9 i    1   
10: 10 j    1   

首先，我介绍两个没有任何值的d1和d2列。 那些你要删除的，对吧？ 如果是这样，我只需识别这些列并选择dt中的所有其他列。

only_space <- function(x) {
  length(unique(x))==1 && x[1]==""
}
bolCols <- apply(dt, 2, only_space)
dt[, (1:ncol(dt))[!bolCols], with=FALSE]

不知何故，我觉得你可以进一步简化它......

输出：

     a b c
 1:  1 a 1
 2:  2 b 1
 3:  3 c 1
 4:  4 d 1
 5:  5 e 1
 6:  6 f 1
 7:  7 g 1
 8:  8 h 1
 9:  9 i 1
10: 10 j 1

Answer 4

有一种简单的方法可以使用“dplyr”库，然后使用select函数如下：

库（dplyr）

newdata < - select（old_data，第一个变量，第二个变量）

请注意，您可以根据需要选择任意数量的变量。

然后，您将获得所需的数据类型。

非常感谢，

Fadhah