用dtw计算距离矩阵

Question

在第1天到第26天的时间序列中，我有两个矩阵用于控制和治疗的标准化读取计数。 我想通过动态时间包装计算距离矩阵，然后将其用于聚类，但似乎太复杂了。 我是这样做的； 谁可以帮助您进一步澄清？ 非常感谢

> head(control[,1:4])
               MAST2     WWC2  PHYHIPL   R3HDM2
Control_D1  6.591024 5.695156 3.388652 5.756384
Control_D1 8.043454 5.365221 6.859768 6.936970
Control_D3 7.731590 4.868267 6.919972 6.931073
Control_D4 8.129948 5.105528 6.627016 7.090268
Control_D5 7.690863 4.729501 6.824746 6.904610
Control_D6 8.101723 5.334501 6.868990 7.115883
> 

> head(lead[,1:4])
              MAST2     WWC2  PHYHIPL   R3HDM2
Lead30_D1  6.418423 5.610699 3.734425 5.778046
Lead30_D2 7.918360 4.295191 6.559294 6.780952
Lead30_D3 7.807142 4.294722 6.599187 6.716040
Lead30_D4 7.856720 4.432136 6.572337 6.848483
Lead30_D5 7.827311 4.204738 6.607107 6.784094
Lead30_D6 7.848760 4.458451 6.581216 6.943003
>
> dim(control)
[1]   26 2603
> dim(lead)
[1]   26 2603
library(dtw)

for (i in control) { 
  for (j in lead) { 
    result[i,j] <- dtw( dist(control[,,i],lead[,,j]), distance.only=T )$normalizedDistance 
  }
}

说

Error in lead[, , j] : incorrect number of dimensions

Answer 1

已经有与您类似的问题，但是答案还不太详细。 在R的特定情况下，这是您需要了解的内容的细分。

计算跨距离矩阵

proxy程序包专门用于计算跨距离矩阵。 您应该检查其插图，以了解它已经实施了哪些措施。 其用法示例：

set.seed(1L)
sample_data <- matrix(rnorm(50L), nrow = 5L, ncol = 10L)

suppressPackageStartupMessages(library(proxy))
distance_matrix <- proxy::dist(sample_data, method = "euclidean", 
                               upper = TRUE, diag = TRUE)
print(distance_matrix)
#>          1        2        3        4        5
#> 1 0.000000 2.636027 3.834764 5.943374 3.704322
#> 2 2.636027 0.000000 2.587398 4.515470 2.310364
#> 3 3.834764 2.587398 0.000000 4.008678 3.899561
#> 4 5.943374 4.515470 4.008678 0.000000 5.059321
#> 5 3.704322 2.310364 3.899561 5.059321 0.000000

注意 ：在时间序列的上下文中， proxy将矩阵中的每一行都视为一个序列，这可以通过以下事实来确认，即上述sample_data是5x10矩阵，而得到的交叉距离矩阵是5x5 。

使用DTW距离

dtw软件包实现了DTW的许多变体，并且还利用proxy 。 您可以使用以下公式计算DTW距离矩阵：

suppressPackageStartupMessages(library(dtw))
dtw_distmat <- proxy::dist(sample_data, method = "dtw", 
                           upper = TRUE, diag = TRUE)
print(distance_matrix)
#>          1        2        3        4        5
#> 1 0.000000 2.636027 3.834764 5.943374 3.704322
#> 2 2.636027 0.000000 2.587398 4.515470 2.310364
#> 3 3.834764 2.587398 0.000000 4.008678 3.899561
#> 4 5.943374 4.515470 4.008678 0.000000 5.059321
#> 5 3.704322 2.310364 3.899561 5.059321 0.000000

使用自定义距离

关于proxy一件好事是，它使您可以选择注册自定义功能。 您似乎对DTW的规范化版本感兴趣，因此可以执行以下操作：

ndtw <- function(x, y = NULL, ...) {
    dtw::dtw(x, y, ..., distance.only = TRUE)$normalizedDistance
}

pr_DB$set_entry(
  FUN = ndtw,
  names = "ndtw",
  loop = TRUE,
  distance = TRUE
)

ndtw_distmat <- proxy::dist(sample_data, method = "ndtw",
                            upper = TRUE, diag = TRUE)
print(ndtw_distmat)
#>           1         2         3         4         5
#> 1 0.0000000 0.4046622 0.5075772 0.6789465 0.5290478
#> 2 0.4046622 0.0000000 0.3630849 0.4866252 0.3612722
#> 3 0.5075772 0.3630849 0.0000000 0.5678698 0.3303344
#> 4 0.6789465 0.4866252 0.5678698 0.0000000 0.5078112
#> 5 0.5290478 0.3612722 0.3303344 0.5078112 0.0000000

有关更多信息，请参见pr_DB文档。

其他DTW实现

dtwclust软件包（由我制作）实现了DTW的基本但较快的版本，该版本可以使用多线程并还可以使用proxy ：

suppressPackageStartupMessages(library(dtwclust))
dtw_basic_distmat <- proxy::dist(sample_data, method = "dtw_basic", normalize = TRUE)
print(dtw_basic_distmat)
#>      [,1]      [,2]      [,3]      [,4]      [,5]     
#> [1,] 0.0000000 0.4046622 0.5075772 0.6789465 0.5290478
#> [2,] 0.4046622 0.0000000 0.3630849 0.4866252 0.3612722
#> [3,] 0.5075772 0.3630849 0.0000000 0.5678698 0.3303344
#> [4,] 0.6789465 0.4866252 0.5678698 0.0000000 0.5078112
#> [5,] 0.5290478 0.3612722 0.3303344 0.5078112 0.0000000

dtw_basic实现仅支持两种步骤模式和一种窗口类型，但速度要快得多：

suppressPackageStartupMessages(library(microbenchmark))
microbenchmark(
  proxy::dist(sample_data, method = "dtw", window.type = "sakoechiba", window.size = 5L),
  proxy::dist(sample_data, method = "dtw_basic", window.size = 5L)
)

Unit: microseconds
                                                                                        expr      min       lq     mean
 proxy::dist(sample_data, method = "dtw", window.type = "sakoechiba",      window.size = 5L) 5279.124 5621.742 6070.069
                            proxy::dist(sample_data, method = "dtw_basic", window.size = 5L)  657.966  710.418  776.474
   median       uq       max neval cld
 5802.354 6348.199 10411.000   100   b
  752.282  814.037  1161.626   100  a

尽管我尚未亲自测试过，但parallelDist软件包中包含了另一个多线程实现。

多元或多维时间序列

单个多元序列通常是一个矩阵，其中时间跨行，而多个变量跨列。 DTW也为他们工作：

mv_series1 <- matrix(rnorm(15L), nrow = 5L, ncol = 3L)
mv_series2 <- matrix(rnorm(15L), nrow = 5L, ncol = 3L)
print(dtw_distance <- dtw_basic(mv_series1, mv_series2))
#> [1] 22.80421

关于proxy是它也可以计算列表中包含的对象之间的距离，因此您可以在矩阵列表中放置多个多元序列：

mv_series <- lapply(1L:5L, function(dummy) {
  matrix(rnorm(15L), nrow = 5L, ncol = 3L)
})

mv_distmat_dtwclust <- proxy::dist(mv_series, method = "dtw_basic")
print(mv_distmat_dtwclust)
#>      [,1]     [,2]     [,3]     [,4]     [,5]    
#> [1,]  0.00000 27.43599 32.14207 36.42211 31.19279
#> [2,] 27.43599  0.00000 20.88470 23.88436 29.73219
#> [3,] 32.14207 20.88470  0.00000 22.14376 29.99899
#> [4,] 36.42211 23.88436 22.14376  0.00000 28.81111
#> [5,] 31.19279 29.73219 29.99899 28.81111  0.00000

你的情况

不管您选择什么，都可以使用proxy获得结果，但是由于您没有提供全部数据，因此我无法提供更具体的示例。 我假设dtwclust::dtw_basic(control[, 1:4], lead[, 1:4], normalize = TRUE)会给您一对序列之间的距离，假设您将每个序列视为一个多元序列有4个变量。

Answer 2

如果您的问题是“我为什么会收到此错误？” 答案是您要根据第三维来对矩阵进行子集化，该矩阵是二维数组。

看到：

dim(lead)
# [1] 26 2603
lead[,,6.418423] # yes, that's the value j has the first time through the loop
# This will reproduce your error
lead[,,1]
# This will also reproduce your error

希望您现在可以看到存在一些问题：

1. 您正在尝试根据第3维对矩阵进行子集化
2. 您的i和j值分别是control和lead中的值。 您可以将它们用作它们的值，也可以生成索引，例如，如果计划将其用于获取相同值之外的其他用途，则使用for(i in seq_along(control) 。
3. 下一步，尚不清楚您要传递给dist函数的内容。 dist采用一个矩阵并计算其行之间的距离。 您似乎正在尝试传递来自两个不同矩阵的两个值，或者可能是两个不同矩阵的两个子集。 看来您可能需要回过头来看看xtr文档中的示例