dsbulk 卸载问题

Question

我在使用 dsbulk 卸载时收到以下消息。 我不明白这是什么意思

[s0|347101951|0] 发送取消请求时出错。 这并不重要（请求最终会在服务器端超时）。 （心跳异常：空）

不发送心跳，因为前一个仍在进行中。 检查 advanced.heartbeat.interval 是否不低于 advanced.heartbeat.timeout。

谢谢

Answer 1

“Error sending cancel request”是典型的连续分页查询。 似乎协调器由于某种原因遇到了麻烦，这就是为什么您也看到心跳失败的原因。 Dsbulk 可能给集群带来了过多的负载。

您没有确切提到哪个版本的 dsbulk，但假设 1.4+ 我会建议尝试以下操作（单独或组合）：

1. 使用dsbulk.executor.continuousPaging.enabled = false禁用连续分页（这可能会减慢 dsbulk）。

2. 使用较小的页面大小，例如 1000 行：

   1. 如果不使用连续分页： datastax-java-driver.basic.request.page-size = 1000 。
   2. 如果使用连续分页： datastax-java-driver.advanced.continuous-paging.page-size = 1000 。

3. 节流 dsbulk 以减少集群上的负载

   1. 通过限制并发请求的数量来“软”节流，例如 128：
      1. DSBulk < 1.6： dsbulk.executor.maxInFlight = 128 。
      2. DSBulk >= 1.6： dsbulk.engine.maxConcurrentQueries = 128 。
   2. 或者通过限制每秒的请求数来“硬”节流，例如 500： dsbulk.executor.maxPerSecond = 500 。