dask_cudf 数据帧中的标签编码

Question

我正在尝试使用 dask_cudf 为多类 xgboost 训练预处理一个非常大的数据集（150,000,000+ 条记录），并且在对类列进行编码时遇到问题（dtype 是字符串）。 我尝试使用“替换”功能，但错误消息说两个 dtype 必须匹配。 我尝试使用 dask_ml.LabelEncoder，但它说 cudf 不支持字符串数组。 我尝试以各种方式使用 compute()，但我一直遇到内存不足的错误（我假设是因为对 cudf 数据帧的操作需要更小的数据集）。 我还尝试将类列拉出，编码，然后将其与数据框合并，但分区不对齐。 我尝试手动排列它们，但 dask_cudf 似乎不支持使用 'divisions' 参数进行重新分区（出现错误，例如'旧分区和新分区不匹配'）。 任何有关如何做到这一点的帮助将不胜感激。

Answer 1

xgboost 不支持字符串。 没有看到你的数据，这里有一些快速而肮脏的方法，我修改了字符串列来训练，因为通常字符串可能无关紧要：

1. 如果字符串实际上是数字（如日期），则转换为 int (int8 int16, int32)
2. 我通过对字符串进行哈希映射然后运行 ​​xgboost （基本上在字符串和整数之间创建可逆转换，只要您不更改整数）并训练您当前的，现在散列为整数的列来做到这一点。
3. 如果字符串是类，则在新列中手动命名类号 (0,1,2,...,n) 并在该列上进行训练。

肯定还有其他更好的方法。 至于您问题的第二部分，请发表评论。

现在，您的 XGBoost 模型和每个 GPU 的 dask-cudf 数据帧分配必须适合单个 GPU，否则您将出现内存错误。 如果您的模型将考虑大量数据，请尽可能在最大的 GPU 内存大小的集群上进行训练。 A100s 可以有 40GB 和 80GB。 一些较旧的计算 GPU、V100 和 GV100 有 32GB。 A6000 和 RTX8000 有 48GB。 然后从那里到 24、16 和更低。 请相应地调整您的 GPU