我如何才能使Weka分类器使用更少的内存和CPU时间？

Question

我有一个包含25万个实例的训练集，对于Weka分类器来说太大了（尽管将数据加载到Weka UI中就可以了，但是任何尝试运行非平凡分类器的尝试都会导致内存不足，即使使用计算机的整个8GB RAM专用于JVM堆）。

因为这涉及地理数据，所以如果我在纬度/经度上进行聚类并在每个聚类上训练单独的分类器，它的效果应该会很好。

有没有一种方法可以在Weka命令行或KnowledgeFlow上轻松做到这一点，而不必弄乱ARFF文件？ （我更喜欢保留一个大的ARFF文件，以便可以在Weka中评估不同的拆分策略）

我研究了装袋和交叉折叠验证，但我认为它们不适合我的问题，因为我不希望数据随机分割，而是根据位置的相似性将它们保持在一起。

Answer 1

如果我按纬度/经度聚类，效果应该会很好

这取决于算法覆盖的值的范围。 如果它们来自世界各地，k均值可能会给您带来一些令人惊讶的结果。 long / lat不太适合k-means假设的世界。 具体来说，欧氏空间中的平均值与经度/纬度空间中的平均值不匹配 。

（我更喜欢保留一个大的ARFF文件，以便可以在Weka中评估不同的拆分策略）

您是否说过大而无法容纳在内存中？ 没有任何开销，假设2 d个特征向量（经度和纬度）加上一个输出值，则250k * 3 * 8字节仅为6兆字节，可能还有12 MB的对象开销（这样小的数组使得标头在Java领域中相对较大）。 即使您的数据密集（D = 1000），您仍然仅占用略大于2 GB的内存。

我认为您可能对自己真正想做的事情以及如何做感到有些困惑。 也许您应该在解决问题之前花更多的时间来学习ML。 Coursera有足够好的入门课程。

Answer 2

在训练分类器时添加以下两个选项会对性能产生惊人的影响，因此无需拆分数据集：

-no-cv -v

在RandomForest，J48和LWL上的训练时间减少到2分钟以内，如果没有这些选项，算法将无法终止（许多小时后）或内存不足。

保留基于文件拆分的先前答案，以防它帮助具有非常大数据集的人：

我找到了部分解决方案。 以下命令行（在Windows中）将基于集群将一个ARFF文件中的数据分为十个单独的ARFF文件（我使用K-Means是因为它运行速度非常快，但稍后可能会切换到EM或DBSCAN）：

java -Xmx4096m -cp weka.jar weka.filters.unsupervised.attribute.AddCluster -i％TEMP％\\ StreetSet.arff -o \\ temp \\ clusters.arff -W“ weka.clusterers.SimpleKMeans -N 10 -num-slots 4 “

为（l，1,10）中的/ l％i做java -Xmx4096m -cp weka.jar weka.filters.unsupervised.instance.RemoveWithValues -C last -L％i -V -i \\ temp \\ clusters.arff -o \\ TEMP \\群集％i.arff

这并不是我想要的，因为使用这种方法，我无法使用Experimenter尝试不同的参数组合，现在它使对新实例的评估/测试变得复杂，必须先通过单独的命令行先按集群进行拆分。 我希望在Weka元分类器中透明地处理所有这些问题。