Dask中的TF-IDF计算

Question

Apache Spark 带有一个包来进行 TF-IDF 计算，我觉得它非常方便： https : //spark.apache.org/docs/latest/mllib-feature-extraction.html

有没有等价的，或者也许有办法用 Dask 做到这一点？ 如果是这样，是否也可以在水平扩展的 Dask 中完成（即具有多个 GPU 的集群）

Answer 1

这也在 dask gitter 上被问到，@stsievert 回复如下：

计数/散列向量化器是相似的。 它们在 Dask-ML 中并且与没有标准化/函数的 TFIDF 相同。

我认为这将是一个很好的 github 问题/功能请求。

这是HashingVectorizer API 的链接。