CSV日期解析时缓慢的Dask性能？

Question

我一直在对大量文件进行大量的文本处理，包括大型CSV和大量的小型XML文件。 有时我正在进行聚合计数，但很多时候我正在进行NLP类型的工作，以便更深入地查看这些文件中除标记或已经结构化之外的内容。

我一直在使用多处理库来跨多个CPU执行这些计算，但我已经爱上了Dask背后的想法，它强烈建议在网络和同事。

我在这里问了一个关于Dask性能的类似问题：

使用Python Dask包慢性能？

和MRocklin（ https://stackoverflow.com/users/616616/mrocklin ）让我知道加载大量小文件可能会破坏性能。

然而，当我在单个大文件（200mb）上运行时，我仍然不能让它表现得非常好。 这是一个例子：

我有一个900,000行的推文CSV文件，我想快速加载它并解析“created_at”字段。 以下是我完成它的三种方法以及每种方法的基准。 我在一台配备16GB内存的新款i7 2016 MacBook Pro上运行了这款产品。

import pandas
import dask.dataframe as dd
import multiprocessing

%%time
# Single Threaded, no chunking
d = pandas.read_csv("/Users/michaelshea/Documents/Data/tweet_text.csv", parse_dates = ["created_at"])
print(len(d))

CPU时间：用户2分31秒，系统：807毫秒，总计：2分钟32秒壁挂时间：2分钟32秒

%%time
# Multithreaded chunking
def parse_frame_dates(frame):
    frame["created_at"] = pandas.to_datetime(frame["created_at"])
    return(frame)

d = pandas.read_csv("/Users/michaelshea/Documents/Data/tweet_text.csv", chunksize = 100000)
frames = multiprocessing.Pool().imap_unordered(get_count, d)
td = pandas.concat(frames)
print(len(td))

CPU时间：用户5.65秒，系统：1.47秒，总计：7.12秒挂壁时间：1分钟10秒

%%time
# Dask Load
d = dd.read_csv("/Users/michaelshea/Documents/Data/tweet_text.csv", 
                 parse_dates = ["created_at"], blocksize = 10000000).compute()

CPU时间：用户2分59秒，系统：26.2秒，总计：3分钟25秒壁挂时间：3分钟12秒

我在许多不同的Dask比较中发现了这些结果，但即使让它正常工作也可能指向正确的方向。

简而言之，我如何才能从Dask中获得最佳性能以完成这些任务？ 为什么它似乎在其他方面表现不如单线程和多线程技术？

Answer 1

我怀疑Pandas read_csv日期时间解析代码是纯python，因此使用线程不会带来太多好处，这是dask.dataframe默认使用的。

使用进程时，您可能会看到更好的性能。

我怀疑以下内容会更快：

import dask.multiprocessing
dask.set_options(get=dask.multiprocessing.get)  # set processes as default

d = dd.read_csv("/Users/michaelshea/Documents/Data/tweet_text.csv", 
                parse_dates = ["created_at"], blocksize = 10000000)
len(d)

进程的问题在于进程间通信可能变得昂贵。 我明确地计算上面的len(d)而不是d.compute() ，以避免必须拾取工作进程中的所有pandas数据帧并将它们移动到主调用进程。 实际上，这很常见，因为人们很少想要完整的数据帧，而是对数据帧进行一些计算。

这里的相关文档是http://dask.readthedocs.io/en/latest/scheduler-choice.html

您可能还希望在单个计算机上使用分布式调度程序 ，而不是使用多处理调度程序。 这也在上面引用的文档中描述。

$ pip install dask distributed

from dask.distributed import Client
c = Client()  # create processes and set as default

d = dd.read_csv("/Users/michaelshea/Documents/Data/tweet_text.csv", 
                parse_dates = ["created_at"], blocksize = 10000000)
len(d)