
[英]how to write content of df into csv file using multiprocessing in python
[英]Using Python Multiprocessing to Write to CSV
我想利用多处理并行创建单个csv文件,但到目前为止结果很糟糕。 我创建了一个嵌套列表,当执行序列化而不进行多处理时,嵌套列表的尺寸应为50 x 10。 但是,生成的csv文件包含每个列表都是一个元素。 我该如何解决?
from multiprocessing import Pool
def sample(key):
sample_list = [[34 for i in range(10)] for i in range(50)]
return sample_list
pool = Pool(processes=2) # Number of cores I'm using
resultset = pool.imap(sample, list(range(25)), chunksize=25)
with open('./testing.csv','w') as f:
writer = csv.writer(f, delimiter=',')
for result in resultset:
for row in result:
writer.writerow(row)
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.