使用Python创建大型数据集

Question

我想使用Python创建一个大型数据集（符合给定的架构）。 有没有一种很好的方法来指定架构（每个字段的数据类型和长度），并让Python为我创建大约100,000个观察值？ 已经有不错的工具了吗？

我熟悉Python ...因此想坚持使用它。 如果有人使用Bash或其他方式，也请告诉我。

谢谢！ PD。

Answer 1

您可能应该检查一下假工厂包装。

Answer 2

请看一下这个：

https://github.com/sanju51/Generate-large-Dataset-dynamically-in-Python

速度：-5秒钟内记录100000条记录（10列）用法：-python generate_dataset.py -i Metadata.csv -f sample.csv -nrec 100000 -d'，'-hdr Y