如何在mysql中处理“列太多”

Question

制表符分隔的文件中有1800列和大约400万行。 我正在尝试将其加载为mysql关系。 Mysql给我ERROR 1117 (HY0000): Too many columns 。 我在网上检查了一下，发现MySQL无法处理这么大的数据，并且有人建议垂直分割表。

我正在寻找的是有关如何对其进行分区以及如何对分区表执行选择查询的示例。

谢谢

Answer 1

您可以根据需要定义任意数量的表。 由于多种原因（性能，安全性），它也被认为是可接受的做法。

您只需要拆分csv文件，并使表与相同的主键保持链接。

要分割csv文件，您可以轻松地使用cut（希望没有大小限制）：

cut -d"," -f1-1000 patients.csv > cols1000.csv
cut -d"," -f1001-1800 patients.csv > cols1800.csv

当然，您可以拆分更多。 对于这些表，我知道您已经知道如何导入。 只需在两个表中使用auto_increment pkey即可保持关系。