为什么数据框在使用字符串的 dtype 时将文件作为整数读取

Question

我确实使用 python 3.7 来自动化一些过程，其中包括使用数据帧

我遇到的问题如下。

使用此代码：

data=pd.io.parsers.read_csv(basepath + files[0],sep='|',header=None,index_col=None,dtype={'2': 'str'},skiprows=2,usecols=[2,3,10,18,17,1])

该文件太大了，不可能用 00 跟踪每个错误，而且并非所有数字都有 10 个字符长，有些是 9 个字符长，这取决于。

我希望结果如下：

4   12345   abcd   P1234   A1234

但是第 2 列中的某些行在开始数据帧处带有 00 自动认为它是整数并摆脱它以提高效率所以有时它应该是：

4   00123   abcd   P1234   A1234

但我最终

4   123   abcd   P1234   A1234

所以我 chcek 文档到 Pandas 并尝试添加 dtype 它对我不起作用。 任何建议如何使它工作？

Answer 1

您的header=None和dtype={'2': 'str'}有问题。 当 pandas 解析列标题时，它将始终使用字符串表示。 对于像test.csv这样的文件，我们得到

1,2.0,2,7
1,2,03,03
1,00,3,01

pd.read_csv('test.csv').columns
#Index(['1', '2.0', '2', '7'], dtype='object')

但是，当指定header=None ，pandas 会创建一个 Int64Index：

pd.read_csv('test.csv', header=None).columns
#Int64Index([0, 1, 2, 3], dtype='int64')

---

因此，如果您希望标题为'2'的列是字符串 dtype，那么您需要删除header=None ，或者如果您只想要第二列（从 0 开始计数），我们需要在 dtype 中使用整数2 。

pd.read_csv('test.csv', header=None, dtype={2: 'str'})
#   0    1   2  3
#0  1  2.0   2  7
#1  1  2.0  03  3
#2  1  0.0   3  1

pd.read_csv('test.csv', dtype={'2': 'str'})
#   1  2.0   2  7   # <- This row now string column headers
#0  1    2  03  3
#1  1    0   3  1

Answer 2

我通过以下方式绕过了这个问题。

    data=pd.io.parsers.read_csv(basepath + files[0],sep='|',header=None,index_col=None,dtype='str',skiprows=2,usecols=[2,3,10,18,17,1]) # index_col=0,)

    data[10] = pd.to_numeric(data[10])

归功于： https : //stackoverflow.com/a/28648923/10628703 （Alex Riley）