奇怪的 df.sort_values 结果 - 随机将多行留空，但缺失值在错误的列中错放一行

Question

当我使用 pandas 在我的日期时间列上使用 df.sort_values 对我的数据框进行排序时，我遇到了一个非常奇怪的问题。

从某种意义上说，代码是有效的，它确实按日期对行进行排序，但是，在这样做的过程中，它会将一些行切成两半，将一半的行保留在应有的位置，但将另一半的行留空。 另一半放在下一行并放在错误的列中。

从屏幕截图中更容易理解。

预先分类的数据

后排序数据

从排序后的日期图片中很难看出，但并非所有行都以这种方式处理（只有一个不在图片中，倒数第二个）。 有些行结果很好，有些行就不行，这看起来很随机。

问题代码如下所示。

df = pd.read_csv('Pre-Sort.csv', low_memory=False, skiprows=0, lineterminator='\n')

df = df.sort_values(by="created")

df.to_csv('Post-Sort.csv')

我也尝试过使用 inplace=True 和 ignore_index=True 但两者都返回了相同的结果。

我担心这是数据的问题，因为我之前使用 df.sort_values 处理几乎相同的数据并且工作正常。

最初，对于有效的数据，我意识到由于某种原因，两个月的数据大约占总数据的 15% 消失了。 罪魁祸首是当我将两个数据框合并在一起时，这两个数据框都包含 df.append 的所有月份。 由于某种原因，df.append 会一直跳过这两个月，所以最后，我通过 mac 终端合并了它们，保留了丢失的月份。

据我所知，这是我两次尝试代码之间唯一的主要区别。 不过，这可能是一条红鲱鱼。 我不得不从头开始重做许多操作，所以我可能做了一些与以前不同的事情，所以可能就是这样。

此外，这会将文件大小从 192MB 更改为 210.3MB，这可能不应该发生在排序中。

我只需要对数据进行排序，这样我就可以将其重新采样到每日变量中，因此，如果有人知道一种无需排序即可重新采样的方法，那对我来说也同样适用。

Answer 1

我认为您在索引方面遇到问题（在合并和排序方面）。

你可以试试上面的代码：

df = pd.read_csv('Pre-Sort.csv', low_memory=False, skiprows=0, lineterminator='\n')

# no assignments here, that was the reason of the NoneType happening
df.sort_values(by='created', inplace=True, ignore_index=True)

df.to_csv('Post-Sort.csv')

Answer 2

解决了大部分。

问题不是排序后的 function，而是数据集之前存在的问题。 位移问题已经存在，但只有在数据混合在一起时才会显现出来。 仍然试图找出数据处理中到底哪里出错了，我认为这是一个分隔符问题。

到目前为止，一个同样令人困惑的问题，我可能不得不创建另一篇文章来解决