Python：类型错误：dtype=datetime64[ns] 和日期之间的无效比较

Question

对于当前的项目，我计划通过运行多个循环来按时间范围过滤 JSON 文件，每次都稍微改变范围。 但是，下面的代码会产生错误TypeError: Invalid comparison between dtype=datetime64[ns] and date for line after_start_date = df["Date"] >= start_date 。

我已经尝试修改 Python 代码以及相应的 JSON 文件中的日期格式。 是否有任何巧妙的调整来调整日期类型/格式？

JSON 文件具有以下格式：

[
{"No":"121","Stock Symbol":"A","Date":"05/11/2017","Text Main":"Sample text"}
]

相应的代码如下所示：

import string
import json

import pandas as pd
import datetime
from dateutil.relativedelta import *


# Loading and reading dataset
file = open("Glassdoor_A.json", "r")
data = json.load(file)
df = pd.json_normalize(data)
df['Date'] = pd.to_datetime(df['Date'])


# Create an empty dictionary
d = dict()

# Filtering by date

start_date = datetime.date.fromisoformat('2017-01-01')
end_date = datetime.date.fromisoformat('2017-01-31')

for i in df.iterrows():
    start_date += relativedelta(months=+3)
    end_date += relativedelta(months=+3)

    print(start_date)
    print(end_date)

    after_start_date = df["Date"] >= start_date
    before_end_date = df["Date"] <= end_date

    between_two_dates = after_start_date & before_end_date
    filtered_dates = df.loc[between_two_dates]

    print(filtered_dates)

Answer 1

您可以使用pd.to_datetime('2017-01-31')而不是datetime.date.fromisoformat('2017-01-31') 。

我希望这有帮助！

Answer 2

我的一般建议是不要使用datetime模块。 使用内置的pandasonic方法/类，如pd.to_datetime和pd.DateOffset 。

您还应该尽早关闭不需要的输入文件，例如：

with open('Glassdoor_A.json', 'r') as file:
    data = json.load(file)

您的代码中的其他奇怪点是：

• 您for i in df.iterrows():编写了一个遍历行的循环，但从不使用i （此循环的控制变量）。
• 您的循环在时间步长（而不是“逐行”）模式下工作，因此您的循环应该类似于“while end_date <= last_end_date:”，
• start_date和end_date之间的差异仅为1个月（实际上它们是某个月的开始日期和结束日期），但在循环中，您将两个日期都增加了3个月。

下面是一个代码示例，用于查找连续月份中的行，直至某个最终日期，并打印当前月份的行（如果有）：

start_date = pd.to_datetime('2017-01-01')
end_date = pd.to_datetime('2017-03-31')
last_end_date = pd.to_datetime('2017-12-31')
mnthBeg = pd.offsets.MonthBegin(3)
mnthEnd = pd.offsets.MonthEnd(3)
while end_date <= last_end_date:
    filtered_rows = df[df.Date.between(start_date, end_date)]
    n = len(filtered_rows.index)
    print(f'Date range: {start_date.strftime("%Y-%m-%d")} - {end_date.strftime("%Y-%m-%d")},  {n} rows.')
    if n > 0:
        print(filtered_rows)
    start_date += mnthBeg
    end_date += mnthEnd

Answer 3

您可以使用以下方法比较您的日期

from datetime import datetime
df_subset = df.loc[(df['Start_Date'] > datetime.strptime('2018-12-31', '%Y-%m-%d'))]