"无法通过 scrapy 发送 POST 请求"

Question

我正在尝试使用scrapy.http.Request发送一个 POST 请求，如下所示：

response = scrapy.http.Request(
    url=endpoint,
    method="POST",
    headers=headers,
    body=json.dumps(payload),
)

响应正文只包含我发送的 URL。

我正在尝试使用我知道有效的requests库将以下 POST 请求复制到 API。

endpoint = ENDPOINT
url_to_scrape = URL_TO_SCRAPE
payload = {"url": url_to_scrape}
headers = HEADERS

response = requests.request("POST", url, data=json.dumps(payload), headers=headers)

print(response.text)