Google Apps 脚本：UrlFetchApp 出现 403 错误

Question

我正在使用谷歌应用脚本

var rss = "https://www.sec.gov/cgi-bin/browse-edgar?action=getcurrent&CIK=&type=8-k&company=&dateb=&owner=exclude&start=0&count=100&output=atom"
var r = UrlFetchApp.fetch(rss).getContentText()

但是有一段时间，我执行失败，这就是响应。 这是大约一半的时间。

Exception: Request failed for https://www.sec.gov returned code 403. Truncated server response: <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w... (use muteHttpExceptions option to examine full response)

不知道为什么会发生以及如何解决它。

Answer 1

尽管不幸的是，我无法复制您的情况， but once a while, I get a failed execution and this is the response. ，例如，如何重试请求如下？

示例脚本：

var res = null;
var maxRetries = 5;
var rss = "https://www.sec.gov/cgi-bin/browse-edgar?action=getcurrent&CIK=&type=8-k&company=&dateb=&owner=exclude&start=0&count=100&output=atom";
for (var i = 0; i < maxRetries; i++) {
  res = UrlFetchApp.fetch(rss, {muteHttpExceptions: true});
  if (res.getResponseCode() == 200) break;
  res = null;
  Utilities.sleep(5000);
}
if (!res) throw new Error("Values cannot be retrieved.");

// do something.
var value = res.getContentText();

在此示例脚本中，当状态码不是200时，5 秒后重试请求。 最大重试次数为 5 次。
请根据您的实际情况修改maxRetries和Utilities.sleep(5000) 。

参考：

获取（网址，参数）

Answer 2

当您的请求率超过“合理使用”定义（目前为每秒 10 个请求）时，可能会发生这种情况。

https://www.sec.gov/os/accessing-edgar-data

您可以通过检查响应正文来确认是否是这种情况。

Google Apps 脚本：UrlFetchApp 出现 403 错误

问题描述

2 个解决方案

解决方案1
3 已采纳 2021-04-04 01:58:22

示例脚本：

参考：

解决方案2
2 2021-06-22 17:15:12

Google Apps 脚本：UrlFetchApp 出现 403 错误

问题描述

2 个解决方案

解决方案1 3 已采纳 2021-04-04 01:58:22

示例脚本：

参考：

解决方案2 2 2021-06-22 17:15:12

解决方案1
3 已采纳 2021-04-04 01:58:22

解决方案2
2 2021-06-22 17:15:12