Facebookexternalhit 导致 Range Not Satisfiable 错误

Question

我有一个 NodeJS 服务器，有时会抛出RangeNotSatisfiableError: Range Not Satisfiable错误。 看日志，后面的调用总是有user-agent facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php) ，不管是在有流媒体的页面上（比如https:/ /emotionathletes.org/ ）或没有它（例如https://emotionathletes.org/login ）。

为什么 Facebook 爬虫请求范围遥不可及？

更新：我为这些请求添加了日志记录详细信息。 请求的范围始终是从 0 到 2^19 - 1。它们发生在公共页面上，例如www.emotionathletes.org/miguel 。 标准输出日志显示：

[2021-03-26T09:29:48.451Z] /miguel  ::  facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
[2021-03-26T09:29:48.451Z] bytes=0-524287
[0mGET /miguel [32m200[0m 5.490 ms - 14652[0m
[2021-03-26T09:29:48.475Z] /miguel  ::  facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
[2021-03-26T09:29:48.475Z] bytes=0-524287
[0mGET /miguel [32m200[0m 3.530 ms - 14652[0m
[0mGET /javascripts/main.js [33m416[0m 1.257 ms - 148[0m
[0mGET /javascripts/main.js [32m200[0m 0.495 ms - -[0m
[2021-03-26T09:29:49.306Z] /miguel  ::  facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
[2021-03-26T09:29:49.306Z] bytes=0-524287
[0mGET /miguel [32m200[0m 4.592 ms - 14442[0m
[2021-03-26T09:29:49.613Z] /miguel  ::  facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
[2021-03-26T09:29:49.613Z] bytes=0-524287
[0mGET /miguel [32m200[0m 5.411 ms - 14442[0m
[0mGET /images/logo_1200x630_shared_image_PT.png [32m200[0m 0.519 ms - 87137[0m
[2021-03-26T09:29:51.002Z] /miguel  ::  facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
[2021-03-26T09:29:51.002Z] bytes=0-524287
[0mGET /miguel [32m200[0m 4.482 ms - 14652[0m
[2021-03-26T09:29:54.190Z] /miguel  ::  facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
[2021-03-26T09:29:54.190Z] bytes=0-524287
[0mGET /miguel [32m200[0m 5.366 ms - 14652[0m
[2021-03-26T09:29:54.212Z] /miguel  ::  facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
[2021-03-26T09:29:54.212Z] bytes=0-524287

错误日志仅显示这些事件的一项：

[2021-03-26T09:29:48.604Z] RangeNotSatisfiableError: Range Not Satisfiable
    at SendStream.error (/home/bitnami/emotionathletes/server/node_modules/send/index.js:270:31)
    at SendStream.send (/home/bitnami/emotionathletes/server/node_modules/send/index.js:670:19)
    at onstat (/home/bitnami/emotionathletes/server/node_modules/send/index.js:729:10)
    at FSReqCallback.oncomplete (fs.js:167:5)
[2021-03-26T11:30:09.714Z] (something else...)

第二次更新：我根据评论修复了循环警告。 Facebook 在 /404、/escolas、/testimonials、/register 等页面上不断请求字节0-524287 ，但并非所有页面都抛出此错误。 如果页面被快速连续请求，服务器只会抛出一个错误。

是否可以在错误处理程序中添加调试以跟踪导致错误的页面？