Autodesk Forge - 將文件作為塊上傳到 Node JS 中的 BIM 360 存儲時出現 504 網關超時

Question

當我嘗試使用 Autodesk forge 中的PUT object 可恢復 API 端點以“塊”上傳大文件時，出現 504 網關超時。

https://forge.autodesk.com/en/docs/data/v2/reference/http/buckets-:bucketKey-objects-:objectName-resumable-PUT/

我的控制台日志 output 如下，顯示 504 響應以及我發送的 PUT 請求。

我嘗試了各種方法，既使用 Node 中的 forge forge-apis SDK 中的函數（例如uploadChunk中的ObjectsAPI方法），還使用request 、 request-promise-native編寫了各種函數，以檢查是否使用 await/async、promise vs 回調可以幫助解決問題。

在所有情況下，我都會得到相同的響應——日志中長時間停頓，然后是 504 網關超時——這似乎來自 Forge 端。

For context, my Node JS application sits on Heroku, and is triggered from a python script running locally on the client - so Heroku is the 'middleman' - authentication is passed from client-side via python to the node app and then passed on to偽造認證。 流程中的其他操作均成功，因此我確信身份驗證正常工作。

任何人都可以從下面的日志中看到可能導致問題的任何內容嗎？ 其他人在分塊上傳大文件時遇到過類似的 504 問題嗎？ （在這種情況下約為 130MB）

第一個日志顯示我的控制台日志 output - 我以 1 秒的間隔發送 5mb 塊，並將塊作為緩沖區 object（字節）切片以匹配 Content-Range

2020-06-22T10:42:33.389835+00:00 app[web.1]: Ready to upload chunk...
2020-06-22T10:42:33.389896+00:00 app[web.1]: simulating waiting for 1000 milliseconds
2020-06-22T10:42:34.391034+00:00 app[web.1]: done waiting
2020-06-22T10:42:34.392893+00:00 app[web.1]: contentRange bytes 129999974-130056191/130056192
2020-06-22T10:42:34.393393+00:00 app[web.1]: requestParams {
2020-06-22T10:42:34.393394+00:00 app[web.1]: headers: {
2020-06-22T10:42:34.393395+00:00 app[web.1]: Authorization: 'Bearer eyJhbGciOiJIxxxxxxxxx',
2020-06-22T10:42:34.393396+00:00 app[web.1]: 'Content-Type': 'application/octet-stream',
2020-06-22T10:42:34.393396+00:00 app[web.1]: 'Content-Range': 'bytes 129999974-130056191/130056192',
2020-06-22T10:42:34.393397+00:00 app[web.1]: 'Content-Length': '130056192',
2020-06-22T10:42:34.393397+00:00 app[web.1]: 'Session-Id': '-75601742'
2020-06-22T10:42:34.393397+00:00 app[web.1]: },
2020-06-22T10:42:34.393398+00:00 app[web.1]: uri: 'https://developer.api.autodesk.com/oss/v2/buckets/wip.dm.prod/objects/1fad0fad-601b-41b8-bce4-c88edbb353ec.rvt/resumable',
2020-06-22T10:42:34.393399+00:00 app[web.1]: url: 'https://developer.api.autodesk.com/oss/v2/buckets/wip.dm.prod/objects/1fad0fad-601b-41b8-bce4-c88edbb353ec.rvt/resumable',
2020-06-22T10:42:34.393399+00:00 app[web.1]: method: 'PUT',
2020-06-22T10:42:34.393400+00:00 app[web.1]: body: <Buffer 6b b1 b4 e4 d7 f5 1e 59 a0 07 0c db 68 7d 9e 98 75 8e 5f fc e8 0c e3 78 a0 9c b9 59 3f e9 0f 28 e5 5a f0 eb 75 7b 68 16 3d 4c c1 ca 20 7a ba 67 f0 69 ... 56167 more bytes>,
2020-06-22T10:42:34.393400+00:00 app[web.1]: resolveWithFullResponse: true
2020-06-22T10:42:34.393400+00:00 app[web.1]: }
2020-06-22T10:42:34.393466+00:00 app[web.1]: Ready to upload chunk...

每個塊的響應都是這樣返回的：

2020-06-22T10:43:34.443453+00:00 app[web.1]: Uploading 504 > GATEWAY_TIMEOUT
2020-06-22T10:43:34.443834+00:00 app[web.1]: err:  null
2020-06-22T10:43:34.443969+00:00 app[web.1]: res:  {
2020-06-22T10:43:34.443969+00:00 app[web.1]: ----"statusCode": 504,
2020-06-22T10:43:34.443970+00:00 app[web.1]: ----"body": "",
2020-06-22T10:43:34.443970+00:00 app[web.1]: ----"headers": {
2020-06-22T10:43:34.443971+00:00 app[web.1]: --------"content-length": "0",
2020-06-22T10:43:34.443971+00:00 app[web.1]: --------"connection": "Close"
2020-06-22T10:43:34.443971+00:00 app[web.1]: ----},
2020-06-22T10:43:34.443972+00:00 app[web.1]: ----"request": {
2020-06-22T10:43:34.443972+00:00 app[web.1]: --------"uri": {
2020-06-22T10:43:34.443973+00:00 app[web.1]: ------------"protocol": "https:",
2020-06-22T10:43:34.443973+00:00 app[web.1]: ------------"slashes": true,
2020-06-22T10:43:34.443973+00:00 app[web.1]: ------------"auth": null,
2020-06-22T10:43:34.443974+00:00 app[web.1]: ------------"host": "developer.api.autodesk.com",
2020-06-22T10:43:34.443974+00:00 app[web.1]: ------------"port": 443,
2020-06-22T10:43:34.443974+00:00 app[web.1]: ------------"hostname": "developer.api.autodesk.com",
2020-06-22T10:43:34.443974+00:00 app[web.1]: ------------"hash": null,
2020-06-22T10:43:34.443975+00:00 app[web.1]: ------------"search": null,
2020-06-22T10:43:34.443975+00:00 app[web.1]: ------------"query": null,
2020-06-22T10:43:34.443975+00:00 app[web.1]: ------------"pathname": "/oss/v2/buckets/wip.dm.prod/objects/1fad0fad-601b-41b8-bce4-c88edbb353ec.rvt/resumable",
2020-06-22T10:43:34.443976+00:00 app[web.1]: ------------"path": "/oss/v2/buckets/wip.dm.prod/objects/1fad0fad-601b-41b8-bce4-c88edbb353ec.rvt/resumable",
2020-06-22T10:43:34.443976+00:00 app[web.1]: ------------"href": "https://developer.api.autodesk.com/oss/v2/buckets/wip.dm.prod/objects/1fad0fad-601b-41b8-bce4-c88edbb353ec.rvt/resumable"
2020-06-22T10:43:34.443977+00:00 app[web.1]: --------},
2020-06-22T10:43:34.443977+00:00 app[web.1]: --------"method": "PUT",
2020-06-22T10:43:34.443977+00:00 app[web.1]: --------"headers": {
2020-06-22T10:43:34.443978+00:00 app[web.1]: ------------"Authorization": "Bearer eyJhbGciOiJxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
2020-06-22T10:43:34.443978+00:00 app[web.1]: ------------"Content-Type": "application/octet-stream",
2020-06-22T10:43:34.443978+00:00 app[web.1]: ------------"Content-Range": "bytes 129999974-130056191/130056192",
2020-06-22T10:43:34.443978+00:00 app[web.1]: ------------"Content-Length": "130056192",
2020-06-22T10:43:34.443979+00:00 app[web.1]: ------------"Session-Id": "-75601742"
2020-06-22T10:43:34.443979+00:00 app[web.1]: --------}
2020-06-22T10:43:34.443979+00:00 app[web.1]: ----}
2020-06-22T10:43:34.443979+00:00 app[web.1]: }

Answer 1

感謝我的同事Luis Felipe Paris - 在按照 Petr 的建議查看了forge-server-utils之后，我們設法解決了這個問題。

通過更改我們的uploadChunk function 以使用模塊axios而不是request或request-promise - 我們發現 504 超時錯誤消失了。

我們使用的是 npm 模塊request和request-promise （即使這些日子遺留/不推薦使用），因為它支持從一個地方到另一個地方的管道流，這適用於我們正在執行的所有其他請求，除了上傳“可恢復”文件在單獨的塊中。

我們必須將我們從Buffer object 發送的文件有效負載轉換為ArrayBuffer ，並將其正確切片以匹配每個塊的Content-Range 。

一些較舊的偽造示例使用request - 所以我想這可能對其他用戶有用 - 如果request給您帶來問題，請嘗試axios

Answer 2

編輯：使用可恢復上傳功能時，請確保Content-Length請求 header 指定您要發送的塊的長度，而不是上傳文件的整個大小。

Forge API 確實有一些速率限制，但在這種情況下，您可能應該得到 4xx 狀態代碼，而不是 504。

你能為我們嘗試幾件事嗎？

• 使用此 Node.js 庫上傳文件： https://github.com/petrbroz/forge-server-utils
• 使用此 Visual Studio Code 擴展上傳文件（使用相同的 Node.js 庫）： https://marketplace.visualstudio.com/items?itemName=petrbroz.vscode-forge-tools
• 從本地應用程序而不是 Heroku 上傳文件（只是為了排除 Heroku 和 Forge 服務器之間的一些網絡問題）

如果您仍然無法上傳文件，您能否通過forge (dot) help (at) autodesk (dot) com與我們（保密）分享？ 我們很樂意最終調查它。