gitlab-CI 管道：尝试删除文件时出现 lftp 错误 550

Question

我在 gitlab.com 环境中使用免费的共享运行器。 我有一个 gitlab-CI 管道，它一个接一个地运行以下 lftp 命令：

• lftp -c "set ftp:ssl-allow no; open -u $USERNAME,$PASSWORD $HOST; glob -a rm -r./httpdocs/*"
• lftp -c "set ftp:ssl-allow no; open -u $USERNAME,$PASSWORD $HOST; mirror -R public/ httpdocs --ignore-time --parallel=50 --exclude-glob.git* --exclude.git/"

这些命令的目的是删除 httpdocs 文件夹（以前的文件）的内容，然后上传新的构建工件。

CI 管道由 CMS 触发。 有时会发生内容编辑器并行更新内容的情况，导致许多触发器并行运行（管道大约需要 3 分钟才能完成）。

然后管道将开始失败并出现以下错误：

rm：访问失败：550 /httpdocs/build-html-styles.css：没有那个文件或目录

发生这种情况是因为另一个管道删除的文件正在排队等待删除。 当 httpdocs 文件夹完全为空时，会发生非常类似的错误。 这导致我的整个管道失败（第二个上传 lftp 命令根本没有执行）。

失败的管道示例及其输出：

• #375793957
• #375793968
• #375793932
• #375793930
• #375793926
• #375793924

我如何防止这种情况发生？ 使用 lftp 上传工件不是必须的 - 我正在运行node:8.10.0图像。 有问题的 Gitlab-ci.yml文件。

Answer 1

我在评论简单的文件锁定和简单的主动轮询等待。 我有没有lftp的经验，但是从各种网络资源，如量化这个，我写了下面。 我看到 lftp 不支持协议中的文件锁定，所以你可以这样：

const="set ftp:ssl-allow no; open -u $USERNAME,$PASSWORD $HOST"
# wait until file exists
while lftp -c "$const; df lockfile"; do sleep 1; done
# create the lockfile
lftp -c "$const; mkdir lockfile"
# the work
lftp -c "$const; glob -a rm -r ./httpdocs/*"
lftp -c "$const; mirror -R public/ httpdocs  --ignore-time --parallel=50 --exclude-glob .git* --exclude .git/"
# remove lockfile
lftp -c "$const; rmdir lockfile"

我使用了mkdir和rmdir以及一个目录而不是一个文件，因为我不知道如何用 lftp 创建一个空文件。 在查找文件和创建文件之间仍然存在竞争条件，但它至少应该防止两个并发访问。 为了保护更多，你可以做一些像sleep 0.$(printf "%02d" $((RANDOM / 10))) - 使睡眠时间随机，所以他们进入创建文件不那么“并发”。

同样以防万一，我不会镜像到httpdocs目录，而是镜像到一些临时目录，比如tmp=httpdocs_$(uuidgen); lftp "mirror .. $tmp" tmp=httpdocs_$(uuidgen); lftp "mirror .. $tmp"以后可以重命名为lftp 'rmdir httpdocs; rename $tmp httpdocs" lftp 'rmdir httpdocs; rename $tmp httpdocs" ，使部署更安全，停机时间更短（ httpdocs空的时间更短）。未来我建议使用更安全/更高级的连接远程服务器的协议，该协议支持文件锁定。像 ssh . 或者也许是桑巴舞。

Answer 2

lavv17/lftp问题 302主张 lftp 跳过此类内容，但这并没有引起任何关注。

邮件列表建议

要删除目录，请使用rmdir

在您的情况下： rm -rf httpdocs/ （如果您需要空文件夹，则后跟mkdir httpdocs ）

Answer 3

--parallel=50的并发级别 50 似乎很高。 我也有 550 权限错误以及使用 lftp 并降低并发级别为我解决了这个问题。