两个进程写入一个文件，防止混合输出

Question

我想从两个进程获取输出并将它们合并到一个文件中，如：

proc1 >> output &
proc2 >> output &

问题是输出可能在最终文件中混淆。 例如，如果第一个进程写入：

hellow

第二个过程写道：

再见

结果可能是这样的：

hebylloe

但我希望它们处于单独的行中（顺序并不重要）：

再见

你好

所以我使用flock使用以下脚本同步写入文件：

exec 200>>output
while read line;
  flock -w 2 200
  do echo $line>>output
  flock -u 200
done

并运行以下过程：

proc1 | script &
proc2 | script &

现在的问题是性能显着下降。 没有同步，每个进程可以以4MB /秒的速度写入，但使用同步脚本，写入速度为1MB /秒。

谁能帮助我如何合并两个进程的输出并防止混合输出？

编辑：我意识到行长度和标准缓冲区大小之间存在关系，如果每行的大小小于标准缓冲区大小，那么每个东西都运行良好，没有任何混合（至少在我的测试中）。 所以我用bufsize命令运行每个脚本：

bufsize -o10KB proc1 | script &
bufsize -o10KB proc2 | script &

现在我想确保这个解决方案是防弹的。 我找不到缓冲区大小和现在发生的事情之间的任何关系！

Answer 1

现在我想确保这个解决方案是防弹的。 我找不到缓冲区大小和现在发生的事情之间的任何关系！

对于完全缓冲的输出流，缓冲区大小确定使用单次write(2)调用write(2)的数据量。 对于行缓冲输出流，只要不超过缓冲区大小，就会使用单个write(2)调用write(2)一行。

ed with O_APPEND , the file offset is first set to the end of the file before writing. 如果文件是使用O_APPEND ，则在写入之前首先将文件偏移设置为文件的末尾。 文件偏移和写入操作的调整作为原子步骤执行。

另见这些答案：

• write(2)到本地文件系统的原子性
• 了解来自多个进程的并发文件写入