如何在两个进程之间安全地共享文件描述符？

Question

这是针对我在此之前的问题的 ，针对UNIX的后续问题 。

我想知道一个进程打开的文件描述符是否可以安全地用于分支进程。

我通过同时运行数百个进程来运行了一些测试，所有这些进程都连续写入同一文件描述符。 我发现：

• 当fwrite()调用最多为8192字节时，所有调用均已完美序列化，文件正常。
• 当fwrite()调用超过8192个字节时，该字符串将拆分为8192个字节的块，这些块会随机写入文件，最终会损坏。

我尝试使用flock() ，但没有成功，因为每个进程都试图锁定/解锁相同的文件描述符，这没有任何意义。 结果是一样的。

有没有一种方法可以在所有进程之间安全地共享文件描述符，并使所有fwrite()调用正确序列化？

Answer 1

您需要注意的第一件事是stdio缓冲区。 因为您使用的是stdio（ fwrite() ），而不是系统调用directlr（ write() ），所以您不知道何时将数据实际刷新到文件中。 要绕过此问题，每次释放锁之前，您都必须在关键部分内刷新stdio缓冲区：

take the lock
fwrite(foo, ...);
fflush(thefile);
release the lock

...或者您可以直接切换为使用write() 。

现在，讨论一个主要问题：如何锁定文件，以便一次仅一个进程可以独占访问该文件。

您可能会或可能不会使用flock() 。 这取决于不同的进程如何将文件描述符获取到同一文件。 flock()锁与打开的文件表条目关联。 因为fork()和dup()创建了引用相同文件表条目的新文件描述符，所以从flock()的角度来看它们是同一对象，因此在这种情况下不能使用flock() 。 另一方面，如果每个进程都直接使用open()打开其自己的文件副本，则可以使用flock() 。

fcntl()风格的锁定不会遇到此问题（而是会遇到其他类型的问题！）。 fcntl()锁是每个进程的锁，因此，进程如何将文件描述符获取到同一文件并不重要。

所以我建议您尝试使用fcntl()样式锁定：

struct flock ll;

/* lock */
ll.l_start = ll.l_len = ll.l_whence = 0; /* lock the whole file */
ll.l_type = F_WRLCK; /* exclusive lock */
fcntl(fd, F_SETLKW /* or F_SETLK */, &ll);

/* unlock */
ll.l_type = F_UNLCK;
fcntl(fd, F_SETLKW /* or F_SETLK */, &ll);

Answer 2

您使用文件描述符的方式非常安全。 这些写入未同步，因此输出可能不是您期望的，但是对此没有任何“不安全”之处。 如果您询问“如何将写入同步到公共文件描述符”，那么答案很明显：使用同步机制。 在您描述在多个进程中共享一个文件描述符的情况下，最简单的操作可能是在第二个管道上传递令牌。 有一个在所有进程之间共享的管道，并在其中写入一个字符。 当进程想要写入第一个fd时，它将尝试从管道读取字符。 读取成功后，继续进行写操作（确保刷新），然后将字符写回到管道中。 当任何进程位于关键部分时（即，它已读取但尚未写入令牌），只要您不忘记刷新，其他任何进程都会阻塞读取，直到其他进程完成其写入为止！ 这是一个相当昂贵的操作，因为它要求每个进程保持两个附加文件描述符的打开状态，并且可用文件描述符数量的上限相当低，通常为1024左右，但这通常非常有效。