记录到非阻塞命名管道？

Question

我有一个问题，我无法在stackoverflow或网络上的任何地方找到帮助。

我有一个程序（芹菜分布式任务队列），我有多个实例（工人），每个实例都有一个日志文件（celery_worker1.log，celery_worker2.log）。

重要的错误存储在数据库中，但我喜欢在运行新操作时不时地拖尾这些日志以确保一切正常（loglevel更低）。

我的问题：这些日志占用了大量磁盘空间。 我想做什么：能够只在我需要时“观察”日志（tail -f），而不需要占用大量空间。

我的想法到现在为止：

• 输出日志到stdout，而不是文件：这里不可能，因为我有很多工人输出到不同的文件，但我想一次拖尾它们（tail -f celery_worker * .log）
• 使用logrotate：对我来说这是一个“OK”的解决方案。 我不希望这是一个日常任务，但宁愿不为此花一分钟crontab，而且更多，服务器不是我的，所以这意味着在admin-sys方面的一些工作
• 使用命名管道：它一见钟情，但我不知道命名管道（linux FIFO）阻塞。 因此，当我不同时尾随-f所有管道，或者当我刚退出尾部时，记录器的写入操作被阻止。

有没有办法有一个非阻塞的命名管道，它会在尾部时抛出stdout，并在没有时抛出/ dev / null？

或者这种管道有技术难题吗？ 如果有，他们是什么？

谢谢您的回答！

Answer 1

让每个工作人员登录到stdout，但将每个stdout连接到一个实用程序，该实用程序根据大小或时间自动调整和旋转日志。 multilog和svlogd就是这样的例子。 对于那些程序，您只需拖尾“当前”日志文件。

你是对的，logrotate不是解决问题的正确方法。

命名管道将无法正常工作。 最好的情况是，你的作者可以填满他们的管道然后丢弃后续日志，这与你想要的行为相反。

Answer 2

您可以尝试共享内存设备man：shm_overview或者其中一些。 您需要将它们组织为循环缓冲区，以便它们存储日志的最后N kb，每当您使用阅读器读取它们时，它都会将所有内容输出到您的控制台。 busybox的syslog / logread诉讼采用了这种方法（参见logread.c ）。