php，exec，sort命令，输出文件“出现”被截断，但输入文件未完全读取到EOF

Question

当我使用php

exec('sort /var/www/website/file_in.txt -o /var/www/website/file_out.txt');

从sort命令输出的文件被截断

输入文件大小= 2,442,541

输出文件大小= 1,146,881

---

我还注意到，当使用php函数filesize（file_in.txt）时，返回值= 1,146,881，而不是终端会话中显示的正确大小。 在调用filesize（）之前，我确实调用过clearstatcache（）。

有趣的是，filesize将file_in的大小报告为与file_out被截断的相同值。

我正在运行Linux _x86_64 64位PHP版本，因此我认为这消除了文件gt 2MB的32位文件大小限制问题。

---

当我以用户www-data的身份在终端会话中运行sort命令时，输出文件的大小与输入文件的大小相同，没有截断。

---

我尝试编写一个shell脚本从exec调用，希望它会绕过可能的php缓冲区限制，但是它具有相同的截断的输出文件。

---

我在单独的终端中运行TOP来查看CPU和内存的使用情况，但是由于在终端中运行时coammdn不会截断输出，因此这似乎是PHP问题。

---

是否应该检查任何晦涩的配置.ini设置以解决此问题？

谢谢

---

附加信息：我意识到输出文件没有被截断，但是直到EOF才完全读取输入文件。

Answer 1

这似乎是由于php脚本执行时的可用内存不足而引起的。

通过试用测试，我增加了SORT命令的选项--buffer-size = 4K，从4K，5K，10K，40K开始，但是没有任何效果。

我正在观看TOP，以了解如何报告CPU％内存使用率。

我不认为这是一个问题，所以我没有在最初的问题中描述它，但是在通过EXEC调用SORT之前，我是通过EXEC调用pdftotext。 随着该进程的运行，服务器的CPU使用率猛增到98％。 内存可能也达到峰值，但是TOP的刷新率无法捕获它。

我以为我可以在调用SORT命令之前添加一个sleep(5)来暂停PHP脚本的执行，从而给CPU和内存峰值提供一些时间来恢复正常。 这就解决了SORT读取整个输入文件并输出所有内容的问题。 这也解决了错误的filesize()结果。

在生产环境中，我将启动具有更大容量的服务器，并尝试消除sleep(5)延迟。 我等不及要达到启动级别的“拉面”了：）