您如何在 Erlang 中调节并发/相对进程性能？

Question

假设我必须从一个包含许多大型 XML 文件的目录中读取，我必须对其进行解析并通过网络将它们发送到某个服务，然后再次将响应写入磁盘。

如果是 Java 或 C++ 等，我可能会这样做（希望这是有道理的）：

(File read & xml parsing process) -> bounded-queue -> (sender process) -> service

service -> bounded-queue -> (process to parse result and write to disk)

然后我会为每个进程分配合适数量的线程。 这样我可以将每个进程的并发限制在其最佳值，并且有界队列将确保不会出现 memory 短缺等。

在 Erlang 中编码时我应该怎么做？ 我想我可以在 function 中实现整个流程，然后迭代目录并尽可能快地生成这些“从头到尾”的过程。 这听起来不是最理想的，因为如果解析 XML 比读取文件等应用程序需要更长的时间。 可以将 go 转换为 memory 短缺，因为同时在内存中有许多 XML 文档等，并且您无法将并发性保持在最佳水平。 例如，如果“服务”在并发数为 4 时效率最高，那么以巨大的并发性来攻击它将是非常低效的。

erlang程序员应该如何处理这种情况？ 即，固定线程池和有界队列的 erlang 替代品是什么？

Answer 1

You can definitely run your own process pool in Erlang, but it is a poor way memory usage since it doesn't take into account the size of the XML data being read (or the total memory used by the processes for that matter).

我建议按照您的建议在功能库中实现整个工作流程，并生成执行此工作流程的流程。 添加对 memory 使用情况的检查，这将查看要读入的数据的大小和可用的 memory（提示：使用memsup ）。

Answer 2

没有真正的方法来限制进程的队列大小，除非及时处理它们。 最好的方法是在生成之前简单地检查可用资源，如果资源不足则等待。 因此，如果您担心 memory，请在生成新进程之前检查 memory。 如果是磁盘空间，请检查磁盘空间等。

限制产生的进程数量也是可能的。 一个简单的结构是：

pool(Max) -> 
    process_flag(trap_exit, true),
    pool(0, Max);
pool(Current, Max) ->
    receive
        {'EXIT', _, _} -> 
            pool(Current - 1, Max);
        { work, F, Pid} when Current < Max -> 
            Pid ! accepted,
            spawn_link(F),
            pool(Current + 1, Max);
        { work, _, Pid} -> 
            Pid ! rejected,
            pool(Current, Max);
    end.

这是一个进程如何限制它产生的进程数量的粗略草图。 然而，最好限制真实的原因而不是人为的数字。

Answer 3

我建议你在事件驱动的范式中这样做。

假设您使用文件名列表启动 OTP gen_server。

1. gen_servers 检查资源并在允许的情况下生成下一个工作人员，从列表中删除文件名并将其传递给工作人员。

2. Worker 处理文件并在准备好时将消息转换回 gen_server（或者您可以只捕获 EXIT）。

3. gen_server 收到此类消息并执行步骤 1，直到文件列表为空。

所以工人做繁重的工作，gen_server 控制流程。

您也可以创建分布式系统，但它有点复杂，因为您需要在每台计算机上生成中间 gen_servers 并查询它们是否有可用的资源，然后根据回复选择哪台计算机应该处理下一个文件。 而且您可能需要 NFS 之类的东西来避免发送长消息。

如果您需要更多并发性，可以进一步拆分工作人员。