Postgres 和 .Net - 连接池 - 最佳实践

Question

我有一个 .Net Core (C#) 应用程序，它通过 websocket 接收用户请求，然后创建到 PostgreSQL 数据库的连接以操作/处理数据。

当用户向后端发出新请求时，调用的端点 function 创建一个新的 SQL 连接并运行查询：

// Endpoint available via Websocket
public async Task someRequest(someClass someArg)
{
    /* Create a new SQL connection for this user's request */
    using var conn = new NpgsqlConnection(connstr.getConnStr());
    conn.Open();

    /* Call functions and pass this SQL connection for any queries to process this user request */
    somefunction(conn, someArg);
    anotherFunction(conn, someArg);

    /* Request processing is done */
    /* conn is closed automatically by the "using" statement above */
}

当这个请求完成时，连接被using语句关闭。 但是，默认情况下此连接返回到 Postgres“连接池”并显示为空闲。

由于这里的每个新用户请求都会创建一个新的 SQL 连接，因此连接池中那些旧的“空闲” SQL 连接将永远不会被再次使用。

现在：

1. 由于这些空闲连接聚集并达到最大池大小，我暂时将空闲连接超时设置得很低。 否则，这些空闲连接会堆积起来并达到打开连接的人为上限。
2. 我还尝试将Pooling=false添加到连接字符串中。 我的理解是，一旦被 .Net 应用程序关闭，这将阻止连接空闲，但它似乎仍在空闲。

问题：在 .Net/C# 中处理 Postgres 连接池的最佳实践是什么？

1. 如果我能更恰当地利用 Postgres 连接池，那么重用已经打开的连接会比为每个用户请求创建一个新连接更有效。
2. 我的想法是有一个 function 来创建新的 Postgres 连接，跟踪它们，并在用户发出新请求时将它们分发给调用者。 这是一个糟糕的主意吗？
3. 或者，我是否只是像现在这样保持池禁用/非常低的空闲超时并为每个请求创建一个新的 SQL 连接？

除了我正在做的事情之外，我一直无法找到许多正确利用 Postgre 的连接池的例子。 这个应用程序在任何时候平均有 3,000-4,000 个并发用户，所以我不能让一个 static 连接处理所有事情。 在 .Net 中处理此问题的最佳做法是什么？

编辑所以看起来池化是 NPGSQL 的本地化，而不是 Postgres 的。 如果使用相同的数据库、用户、密码建立新连接，它将使用空闲的“池化”连接之一，而不是打开另一个连接。

问题是在我禁用池之前它似乎没有这样做。 有一个垃圾邮件错误导致应用程序在晚上关闭了一个小时或更长时间。

连接池已耗尽，要么提高 MaxPoolSize（当前为 100）要么 Timeout（当前为 15 秒）

现在有可能它真的需要同时有 100 多个活动连接……但我的猜测是，正如我之前看到的那样，其中大部分都是空闲的。

编辑 #2所以我现在尝试允许池化（默认），它似乎会在请求创建空闲连接时立即启动它们，但不会重新使用这些连接。 一旦达到最大池上限，应用程序就会由于无法进行新的连接/请求而锁定。

DBeaver Img - 服务器会话：这里的红色是活动连接，蓝色是空闲。

应用程序中的每个 SQL 连接都是从单个/共享连接字符串环境变量创建的。 Host=IP;Port=somePort;Username=someUser;Password=somePass;Database=someDb;Maximum Pool Size=100我能够保持应用程序运行的唯一方法是将idle_in_transaction_session_timeout设置为'10s'以清除空闲连接经常因为池似乎不起作用。

当我让 postgres 使用idle_in_transaction_session_timeout和Pooling=false清除空闲连接时，这就是我的数据库活动的样子：

我还在我的代码中进行了搜索，创建新的 SQL 连接的每个实例也都有using语句。 如上面的代码示例所示。 这应该可以防止任何类型的连接泄漏。

是否有某种 postgres 配置项会导致此问题？ 连接字符串每次都一样，每个连接都有C# using语句。 我不确定为什么 NPGSQL 在启用池时不重新使用这些空闲连接。

我已经在我的开发服务器上循环测试了垃圾邮件新连接，并且池似乎工作得很好。 所以我可以说我使用的 using 语句格式没有问题。 但是，如果我现在在我的生产服务器上启用池，空闲连接会立即向上发送垃圾邮件，如图所示并达到上限，不允许新连接。 生产服务器的指标显示每秒约 1,000 个事务和每秒约 4-5 个活动的 SQL 个会话/连接。 有没有可能我真的需要增加最大池限制？

Answer 1

问题最终似乎出在 Postgres 数据库配置本身。 我们收到了很多pq: could not resize shared memory segment. No space left on device pq: could not resize shared memory segment. No space left on device 。

数据库运行在 Docker 容器中。 我将容器的shm_size增加到6gb以利用它正在运行的更多资源。

从那里开始，在数据库本身的postgresql.conf文件中，关于将shared_buffers和max_connections设置为什么似乎存在很多混淆。

对于shared_buffers ，根据 postgres 文档，这被设置为shm_size的 1/4： 1500M 。 这过去被设置为128M ，这对于容器 memory 大小来说太低了。

对于max_connections这已降低回默认值100 。 即使有大约 3000-5000 个并发用户，后端在任何给定时刻也只使用 5-10 个活动连接。

希望这些配置项可以在将来帮助其他人。