如何防止麻烦的查询在Postgrex中超时？

Question

我正在运行一个查询，并使用Postgrex将结果加载到Stream中，如下所示：

{:ok, host_pid} = Postgrex.start_link(hostname: "somewhere.hostname.io", username: "myuser", password: "mypass", database: "mydb")

Postgrex.transaction(host_pid, fn(conn) ->
    # do query that takes 5 seconds
    # with timeout set to be really big
    query = Postgrex.prepare!(conn, "", "SELECT pg_sleep(5)", timeout: 50_000)
    stream = Postgrex.stream(conn, query)
    result_to_iodata = fn(%Postgrex.Result{rows: rows}) -> format_query_result(rows) end
    Enum.into(stream, File.stream!("eg"), result_to_iodata)
end)

但是我收到以下错误：

localhost$ mix run lib/MyPostgrexScript.exs 
** (DBConnection.ConnectionError) connection not available and request was dropped 
from queue after 2950ms. You can configure how long requests wait in the queue 
using :queue_target and :queue_interval. See DBConnection.start_link/2 for more information
    (db_connection) lib/db_connection.ex:836: DBConnection.transaction/3
    lib/MyPostgrexScript.exs:3: MyPostgrexModule.sleep/0
    (elixir) lib/code.ex:767: Code.require_file/2
    (mix) lib/mix/tasks/run.ex:147: Mix.Tasks.Run.run/5

由于我要执行繁琐的查询，因此运行肯定需要2950毫秒以上的时间，我想知道如何配置Postgrex以使查询花费更多时间。 我在https://hexdocs.pm/postgrex/Postgrex.html#transaction/3上了解了:timeout选项，但不确定如何包含它，或者我是否在寻找它。

非常感谢任何指导，谢谢！

Answer 1

我在https://hexdocs.pm/postgrex/Postgrex.html#transaction/3上了解了：timeout选项，但不确定如何包含它，

这样（参见最后一行）：

Postgrex.transaction(
    host_pid,

    fn(conn) ->
        # do query that takes 5 seconds
        # with timeout set to be really big
        query = Postgrex.prepare!(conn, "", "SELECT pg_sleep(5)", timeout: 50_000)
        stream = Postgrex.stream(conn, query)
        result_to_iodata = fn(%Postgrex.Result{rows: rows}) ->
                                 format_query_result(rows) 
                           end
        Enum.into(stream, File.stream!("eg"), result_to_iodata)
    end,

    timeout: 30_000  #30 seconds
)

只要Elixir文档定义了这样的函数：

func_name(arg1, ...argN, opts \\ [] )

opts是一个关键字列表，例如：

[{:a, 1}, {:b, 2}]

但是，如果关键字列表是函数调用中的最后一个参数，则可以这样编写关键字列表：

func(arg1, arg2, a: 1, b: 2)

函数定义将接收三个参数

arg1, arg2, [{:a, 1}, {:b, 2}]

无论如何，：timeout的默认值为：

:timeout - Transaction timeout (default: 15000);

错误显示：

连接不可用，并且请求在2950毫秒后从队列中删除

由于2950 < 15000 ，似乎：timeout值似乎不是错误的根源。

错误消息继续：

连接不可用。...您可以使用：queue_target和：queue_interval配置请求在队列中等待的时间。 有关更多信息，请参见DBConnection.start_link / 2。

这说明了如何配置这些超时：

在config/<env>.exs （其中<env>是dev，test或prod）：

 config :my_app, MyApp.Repo, adapter: Ecto.Adapters.Postgres, pool_size: 10, migration_timestamps: [type: :utc_datetime_usec], migration_lock: nil, queue_target: 5000 

由于生产中的错误数量增加，我们最近不得不这样做。

还有 ，

处理请求是通过队列完成的。 启动DBConnection时，有两个相关选项可控制队列：

 :queue_target in milliseconds, defaults to 50ms :queue_interval in milliseconds, defaults to 1000ms 

我们的目标是最多等待：queue_target建立连接。 如果在：queue_interval期间检出的所有连接所花的费用超过：queue_target，则我们将：queue_target加倍。 如果签出连接花费的时间比新目标花费的时间长，那么我们将开始丢弃消息。

例如，默认情况下，我们的目标是50ms。 如果所有连接检出花费的时间超过50毫秒（整秒），则将目标倍增至100毫秒，如果检出时间超过新限制，我们将开始丢弃消息。

这使我们可以更好地计划重载，因为我们可以在将请求发送到数据库之前将其拒绝，否则会增加数据库的负担，从而使重载更加严重。

但是，如果您还没有触摸这些默认值，那么我想知道为什么您会在错误消息中看到2950ms ，而不是接近50ms或1000ms。