插入到 PostgreSQL 时出现意外的 EOF

Question

我在 postgres 数据库中有两个表，它们位于 docker - data.table 中，其中存储了常用类型和相关的 data_files_table，其中存储了 bytea 类型的文件数据。 当我使用sqlx从 golang 服务插入 data.table 和 data_files_table 时，有时会出现错误：

unexpected EOF 

关于插入到 data_files_table 的查询。 通常，它发生在大于 7 MB 的数据上。

在 postgres 日志中，我发现了一行，这可能是相关的：

could not receive data from client: Connection reset by peer

为什么会出现这种情况？ 它与 TOAST、tcp 连接终止或其他问题有关吗？

这是我的代码：

func (r *repo) CreateGrantWithDocuments(
    ctx context.Context,
    model models.Grant,
    documents []models.GrantDocument,
) (*pgtype.UUID, error) {
    tx, err := r.db.Beginx() // sqlx with pgx driver
    if err != nil {
        return nil, fmt.Errorf("db.Beginx: %w", err)
    }
    defer helpdb.Rollback(ctx, r.log, tx)

    var grantID pgtype.UUID
    err = tx.GetContext(
        ctx, &grantID, createGrantSQL, args...) // args doesn't matter, it's ok; query returns id
    if err != nil {
        return nil, fmt.Errorf("tx.GetContext: %w", err)
    }

    for _, document := range documents {
        data, err := io.ReadAll(document.File)
        if err != nil {
            return nil, fmt.Errorf("io.ReadAll: %w", err)
        }
        if err = document.File.Close(); err != nil { // file is an io.ReadCloser from multipart/form-data request
            return nil, fmt.Errorf("document.File.Close: %w", err)
        }

        _, err = tx.NamedExec(createGrantDocumentSQL, document) // ERROR: unexpected EOF
        if err != nil {
            return nil, fmt.Errorf("tx.NamedExec: %w", err)
        }
    }

    if err = tx.Commit(); err != nil {
        return nil, fmt.Errorf("tx.Commit: %w", err)
    }

    return &grantID, nil
}

我正在使用依赖项：

go 1.19
github.com/jmoiron/sqlx v1.3.4 // db connects
github.com/jackc/pgx/v4 v4.14.0 // db driver

我已经更改了应用程序端的配置：将空闲和打开的连接计数和生命周期设置为不同的值，禁用空闲，增加和减少生命周期，但没有任何帮助。

错误不会在本地发生，只会在开发服务器上发生。

Answer 1

此问题与 cgroups 对 docker 容器的限制有关。 docker stats显示没有超过 memory 限制，但实际上超过了，因为这个命令没有看到 postgres 使用的某些类型的 memory，但 cgroups 看到。

此外，此问题可能与网络问题有关，但与我的情况无关。

在监控中使用rss+cache memory类型来防止这个问题。