使用 AWS Data Pipeline 在 RDS postgres db 的 CSV 導出中包含列標題？

Question

我設置了一個 AWS 數據管道，將數據從我們的 RDS postgres 數據庫轉儲到 S3 位置，但不包括列標題。 我想避免使用這里概述的解決方案，因為它看起來很脆弱（如果列發生變化，也想避免將列轉換為字符串）。 提前致謝

編。 這是數據管道配置：圖表

Answer 1

我不確定您如何設置管道（您沒有描述它），但是包含列標題的標准方法 - 使用裸 PostgreSQL - 是

COPY (SELECT some,fields FROM any.table ORDER BY something) TO STDOUT WITH (FORMAT csv, HEADER on);

接收這樣的流可能很棘手，並非所有 DI 工具都支持它 - 但引擎會以正確的 CSV 格式生成它。

Answer 2

我也找不到解決方案，但可能的解決方法是將臨時目標文件夾用於數據管道，並使用 Lambda 函數獲取這些轉儲、添加標頭並將它們移動到最終目標。 這種方法的最佳之處在於列名不是硬編碼的，因此如果表更改，CSV 也會更改。