管理关系数据库“PostgreSQL”中的 CSV 数据

Question

我在一个 CSV 文件中有船舶记录，这些文件具有不同的列“id,imo,mmsi,name,type,epoch_year_build,operating_status,gt,dwt,length,breadth,draft,engine_type,kw,flag_id,builder_id,class_society_id,home_port_id,updated,已验证，engine_model_id，engine_model_name，builder，class_society，home_port，owner_id，owner_name，manager_id，manager_name，former_names，gallery，seafarer_count，vacancy_count，year_build，country_name，type_ship“我想将其划分为多个关系表，例如vessel_info（id ,imo,mmsi,name,type,epoch_year_build), engine(type, model) 和许多其他，其中主表的主键将是 'imo' 但我发现 imo 列中有一些空行的值为 '0'由于重复，不会被 pk 所以我想从 CSV 文件中删除所有具有 imo = 0/空的行。

1. 如何将此 CSV 文件导入关系数据库？ 我可以将它作为一个完整的 CSV 文件导入，然后将其分成多个表吗？

2. 我的数据中有很多空单元格，所以我希望全部为 N/A 或 nil。

3. 如果我分别导入所有表，这些表之间的关系能否正常工作，我的意思是外键的东西。 船舶必须具有与 CSV 文件中相同的国家名称、发动机类型等...

***当前数据：超过2000000

Answer 1

您的问题非常广泛，因此我提供了一些一般性建议，而不是详细的细节。 您所描述的任务在许多工具中都是可能的，并且在很大程度上，您的选择应该由您熟悉的内容来定义，只要该工具可以处理预期的数据量（这对于 postgreSQL 来说没有问题） . 我可能会使用 DataGrip 将数据加载到 PostgreSQL 中，然后使用查询将所需的数据提取到新的表结构中。

您的空单元格可能已经导入为 NULL，但如果它们确实导入为空字符串，您可以使用 NULLIF() 将它们转换为 NULL。 （有关更多信息，请参阅如何在 PostgreSQL 中将空转换为 null？ ）

如果您想使用 PostgreSQL 来帮助分析表中某一列中最常见的值，此页面上有一些很好的讨论。 https://medium.com/m/global-identity?redirectUrl=https%3A%2F%2Ftowardsdatascience.com%2Fhow-to-derive-summary-statistics-using-postgresql-742f3cdc0f44

如果要将 null 转换为“N/A”，PostgreSQL 支持 COALESCE(YOUR_FIELD,'N/A')，可以与更新语句结合使用。

在 PostgreSQL 中定义键和关系绝对是可能的。 在一个完美的世界中，您将使用预先定义的所有数据类型和键/关系创建您的空表，然后将您完美清理的数据加载到新结构中，但是由于您在第一次尝试时可能无法完美，所以做一些练习跑步而不用担心这首先可能是一个好主意。 只需为您的表格命名，以便您可以轻松识别临时/实验表格与最终结果。