在 teradata 的 parquet 文件中导出数据

Question

我无法找出以镶木地板格式从 Teradata 数据库导出数据的解决方案。 我正在使用需要生成 tpt 脚本的 tdload 和 tbuild 方法。

从 Teradata 数据库导出镶木地板文件的解决方案应该是什么？

tdload 命令 -

tdload --SourceTdpid 192.168.xx.xx --SourceUserName dbc --SourceUserPassword dbc --SourceTable AdventureDW.FactProductInventory --TargetTextDelimiter "|" --FileWriterFileSizeMax 30G --TargetFilename F:\Data\data.parquet My_Unload_Job

我应该对命令进行哪些更改以获取镶木地板格式的输出？

Answer 1

我能够通过 dask 框架将数据从 csv 转换为 parquet 格式。 在这里发布提取，使用 pyarrow 引擎我能够通过 dask 框架将大型 csv 数据集转换为内置 parquet 函数