繁体   English   中英

CSV文件复制到保留了文件名的HDFS

CSV file copy to HDFS with filename preserved

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

最有可能是一个假问题,但我找不到合适的例子。

如果我迷路了,请改正我的想法。 为此,我创建了一个作业并通过流式触发它:

job create hdfsjob 
    --definition "filepollhdfs --directory=/tmp/xd --names=*" --deploy
stream create csvStream 
    --definition "file --ref=true --dir=/data/in --pattern=*.txt 
    > queue:job:hdfsjob" --deploy

我可以通过xd源filepollhdfs中的fileName和fileExtension来管理文件名和扩展名,但是如何保留其原始名称?

为防止翻转,将rollover参数设置为一个很高的值是个好主意,还是例如可能破坏内存消耗的东西?

理想的做法是遍历源目录结构并在hdfs中重新创建相同的结构。

问题暂未有回复.您可以查看右边的相关问题.
1 从CSV读取文件名,然后将文件复制到其他目录

我已经能够编写一个批处理文件来查找文件,并将文件路径放入CSV文件中。 我一直无法弄清楚如何从CSV读取文件位置,然后使用python将文件移动到具有相同文件夹结构的其他存储设备。 这就是我想做的。 我希望我有一些代码可以显示给您,但是没有一个起作用。 ...

2 PostgreSQL 复制到 - CSV 文件名编码

我有一个使用 UTF-8 编码的数据库设置。 尝试将表复制到 csv,其中文件名具有特殊字符会将文件名错误地写入磁盘。 在 Windows 10 localhost PostgreSQL 安装上: 命名 csv 文件:Sønderborg.csv 而不是 Sønderborg.csv。 两个 ...

3 如何复制到 HDFS 文件并仍然保留权限?

我创建了一个具有特定所有者和权限为 600 的零字节文件 当我尝试通过 api 运行副本时,我看到它将权限从 600 翻转到 644。如何保留权限? 任何帮助将不胜感激。 复制前 复印后 我已经运行的脚本 另外,src 是本地 UNIX 文件系统上的文件,tgt 是 HDFS 上的 ...

5 将文件复制到 HDFS

我想将文件 SalesJan2009.csv(存储在本地文件系统,~/input/SalesJan2009.csv)复制到 HDFS(Hadoop 分布式文件系统)主目录 我写了这段代码 hduser@ubuntu:/usr/local/hadoop$ hdfs dfs -copyFromLocal ...

7 槽仍然保留.tmp文件,并且未将文件完全复制到HDFS

嗨,我正在使用水槽将文件从后台打印目录复制到HDFS(使用文件作为通道)。 通过以上配置,它能够将文件复制到hdfs,但是我面临的问题是一个文件始终保持为.tmp格式,而不复制完整的文件内容。 有人可以帮我什么可能的问题。 ...

8 更改文件名并复制到不同目录

我有一些文件说大约 1000 个数字.. 想以这样的方式重命名这些文件,只想从文件名中删除几个字符并将其复制到其他目录。 例如:原始文件名。 所需的 O/P 正在切割 ~ 和以下字符。 O/P 示例: 但是想放置n个不同的目录。 ...

9 尝试将表复制到csv文件并使用原始文件名命名

我是VBA的新手,但遇到了问题。 我正在尝试将表复制到.csv文件,并且希望最终结果包含原始.xlsm名称和表名称以及日期/时间。 我已经成功地拼凑了代码,以表的名称和日期/时间将表导出到.csv,但是我在努力获取文件名。 我收到以下错误“对象'_Workbook'的方法'方法'另存为'失 ...

10 从CSV读取文件名,然后将文件复制到其他目录-第2部分

我正在尝试编写将读取csv的python代码,并在读取后在目录中查找文件,然后将文件移动到目标文件夹。 我正在使用Python 3.6。 我在这里的代码中定义了相同的问题: 从CSV读取文件名,然后将文件复制到其他目录 我尝试了那里的方法,但是当我运行此代码时,它说不是这样的文件或 ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM