[英]How to read hdfs files into apache beam?
我無法理解如何使用 TextIO 閱讀它。 誰能用例子解釋一下?
請嘗試以下操作。 它在我的情況下有效。
String[] args1 = new String[] {
"--hdfsConfiguration=[{\"fs.defaultFS\":\"hdfs://localhost:9000\"}]" };
HadoopFileSystemOptions options =
PipelineOptionsFactory.fromArgs(args1).withValidation().as(
HadoopFileSystemOptions.class);
Pipeline pipeline = Pipeline.create(options);
pipeline.apply(
TextIO.read().from("hdfs://localhost:9000/path-to-file/*"));
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.