簡體   English   中英

如何將hdfs文件讀入apache梁?

[英]How to read hdfs files into apache beam?

我無法理解如何使用 TextIO 閱讀它。 誰能用例子解釋一下?

請嘗試以下操作。 它在我的情況下有效。

String[] args1 = new String[] {
    "--hdfsConfiguration=[{\"fs.defaultFS\":\"hdfs://localhost:9000\"}]" };

HadoopFileSystemOptions options =
    PipelineOptionsFactory.fromArgs(args1).withValidation().as(
        HadoopFileSystemOptions.class);

Pipeline pipeline = Pipeline.create(options);
pipeline.apply(
    TextIO.read().from("hdfs://localhost:9000/path-to-file/*"));

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM