Spark流輸出未保存到HDFS文件

Question

我正在嘗試將Spark流輸出保存到HDFS上的文件中。 目前，它不保存任何文件。

這是我的代碼：

StreamingExamples.setStreamingLogLevels();

SparkConf sparkConf = new SparkConf().setAppName("MyTestCOunt");
JavaStreamingContext ssc = new JavaStreamingContext(sparkConf,  new Duration(1000));

JavaReceiverInputDStream<String> lines = ssc.socketTextStream(args[0], Integer.parseInt(args[1]), StorageLevels.MEMORY_AND_DISK_SER);
JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
                @Override
                public Iterable<String> call(String x) {
                 return  Lists.newArrayList(SPACE.split(x));
                }
      });

JavaPairDStream<String, Integer> wordCounts = words.mapToPair(
      new PairFunction<String, String, Integer>() {
        @Override
        public Tuple2<String, Integer> call(String s) {
                 return new Tuple2<String, Integer>(s, 1);
        }
      }).reduceByKey(new Function2<Integer, Integer, Integer>() {
        @Override
        public Integer call(Integer i1, Integer i2) {
          return i1 + i2;
        }
  }); 


wordCounts.print();
wordCounts.saveAsHadoopFiles("hdfs://mynamenode:8020/user/spark/mystream/","abc");
ssc.start();
ssc.awaitTermination();

wordCounts.print()有效，但wordCounts.saveAsHadoopFiles ，任何想法為何？

我正在運行以下命令：

1） nc -lk 9999

2） ./bin/run-example org.apache.spark.examples.streaming.NetworkWordCount localhost 9999

提前致謝..！！！

Answer 1

我通過將master指定為local[x] x > 1來解決了相同的問題。 如果將master作為本地運行，Spark無法分配插槽來執行任務。 喜歡

SparkConf conf = new SparkConf().setAppName("conveyor").setMaster("local[4]");

Answer 2

嘗試：

wordCounts.dstream().saveAsTextFiles("hdfs://mynamenode:8020/user/spark/mystream/", "abc");

代替：

wordCounts.saveAsHadoopFiles("hdfs://mynamenode:8020/user/spark/mystream/","abc");

Answer 3

JavaDStream<String> lines; 用我們的數據初始化行。

`

lines.foreachRDD(new VoidFunction<JavaRDD<String>>() {
    public void call(JavaRDD<String > rdd) throws Exception {
    Date today = new Date();
    String date = (new SimpleDateFormat("dd-MM-yyyy").format(today));
    rdd.saveAsTextFile(OUTPUT_LOCATION+"/"+date+"/");
    }});

`

Answer 4

我通過將Sandbox / Server時區更改為本地時區來解決此問題，因為我的Twitter帳戶具有GMT，而Sandbox具有UTC。 我已使用以下命令來更改沙盒時區：

ntpdate pool.ntp.org
chkconfig ntpd on
ntpdate pool.ntp.org
/etc/init.d/ntpd start
date

更改時區后，我還沒有重新啟動Hadoop服務。