如何增加bluemix上的spark-submit作業的日志記錄輸出？

Question

我已將python作業提交給bluemix spark作為服務，但失敗了。 不幸的是，日志記錄還不夠，並且沒有給我任何提示為什么它失敗了。

如何增加日志級別的輸出？

Spark即服務的輸出：

==== Failed Status output =====================================================

Getting status
HTTP/1.1 200 OK
Server: nginx/1.8.0
Date: Thu, 12 May 2016 19:09:30 GMT
Content-Type: application/json;charset=utf-8
Content-Length: 850
Connection: keep-alive

{
  "action" : "SubmissionStatusResponse",
  "driverState" : "ERROR",
  "message" : "Exception from the cluster:
org.apache.spark.SparkUserAppException: User application exited with 255
    org.apache.spark.deploy.PythonRunner$.main(PythonRunner.scala:88)
    org.apache.spark.deploy.PythonRunner.main(PythonRunner.scala)
    sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:95)
    sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:55)
    java.lang.reflect.Method.invoke(Method.java:507)
    org.apache.spark.deploy.ego.EGOClusterDriverWrapper$$anon$3.run(EGOClusterDriverWrapper.scala:430)",
  "serverSparkVersion" : "1.6.0",
  "submissionId" : "xxxxxx",
  "success" : true
}
===============================================================================

我已經在BigInsights集群上成功運行了同一工作。 在biginsights集群上運行時，我還會得到更多詳細的輸出。

Answer 1

從集群將stderr-%timestamp%和stdout-%timestamp%文件下載到運行spark-submit.sh本地目錄中。 通常，您會在這兩個文件中找到工作問題。

參考： http : //spark.apache.org/docs/latest/spark-standalone.html#monitoring-and-logging