AWS EMR Livy 會話狀態已結束

Question

我正在將 EMR 與 livy 一起使用，但 Livy 終止了一些會話，有沒有辦法等待其他任務完成而不是終止這些會話？ 謝謝，

以下是這些終止會話的輸出：

警告：忽略非 spark 配置屬性：maximizeResourceAllocation=true 19/04/23 12:07:11 WARN SparkConf：從 Spark 2.3 開始，配置鍵“spark.yarn.executor.memoryOverhead”已被棄用，可能會在未來。 請改用新密鑰“spark.executor.memoryOverhead”。 23 年 4 月 19 日 12:07:11 警告 SparkConf：從 Spark 2.3 開始，配置鍵“spark.scheduler.listenerbus.eventqueue.size”已被棄用，將來可能會被刪除。 請改用新密鑰“spark.scheduler.listenerbus.eventqueue.capacity”。 23 年 4 月 19 日 12:07:11 警告 NativeCodeLoader：無法為您的平台加載本機 hadoop 庫...在適用的情況下使用內置 java 類 23 年 4 月 19 日 12:07:12 信息 RMProxy：連接到 ResourceManager 位於ip-172-18-29-18.ec2.internal/172.18.29.18:8032 19/04/23 12:07:13 信息客戶端：從具有 4 個節點管理器的集群請求新應用程序 19/04/23 12:07： 13 信息客戶端：驗證我們的應用程序沒有請求超過集群的最大內存容量（每個容器 491520 MB）19/04/23 12:07:13 信息客戶端：將分配 AM 容器，22000 MB 內存包括 2000 MB開銷 19/04/23 12:07:13 信息客戶端：為我們的 AM 設置容器啟動上下文 19/04/23 12:07:13 信息客戶端：為我們的 AM 容器設置啟動環境 19/04/23 12 :07:13 INFO 客戶端：為我們的 AM 容器准備資源 19/04/23 12:07:14 WARN 客戶端：既沒有設置 spark.yarn.jars 也沒有設置 spark.yarn.archive，回退到在 SPARK_HOME 下上傳庫。 23 年 4 月 19 日 12:07:16 信息客戶端：上傳資源文件： /mnt/tmp/spark-9e521492-1bdf-4115-a0d1-d3c278f7058f/spark_libs__3546840914405417444.zip -> hdfs://ip-172-18-29 -18.ec2.internal:8020/user/livy/.sparkStaging/application_1556020828433_0008/__spark_libs__3546840914405417444.zip 19/04/23 12:07:17 信息客戶端：上傳資源文件：/usr/lib/livy/rsc-jars/netty -all-4.0.37.Final.jar -> hdfs://ip-172-18-29-18.ec2.internal:8020/user/livy/.sparkStaging/application_1556020828433_0008/netty-all-4.0.37.Final .jar 19/04/23 12:07:17 信息客戶端：上傳資源文件：/usr/lib/livy/rsc-jars/livy-rsc-0.5.0-incubating.jar -> hdfs://ip-172 -18-29-18.ec2.internal:8020/user/livy/.sparkStaging/application_1556020828433_0008/livy-rsc-0.5.0-incubating.jar 19/04/23 12:07:17 信息客戶端：上傳資源文件： /usr/lib/livy/rsc-jars/livy-api-0.5.0-incubating.jar -> hdfs://ip-172-18-29-18.ec2.internal:8020/user/livy/.sparkStaging /application_1556020828433_0008/livy-api-0.5.0-incubating.jar 19/04/23 12:07 :17 INFO客戶端：上傳資源文件：/usr/lib/livy/repl_2.11-jars/livy-core_2.11-0.5.0-incubating.jar -> hdfs://ip-172-18-29-18 .ec2.internal:8020/user/livy/.sparkStaging/application_1556020828433_0008/livy-core_2.11-0.5.0-incubating.jar 19/04/23 12:07:17 信息客戶端：上傳資源文件：/usr/lib /livy/repl_2.11-jars/livy-repl_2.11-0.5.0-incubating.jar -> hdfs://ip-172-18-29-18.ec2.internal:8020/user/livy/.sparkStaging /application_1556020828433_0008/livy-repl_2.11-0.5.0-incubating.jar 19/04/23 12:07:17 信息客戶端：上傳資源文件：/usr/lib/livy/repl_2.11-jars/commons-codec- 1.9.jar -> hdfs://ip-172-18-29-18.ec2.internal:8020/user/livy/.sparkStaging/application_1556020828433_0008/commons-codec-1.9.jar 19/04/23 12:07： 17 INFO客戶端：上傳資源文件：/etc/spark/conf/hive-site.xml -> hdfs://ip-172-18-29-18.ec2.internal:8020/user/livy/.sparkStaging/application_1556020828433_0008 /hive-site.xml 19/04/23 12:07:17 信息客戶端：上傳資源文件：/usr/lib/spark/R/lib/spa rkr.zip#sparkr -> hdfs://ip-172-18-29-18.ec2.internal:8020/user/livy/.sparkStaging/application_1556020828433_0008/sparkr.zip 19/04/23 12:07:17 信息客戶端：上傳資源文件：/usr/lib/spark/python/lib/pyspark.zip -> hdfs://ip-172-18-29-18.ec2.internal:8020/user/livy/.sparkStaging/application_1556020828433_0008 /pyspark.zip 19/04/23 12:07:17 信息客戶端：上傳資源文件：/usr/lib/spark/python/lib/py4j-0.10.7-src.zip -> hdfs://ip-172 -18-29-18.ec2.internal:8020/user/livy/.sparkStaging/application_1556020828433_0008/py4j-0.10.7-src.zip 19/04/23 12:07:17 信息客戶端：上傳資源文件：/mnt /tmp/spark-9e521492-1bdf-4115-a0d1-d3c278f7058f/__spark_conf__8433272661836653995.zip -> hdfs://ip-172-18-29-18.ec2.internal:8020/user/livy/.sparkStaging/application_155603__spark_conf03995.zip .zip 19/04/23 12:07:17 INFO SecurityManager：將視圖 acls 更改為：livy 19/04/23 12:07:17 INFO SecurityManager：將修改 acls 更改為：livy 19/04/23 12:07:17信息 SecurityManager：正在更改 vi ew acls 組到：19/04/23 12:07:17 INFO SecurityManager：更改修改 acls 組到：19/04/23 12:07:17 INFO SecurityManager：SecurityManager：身份驗證已禁用； ui acls 禁用； 具有查看權限的用戶：Set(livy)； 具有查看權限的組：Set(); 具有修改權限的用戶：Set(livy)； 具有修改權限的組：Set() 19/04/23 12:07:17 INFO Client：提交應用程序 application_1556020828433_0008 到 ResourceManager 19/04/23 12:07:17 INFO YarnClientImpl：提交的應用程序 application_1556020828433_0008 19/04/23 12:07 ：17 信息客戶端：應用程序_1556020828433_0008 的應用程序報告（狀態：已接受）19/04/23 12:07:17 信息客戶端：客戶端令牌：N/A 診斷：[2019 年 4 月 23 日星期二 12:07:17 +0000] 應用程序是已激活，等待為 AM 分配資源。 詳細信息：AM 分區 =； 分區資源=； 隊列的絕對容量 = 100.0 %； Queue's Absolute used capacity = 93.24219 %; 隊列的絕對最大容量 = 100.0 %； ApplicationMaster主機：N/A ApplicationMaster RPC端口：-1隊列：默認開始時間：1556021237796最終狀態：UNDEFINED跟蹤URL： http://ip-172-18-29-18.ec2.internal:20888/proxy/application_1556020828433_0008/用戶：livy 19/04/23 12:07:17 INFO ShutdownHookManager：關閉掛鈎調用 19/04/23 12:07:17 INFO ShutdownHookManager：刪除目錄/mnt/tmp/spark-a5a3a313-9040-4c1c-b2d2-f51fd429064b 19/04/23 12:07:17 INFO ShutdownHookManager：刪除目錄/mnt/tmp/spark-9e521492-1bdf-4115-a0d1-d3c278f7058f

塊引用

YARN 診斷應用程序 application_1556020828433_0008 在 172.18.29.18 被用戶 livy 殺死

Answer 1

在 livy.server.session.timeout 值過期后，非活動會話將被終止。

使用以下屬性在 livy.conf 中設置以配置會話超時

# Enabled to check whether timeout Livy sessions should be stopped.
# livy.server.session.timeout-check = true

# Time in milliseconds on how long Livy will wait before timing out an idle session.
# livy.server.session.timeout = 1h
#
# How long a finished session state should be kept in LivyServer for query.
# livy.server.session.state-retain.sec = 600s