emr-container pyspark 作業無限期運行

Question

這是我的 Python 腳本：

import calendar
import pydeequ
import boto3
import psycopg2
import os
import pyspark

from py4j import *
from pyspark.sql import SparkSession,Row
from pydeequ.profiles import *
from pydeequ.suggestions import *
from pydeequ.repository import *
from pydeequ.analyzers import *
from pyspark.sql import SparkSession
from botocore.config import Config
from datetime import datetime,timedelta,date
from pyspark.conf import SparkConf
from pydeequ.checks import *
from pydeequ.verification import *
from py4j.java_gateway import java_import

print(os.system("""pyspark --version"""))

spark = (SparkSession.builder \
        .appName('run_dq_for_xpertrak_pathtrak') \
        .enableHiveSupport() \
        .config(conf=SparkConf()) \
        .config("spark.jars.packages", pydeequ.deequ_maven_coord) \
        .config("spark.jars.excludes", pydeequ.f2j_maven_coord) \
        .getOrCreate())

java_import(spark._sc._jvm, "org.apache.spark.sql.*")

print('here---')
print(spark)

junk = spark.sql("""SELECT * FROM xpertrak.pathtrak LIMIT 10""")

print(junk)

在 AWS emr-containers （即EKS 上的 EMR ）中，該作業成功運行並且 UI 顯示該作業確實已完成。 但是，當我將以下代碼行包含或附加到上面腳本的底部時，該作業在技術上完成了（基於簡單的日志打印），但 UI 永遠不會從運行狀態改變...

print('checking')
check = Check(spark, level=CheckLevel.Warning, description="Data Validation Check")
checkResult = VerificationSuite(spark) \
    .onData(junk) \
    .addCheck(
        check.hasSize(lambda x: x >= 5000000)
    ).run()
print(checkResult)
print('check')

這就是 AWS 控制台/UI 的樣子：

是什么導致了這種異常？

Answer 1

根據 此處AWS 提供的文檔，添加以下內容成功結束了作業：

spark.sparkContext._gateway.shutdown_callback_server()
spark.stop()