Apache Livy：如何共享相同的spark会话？

Question

考虑到livy的批处理模式，我已经提交了一个文件/ jar，其中写入了我的spark逻辑。 如何共享一个带有{'id':1} POST/batches与另一个带有{'id':2} POST/batches创建的spark会话？ 这样做的原因是，我已应用并存储在数据帧中的转换，我需要通过共享同一会话在不同任务中使用该转换（我可以写入然后读取结果，但我希望消除这些开销）

问题：

同样我面临的一个问题是执行以下命令时，如果我在代码中使用了spatk功能（例如sc.parallelize()或spark.read.csv() ，则无法得到sc / spark的定义

headers = {" Content-type" : "application/json"}
data = {'file' : '<file/path> ' }
request.post( host+'/batches' , data= json.dumps(data), headers = headers }

我上面缺少什么，因为在交互模式下这样做时，sc / spark会自动初始化吗？

更新资料

data = {'kind':'pyspark'}
r = requests.post(host + '/sessions', data=json.dumps(data),headers=headers)



data = {'code':'rdd1 = sc.parallelize([1,2,3])'}

rqm = requests.post(host + '/sessions/0/statements', data=json.dumps(data),headers=headers)

pprint.pprint(rqm.json())

rsm = r = requests.get(host + '/sessions/0/statements')

pprint.pprint(rsm.json())




data = {'code':'print(rdd1.collect())'}

rqs = requests.post(host + '/sessions/0/statements', data=json.dumps(data),headers=headers)

pprint.pprint(rqs.json())

rss = requests.get(host + '/sessions/0/statements')

pprint.pprint(rss.json())

这样，我可以共享sessions并以交互方式访问rdd 。 如何在batch模式下执行相同的操作？

请提供一个简单的示例代码，因为我是livy的新手，很难理解复杂的代码。

Answer 1

请使用具有自己的Spark上下文的Programmatic API [ https://livy.incubator.apache.org/docs/latest/programmatic-api.html][1]

您需要创建一个LivyClient实例，然后将您的应用程序代码上传到Spark上下文并提交。

我没有看到用于程序化livy的python API。因此您可能必须使用Scala或Java

Answer 2

您可以为此使用Livy Client API。 如果您使用的是Apache Livy，则以下python API可以为您提供帮助。

https://github.com/apache/incubator-livy/tree/master/python-api

否则，您必须主持LIVY Session并使用同一会话来提交Spark JOBS。

Livy Python客户端示例

//在Livy Server 1中执行作业。JOBName 2. data

def run_job(test,input_data):
result = None
try:
    global client
    if client is None:
        client = setup_livy_client()

    logger.info('submitting job')
    start_time = time.time()
    result_future = client.submit(test(input_data))
    result = result_future.result(timeout=JOB_RESULT_TIMEOUT)
    end_time = time.time()
    logger.info('algorithm took %d secs'%(end_time - start_time))
except TimeoutError:
    logger.error('TimeoutError in job processing: ', exc_info=True)
    client = None
except Exception:
    logger.error('Error in job processing: ',exc_info=True)
return result

def get_client():
    logger.info("Obtaining Livy server {} connection".format(LIVY_SERVER_URL))
    try:
        client = HttpClient(LIVY_SERVER_URL, load_defaults=True, conf_dict=livy_config)
        return client
    except e:
        logger.info("Unsuccesful in obtaining livy-connection")
        return None

//上传hdfs中的文件

def upload_all_jobs(client):
    upload_start_time = time.time()
    logger.info('uploading file to all worker nodes %s' % ("job_path"))
    print("uploading file %s"%("job_path"))
    client.add_pyfile("job_path").result(FILE_UPLOAD_TIMEOUT)
    print("file uploaded")
    upload_end_time = time.time()
    logger.info('file uploaded in %d secs' % (upload_end_time-upload_start_time))

def setup_livy_client():

    logger.info("######## getting client connection ")
    global client
    client = get_client()
    logger.info("######## obtained client connection")
    upload_all_jobs(client)

    return client

//测试需要执行的Livy JOB

def test(input_data):
    def simple_spark_job(context):
        elements = input_data.get('data',[])
        return context.sc.parallelize(elements, 2).count()
    return simple_spark_job