如何通过Powershell在HDInsight上提交Spark作业？
[英]How to submit a Spark job on HDInsight via Powershell?
问题描述
是否可以通过Powershell在HDInsight上提交Spark作业？ 我知道可以通过Azure数据工厂中的活动来完成，但是有没有办法从Powershell cmdlet向pyspark HDInsight提交python脚本？
1 个解决方案
解决方案1
1 2017-06-22 01:27:40
根据我的知识，没有Azure PowerShell命令可以执行此操作。
您可以使用Apache Spark REST API，该API用于将远程作业提交到Azure HDInsight Spark群集。 请参考此反馈 。
HDInsight允许使用Livy通过REST API进行远程作业提交。 它是Linux上最近的Spark版本的一部分。 https://azure.microsoft.com/zh-CN/documentation/articles/hdinsight-apache-spark-livy-rest-interface/
HDInsight Powershell作业提交无法使用流C＃作业定义自定义libjar
[英]HDInsight powershell job submission has no way to define custom libjar with streaming C# job
如何使用Powershell和Hive Metastore创建Azure HDInsight群集？
[英]How to create Azure HDInsight cluster with Hive metastore using Powershell?
如何在hdinsight群集上的Azure Powershell中执行此命令？
[英]How do I perform this command in azure powershell on my hdinsight cluster?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
通过PowerShell启用对HDInsight群集的RDP访问
HDInsight Powershell作业提交无法使用流C＃作业定义自定义libjar
通过Powershell同步异步作业
如何使用Powershell和Hive Metastore创建Azure HDInsight群集？
如何在hdinsight群集上的Azure Powershell中执行此命令？
HDInsight Oozie：配置作业参数
通过Netcat传输文件作为Powershell中的后台作业
通过PowerShell更新AD中的职位
通过SQL Server作业运行Powershell
通过Powershell从Azure RM Job获取作业输入参数
相关标签