繁体 English 中英

动态地将火花作业的结果存储在配置单元表中

[英]Storing the result of spark jobs in a hive table dynamically

原文 2016-05-24 18:22:06 0 0 hadoop/ apache-spark/ hive

我将每天运行多个spark作业，并且我需要在作业完成后动态地将每个spark作业的结果存储在hive表中。

例如，假设火花作业的结果如下所示

job1: a,344

job2: b,456

job3: c,6789

我需要在下面的hive表中得到结果

蜂巢表：spark_results

spark_results.id   spark_results.value

    a                  344
    b                  456
    c                  6789

有没有办法做到这一点？

[英]storing a Dataframe to a hive partition table in spark

[英]Hive table in Spark

[英]Query Hive table in spark 2.2.0

[英]Spark with Hive : Table or view not found

[英]Save Spark RDD to Hive Table

[英]Spark + write to Hive table + workaround

[英]Not able to fetch result from hive transaction enabled table through spark-sql

[英]Wrong result for count(*) in hive table

[英]storing pig output into Hive table in a single instance

[英]PIG: Filter hive table by previous table result

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 将数据帧存储到 spark 中的 hive 分区表 Spark中的Hive表在Spark 2.2.0中查询Hive表 Spark with Hive：找不到表或视图将Spark RDD保存到Hive表 Spark + 写入 Hive 表 + 解决方法无法通过Spark-SQL从启用Hive事务的表中获取结果 hive表中count（*）的结果错误在单个实例中将猪输出存储到 Hive 表中 PIG：按上一个表结果过滤配置单元表

相关标签