繁体 English 中英

SparkSQL 连接数据与 Rest API 数据

[英]SparkSQL join data with Rest API data

原文 2021-10-19 18:21:05 6 1 apache-spark/ apache-spark-sql

我需要使用来自 Rest 端点的 JSON 数据加入一个 hive 表。 使用 UDF 还是数据源（如临时表）更好？ 如果使用 UDF，什么是限制 RPS 的好方法？

1 个解决方案

如果您需要在 Rest 端点中查找数据并触发您可能需要查看mapParitions 。 这里有一个很好的解释，说明为什么只使用地图（和 UDF）可以更好地使用它。 它还可以通过暗示来说明节流。 每个分区 = 1 个执行程序。 因此，您可以使用此设置理论最大值。 （我说的是理论上的最大值，因为您并不总能保证获得您想要的所有执行器。）

无法使用 sparksql 在 Hive 中写入数据

[英]Not able to write data in Hive using sparksql

在 SparkSQL 中为日历日期重复相同的数据

[英]Repeat same Data for Calendar Date in SparkSQL

通过SparkSQL从Hive中选择最新的数据分区

[英]select latest partition of data from hive by sparksql

使用sparksql在mongodb中加载JSON数据

[英]Loading JSON data in mongodb using sparksql

在SparkSQL中避免笛卡尔加入

[英]Avoid cartesian join in sparkSQL

为什么我的SparkSQL查询在HIVE返回数据的地方不起作用

[英]Why is my SparkSQL query not working where as HIVE returns data

在sparkSQL中加载数据时在Hive表中获取Null值

[英]Getting Null values in Hive table while loadind data in sparkSQL

在SparkSQL中以正确格式将字符串数据转换为十进制时出现问题

[英]Issue while converting string data to decimal in proper format in sparksql

带有Hive数据源的SparkSQL将对head（）进行全表扫描吗？

[英]SparkSQL with Hive data source will do a full table scan for head()?

使用SparkSQL连接器从Hadoop HDFS读取数据以在Superset中可视化它？

[英]Read data from Hadoop HDFS with SparkSQL connector to visualize it in Superset?

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 无法使用 sparksql 在 Hive 中写入数据在 SparkSQL 中为日历日期重复相同的数据通过SparkSQL从Hive中选择最新的数据分区使用sparksql在mongodb中加载JSON数据在SparkSQL中避免笛卡尔加入为什么我的SparkSQL查询在HIVE返回数据的地方不起作用在sparkSQL中加载数据时在Hive表中获取Null值在SparkSQL中以正确格式将字符串数据转换为十进制时出现问题带有Hive数据源的SparkSQL将对head（）进行全表扫描吗？使用SparkSQL连接器从Hadoop HDFS读取数据以在Superset中可视化它？

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM