简体繁体 English

我们可以在除 Hive 表之外的任何其他数据库表上使用 spark.sql 吗？

[英]Can we use spark.sql on any other database tables other than Hive tables?

原文 2022-08-11 10:41:47 5 1 dataframe/ hive/ apache-spark-sql/ cloud/ sql-data-warehouse

Currently our databases are hosted in other databases.目前我们的数据库托管在其他数据库中。 We are thinking to execute the process in SPARK by using JDBC connectors.我们正在考虑使用 JDBC 连接器在 SPARK 中执行该过程。 Is it possible to use SPARK.SQL statements after we connect the datasource or do we have to load the data to hive to use spark.sql query?连接数据源后是否可以使用 SPARK.SQL 语句，还是必须将数据加载到 hive 才能使用 spark.sql 查询？

1 个解决方案

Yes, on Spark tables.是的，在 Spark 表上。

With push-down you can use against JDBC sources and HBASE etc. but then you may as well for JDBC sources use the SQL there for functionality and it runs on that hardware.通过下推，您可以针对 JDBC 源和 HBASE 等使用，但是您也可以针对 JDBC 源使用 SQL 来实现该功能。 Mostly you bring lower volume of data in to combine in Spark with Big Data sources and write less data to JDBC RDBMS's.大多数情况下，您将较少量的数据引入 Spark 与大数据源相结合，并将较少的数据写入 JDBC RDBMS。

这个用例可以通过火花的滞后/任何其他 function 来完成吗，如果可以的话怎么做 - can this use-case be done by lag/any-other function of spark, if so how can this done

我们如何在 spark sql 中使用 mutimap_agg 函数，并建议是否有任何等效或替代函数 - How we can use mutimap_agg function in spark sql and also suggest if any equivalent or alternative function to this

在Spark和Spark Broadcast变量中处理Hive查找表 - Processing Hive Lookup tables in Spark vs Spark Broadcast variables

如何将append Psypark FOR循环output转化为单dataframe(spark.sql) - How to append Psypark FOR loop output into single dataframe (spark.sql)

在中间处理中是否收集了一些 spark 或 spark.sql 操作？ - Do some spark or spark.sql operations do collect in intermediate processing?

SQL查询/ Spark数据帧到外部联接并减去两个表的值 - SQL query/Spark dataframe to outer join and subtract values of two tables

如何从 bash 中其他表的列中创建一个表？ - how to make a table from the columns of other tables in bash?

联合只能在具有兼容列类型 Spark 数据框的表上执行 - Union can only be performed on tables with the compatible column types Spark dataframe

我想在一个json中嵌套三个表并将json传递给HTML以便我们可以显示表格？ - I Wanted to do nesting of three tables in a single json and pass that json to HTML so we can display tables?

如果输入需要是循环中的列表怎么办：除了`for`之外的任何选项？ - What if input needs to be a list in a loop: Any option other than `for`?

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 这个用例可以通过火花的滞后/任何其他 function 来完成吗，如果可以的话怎么做 - can this use-case be done by lag/any-other function of spark, if so how can this done 我们如何在 spark sql 中使用 mutimap_agg 函数，并建议是否有任何等效或替代函数 - How we can use mutimap_agg function in spark sql and also suggest if any equivalent or alternative function to this 在Spark和Spark Broadcast变量中处理Hive查找表 - Processing Hive Lookup tables in Spark vs Spark Broadcast variables 如何将append Psypark FOR循环output转化为单dataframe(spark.sql) - How to append Psypark FOR loop output into single dataframe (spark.sql) 在中间处理中是否收集了一些 spark 或 spark.sql 操作？ - Do some spark or spark.sql operations do collect in intermediate processing? SQL查询/ Spark数据帧到外部联接并减去两个表的值 - SQL query/Spark dataframe to outer join and subtract values of two tables 如何从 bash 中其他表的列中创建一个表？ - how to make a table from the columns of other tables in bash? 联合只能在具有兼容列类型 Spark 数据框的表上执行 - Union can only be performed on tables with the compatible column types Spark dataframe 我想在一个json中嵌套三个表并将json传递给HTML以便我们可以显示表格？ - I Wanted to do nesting of three tables in a single json and pass that json to HTML so we can display tables? 如果输入需要是循环中的列表怎么办：除了`for`之外的任何选项？ - What if input needs to be a list in a loop: Any option other than `for`?

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM