如何將Spark數據集保存到Bigquery表
[英]How to save Spark Dataset to Bigquery Table
問題描述
有沒有人將數據集保存到Bigquery表？
我使用以下示例成功加載到BigQuery中。 這使用RDD.saveAsNewAPIHadoopDataset方法來保存數據。 我正在使用數據集（或DataFrame）並查找saveAsNewAPIHadoopDataset方法但無法找到它。
任何一個例子都很棒。
1 個解決方案
解決方案1
2 2017-02-22 15:23:51
你可以使用spark-bigquery它有一個方法dataframe.saveAsBigQueryTable ：
df.saveAsBigQueryTable("my-project:my_dataset.my_table")
如何使用 BigQuery 連接器從 java spark 讀取 BigQuery 表
[英]How to read BigQuery table from java spark with BigQuery connector
如何在Apache Ignite中保存和讀取spark DataFrame / DataSet？
[英]How to save & read spark DataFrame/ DataSet in Apache Ignite?
使用功能生成其他數據集並將其保存在新數據集中的功能將Spark映射到數據集
[英]Spark Map a DataSet with a function that generates other dataset and save in a new Dataset
如何使用 spark-cassandra-connector 將數據集寫入 Cassandra 表？
[英]How to write a Dataset into Cassandra table using spark-cassandra-connector?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
如何以加密格式保存火花數據集？
如何保存數據集 <Row> 在MySQL中的火花？
如何使用 BigQuery 連接器從 java spark 讀取 BigQuery 表
使用Spark的BigQuery保存到分區表中
如何在Apache Ignite中保存和讀取spark DataFrame / DataSet？
通過spark截斷BigQuery表
如何將Spark Dataframe保存到Hana Vora表中？
使用功能生成其他數據集並將其保存在新數據集中的功能將Spark映射到數據集
如何使用bigquery api將spark連接到bigquery
如何使用 spark-cassandra-connector 將數據集寫入 Cassandra 表？
相關標簽