[英]How to convert sql table into a pyspark/python data structure and return back to sql in databricks notebook
我在databricks上运行sql笔记本。 我想分析一个包含五亿条记录的表。 我可以对数据运行简单的SQL查询。 但是，我需要将日期列类型从str更改为date。
不幸的是，sparkSQL似乎不支持update / alter语句，因此我似乎无法修改表中的数据。
可以让我在下一个单元格中将SQL表转换为python数据结构（在pyspark中）的一行代码是什么？ 然后，我可以修改文件并将其返回给SQL。
dataFrame = sqlContext.sql('select * from myTable')
df=sqlContext.sql("select * from table")
要将数据框转换回sql视图，
df.createOrReplaceTempView("myview")
如何将pyspark.sql.dataframe.DataFrame转换回databricks笔记本中的sql表
[英]How can I convert a pyspark.sql.dataframe.DataFrame back to a sql table in databricks notebook
如何将数据从 R 笔记本任务返回到数据块中的 Python 任务
[英]How to return data from R notebook task to Python task in databricks
如何使用 Python / Pyspark 在 Databricks 笔记本中合并数据帧
[英]How to merge dataframes in Databricks notebook using Python / Pyspark
如何将Databricks笔记本生成的数据传递到Python步骤？
[英]How to pass data generated by a Databricks notebook to a Python step?
有没有办法将 Pandas 数据框转换为 Databricks 中 sql 中的表视图？
[英]Is there a way to convert a pandas dataframe into a table view in sql in Databricks?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.