如何使用 PySpark 將 csv 文件轉換為 avro 文件？
[英]How to convert a csv file to an avro file using PySpark?
問題描述
我在谷歌雲平台工作，我正在嘗試使用 Pyspark 將 csv 文件轉換為 avro 文件。 我看過很多網站，但我無法實現解決方案。 先感謝您。 :)
1 個解決方案
解決方案1
0 2021-11-17 14:51:28
您可以使用 spark 將 csv 文件讀入數據集/數據框，並使用 databricks 庫將其編寫為 avro。 就像是：
dataset.write.format("com.databricks.spark.avro").save("你的 output 路徑")
如何使用 pyspark 將 csv 文件轉換或保存為 txt 文件
[英]how to convert or save a csv file into a txt file using pyspark
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.