簡體   English   中英

python可寫的文件格式,在Spark中可作為Dataframe讀取

[英]A file format writable by python, readable as a Dataframe in Spark

我有python腳本(這里沒有Spark)生成一些數據文件,我想像scala / spark應用程序中的Dataframes一樣容易閱讀。

最佳選擇是什么?

如果您的數據中沒有換行符,那么最好使用諸如TSV之類的基於文本的簡單格式。

如果您需要包括二進制數據,那么像protobuf這樣的單獨格式就很有意義-存在hadoop InputFormat的任何內容都可以。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM