如何在 Databricks 上將壓縮的 TSV 文件讀取到 dataframe？
[英]How do I read a zipped TSV file to dataframe on Databricks?
問題描述
我正在嘗試使用 Databricks 從 SFTP 上的壓縮 TSV 文件中讀取數據，但是遇到了困難（試圖使用 pysftp 和 SQLContext 來讀取 TSV）。 有沒有人有一些示例代碼或資源/視頻的鏈接來解釋如何實現這一點？
謝謝
1 個解決方案
解決方案1
1 已采納 2020-05-19 15:50:24
最后想通了：
with ftp.open("TestFile.zip") as f:
dfTest = pd.read_csv(f, compression='zip', sep='\t')
如何使用數據文件上的生成器將 JSON 和 TSV 行轉換為 Dataframe？
[英]How Do I Use a Generator on a Data File to Convert JSON and TSV Rows Into a Dataframe?
如何在databricks（scala，python等）中創建.tsv文件
[英]How to create .tsv file in databricks(scala, python and etc.)
如何在數據塊上的 Pandas 數據框中使用 SQL 相交運算符
[英]How do I use SQL intersect operator in Pandas dataframe on databricks
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
將壓縮文件作為 Pandas DataFrame 讀取
如何從壓縮文件中讀取 json 到 pandas dataframe？
如何在 Python 中打開 .tsv 文件？
如何使用數據文件上的生成器將 JSON 和 TSV 行轉換為 Dataframe？
將壓縮的 txt 文件讀取為 pandas dataframe
迭代讀取（tsv）Pandas DataFrame文件
如何在databricks（scala，python等）中創建.tsv文件
如何將JSON文件讀入數據框？
如何將 tsv 文件加載到 Pandas DataFrame 中？
如何在數據塊上的 Pandas 數據框中使用 SQL 相交運算符
相關標簽