sparklyr:: 使用 R 中的箭頭庫讀取鑲木地板文件時出錯

Question

我正在嘗試從 databricks Filestore讀取parquet文件

library(sparklyr)

parquet_dir 已預定義

parquet_dir = /dbfs/FileStore/test/flc_next.parquet'

列出 parquet 目錄中的文件

filenames <- dir(parquet_dir, full.names = TRUE)
"/dbfs/FileStore/test/flc_next.parquet/_committed_6244562942368589642"                                                                   
[2] "/dbfs/FileStore/test/flc_next.parquet/_started_6244562942368589642"                                                                     
[3] "/dbfs/FileStore/test/flc_next.parquet/_SUCCESS"                                                                                         
[4] "/dbfs/FileStore/test/flc_next.parquet/part-00000-tid-6244562942368589642-0edceedf-7157-4cce-a084-0f2a4a6769e6-925-1-c000.snappy.parquet"

顯示文件名及其大小

data_frame(
  filename = basename(filenames),
  size_bytes = file.size(filenames)
)
rning: `data_frame()` was deprecated in tibble 1.1.0.
Please use `tibble()` instead.
This warning is displayed once every 8 hours.
Call `lifecycle::last_warnings()` to see where this warning was generated.
# A tibble: 4 × 2
  filename                                                            size_bytes
  <chr>                                                                    <dbl>
1 _committed_6244562942368589642                                             124
2 _started_6244562942368589642                                                 0
3 _SUCCESS                                                                     0
4 part-00000-tid-6244562942368589642-0edceedf-7157-4cce-a084-0f2a4a6…     248643

將數據導入 Spark

timbre_tbl <- spark_read_parquet("flc_next.parquet", parquet_dir)

錯誤：$ 運算符對原子向量無效

Some(<code style = 'font-size:10p'> Error: $ operator is invalid for atomic vectors </code>)

我將不勝感激任何幫助/建議

提前致謝

Answer 1

spark_read_parquet的第一個參數需要一個火花連接，檢查這個： sparklyr::spark_connect 。 如果您在 Databricks 中運行代碼，那么這應該可以：

sc <- spark_connect(method = "databricks")
timbre_tbl <- spark_read_parquet(sc, "flc_next.parquet", parquet_dir)