在 R 中读取泡菜文件（PANDAS Python 数据帧）

Question

有没有一种简单的方法可以将 Pandas Dataframe 中的 pickle 文件 (.pkl) 读取到 R 中？

一种可能性是导出到 CSV 并让 R 读取 CSV，但这对我来说似乎很麻烦，因为我的数据框相当大。 有没有更简单的方法来做到这一点？

谢谢！

Answer 1

正如 russellpierce 在评论中所建议的那样， Reticulate非常简单且非常平滑。

install.packages('reticulate')

之后，我从他们的文档中给出的示例中创建了一个这样的 Python 脚本。

蟒文件：

import pandas as pd

def read_pickle_file(file):
    pickle_data = pd.read_pickle(file)
    return pickle_data

然后我的 R 文件看起来像：

require("reticulate")

source_python("pickle_reader.py")
pickle_data <- read_pickle_file("C:/tsa/dataset.pickle")

这给了我之前以pickle格式存储在R中的所有数据。

你也可以在不离开你的 R 编辑器的情况下在 R 中执行所有这些操作（前提是你的系统 python 可以访问熊猫）......例如

library(reticulate)
pd <- import("pandas")
pickle_data <- pd$read_pickle("dataset.pickle")

Answer 2

编辑：如果您可以安装和使用 {reticulate} 包，那么这个答案可能已经过时了。 有关更简单的路径，请参阅下面的其他答案。

您可以在 python 中加载泡菜，然后通过 python 包rpy2 （或类似包）将其导出到 R。 完成此操作后，您的数据将存在于链接到 python 的 R 会话中。 我怀疑您接下来要做的是使用该会话来调用 R 并将 RDS 保存到文件或 RAM 磁盘。 然后在 RStudio 中，您可以重新读取该文件。查看 R 包rJython和rPython了解可以从 R 触发 python 命令的方法。

或者，您可以编写一个简单的 Python 脚本来在 Python 中加载您的数据（可能使用上面提到的 R 包之一）并将格式化的数据流写入标准输出。 然后，对脚本的整个系统调用（包括指定 pickle 的参数）可以用作 R 包data.table fread的参数。 或者，如果您想保持标准功能，您可以使用system(..., intern=TRUE)和read.table 。

像往常一样，有/许多/方法可以给这只特定的猫剥皮。 基本步骤是：

1. 在python中加载数据
2. 将数据表达到 R（例如，通过 rpy2 导出对象或将格式化文本写入标准输出，R 准备在另一端接收它）
3. 将 R 中表达的数据序列化为内部数据表示（例如，通过 rpy2 或fread导出对象）
4. （可选）使另一个 R 会话可以访问该 R 会话中的数据（即，使用 rpy2 关闭循环的步骤，或者如果您一直在使用fread那么您已经完成了）。

Answer 3

要添加到上面的答案：您可能需要指向不同的 conda env 才能访问 Pandas：

use_condaenv("name_of_conda_env", conda = "<<result_of `which conda`>>")
pd <- import('pandas')

df <- pd$read_pickle(paste0(outdir, "df.pkl"))