如何在HDFS中使用python读取.pkl文件

Question

我在IBM Cloud中使用Python 3.5.2。 我需要在集群环境中运行pyspark代码。 为此，我需要使用python在hdfs中上载pickle文件。 我在这里看到了评论

我要上传terrs.pkl。 文件位置在随附的屏幕截图中给出

我根据共享链接中给出的建议使用以下命令

pickle.load( open( '/user/clsadmin/terrs.pkl', "rb" ) )

但这引发了错误

No such file or directory: '/user/clsadmin/terrs.pkl'

请参考所附的屏幕截图。 您能建议我如何使用python加载此.pkl文件吗？

Answer 1

open_file = open("/user/clsadmin/terrs.pkl", "rb")
data = pickle.load(open_file)
open_file.close()