Apache Spark独立更改执行者用户名

Question

我在Ubuntu下以独立模式使用Apache Spark

我正在尝试将文件保存到nfs主机上的某个位置。

Spark工人是在有权访问我尝试保存到的文件夹的用户下启动的。

我将文件夹的权限更改为777，但在nfs下创建新文件夹时仍然出现错误。

创建一个文件夹，然后它不能在其中创建任何新文件。

新文件夹仍然具有旧权限，不允许火花执行器向其中写入任何内容。

我怎样才能解决这个问题？

Answer 1

用户名没有问题，问题是nfs服务器，当连接到它时，我停留在与客户端计算机相同的uid中，这不适合nfs服务器中的所有者uid，修复工作正在进行到nfs主机中的/ etc / exports文件并添加以下行/ var / general / nfs * (rw,sync,no_root_squash,all_squash,anonuid=1000,anongid=1000,no_subtree_check)

这将在正确的uid下设置所有传入的nfs连接以控制位置