安全地在Squoop中传递密码的方法

Question

我担心sqoop批次中的数据库密码的安全性（无交互式输入）。

在过去，对于sqoop批处理，您唯一可以做的就是使用--password在命令行上传递它，但是使用简单的ps命令很容易读取密码。

现在，我们有了--password-file选项，但是它需要将未加密的密码存储在磁盘上，这并不是真正的“安全”做法，对于单个参数使用单个文件也不是很方便。

我当时想将加密的密码存储在配置文件中，并对其进行动态解密，将其存储在一个临时文件中，设置权限（使用chmod命令），调用sqoop，然后删除该文件...但是我可能会错过不太麻烦的方式？ 你如何解决 ？

Answer 1

在使用--password-file选项之前，我制作了一个补丁，使sqoop在使用-P命令时以非交互方式从输入流中读取密码。

这样，我可以从配置文件中解密密码，然后使用stdin管道使用该密码调用sqoop，而无需使用可以看到普通密码的文件或命令行。

编辑文件src/java/org/apache/sqoop/SqoopOptions.java

替换securePasswordEntry函数代码为

private String securePasswordEntry() {
try {
  return new String(System.console().readPassword("Enter password: "));
}
// PATCH Bouygues Telecom - read password from pipe if launched in non-interactive mode
catch (NullPointerException e) {    
    try {
        final java.io.BufferedReader reader = new java.io.BufferedReader(
                            new java.io.InputStreamReader(System.in));
        return reader.readLine();
    }
    catch (java.io.IOException excep) {      
        LOG.error("It seems that you have launched a Sqoop metastore job via");
        LOG.error("Oozie with sqoop.metastore.client.record.password disabled.");
        LOG.error("But this configuration is not supported because Sqoop can't");
        LOG.error("prompt the user to enter the password while being executed");
        LOG.error("as Oozie tasks. Please enable sqoop.metastore.client.record");
        LOG.error(".password in sqoop-site.xml, or provide the password");
        LOG.error("explicitly using --password in the command tag of the Oozie");
        LOG.error("workflow file.");
    }
    return null;
  }
}

麻烦的是必须重新修补每个新发行的Sqoop ...我可能应该提交一个jira（对我的补丁会被考虑的信心很小），或移至--password-file选项，您想要的方式。

Answer 2

@abeaamase目前在其3/2015的stackoverflow 23916985响应中具有最佳答案，在此处找到。 本质上，我们应该升级到sqoop> 1.4.5，并使用Java密钥库（JKES），org.apache.sqoop.util.password.CryptoFileLoader或在我们自己的类中定义的加载器。

提供的CryptoFileLoader具有以下缺点：假定将加密密码短语和盐作为-D参数提供，以驱动系统属性（可通过ps监听）或配置XML中的纯文本格式。

我最初发现这些参数的这个博客从二千零十五分之三稍早错过了（它缺乏一个标题，但你会发现，如果你看一下第3步第2部分）。

令人惊讶的是，这不是推荐的做法，并且没有出现在sqoop 1.4.5文档中。