我如何从 databricks spark 连接到 docu.net db 启用 TLS 的集群？

Question

我想连接到启用了 TLS 的文档数据库。我可以从 lambda function 和rds-combined-ca-bundle.pem复制 lambda 代码来做到这一点。我不能对数据块做同样的事情，因为所有节点当 spark 尝试连接它总是超时时，集群应该有这个文件。我试图通过以下链接创建初始化脚本https://learn.microsoft.com/en-us/azure/databricks/kb/python/import- custom-ca-cert但是它也没有帮助。如果有人对这种用例有任何线索，请告诉我。

注意：我可以从同一个数据块实例连接到禁用 TLS 的文档数据库。

Answer 1

如果您在使用初始化脚本在 Spark 集群上导入 rds-combined-ca-bundle.pem 文件时遇到连接超时错误，请尝试以下步骤：

1. 确保rds-combined-ca-bundle.pem文件在 Spark 集群的驱动程序节点上可用。 初始化脚本只会在驱动程序节点上执行。 否则您将遇到连接超时错误。
2. 在启动spark-shell或spark-submit命令时使用--conf选项指定rds-combined-ca-bundle.pem文件在驱动程序节点上的位置。 要指定rds-combined-ca-bundle.pem文件的位置，请运行：

spark-shell --conf spark.mongodb.ssl.caFile=path/to/rds-combined-ca-bundle.pem

3. 检查 Spark 集群日志是否正确执行了 init 脚本或是否遇到任何错误。