Azure VPN 上的身份驗證端點

Question

在 Azure 基礎設施設置上尋找想法。
我的公司有本地 Hadoop 集群和 Azure Datalake，我們使用 http 代理或 VPN 進行連接（還沒有 ExpressRoute）

We have an ETL application (python, spark) that transfers data from HDFS to ADLS using SPN – python SDK is used to get credentials from login.microsoftonline.com (via proxy) and these are then used for Spark writing files to ADLS gen2 via私有端點。

現在我們想使用 hdfs cli 復制文件（ hdfs dfs -cp hdfs://file abfs://file 。我們發現它在使用 Aceess 密鑰和連接端點時工作正常（代理）

當嘗試通過可從本地集群訪問的專用端點訪問 ADLS 時，它不起作用——因為我們無法在不使用代理的情況下連接到 login.microsoftonline.com 。 但是一旦設置了代理，我們就只能通過公共 ADLS 端點上傳數據。

你知道什么可以幫助我解決這個問題嗎？
我唯一想到的是創建指向互聯網地址的內部 DNS 記錄

Answer 1

1. abfs 連接器使用 java 代理 sysprops。 因此，在 https.nonProxyHosts中列出 VPN IP/主機名就足夠了。

2. 建議使用 cloudstore 的storediag 命令進行診斷，它旨在調試身份驗證/連接問題： https://github.com/steveloughran/cloudstore

3. 如果你不能讓它工作，請在 apache jira 上針對 hadoop，組件 fs/azure 提交錯誤報告。 首先使用最新版本進行測試，因為“這是否適用於最新版本”可能是第一個響應