![](/img/trans.png)
[英]HDInsight Spark cluster - can't connect to Azure Data Lake Store
[英]Azure Data Factory can't access HDInsight cluster in IP restricted VNet
我在Azure VNet上有一個HDInsight Hadoop群集(Linux,是單獨部署的)(使用NSG限制客戶端IP)。
Azure SQL防火牆具有一個名為“允許訪問Azure服務”的選項,該選項允許Data Factory訪問Azure SQL。
在VNet中,沒有這樣的選項,您必須指定IP地址范圍或設置標簽(Internet,虛擬網絡,AzureLoadBalancer)。 我以為AzureLoadBalancer可以解決此問題,但是不能-HDInsight仍對Azure Data Factory隱藏。
我試圖找到數據工廠端口范圍,但未成功。
是否可以從Azure數據工廠訪問受保護的HDInsight Linux群集?
使用Azure Data Factory V2支持此方案。 它要求在HDInsight群集的vnet中部署Azure自托管集成運行時(IR)。 自托管的IR允許Data Factory服務將處理請求調度到虛擬網絡內部的計算服務(例如HDInsight)。 另請參閱以下文檔 。
ADF可以訪問本來可以公開訪問的資源。 如果您的HDInsight群集位於VNet中,則無法公開訪問它。 因此,ADF無法訪問+編排它。
ADF確實希望在VNet環境中得到支持,但這需要花費一些時間。
謝謝,哈里斯
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.