堆棧內存溢出
cost 93 ms
將參數/參數傳遞給 Azure 數據工廠中的 HDInsight/Spark 活動

[英]Pass parameters/arguments to HDInsight/Spark Activity in Azure Data Factory

我有一個按需 HDInsight 群集，它從 Azure 數據工廠中的 Spark Activity 啟動並運行 PySpark 3.1。 為了測試我的代碼，我通常從創建的 HDInsight 群集頁面啟動 Jupyter Notebook。 現在，我想將一些參數傳遞給該 Spark 活動，並從 J ...

在 HDInsights 群集中使用 Spark 未將文件保存在 Azure Blob 中

[英]Files not getting saved in Azure blob using Spark in HDInsights cluster

我們已經在 Azure 上設置了 HDInsights 群集，並使用 Blob 作為 Hadoop 的存儲。 我們嘗試使用 hadoop CLI 將文件上傳到 Hadoop，並且文件正在上傳到 Azure Blob。 用於上傳的命令： 但是，當我們嘗試使用 Spark 將文件寫入 Hadoop ...

如何增加 microsoft.HDInsight azure 的核心配額限制？

[英]how can i increase the core quota limit on microsoft.HDInsight azure?

我創建了一個免費的 azure 帳戶，並想使用microsoft.HDInsight創建一個 spark 集群，在我達到配置 + 價格步驟之前，一切都運行良好。 我收到這條消息。 - 在這個屏幕截圖上 - “您已達到法國中部訂閱的核心配額限制。請選擇其他地區或要求計費支持增加您對法國中部的限 ...

如何注冊 microsoft.HDinsight？ 在微軟 azure

[英]how to register microsoft.HDinsight ? on microsoft azure

我創建了一個免費的Microsoft azure帳戶，當我想使用Microsoft.HDInsight創建我的 spark 集群時，我發現它沒有注冊，有沒有辦法注冊Microsoft.HDInsight。 （我沒有使用信用卡中的任何信用）但我認為微軟 azure 允許 200,00 美元。 如果 ...

AccessControlException：使用 Hive 倉庫時，客戶端無法通過：[TOKEN，KERBEROS] 進行身份驗證

[英]AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS] when using Hive warehouse

我們最近在我們的 Spark 集群上啟用了 Kerberos 身份驗證，但是我們發現當我們在集群模式下提交 Spark 作業時，代碼無法連接到 Hive。 我們是否應該使用 Kerberos 對 Hive 進行身份驗證，如果是，如何？ 如下詳述，我認為我們必須指定 keytab 和 principa ...

Spark 集群未動態分配資源給作業

[英]Spark cluster is not dynamically allocating resources to jobs

該群集是 HDInsight 4.0，具有 250 GB RAM 和 75 個 VCore。 我只運行一個作業，集群總是為作業分配 66 GB、7 個 VCore 和 7 個容器，即使我們有 250 GB 和 75 個 VCore 可供使用。 這不是一項工作所特有的。 我做過 3 份不同的工作，但都 ...

Azure HDInsight - CVE-2021-44228 Apache Log4j 2

[英]Azure HDInsight - CVE-2021-44228 Apache Log4j 2

我沒有看到 Microsoft 提供的關於使用 log4j 進行日志記錄的 HDInsight 組件的任何指導，在檢查時我在我們的 HDInsight 群集上看到了受此影響的版本。 是否有關於何時修補 HDInsight 中的節點的任何指導？ https://msrc-blog.microsof ...

頂點失敗。 Azure HDINSIGHT 配置單元中的內存不足錯誤

[英]vertex failed. Out of memory error in Azure HDINSIGHT hive

我在加入 2 個數據集時遇到內存不足問題； 一個包含 39M 行，另一個包含 360K 行。 我有 2 個工作節點，每個工作節點的最大內存為 125 GB。 在為節點上的所有 YARN 容器分配的 Yarn 內存中 = 96GB 最小容器大小（內存）= 3072 在 Hive 設 ...

Prometheus 和 HDInsight 集成

[英]Prometheus and HDInsight Integration

最近，我正在研究一種新的遙測設計，其中應出於性能、維護和其他原因監控大量微服務。 微服務的監控可以使用 TimescaleDB、Prometheus 和 Grafana 的生態系統進行歸檔，同時有許多圖表如 timescale\\tob 提供了開箱即用的生態系統。 但是對於業務中心 (SAA ...

HDInsight 核心配額增加

[英]HDInsight Cores Quota increase

我有兩個不同的 HDInsight 部署需要部署。 其中一個 HDInsight 部署使用 D12_v2 VM 類型，第二個 HDInsightgt 部署使用 DS3_v2 VM 類型。 盡管這兩種 VM 類型使用相同數量的核心，但如果我只請求增加 Dv2 系列類型的配額，部署是否會起作用？ 請注意 ...

從 HDinsight 集群訪問 Hive 表

[英]Access Hive table from HDinsight cluster

我正在使用 pyspark 訪問我的 HDinsight 集群內的 hive。 當我 go 並查詢 hive 時，它顯示了所有數據庫，但是當我從 spark 查詢時，它只顯示默認數據庫。 我相信它只是 go 並且默認查詢 spark 目錄。 我發現的解決方法是我應該使用 Hive 倉庫連接器從 sp ...

Azure DataFactory 使用 On-Demand HDInsight 群集的鏈接服務響應 Hive 活動的 BadRequest

[英]Azure DataFactory responds with BadRequest for Hive acitivity using On-Demand HDInsight cluster's linked service

基本上，我正在嘗試測試這個按需集群如何啟動並與 Hive 活動一起工作。 所以只有一項活動在進行中。 但是，當我嘗試使用按需 HDInsight 群集針對 Hive 活動對其進行調試時，Azure 數據工廠會顯示以下消息。 {"code":"BadRequest","message":null, ...

Hive：查詢從小時執行

[英]Hive: Query executing from hours

我嘗試在 Azure HDInsight 集群上執行下面的 hive 查詢，但它需要前所未有的時間才能完成。 是否實現了 hive 設置但沒有用。 以下是詳細信息： Table Hive Query 但是查詢運行了幾個小時。 以下是詳細信息： 我確實設置了一些 hive 屬性 Records in ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM