![](/img/trans.png)
[英]How to identify which logstream belongs which glue job?
我有 python shell 類型的 AWS Glue 作業。 python shell 粘合作業的日志存儲在兩個不同的 cloudwatch 日志組中。 /aws-glue/python-jobs/output:- 存儲非錯誤日志 /aws-glue/python-jobs/error:- ...
[英]How to identify which logstream belongs which glue job?
我有 python shell 類型的 AWS Glue 作業。 python shell 粘合作業的日志存儲在兩個不同的 cloudwatch 日志組中。 /aws-glue/python-jobs/output:- 存儲非錯誤日志 /aws-glue/python-jobs/error:- ...
[英]How to use max, min functions in projection.columnName.range to the AWS Glue Table Property
我使用下表屬性將范圍設置為日期列 該表沒有來自 NOW-365DAYS 的數據,因為它是一個新表。 在此表上從 Athena 查詢會導致大量的 listbucket 請求。 我不想發生這種情況。 所以想設置一個范圍如下 'projection.date.range' = 'MAX(2022/01/1 ...
[英]Does Azure Purview have Federated Data Catalogue capability?
我正在探索使用 Azure 原生服務創建數據網格的選項,並且需要一個聯合數據目錄。是否可以完成以下操作: 創建 Azure 數據平台 1,其中 Purview 數據目錄 1 對相關數據資產進行編目創建 Azure 數據平台 2,並使用 Purview 數據目錄 2 對相關數據資產進行編目創建一個聯 ...
[英]ODBC connectivity for Azure Purview
Azure 數據目錄 gen1 允許我們通過使用 ODBC 連接從 Databricks 工作空間內的表中獲取元數據。 我們是否也有用於 Azure 權限的 ODBC 連接? 如果是這樣,有人可以分享詳細信息嗎? ...
[英]Whats the difference between Azure Data Catalog and Azure Purview
我記得 Azure 數據目錄 V2 即將發布,它具有數據沿襲功能,但我可以看到最近引入了與 Purview 相同的服務。 您能否說明一下差異以及何時選擇這些服務? ...
[英]When will Azure Data Catalog Gen2 go GA?
關於這方面的信息似乎無法獲得,盡管很明顯至少要到 2021 年才能獲得。我的意思是 GA,而不是公開預覽。 ...
[英]Azure Data Catalog Backup
由於 ADC 由 MS 作為 SaaS 提供給客戶,MS 是否會備份數據集和業務術語表? 如果是,客戶多久以及如何訪問備份以進行恢復? ...
[英]Search in Azure Data Catalog key insensitive
我試圖弄清楚如何在數據目錄中按文件名搜索,而不是對密鑰不敏感。 葛: 我有 3 個文件:“filename.csv”、“FILENAME.csv”、“fileName.csv” 我只想獲取文件“filename.csv”(小寫)。 如果我搜索名稱: 我取回了 3 個文件(帶雙引號和不帶雙引號,它 ...
[英]Ingesting data from Snowflake to Azure Data Catalog
我有一個項目可以將 Snowflake 數據倉庫中的元數據提取到 Azure 數據目錄 (ADC) 中。 ADC 本身並不支持這一點,所以我必須使用 ADC API 或 ODBC。 在我繼續實施 API 解決方案之前,我認為詢問是否有人對此有建議是明智的。 谷歌搜索沒有返回任何值得注意的信息。 ...
[英]Can Azure Data Catalog be used to connect to on-premise databases and ingest metadata? If yes, is data profiling available?
我們需要了解和記錄在 Azure 數據目錄中的大部分數據目前駐留在 SQL 服務器數據庫中的 Premise 上。 Azure 數據目錄能否連接到這些數據源,並為未存儲在 Azure 中的數據資產提供元數據? ...
[英]How to add columnDescription to a Azure Data Catalog table using REST API
我想將列描述添加到我的 Azure 數據目錄資產。 在文檔中, columnDescription不在列下,這讓我感到困惑。 此外,我試圖將它放在注釋下,但它沒有用。 任何支持表示贊賞。 ...
[英]How to set friendlyName for an Azure Data Catalog Asset via REST API?
我正在通過 REST API 將資產注冊到 Azure 數據目錄。 我可以毫無問題地注冊我的資產。 當我想將“friendyName”添加到我的資產時,我收到錯誤消息。 我正在使用此處顯示的確切語法。 這是我要發送的 json: 我已經刪除了 json 的不相關部分以使其可讀。 請注意,如示例代碼 ...
[英]Data Governance solution for Databricks, Synapse and ADLS gen2
我是數據治理的新手,如果問題缺少一些信息,請原諒我。 客觀的我們正在 Azure 平台上為中型電信公司從頭開始構建數據湖和企業數據倉庫。 我們正在使用 ADLS gen2、Databricks 和 Synapse 進行 ETL 處理、數據科學、ML 和 QA 活動。 我們已經有大約 100 個輸入表 ...
[英]Azure Data Catalog Assets are not editable when I register an asset via REST API
我正在使用 Azure 數據目錄的 REST API 來注冊新資產。 我的用戶需要能夠添加/更改標簽和描述。 但是,當我在 REST API 上注冊新資產時,添加標簽按鈕和描述文本字段會消失。 我懷疑我需要在 json 中傳遞一個參數以使字段可編輯。 在官方文檔中,我找不到任何相關內容。 我擁有所有 ...
[英]Can Azure Data Catalog's Rest API be used to upload the data to be anaylzed?
當我查看官方文檔時,我了解到我需要准備有關數據源的元數據,然后我可以使用 rest API 將此信息上傳到數據目錄。 但是,當我使用 web 接口時,我可以上傳要由 Azure 數據目錄本身分析的文檔。 是否可以以相同的方式使用 REST API? ...
[英]Azure Data Catalog intefacing with Azure SQL Server metadata - not picking up Azure SQL Server metadata when publishing data source
我在幾個視圖和表的 MS_description 字段中設置了一些擴展屬性。 我已經嘗試兩次發布我的數據源,但我在 ADC 中看不到該表或視圖的描述字段中的任何描述 如何將 ADC 與我的 Azure SQL Server 擴展屬性同步? ...
[英]Data catalog tools supporting multi tenancy and data isolation
我正在尋找一個數據目錄工具,如 Azure 數據目錄,它將支持 Azure Data Lake Gen2 環境中的多租戶作為數據源。 使用此功能,多個用戶(不同租戶)應該能夠使用任何元數據工具搜索他們的特定數據(數據湖文件夾)。 Azure 數據目錄是否支持這種多租戶、數據隔離? 您能否推薦一些其 ...
[英]Azure Data Catalog Questions
我有一些與 Azure 數據目錄相關的問題。 是否可以在不重新注冊源的情況下進行元數據刷新? 是否可以使用 Data Catalog 中的 API 功能對數據源的行級和列級安全性進行建模? ...
[英]Azure Data Catalog Gen2 is free?
現在我使用 Azure 數據目錄 Gen1 我看到 Azure 數據目錄 Gen2 處於預覽狀態... 如果我創建一個 gen2,費用是免費的嗎? 謝謝 ...
[英]Can we rename a tag?
我們在 Azure 數據目錄 (ADC) 中創建了許多用戶標記。 創建后,是否可以重命名或更改拼寫? 當我右鍵單擊標簽時,我只能看到瀏覽器提供的選項菜單,而不是 ADC 功能。 我檢查了設置和詞匯表,但也看不到任何重命名選項。 ...