堆栈内存溢出
cost 526 ms
flowlet 可以通过所有列吗？

[英]Can a flowlet pass through all columns?

我们正在使用 Azure 数据工厂，并正在探索是否可以使用 Flowlet 进行大多数数据流中发生的转换。 我们的第一次尝试是创建一个仅向 stream 添加一些列（使用“派生列”步骤）的流程。因此在“输入”步骤中，我们不需要在接收到的 stream 中出现任何列。然后“派生列”之后是“输出”步骤 ...

ADF - 遍历包含 JSON 个文件的 blob 容器，分区并推送到各种 SQL 个表

[英]ADF - Iterate through blob container containing JSON files, partition and push to various SQL tables

我在 Azure 数据工厂中有一个 blob 存储容器，其中包含许多 JSON 文件。 这些 JSON 文件中的每一个都包含来自 API 的数据。数据需要在我的 azure DWH 中拆分为 ~30 个表。 ADF在这里处理我希望有人能明确说明实现这一目标的最佳方法（我是数据工程领域的新手，正在尝 ...

如果我们禁用 keyvault 的公共访问，如何访问 Azure 数据工厂

[英]How to Access Azure Data Factory if we disable public access for keyvault

那么，如果我们禁用 keyvault 的公共访问，我们如何获取 Azure 数据工厂、逻辑应用程序、Azure Synapse 和 Azure DataBricks 的秘密或密钥。 我通过使用出站 IP 地址找到了 AppServices 和 FunctionApps 的解决方案，如果我们禁用 ke ...

ADLS Gen2 操作因以下原因失败：发送请求时发生错误。 用户错误 2011

[英]ADLS Gen2 operation failed for: An error occurred while sending the request. User error 2011

您好，在访问我试图获取文件夹及其文件的元数据的存储容器文件夹时出现上述错误。 由于某种原因，它无法访问这些文件夹。 检查启用公共访问并设置私有端点的链接服务和存储容器。 请让我知道还缺少什么。 ...

如何使用变量在 ADF 中设置 select object 属性

[英]How to select object attribute in ADF using variable

我正在尝试对 Azure 数据工厂中的管道进行参数化，以便为多个环境启用特定功能。 这个想法是通过全局参数始终可以使用当前环境。 我想使用这个参数来查找一组环境来处理数据。 例子： targetEnvs = [{ "dev": ["dev"], "test": ["dev", "test"], "a ...

ADF 活动成功不会继续进行下一个活动

[英]ADF activity succeeded does not move on to the next activity

我有一个 Web 活动，它对端点执行 GET 操作。 我已将其设置为在失败时执行某些操作（效果很好）并在成功时执行另一组操作。 但是，即使 Web 操作的 output 成功，最后一部分也会被完全跳过。 这里显示成功状态和我的配置在这里输入图像描述我尝试删除并重新添加 On Success 连接器， ...

如何使用 ADF 将列转换为数组

[英]How to transform a column into an array using ADF

我需要读取 ADF 上数据库中的一列，并将其所有值用作 foreach 中的参数。 我尝试使用数据流和缓存接收器读取列，然后在管道中使用 Set Variable 然后使用 foreach ...但是我得到的不是值数组，而是一个包含一个值的数组，其中包含我想要的所有其他值（但是我无法迭代）我正在使用 ...

AzureDataFactory - 403 禁止使用 Odata 链接服务

[英]AzureDataFactory - 403 Forbidden With an Odata linked service

Azure 数据工厂链接服务：OData 集成运行时：Local.network 目标：Microsoft Project Odata（托管在同一 local.network 中） 当我尝试到达我的 Microsoft Project Odata 目标时出现 403 - Forbidden 错误。 ...

为什么我无法从 Azure 数据工厂的 Azure Function 活动发布 json 数组？

[英]Why am I not be able to post json array from Azure Function activity at Azure Data Factory?

我在 Azure 数据工厂上创建了 Azure Function 活动。 Azure Function 活动调用 function 的 Azure Function 应用程序（Python，应用程序服务计划）。 Python 代码如下所示： # ... def get_request(s ...

我无法连接到输入容器。 但是容器是可以访问的并且文件在那里

[英]i can't connect to input container. but the container is acccessible and the file is there

我学习 azure，专门学习 datafactory，所以在基础练习中。 1 - 我应该创建一个输入容器和一个 output 容器（使用 azure sorage 2）。 2 - 之后，我为输入和 output 创建了数据集。 3 - 最后。 我应该将数据流连接到我的输入数据集。 但我可以测试 ...

在为 ADF 创建数据集时，有时我们会导入架构，有时则不会。 其背后的原因是什么？

[英]While creating a Dataset for ADF sometimes we import Schema and sometimes we not. What is the reason behind it?

我正在创建 Azure blob 存储类型的数据集。 在观看 ADF 的 youtube 视频时，我看到有时我们导入架构，有时我们不能，当我们必须单击导入架构时，请您指导我 ...

map数据流参数如何到Sink SQL表

[英]How to map Data Flow parameters to Sink SQL Table

我需要将一个或多个数据流参数存储/映射到我的接收器（Azure SQL 表）。 我可以从 REST Api 获取其他数据，并且能够将这些数据 map 到我的 Sink 列（见下文）。 我还需要生成一些 UUID 作为关键字段并将它们添加到同一个表中。 我希望我的 EmployeeId 列包含我的数据 ...

将参数从 adf 传递到笔记本

[英]passing the parameters from adf to notebook

我正在通过 api 调用获取数据，并希望对widgets进行参数化。 在 azure 中，我进行了以下设置： 我有attribute_code的列表，使用lookup活动读取它们并将这些参数传递到数据块笔记本代码中。 数据块中的代码： 我的问题是，由于它在ForEach循环中，每次传递新参数时，它 ...

从存储帐户的年/月/日目录中获取所有文件时，如何将修改日期作为表中的列获取？

[英]How to get modified date as column in table while ingesting all files from year/month/date directories of storage account?

我在 ADLS 帐户中有一些 json 文件。 这些文件以多个年/月/日目录结构摄取。 我想使用 azure 数据流将所有文件从 ADLS 复制到 Azure SQL DB。 我能够使用数据流提取数据，但我想在三个单独的列中包含文件路径、文件提取日期和文件名，但我不知道如何获取这些值。 请注意，每 ...

调用 Web 活动因 HttpStatusCode 而失败

[英]Invoking Web Activity failed with HttpStatusCode

通过在 HTTP url 上发帖，我得到了触发 Azure 函数的 ADF。在上次支持更改后 - function 已从 v6 降级到 v4，我得到： 它会以某种方式与存储帐户更改或网络连接吗？ 编辑：另外，我在 vscode 中打开它，在 bin 目录中我有这样的东西： ...

ADF 数据流卡在进行中并因以下错误而失败

[英]ADF Dataflow stuck IN progress and fail with below errors

ADF Pipeline DF 任务卡在进行中。 过去几个月它一直在无缝工作，但突然数据流停滞不前，并在一定时间后超时。 我们正在使用 IR 管理的虚拟网络。 我最近 3 天一直在尝试。 还是一样的问题。 我正在使用 foreach 循环为多个实体并行运行数据流，它总是随机地卡在最后一个实体上。 ...

Azure Synapse 从 BigQuery 复制数据，源错误 [HY000] [Microsoft][BigQuery] (131) 无法使用 Google BigQuery 存储进行身份验证 API

[英]Azure Synapse Copy Data from BigQuery, Source ERROR [HY000] [Microsoft][BigQuery] (131) Unable to authenticate with Google BigQuery Storage API

在 Azure Synapse 管道中执行复制数据活动时，我在使用查询（表、查询）查询的源选项卡中收到此错误。 无法使用 Google BigQuery 存储进行身份验证 API： . 奇怪的是我可以在源数据集预览数据，我也可以在 select 使用查询表选项时预览数据。 我什至可以运行查询 ...

在 Azure 数据工厂中将数据从一个文件夹复制到另一个文件夹时出错

[英]Getting an error while copying data from one folder to another in Azure Data Factory

此查询曾经在 Azure 数据工厂管道中工作，但几天前停止工作。 Azure Blob 存储中的文件名/格式等没有任何变化。 在此行中出现错误： 错误 says.csv@snapshot=* 有 URL 后缀，这是不允许的。 完整代码： ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2023 STACKOOM.COM