使用 Python 脚本在 Power BI 中创建新列

Question

我正在尝试运行一个 python 脚本，以便我可以根据住宅地址列和住宅城市列创建家庭计数。 两列都只包含字符串。

我尝试过的脚本如下所示：

dataset['id'] =dataset.groupby(['RESIDENTIAL_ADDRESS1','RESIDENTIAL_CITY']).ngroup()
dataset['household_count'] = dataset.groupby(['id'])['id'].transform('count')

然而，它在 20,000 行后给了我这个错误：

DataSource.Error: ADO.NET: 处理 Python 脚本时出现问题。 以下是技术细节： [DataFormat.Error] 我们无法转换为数字。 详细信息：DataSourceKind=Python DataSourcePath=Python Message=处理您的 Python 脚本时出现问题。 以下是技术细节： [DataFormat.Error] 我们无法转换为数字。 错误代码=-2147467259。

有没有什么办法解决这一问题？ 这段代码每次都在 python 中运行，错误代码在 Power BI 中完全没有意义，我非常感谢有关如何使用 DAX 执行此操作的任何建议。

Answer 1

我无法重现您的错误，但我强烈怀疑错误的来源是 datatypes 。 在Power Query Editor ，尝试将分组变量转换为文本。 对于大于20000行的数据集，您的查询失败这一事实应该与问题完全无关。 当然，除非数据内容在第 20000 行之后发生了某种变化。

如果您可以描述您的数据源并在 Power Query 编辑器中显示应用的步骤，这对任何试图帮助您的人都会有很大帮助。 您也可以尝试在同一时间申请代码一步，利用意义建构一个表dataset['id'] =dataset.groupby(['RESIDENTIAL_ADDRESS1','RESIDENTIAL_CITY']).ngroup()但使用另一张表dataset['household_count'] = dataset.groupby(['id'])['id'].transform('count')

我不妨向您展示如何做到这一点，同时也许会加深我对错误在于数据类型的怀疑，并希望排除其他错误来源。

---

我正在使用 numpy 以及一些随机的城市和街道名称来构建一个数据集，我希望它代表您的真实世界数据集的结构和数据类型：

片段 1：

import numpy as np
import pandas as pd

np.random.seed(123)
strt=['Broadway', 'Bowery', 'Houston Street', 'Canal Street', 'Madison', 'Maiden Lane']
city=['New York', 'Chicago', 'Baltimore', 'Victory Boulevard', 'Love Lane', 'Utopia Parkway']

RESIDENTIAL_CITY=np.random.choice(strt,21000).tolist()
RESIDENTIAL_ADDRESS1=np.random.choice(strt,21000).tolist()
sample_dataset=pd.DataFrame({'RESIDENTIAL_CITY':RESIDENTIAL_CITY,
                      'RESIDENTIAL_ADDRESS1':RESIDENTIAL_ADDRESS1})

复制该代码段，转到PowerBI Desktop > Power Query Editor > Transform > Run Python Script并运行它以获取：

然后用这个片段做同样的事情：

dataset['id'] =dataset.groupby(['RESIDENTIAL_ADDRESS1','RESIDENTIAL_CITY']).ngroup()

现在你应该有这个：

到目前为止，您的最后一步称为Changed Type 2 。 正上方是一个名为dataset的步骤。 如果单击它，您将看到ID的数据类型中有一个字符串ABC并且在下一步中它更改为数字123 。 根据我的设置，Power BI 会自动插入步骤Changed Type 2 。 也许你不是这种情况？ 它当然可能是一个潜在的错误源。

接下来，插入您的最后一行作为它自己的步骤：

dataset['household_count'] = dataset.groupby(['id'])['id'].transform('count')

现在您应该拥有如下所示的数据集，以及Applied Steps下的相同Applied Steps ：

使用此设置，一切似乎都正常。 那么，我们现在可以肯定地知道什么？

1. 数据集的大小不是问题
2. 您的代码本身不是问题
3. Python 应该在 Power BI 中完美地处理这个问题

我们怀疑什么？

1. 您的数据是问题所在 - 缺少值或类型错误

我希望这能以某种方式帮助你。 如果没有，请不要犹豫，让我知道。