在 power bi 中导入雪花数据时出现 utf-8 错误

Question

我正在使用 power bi 雪花连接器从各种表中导入数据。 虽然它适用于某些表，但对于具有特殊字符的特定表则失败。 这是我得到的错误。 你能帮我吗？ 最好的

Answer 1

我怀疑你有 Windows-1252“Latin 1 Windows”编码数据，微软的 iso-8859-1/ECMA-94 的 拥抱和扩展版本。 不知何故，数据在不是时以 utf8 的形式呈现给 Power BI 连接器。 正确声明所有内容后，正确的软件（ICU？）将正确转换为 Unicode 并编码为 utf8，然后再将数据发送到 Snowflake。

你有两个选择：

1. 修复源（例如正确或声明正确的编码），或
2. 导入为二进制数据并在到达 Snowflake 后尝试修复。

我最好的建议是 1. - 在导入到 Snowflake 之前将其重新编码为 utf8。

您不能将不是有效字符序列的内容放入文本字段中。 在这种情况下，您会得到不是有效字符的错误数据，因此无法存储为文本。

怎么会这样？ 这都是关于编码的。 utf8 字符是最多 6 个字节的链式字节序列，它被解码为 1-5 个有效字节 Unicode 字符代码点（肤色表情符号是长字节序列的示例）。 起始字节告诉 utf8 序列有多长，后面的字节都包含两个连续位 10*。 如果起始字节无效或后续字节的正确数量没有连续位，则您的 utf8 编码无效。

这怎么可能发生？ 在某些字符编码中，每个字节序列都是合法的，例如 8 位 iso-8859-1 “ISO latin 1”或其扩展表亲 Windows-1252。 如果你声明这个字节序列是 utf8 而不是 iso-8859-1，你会突然得到一个可能包含无效 utf8 的字节序列（因为它实际上是 Windows-1252 编码）。

根据您的错误消息，没有以字节 HEX(92)开头的合法 utf8 字符编码，这是一个“后续”字节。