加载 UTF-8 时出现数据库错误 Java 中的编码 XML 数据

Question

我正在在这里集思广益我的问题，不确定这是否会触发大量关闭！

简化：我有一个系统读取 XML 文件并将其加载到数据库中。

XML 具有以下架构：

<?XML version="1.0" encoding="UTF-8"?>

罪魁祸首字段具有以下架构摘录：

<xsd:simpleType name="title">
.....
<xsd:restriction base="xsd:string">
 <xsd:minLength value="1"/>
 <xsd:maxLength value="2000"/>
</xsd:restriction>

该模式与 UTF-8 兼容，因此应支持 2000 个 UTF-8 字符，无论它们是单字节、双字节还是多字节。

XML 模式已经进行了字符长度检查，如上面摘录中所定义。

问题有时是 XSD 验证成功，但数据库插入失败，当“标题”字段中出现一些多字节 UTF-8 字符时，服务器崩溃并出现 DB 错误。

The database 'title' column is defined as `varchar(2000)`

当数据库插入操作失败时，ops需要手动减少XML字段的长度并重新处理XML文件来修复它。

我一直在研究：

• 字节与字符长度检查
• 模式验证
• ETC

解决方案是否可以进行与字符计数匹配的字符串字节计数检查？

我可以在 Java 中执行 string.getBytes("UTF-8").length ，但是如何匹配 XSD 和varchar(2000)中的<xsd:maxLength value="2000"/> ？

您建议如何确保标题字段的 XML 数据不超过指定长度，如 XSD 中定义的那样。 并且只要符合 XSD 就可以成功地将 XML 数据插入 DB？

我是否正确假设 XSD 中的<xsd:maxLength value="2000"/>与varchar(2000)列定义匹配？

Answer 1

该架构符合 UTF-8

不完全是，但我想我知道你的意思。 您引用的 XML 声明未指定与此架构匹配的 XML 实例文档的任何内容。 简单来说就是 XSD本身（即带有根标签 <xs:schema> 的 XML 文档）使用 UTF-8 作为其字符编码。

XML 架构从不关心 XML 文档的原始字节。 正在验证的是 XML 信息集。 因此，简单类型的 maxLength 方面表示您在此字段中最多可以有 2000 个字符。 正如您正确指出的那样，字节的实际长度很容易超过 2000 个字符，但 XML 处理器不会知道或关心。

有时 XSD 验证成功，但数据库插入失败

我同意 lunatikz - 最可能的解释是数据库配置不正确。

解决方案是否可以进行与字符计数匹配的字符串字节计数检查？

不，那将解决错误的问题。 问题可能出在数据库中，而不是在您的 Java 代码中。

您建议如何确保标题字段的 XML 数据不超过指定长度，如 XSD 中定义的那样。

我认为你不需要做任何事情来确保这一点。 您的 XML 验证器已经在为您检查，它可能工作得很好。

并且只要符合 XSD 就可以成功地将 XML 数据插入 DB？

配置数据库或其表/列定义，使其停止尝试使用单字节字符编码来解释输入。

我是否正确假设 XSD 中的 <xsd:maxLength value="2000"/> 与 varchar(2000) 列定义匹配？

是的，两者都指定了最多 2000 个字符的字段。 但是数据库以与 XML 处理器不同的方式解释“字符”一词。