SqlDataReader 和 SQL Server 2016 FOR JSON 将 json 拆分为 2k 字节的块

Question

最近我for json auto了 Azure SQL 数据库的新的for json auto功能。

例如，当我使用此查询选择大量记录时：

Select
    Wiki.WikiId
    , Wiki.WikiText
    , Wiki.Title
    , Wiki.CreatedOn
    , Tags.TagId
    , Tags.TagText
    , Tags.CreatedOn
From
    Wiki
Left Join
    (WikiTag
Inner Join 
    Tag as Tags on WikiTag.TagId = Tags.TagId) on Wiki.WikiId = WikiTag.WikiId
For Json Auto

然后使用 C# SqlDataReader进行选择：

var connectionString = ""; // connection string
var sql = "";  // query from above
var chunks = new List<string>();

using (var connection = new SqlConnection(connectionString)) 
using (var command = connection.CreateCommand()) {
    command.CommandText = sql;
    connection.Open();

    var reader = command.ExecuteReader();

    while (reader.Read()) {
            chunks.Add(reader.GetString(0)); // Reads in chunks of ~2K Bytes
    }
}

var json = string.Concat(chunks);

我得到了很多数据块。

为什么我们有这个限制？ 为什么我们不把所有东西都放在一个大块里？

当我阅读nvarchar(max)列时，我会将所有内容放在一个块中。

谢谢你的解释

Answer 1

从使用 FOR JSON 将查询结果格式化为 JSON ：

FOR JSON 子句的输出

结果集包含一列。

一个小的结果集可能只包含一行。

大型结果集将长 JSON 字符串拆分为多行。 默认情况下，当输出设置为“结果到网格”时，SQL Server Management Studio (SSMS) 将结果连接到一行中。 SSMS 状态栏显示实际行数。

其他客户端应用程序可能需要代码，通过连接多行的内容，将冗长的结果重新组合成一个有效的 JSON 字符串。 有关此代码在 C# 应用程序中的示例，请参阅在 C# 客户端应用程序中使用 FOR JSON 输出。

我会说这是严格出于性能原因，类似于 XML。 更多SELECT FOR XML AUTO 并返回数据类型和服务器端 FOR XML 返回什么？

在 SQL Server 2000 中，服务器端 XML 发布 - FOR XML（参见http://msdn2.microsoft.com/en-us/library/ms178107(SQL.90).aspx ） - 在查询之间的代码层中实现处理器和数据传输层。 如果没有 FOR XML，查询处理器将执行 SELECT 查询，结果行集由服务器端 TDS 代码发送到客户端。 当 SELECT 语句包含 FOR XML 时，查询处理器生成结果的方式与不包含 FOR XML 的方式相同，然后 FOR XML 代码将行集格式化为 XML。 为了获得最大的 XML 发布性能 FOR XML 对结果行集进行流式 XML 格式化，并将其输出以小块的形式直接发送到服务器端 TDS 代码，而无需在服务器空间中缓冲整个 XML。 块大小为 2033 个 UCS-2 字符。 因此，大于 2033 个 UCS-2 字符的 XML 以多行的形式发送到客户端，每行都包含一个 XML 块。 SQL Server 对此行集使用预定义的列名，其中一列是 NTEXT 类型——“XML_F52E2B61-18A1-11d1-B105-00805F49916B”——以 UTF-16 编码表示分块的 XML 行集。 这需要 API 对 XML 块行集进行特殊处理，以在客户端将其公开为单个 XML 实例。 在 ADO.Net 中，需要使用 ExecuteXmlReader，而在 ADO/OLEDB 中，应使用 ICommandStream 接口。

Answer 2

作为 SQL 代码中的一种解决方法（即，如果您不想更改查询代码以将块放在一起），我发现将查询包装在 CTE 中，然后选择提供我预期结果的表单：

--Note that I query from information_schema to just get a lot of data to replicate the problem.

--doing this query results in multiple rows (chunks) returned
SELECT * FROM information_schema.columns FOR JSON PATH, include_null_values

--doing this query results in a single row returned
;WITH SomeCTE(JsonDataColumn) AS
(
    SELECT * FROM information_schema.columns FOR JSON PATH, INCLUDE_NULL_VALUES
) 
SELECT JsonDataColumn FROM SomeCTE

第一个查询为我重现了这个问题（返回多行，每行都是总数据的一个块），第二个查询给出一行包含所有数据。 SSMS 不适合重现该问题，您必须使用其他客户端代码进行尝试。