SQL Server 2016 R 服务：sp_execute_external_script 返回 0x80004005 错误

Question

我在查询 100M 记录后运行了一些 R 代码，并在进程运行超过 6 小时后得到以下错误：

Msg 39004, Level 16, State 19, Line 300
A 'R' script error occurred during execution of 'sp_execute_external_script'     
with HRESULT 0x80004005.

HRESULT 0x80004005 似乎与 Windows 中的连接、权限或“未指定”错误相关联。

我通过登录我的 R 代码知道该过程根本不会到达 R 脚本。 我还知道整个过程在 4 分钟后完成，记录数量较少，例如 1M。 这让我相信这是一个扩展问题或数据的一些问题，而不是我的 R 代码中的错误。 由于专有原因，我没有包含 R 代码或完整查询。

但是，如果是这种情况，我希望磁盘或内存错误显示 0x80004004 内存不足错误。

我在 SQL ERRORLOG 中注意到的一条线索如下：

SQL Server received abort message and abort execution for major error : 18 
and minor error : 42

然而，此日志行的时间与进程的中断并不重合，尽管它确实发生在它开始之后。 不幸的是，网络上几乎没有关于“主要错误 18”的信息。

从 SSMS 运行时的 SQL 跟踪显示客户端每 6 分钟左右登录和注销一次，但我只能假设这是正常的保活行为。

清理过的 sp_execute_external_script 调用：

      EXEC sp_execute_external_script
                    @language = N'R'
                  , @script = N'#We never get here
                                #returns name of output data file'
                  , @input_data_1 = N'SELECT TOP 100000000 FROM DATA'   
                  , @input_data_1_name = N'x'
                  , @output_data_1_name = N'output_file_df'
                  WITH RESULT SETS ((output_file varchar(100) not null))

服务器规格：8 核 256 GB RAM SQL Server 2016 CTP 3

任何想法、建议或调试提示将不胜感激！

更新：在 rlauncher.config 中设置 TRACE_LEVEL=3 以打开更高级别的日志记录并重新运行该过程。 日志显示了一个运行的清理过程，删除会话文件，当时整个过程在 6.5 小时后失败。

[2016-05-30 01:35:34.419][00002070][00001EC4][信息] SQLSatellite_LaunchSatellite(1, A187BC64-C349-410B-861E-BFDC714C8019,00000000000000017)00402000

[2016-05-30 01:35:34.420][00002070][00001EC4][信息]<SQLSatellite_LaunchSatellite，dllmain.cpp，223

[2016-05-30 08:04:02.443][00002070][00001EC4][信息]> SQLSatellite_LauncherCleanUp，dllmain.cpp，309

[2016-05-30 08:04:07.443][00002070][00001EC4][警告] 会话 A187BC64-C349-410B-861E-BFDC714C8017 清理等待失败，错误为 258 和错误 0

[2016-05-30 08:04:07.444][00002070][00001EC4][Info] Session(A187BC64-C349-410B-861E-BFDC714C8017)记录了2个输出文件

[2016-05-30 08:04:07.444][00002070][00001EC4][警告] TryDeleteSingleFile(C:\\PROGRA~1\\MICROS~1\\MSSQL1~1.MSS\\MSSQL\\EXTENS~1\\MSSQLSER8VER06\\A1 C349-410B-861E-BFDC714C8017\\Rscript1878455a2528) 失败 32

[2016-05-30 08:04:07.445][00002070][00001EC4][警告] TryDeleteSingleDirectory(C:\\PROGRA~1\\MICROS~1\\MSSQL1~1.MSS\\MSSQL\\EXTENS~1\\MSSQLSER87BC64A C349-410B-861E-BFDC714C8017) 失败 32

[2016-05-30 08:04:08.446][00002070][00001EC4][Info] 会话 A187BC64-C349-410B-861E-BFDC714C8017 从 MSSQLSERVER06 用户中删除

[2016-05-30 08:04:08.447][00002070][00001EC4][信息]SQLSatellite_LauncherCleanUp(A187BC64-C349-410B-861E-BFDC714C8017)已完成：0000000

似乎允许我的长时间运行的过程继续的唯一方法是：a) 延长作业清理等待时间以允许作业完成 b) 禁用作业清理过程

到目前为止，我一直无法在 MSSQLLaunchpad 服务中找到设置作业清理等待时间的值。 虽然 rlauncher.config 中存在 JOB_CLEANUP_ON_EXIT 标志，但将其设置为 0 无效。 该服务似乎在重新启动时将其重置为 1。

再次，任何建议或帮助将不胜感激！

Answer 1

默认情况下，SQL Server 在开始执行 R 脚本之前将所有数据作为数据帧读入 R 内存。 基于该脚本处理 1M 行并且无法以 100M 行开始的事实，这可能是内存不足错误。 要解决内存问题，（除了增加机器内存/减少数据大小），您可以尝试以下解决方案之一

1. 使用sys.resource_governor_external_resource_pools max_memory_percent 设置增加 R 进程执行的内存分配。 默认情况下，SQL Server 将 R 进程执行限制为内存的 20%。
2. R 脚本的流式执行，而不是将所有数据加载到内存中。 请注意，此参数只能在 R 脚本的输出不依赖于读取或查看整个行集的情况下使用。

RLauncher.log 中关于在 R 脚本执行后发生的数据清理的警告可以安全地忽略，并且可能不是您所看到的失败的根本原因。

Answer 2

无法在 SQL 中解决此问题，我只是避免使用 SQL Server Launchpad 服务中断处理并使用 R RODBC 库从 SQL 中提取数据。 拉取只用了 3 个多小时（而不是 6+ 使用 sp_execute_external_procedure）。

这可能涉及 SQL Launchpad 服务，并表明内存不是问题。

Answer 3

请在 SQL Server 2016 RTM 中尝试您的方案。 自 CTP3 以来，已经进行了许多功能和性能修复。

有关如何获取 SQL Server 2016 RTM 结帐的更多信息， SQL Server 2016 现已正式发布，博客文章。

Answer 4

我在 SQL Server 2016 RTM-CU1 上遇到了几乎相同的问题。 我的查询失败，错误为 0x80004004 而不是 0x80004005。 它从 10,000,000 条记录开始失败，但这可能与只有 16 GB 内存和/或不同数据有关。

我通过使用字段列表而不是“*”来解决它。 即使字段列表包含来自数据源的所有字段（在我的例子中是一个相当复杂的视图），具有字段列表的查询总是成功的，而“SELECT TOP x * FROM ...”对于一些大的 x 总是失败.

Answer 5

我遇到了类似的错误 (0x80004004)，问题是其中一列中的其中一行包含“非常”特殊字符（我说“非常”是因为其他特殊字符没有导致此错误）。

因此，当我将“Folkel å net Telefinans”替换为“Folkel a net Telefinans”时，问题就消失了。

在您的情况下，也许最后 99M 行中的值中至少有一个包含类似该字符的内容，您只需替换它即可。 我希望微软能在某个时候解决这个问题。