Vertica 的 vsql.exe 在遇到错误 3326 时返回错误级别 0：执行时间超过运行时间上限

Question

我在我没有任何管理访问权限的外部 Vertica 数据库上使用 vsql.exe。 我将一些视图与简单的SELECT+FROM+WHERE查询一起使用。 这些查询在 90% 的时间里工作得很好，但有时，随机地，我得到这个错误：

ERROR 3326:  Execution time exceeded run time cap of 00:00:45

奇怪的是，这个错误可能会在 45 秒后发生，甚至在 3 分钟后也会发生。 有人告诉我这与拥有不同的资源池有关，但无论如何我不想深入研究。

问题是，当发生这种情况时， vsql.exe返回错误errorlevel 0并且（显然几乎）没有办法知道这失败了。

查询的 output 存储在一个 csv 文件中。 成功时，它以(#### rows)结尾。 但是当它因这个错误而失败时，它只会在 csv 的任何一点停止，并且它的结果大小大约是预期的一半。 这当然不是您在发生错误时所期望的，例如没有 output 或一个空错误。 如果存在连接错误或查询有语法错误，则错误级别不为 0，因此在这些情况下它的行为符合预期。

我尝试了很多方法，比如增加超时时间或将-v ON_ERROR_STOP=ON添加到 vsql.exe 参数，但都没有帮助。

我在谷歌上搜索了很多，发现很多人都有这个错误，但解决方案大多与增加超时有关，与返回的错误级别无关。

任何帮助将不胜感激。

TL;DR ：如何在这样的批处理文件中检测到错误 3326？

@echo off
vsql.exe -h <hostname> -U <user> -w <pwd> -o output.cs -Ac "SELECT ....;"
echo %errorlevel% is always 0
if errorlevel 1 echo Error!! But this is never displayed.

Answer 1

现在这对我来说真的出乎意料。 我现在没有可用的 Windows，但在我的 Mac 上尝试 - 起初只是触发了一个故意的错误：

$ vsql -h zbook -d sbx -U dbadmin -w $VSQL_PASSWORD  -v ON_ERROR_STOP=ON -Ac "select * from foobarfoo"
ERROR 4566:  Relation "foobarfoo" does not exist
$ echo $?
1

将ON_ERROR_STOP设置为ON ，这应该是无处不在的行为。

你能试试我在上面通过 Windows 所做的事情吗，只是用echo %ERRORLEVEL%而不是echo $? ，仅来自 Windows 命令提示符而不是批处理文件？

下一个测试：我在我的小测试数据库中运行资源池general ，所以我暂时将它修改为 30 秒的运行时上限，运行一个愚蠢的查询，将花费 30 多秒并将ON_ERROR_STOP设置为ON ，收集vsql返回的值并将general的运行时上限设置回NONE 。 我还设置了%VSQL_* % env 变量，所以我不必一直重复它们：

rem Windows way to set environment variables for vsql:
set VSQL_HOST=zbook
set VSQL_DATABASE=sbx
set VSQL_USER=dbadmin
set VSQL_PASSWORD=***masked***

现在进行测试（反斜杠，在 Linux/MacOs 中转义一个新行，这使您能够“自动换行”shell 命令。为此使用 Windows 中的脱字符号 ( ^ )）：

marco ~/1/Vertica/supp $ # set a runtime cap
marco ~/1/Vertica/supp $ vsql -i -c \
"alter resource pool general runtimecap '00:00:30'"
ALTER RESOURCE POOL
Time: First fetch (0 rows): 116.326 ms. All rows formatted: 116.730 ms
marco ~/1/Vertica/supp $ vsql -v ON_ERROR_STOP=ON -iAc \
 "select count(*) from one_million_rows a cross join one_million_rows b" 
ERROR 3326:  Execution time exceeded run time cap of 00:00:30
marco ~/1/Vertica/supp $ # test the return code
marco ~/1/Vertica/supp $ echo $?
1
marco ~/1/Vertica/supp $ # clear the runtime cap
marco ~/1/Vertica/supp $ vsql -i -c \
"alter resource pool general runtimecap NONE  "   
ALTER RESOURCE POOL
Time: First fetch (0 rows): 11.148 ms. All rows formatted: 11.383 ms

所以它适用于我的情况。 你的线路：

if errorlevel 1 echo Error.! But this is never displayed.

...从不回显任何东西，因为前一行echo将返回 0 到 shell，覆盖之前的errorlevel 。

在 Windows 命令提示符下逐条尝试，看看会发生什么。 只是echo %errorlevel% ，而不评估它。

我注意到您正在尝试导出为 CSV 格式。 然后，试试这个：

• 格式化 output 未对齐 ( -A )
• 将字段分隔符设置为逗号 ( -F ',' )
• 删除页脚“（n 行）”（- -P footer ）
• 在测试查询中将 output 限制为 5 行

（我在重定向到文件之前显示了 output）：

marco ~/1/Vertica/supp $ vsql -A -F ',' -P footer -c "select * from one_million_rows limit 5"
id,id_desc,dob,category,busid,revenue
0,0,1950-01-01,1,====== boss ========,0.000
1,-1,1950-01-02,2,kbv-000001kbv-000001,0.010
2,-2,1950-01-03,3,kbv-000002kbv-000002,0.020
3,-3,1950-01-04,4,kbv-000003kbv-000003,0.030
4,-4,1950-01-05,5,kbv-000004kbv-000004,0.040

不对齐比对齐快得多。 然后，由于您将大部分时间花在获取行上（这是因为您在 output 文件写入过程的中间超时），请尝试一次获取比默认 1000 行更多的行。您将需要使用值，取决于您站点的 .network 设置，直到您获得最佳价值：

• -v ROWS_AT_A_TIME=10000

一旦您对测试的 output 感到满意，请尝试此命令（当然，根据您的需要更改SELECT ....）：

marco ~/1/Vertica/supp $ vsql -A -F ',' -P footer \ 
-v ON_ERROR_STOP=ON -v ROWS_AT_A_TIME=10000 -o one_million_rows.csv  \
-c "select * from one_million_rows"         
marco ~/1/Vertica/supp $ wc -l one_million_rows.csv 
 1000001 one_million_rows.csv

该表实际上包含一百万行。 请注意文件中的行数：1,000,001。 这是包含的标题行，但删除了页脚(1000000 rows) 。