繁体   English   中英

为什么BigQuery导出作业会产生内部错误?

[英]Why are BigQuery export jobs producing an internal error?

我正在尝试使用以前有效的代码将数据从BigQuery导出到GCS:

logger.log("Exporting BigQuery data for date:" + dayString + "<br/>");

JobConfigurationExtract extractConfig = new JobConfigurationExtract();
extractConfig.setDestinationFormat("NEWLINE_DELIMITED_JSON");
String applicationId = ServerUtils.getApplicationId();
String dataFile = "gs://"+applicationId+"_analytics/" + accountName + "-" + dayString + "-*.json";
extractConfig.setDestinationUri(dataFile);

String tableName = dayString.replaceAll("-","_");
TableReference bigQuerytableToExtractFrom = new TableReference().setProjectId(BigQueryUtils.PROJECT_NUMBER).setDatasetId(getDatasetName(accountName)).setTableId(tableName);

extractConfig.setSourceTable(bigQuerytableToExtractFrom);

JobConfiguration config = new JobConfiguration().setExtract(extractConfig);
Job job = new Job().setConfiguration(config);
Job queuedJob = BigqueryUtils.getClient().jobs().insert(BigQueryUtils.PROJECT_NUMBER, job).execute();


String jobIdString = queuedJob.getJobReference().getJobId();
jobIdString = jobIdString.substring(jobIdString.indexOf(':')+1);

return jobIdString;

但是,今天的职位信息总是返回:

{"errorResult":{"message":"Unexpected. Please try again.","reason":"internalError"},"errors":[{"message":"Unexpected. Please try again.","reason":"internalError"}],"state":"DONE"}

BigQuery今天有问题吗? 如果是这样,那么预计何时可以确定ETA?

根据奔腾10的建议,这是几个失败的作业ID:job_nGY3gTVibV07Y38PWJRIQ79SxaE,job_lJJBUibG_W42Lrl8Bwux0_RD_yw,

啊...问题是您要导出的表已通过流导入写入。 这目前不起作用,因为我们的导出管道不知道如何读取流缓冲区。 我提出了一个错误。

作为一种解决方法,如果您复制表(通过bq cp ,通过Web UI),则该表应生成可导出的表,尽管可能会丢失最后几分钟的数据。 如果要使用该表的绝对最新版本,则可以对allowLargeResults和目标表运行select *查询,然后将其导出。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM