[英]Why are BigQuery export jobs producing an internal error?
我正在尝试使用以前有效的代码将数据从BigQuery导出到GCS:
logger.log("Exporting BigQuery data for date:" + dayString + "<br/>");
JobConfigurationExtract extractConfig = new JobConfigurationExtract();
extractConfig.setDestinationFormat("NEWLINE_DELIMITED_JSON");
String applicationId = ServerUtils.getApplicationId();
String dataFile = "gs://"+applicationId+"_analytics/" + accountName + "-" + dayString + "-*.json";
extractConfig.setDestinationUri(dataFile);
String tableName = dayString.replaceAll("-","_");
TableReference bigQuerytableToExtractFrom = new TableReference().setProjectId(BigQueryUtils.PROJECT_NUMBER).setDatasetId(getDatasetName(accountName)).setTableId(tableName);
extractConfig.setSourceTable(bigQuerytableToExtractFrom);
JobConfiguration config = new JobConfiguration().setExtract(extractConfig);
Job job = new Job().setConfiguration(config);
Job queuedJob = BigqueryUtils.getClient().jobs().insert(BigQueryUtils.PROJECT_NUMBER, job).execute();
String jobIdString = queuedJob.getJobReference().getJobId();
jobIdString = jobIdString.substring(jobIdString.indexOf(':')+1);
return jobIdString;
但是,今天的职位信息总是返回:
{"errorResult":{"message":"Unexpected. Please try again.","reason":"internalError"},"errors":[{"message":"Unexpected. Please try again.","reason":"internalError"}],"state":"DONE"}
BigQuery今天有问题吗? 如果是这样,那么预计何时可以确定ETA?
根据奔腾10的建议,这是几个失败的作业ID:job_nGY3gTVibV07Y38PWJRIQ79SxaE,job_lJJBUibG_W42Lrl8Bwux0_RD_yw,
啊...问题是您要导出的表已通过流导入写入。 这目前不起作用,因为我们的导出管道不知道如何读取流缓冲区。 我提出了一个错误。
作为一种解决方法,如果您复制表(通过bq cp
,通过Web UI),则该表应生成可导出的表,尽管可能会丢失最后几分钟的数据。 如果要使用该表的绝对最新版本,则可以对allowLargeResults和目标表运行select *
查询,然后将其导出。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.