DynamoDB跨区域增量复制的失败管道

Question

我正在尝试实现从us-east-1到us-west-1的跨区域复制。

我使用Amazon Data Pipeline中的跨区域复制模板每隔几个小时复制一次表，但是无法进行增量复制。 我必须在DefaultHiveCopyActivity1下的“活动”下填写“过滤SQL”字段。 该表包含名为timestamp的列，该列是格式为yyyy-MM-dd HH：mm：ss.SSS的字符串，其中包含请求时间。

我一直在尝试将字符串转换为unix_timestamp，并从unix_timestamp的当前值中减去7200（因为管道活动应该每两小时运行一次，因此查找表中具有2小时前的时间戳的每条记录）。 我使用以下Filter SQL字段值： unix_timestamp(timestamp, "yyyy-MM-dd HH:mm:ss.SSS") > unix_timestamp() - 7200管道失败。

我什至尝试检查一个简单的请求，例如将以下内容放入Filter SQL字段（它自己添加反斜杠）： timestamp = \\"2014-04-30 22:55:41.301\\" -根据我应该输入的文档：Hive SQL语句片段，该片段过滤要复制的DynamoDB或Amazon S3数据的子集。 该过滤器应仅包含谓词，而不能以WHERE子句开头，因为AWS Data Pipeline会自动添加它。 即使表中存在具有该确切值的记录，该管道也将失败。 但是，在没有SQL筛选器的情况下，从一个区域到另一个区域的完整表副本可以正常工作。

这是我得到的错误： FAILED: Parse Error: line 2:131 cannot recognize input near 'timestamp' ',' '"yyyy-MM-dd HH:mm:ss.SSS"' in function specification

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-template-crossregionddbcopy.html http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-hivecopyactivity.html

Answer 1

HiveQL查询中的时间戳字段应像这样反引号，因为在引用时间戳列名称时，时间戳似乎是Hive中的关键字： unix_timestamp(`timestamp`, "yyyy-MM-dd HH:mm:ss.SSS") > unix_timestamp() - 7200