Hive 批处理作业的日志记录和监控

Question

这是我在这个论坛的第一个问题。 我正在将 hive 批处理作业日志写入 hive 日志表，因为每个步骤都完成了。 我正在使用INSERT INTO TABLE将日志写入配置单元表。 在 hive 中，为每个批处理作业 ID 创建了多个记录，因此我创建了一个视图来组合在监视工具中使用之前收集的日志记录数据。 您能否提出更好的解决方案来实现这一目标？

笔记：

1. 我的批处理作业有多个步骤，我喜欢从每个步骤收集日志
2. 我不想使用 UPDATE
3. 我无法上传图片。 Batch Job -> Logs -> Hive -> Monitoring

Answer 1

这是我可以建议的参考架构之一。 您仍然可以使用 Hive 进行日志记录，但使用SERDEPROPERTIES与HBase集成。

好处：

• 数据将存储在 HBase 中，这将允许决定用于数据覆盖的 KEY（例如：批处理作业 ID）
• HBase 将维护版本
• 您可以像通常访问 Hive 表一样查询 Hive
• 使用 HBase 数据的实时仪表板

高级图：