用于读取Cloud Dataflow中的Parquet文件的自定义源

Question

我需要读取用Java编写的数据流中的实木复合地板文件，并在bigquery上上传。 由于还没有开箱即用的功能，我知道我必须使用hadoopFileFormat编写自定义源，但是我找不到任何与此相关的文档。 有人可以为我提供一些代码或文档，以帮助我如何编写自定义源或任何其他可用于读取Cloud数据流中的镶木地板文件的方法。

Answer 1

内置I / O转换的Apache Beam文档提供了Apache Beam 中I / O转换正在进行的工作的列表。 实际上，该列表包括读取Java中的Apache Parquet文件，而BEAM-214 Jira中可以遵循该文件。

因此，到目前为止，您是对的，没有使用Apache Beam / Cloud Dataflow中的Parquet文件的现成解决方案。 但是，该领域正在取得进展，请随时更新我上面共享的Jira。

另外，您应该知道Stack Overflow不是合适的网站来询问有关如何执行操作的代码或外部教程/文档，因此，获取此类信息的可能性很小。 根据帮助中心 ：

4. 要求我们推荐或查找书籍，工具，软件库，教程或其他非现场资源的问题对于Stack Overflow来说是无关紧要的，因为它们往往会吸引有思想的答案和垃圾邮件。 相反，请描述问题以及迄今为止已解决的问题。

相反，我建议您先自己尝试实施，然后再提出一些具体问题，社区可以更好地回答。