使用DataFlow（Apache Beam）将ISO-8859-1加载到BigQuery中时出现问题

Question

我正在尝试使用DataFlow将ISO-8859-1文件加载到BigQuery中。 我已经使用Apache Beam Java构建了一个模板。 一切正常，但是当我检查Bigquery表的内容时，我发现未正确存储某些字符（如'ñ'或重音符号'á'，'é'等），它们已存储为``。

在写入BigQuery之前，我尝试过几种字符集更改。 另外，我使用setCoder（）方法创建了一个特殊的ISOCoder传递给管道，但是没有任何效果。

有谁知道是否可以使用Apache Beam将此类文件加载到BigQuery中？ 只有UTF-8？

在此先感谢您的帮助。

Answer 1

Beam的Java SDK当前不提供此功能。 在Python这似乎是可以通过使用additional_bq_parameters使用时WriteToBigQuery ，请参阅： https://github.com/apache/beam/blob/master/sdks/python/apache_beam/io/gcp/bigquery.py#L177