使用DataFlow（Apache Beam）將ISO-8859-1加載到BigQuery中時出現問題

Question

我正在嘗試使用DataFlow將ISO-8859-1文件加載到BigQuery中。 我已經使用Apache Beam Java構建了一個模板。 一切正常，但是當我檢查Bigquery表的內容時，我發現未正確存儲某些字符（如'ñ'或重音符號'á'，'é'等），它們已存儲為``。

在寫入BigQuery之前，我嘗試過幾種字符集更改。 另外，我使用setCoder（）方法創建了一個特殊的ISOCoder傳遞給管道，但是沒有任何效果。

有誰知道是否可以使用Apache Beam將此類文件加載到BigQuery中？ 只有UTF-8？

在此先感謝您的幫助。

Answer 1

Beam的Java SDK當前不提供此功能。 在Python這似乎是可以通過使用additional_bq_parameters使用時WriteToBigQuery ，請參閱： https://github.com/apache/beam/blob/master/sdks/python/apache_beam/io/gcp/bigquery.py#L177