CLI“ bq load”-如何使用不可打印字符作为分隔符？

Question

我在将数据作为单列行加载到BigQuery时遇到了麻烦。 我希望BigQuery能够提供“没有定界符”作为选项，但是与此同时，我需要选择我能找到的最模糊的ASCII定界符，这样我的单列行就不会分成几列。

这样做时，CLI不允许我输入奇怪的字符，因此我需要通过Python或其他渠道使用API​​。

如何使用带有不可打印字符的CLI？

BigQuery延迟数据加载的 Python示例：DDL，DML，分区和六十亿亿个Wikipedia页面浏览量 ：

#!/bin/python
from google.cloud import bigquery
bq_client = bigquery.Client(project='fh-bigquery')
table_ref = bq_client.dataset('views').table('wikipedia_views_gcs')
table = bigquery.Table(table_ref, schema=SCHEMA)
extconfig = bigquery.ExternalConfig('CSV')
extconfig.schema = [bigquery.SchemaField('line', 'STRING')]
extconfig.options.field_delimiter = u'\u00ff'
extconfig.options.quote_character = ''

Answer 1

要在BQ加载中使用不可打印的字符，可以在bash中使用echo ：

bq load \
 --source_format=CSV \
 --field_delimiter=$(echo -en "\x01") \
 --noreplace --max_bad_records=100 \
 <bq_dataset>.<bq_table> gs://<bucket_name>/<file_name>.csv