Apache Beam - 将 BigQuery TableRow 写入 Cassandra

Question

我正在尝试从 BigQuery 读取数据（使用 TableRow）并将 output 写入 Cassandra。该怎么做？

这是我试过的。 这有效：

/* Read BQ */
PCollection<CxCpmMapProfile> data =  p.apply(BigQueryIO.read(new SerializableFunction<SchemaAndRecord, CxCpmMapProfile>() {
    public CxCpmMapProfile apply(SchemaAndRecord record) {
        GenericRecord r = record.getRecord();
        return new CxCpmMapProfile((String) r.get("channel_no").toString(), (String) r.get("channel_name").toString());
    }
}).fromQuery("SELECT channel_no, channel_name FROM `dataset_name.table_name`").usingStandardSql().withoutValidation());

/* Write to Cassandra */
data.apply(CassandraIO.<CxCpmMapProfile>write()
    .withHosts(Arrays.asList("<IP addr1>", "<IP addr2>"))
    .withPort(9042)
    .withUsername("cassandra_user").withPassword("cassandra_password").withKeyspace("cassandra_keyspace")
    .withEntity(CxCpmMapProfile.class));

但是当我像这样使用 TableRow 更改Read BQ部分时：

/* Read from BQ using readTableRow */
PCollection<TableRow> data = p.apply(BigQueryIO.readTableRows()
    .fromQuery("SELECT channel_no, channel_name FROM `dataset_name.table_name`")
    .usingStandardSql().withoutValidation());

在写入 Cassandra 时出现以下错误

The method apply(PTransform<? super PCollection<TableRow>,OutputT>) in the type PCollection<TableRow> is not applicable for the arguments (CassandraIO.Write<CxCpmMacProfile>)

Answer 1

该错误是由于输入 PCollection 包含TableRow元素，而 CassandraIO 读取需要CxCpmMacProfile元素。 您需要从 BigQuery 读取元素作为CxCpmMacProfile元素。 BigQueryIO 文档有一个从表中读取行并将它们解析为自定义类型的示例，通过read(SerializableFunction)方法完成。