使用Google Dataflow转换的Avro vs Parquet在Google云端存储中

Question

使用Google Dataflow服务将来自Kafka的相同10k json记录批量加载到Google云存储中。 以下是分别使用Apache Beam的AvroIO，ParquetIO，TextIO库生成的文件的分解。

我们假设，与GCP的avro相比，数据足迹大小的镶木地板文件大小将更小，因为HDP（Hortonworks）和CDH（Cloudera）显示了如上所述的类似研究。 https://stackoverflow.com/a/31093105/4250322

但是，这10k记录的结果表明GCS上的Avro尺寸较小。 可以假设选择数据格式。 除了此处提到的优势之外还需要考虑哪些其他因素： https ： //cloud.google.com/blog/products/gcp/improve-bigquery-ingestion-times-10x-by-using-avro-source-format

我们希望将GCS成本保持在最低水平，选择最佳格式并保持总体成本最小化。

// using ParquetIO write as parquet output file
pCollectionGenericRecords.apply ("ParquetToGCS",FileIO.<GenericRecord>write().via(ParquetIO.sink(AVRO_SCHEMA))

// Using TextIO write as text output file
collection.apply(TextIO.write().to(stagingLocation));

// Using AvroIO write as avro output file
pCollectionGenericRecords.apply("AvroToGCS", AvroIO.writeGenericRecords(AVRO_SCHEMA)

根据建议更新 。

使用Dataflow服务处理60万条json记录，259.48 MB，使用以下格式生成avro vs镶木地板格式：

Avro输出大小= 52.8 MB

镶木地板输出尺寸= 199.2 MB

为了使用带有成本的数据流服务进行更大规模的测试手段，是否已有可用的研究。

Answer 1

您需要更大的文件来查看镶木地板的好处（您可以预期所有这些研究都适用于256Mb左右的文件）。 对于流媒体用户，最好坚持使用Avro。