繁体 English 中英

增量表统计信息

[英]Delta table statistics

原文 2021-05-19 18:11:04 2 1 apache-spark/ logging/ pyspark/ statistics/ delta-lake

增量表的日志存储有关事务和统计信息（数据类型、最小值、最大值、nr 列等）的元数据。 但是，在查看此日志的 json 文件时，我只能看到数据类型。 有谁知道如何获得最小值、最大值和 nr。 这个增量表的列没有计算任何东西（因为增量表在读取文件时应该有这个信息）？

这取决于您使用的是开源版本还是 Databricks 版本。 前者没有这个功能，只存在于DB版本

[英]Delta Table / Athena And Spark

[英]Hive table on delta lake

[英]Deduplicate Delta Lake Table

[英]Delta Table optimize/vacuum

[英]streamWriter with format(delta) is not producing a delta table

[英]Converting PySpark dataframe to a Delta Table

[英]Databricks Delta Table Schema mismatch

[英]SQL View on Delta Lake table

[英]How to insert into Delta table in parallel

[英]Spark Delta table restore to version

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 Delta 表 / 雅典娜与火花 Hive 三角洲湖表重复数据删除 Delta Lake 表 Delta 表优化/真空具有格式（增量）的 streamWriter 未生成增量表将 PySpark dataframe 转换为 Delta 表 Databricks 增量表架构不匹配 Delta Lake 表上的 SQL 视图如何并行插入Delta表 Spark Delta 表恢复到版本

相关标签