pyspark 中 spark._jsparkSession.catalog().tableExists() 的使用

Question

是否建议使用 spark._jsparkSession.catalog().tableExists() 检查 pyspark 中 databricks delta-table 的表是否存在于 spark 中。

问题出现是因为 _jsparkSession 是 pyspark 中的内部属性？ 用户不应该访问？

Answer 1

可以使用它，因为 Scala 和 Python API 之间没有奇偶校验。 但是你可以使用这样的东西来检查表是否存在：

def table_exists(table: str, database: str = "default") -> bool:
  tbl = spark.sql(f"show tables in `{database}`") \
    .filter(f"tableName = '{table}'")
  return tbl.count() > 0