如何从 SQL 查询中获取表名？

Question

我想使用 Scala 从 Spark 中的 sql 查询中获取所有表名称。

假设用户发送一个 SQL 查询，它看起来像：

select * from table_1 as a left join table_2 as b on a.id=b.id

我想获得所有表列表，如table_1和table_2 。

正则表达式是唯一的选择吗？

Answer 1

非常感谢@Swapnil Chougule的回答。 这启发了我提供一种在结构化查询中收集所有表的惯用方法。

scala> spark.version
res0: String = 2.3.1

def getTables(query: String): Seq[String] = {
  val logicalPlan = spark.sessionState.sqlParser.parsePlan(query)
  import org.apache.spark.sql.catalyst.analysis.UnresolvedRelation
  logicalPlan.collect { case r: UnresolvedRelation => r.tableName }
}

val query = "select * from table_1 as a left join table_2 as b on a.id=b.id"
scala> getTables(query).foreach(println)
table_1
table_2

Answer 2

希望它会帮助你

使用 spark sql 解析器解析给定的查询（spark 内部也是如此）。 您可以从会话的状态中获取 sqlParser。 它将给出查询的逻辑计划。 迭代查询的逻辑计划并检查它是否是 UnresolvedRelation 的实例（叶逻辑运算符表示尚未解析的逻辑查询计划中的表引用）并从中获取表。

def getTables(query: String) : Seq[String] ={
    val logical : LogicalPlan = localsparkSession.sessionState.sqlParser.parsePlan(query)
    val tables = scala.collection.mutable.LinkedHashSet.empty[String]
    var i = 0
    while (true) {
      if (logical(i) == null) {
        return tables.toSeq
      } else if (logical(i).isInstanceOf[UnresolvedRelation]) {
        val tableIdentifier = logical(i).asInstanceOf[UnresolvedRelation].tableIdentifier
        tables += tableIdentifier.unquotedString.toLowerCase
      }
      i = i + 1
    }
    tables.toSeq
}

Answer 3

我有一些带有嵌套查询的复杂 sql 查询，并在@Jacek Laskowski 的答案上进行了迭代以得到这个

  def getTables(spark: SparkSession, query: String): Seq[String] = {
    val logicalPlan = spark.sessionState.sqlParser.parsePlan(query)
    var tables = new ListBuffer[String]()
    var i: Int = 0

    while (logicalPlan(i) != null) {
      logicalPlan(i) match {
        case t: UnresolvedRelation => tables += t.tableName
        case _ => 
      }
      i += 1
    }

    tables.toList
  }

Answer 4

def __sqlparse2table(self, query):
    '''
    @description: get table name from table
    '''
    plan = self.spark._jsparkSession.sessionState().sqlParser().parsePlan(query)
    plan_string = plan.toString().replace('`.`', '.')
    unr = re.findall(r"UnresolvedRelation `(.*?)`", plan_string)
    cte = re.findall(r"CTE \[(.*?)\]", plan.toString())
    cte = [tt.strip() for tt in cte[0].split(',')] if cte else cte
    schema = set()
    tables = set()
    for table_name in unr:
        if table_name not in cte:
            schema.update([table_name.split('.')[0]])
            tables.update([table_name])

    return schema, tables

Answer 5

如果要列出数据框中的所有列，则应这样做

val mydf_cols = df.describe()

Answer 6

由于您需要列出 table1 和 table2 中列出的所有列名称，因此您可以做的是在 hive db 中显示 db.table_name 中的表。

val tbl_column1 = sqlContext.sql("show tables in table1");
val tbl_column2 = sqlContext.sql("show tables in table2");

您将获得两个表中的列列表。

tbl_column1.show

name      
id  
data    

Answer 7

unix 成功了，grep 'INTO\\|FROM\\|JOIN' .sql | sed -r 's/. ?(FROM|INTO|JOIN)\\s ?([^ ] )。 /\\2/g' | 排序 -u

grep '覆盖表' .txt | sed -r 's/.?(覆盖表)\\s?([^] )。 /\\2/g' | 排序 -u