哪個罐子具有org.apache.spark.sql.types？

Question

我在Spark 1.x上，嘗試讀取csv文件。 如果需要根據文檔指定某些數據類型，則需要導入在org.apache.spark.sql.types包中定義的類型。

import org.apache.spark.sql.types.{StructType,StructField,StringType};

當我在spark-shell中以交互方式使用它時，這很好用，但是當我想通過spark-submit運行此程序時，我編寫了一些Scala代碼來執行此操作。 但是，當我嘗試編譯Scala代碼時，它給我一個錯誤，提示它找不到org.apache.spark.sql.types。 我查找了spark-sql的jar內容，但是找不到其中定義的這些類型。

那么，哪個罐子具有org.apache.spark.sql.types？

Answer 1

我在GitHub上查看了spark-sql的源代碼，以了解可以在spark-catalyst jar中找到這些類型。 那似乎並不直觀。

另外，由於StructType具有此代碼

org.json4s.JsonDSL._

我們最終得到另一個依賴的jar-json4s-core。