[英]SyntaxError: invalid syntax when creating DataFrame with ArrayType
我想創建 PySpark DataFrame
from pyspark.sql import SparkSession
from pyspark.sql.types import *
from pyspark.sql import Row
spark = SparkSession \
.builder \
.appName("Test") \
.master("local[4]") \
.getOrCreate()
schema = StructType([StructField('id', StringType()), \
StructField('timestamp',LongType()), \
StructField('coordinates',ArrayType())])
rows = [Row(id="11", timestamp=1523975430000, coordinates = [41.5555, 2.1522])]
df = spark.createDataFrame(rows, schema)
但是,我在lat
旁邊收到語法錯誤SyntaxError: invalid syntax
。 我假設應該以不同的方式創建ArrayType
對象。 有人可以幫我創建這個 DataFrame df
嗎?
更新:
預期結果:
id timestamp coordinates
11 1523975430000 [41.5555, 2.1522]
ArrayType 需要元素類型。 嘗試:
schema = StructType([StructField('id', StringType()), \
StructField('timestamp',LongType()), \
StructField('coordinates',ArrayType(DoubleType()))])
rows = [Row(id="11", timestamp=1523975430000, coordinates = [ 41.5555, 2.1522])]
結果:
+---+-------------+-----------------+
| id| timestamp| coordinates|
+---+-------------+-----------------+
| 11|1523975430000|[41.5555, 2.1522]|
+---+-------------+-----------------+
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.