[英]hive parsing json records as NULL
我有一個簡單的蜂巢表:
hive> show create table tweets;
OK
CREATE EXTERNAL TABLE `tweets`(
`json_body` string COMMENT 'from deserializer')
ROW FORMAT SERDE
'org.apache.hive.hcatalog.data.JsonSerDe'
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
'file:/tmp/1'
TBLPROPERTIES (
'bucketing_version'='2',
'transient_lastDdlTime'='1551081429')
Time taken: 0.124 seconds, Fetched: 13 row(s)
在文件夾 /tmp/1 中有一個文件 test.json 並且文件中唯一的內容是 {"appname":"app-name"}
從推文中選擇返回 NULL
hive> select * From tweets;
OK
NULL
Time taken: 0.097 seconds, Fetched: 1 row(s)
我知道要么文件格式錯誤,要么發生了其他事情。 有人可以幫忙嗎?
如果您希望 JsonSerDe 解析屬性,請創建如下表:
CREATE EXTERNAL TABLE tweets (
appname string
)
ROW FORMAT SERDE
'org.apache.hive.hcatalog.data.JsonSerDe'
LOCATION '/tmp/1' --this is HDFS/S3 location
;
另請閱讀有關JsonSerDe 的文檔
如果您想將整個 JSON 對象作為字符串 json_body 獲取,那么您不需要 JSON SerDe,請改用 TEXTFILE:
CREATE EXTERNAL TABLE tweets (
json_body string
)
STORED AS TEXTFILE
LOCATION '/tmp/1' --this is HDFS/S3 location
;
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.