使用字符串數組在Hive表上加載CSV文件

Question

我正在嘗試將CS​​V文件插入到Hive中，其中一個字段是字符串數組。

這是CSV文件：

48,Snacks that Power Up Weight Loss,Aidan B. Prince,[Health&Fitness,Travel]
99,Snacks that Power Up Weight Loss,Aidan B. Prince,[Photo,Travel]

我嘗試創建這樣的表：

CREATE TABLE IF NOT EXISTS Article
(
ARTICLE_ID INT,
ARTICLE_NSAME STRING,
ARTICLE_AUTHOR STRING,
ARTICLE_GENRE ARRAY<STRING>
);
LOAD DATA INPATH '/tmp/pinterest/article.csv' OVERWRITE INTO TABLE Article;
select * from Article;  

這是我得到的輸出：

article.article_id  article.article_name    article.article_author  article.article_genre
48  Snacks that Power Up Weight Loss    Aidan B. Prince ["[Health&Fitness"]
99  Snacks that Power Up Weight Loss    Aidan B. Prince ["[Photo"]

它在最后一個字段article_genre中只取一個值。

誰能指出這里有什么問題？

Answer 1

幾個東西：
您缺少集合項的分隔符定義。
另外，我假設您希望you select * from article語句中you select * from article返回如下：

48  Snacks that Power Up Weight Loss    Aidan B. Prince ["Health&Fitness","Travel"]
99  Snacks that Power Up Weight Loss    Aidan B. Prince ["Photo","Travel"]

我可以給你一個例子，休息你可以擺弄它。 這是我的表定義：

create table article (
  id int,
  name string,
  author string,
  genre array<string>
)
row format delimited
fields terminated by ','
collection items terminated by '|';

這是數據：

48,Snacks that Power Up Weight Loss,Aidan B. Prince,Health&Fitness|Travel
99,Snacks that Power Up Weight Loss,Aidan B. Prince,Photo|Travel

現在做一個負載：
LOAD DATA local INPATH '/path' OVERWRITE INTO TABLE article; 並選擇語句來檢查結果。

最重要的一點 ：
定義集合項的分隔符，不要強加你在正常編程中執行的數組結構。
此外，嘗試使字段分隔符與集合項分隔符不同，以避免混淆和意外結果。

Answer 2

為了在Hive表中插入字符串數組，我們需要注意以下幾點。

 1. While creating Hive table.Collection items should be terminated by "," ('colelction.delim'=',',)
 2. Data should be like that in CSV file
  48  Snacks that Power Up Weight Loss    Aidan B. Prince Health&Fitness,Travel
You can modify file  by running below SED commands in follwing order:
 - sed -i 's/\[\"//g' filename
 - sed -i 's/\"\]//g' filename
 - sed -i 's/"//g' filename