[英]How to query table when table name has hyphen in Redshift Spectrum?
[英]How to load correct data in redshift spectrum table?
我正在尝试将数据从 s3 存储桶加载到频谱表,但数据显示不正确。 您能帮我解决以下问题吗?
例子:
website
是数据所在的一列 - www.calidadhh.com/\
但是在加载到表中时,它会占用其他列值 - www.calidadhh.com/Home Health Agency Corporation
我在查询下方运行 -
drop table schema.dhs_account_ovrvw;
create external table schema.dhs_account_ovrvw(
hospital_id INTEGER
,hospital_name VARCHAR(255)
,hq_address VARCHAR(255)
,hq_address1 VARCHAR(255)
,hq_city VARCHAR(255)
,hq_state VARCHAR(50)
,hq_zip_code VARCHAR(50)
,hq_county VARCHAR(255)
,website VARCHAR(20000)
,firm_type VARCHAR(510)
,rec_add_user_nm VARCHAR(20)
,rec_add_tms TIMESTAMP
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' WITH SERDEPROPERTIES ('quoteChar' = '\"','escapeChar' = '\\','separatorChar' = '\001')
STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION 's3://*******/Refined_Layer/DHS_ACC_OVRVW/'
TABLE PROPERTIES ('skip.header.line.count' = '1');
Output 它正在生成 -
hospital_id,hospital_name,hq_address,hq_address1,hq_city,hq_state,hq_zip_code,hq_county,website,firm_type,rec_add_user_nm,rec_add_tms
929719 Calidad Home Health & Hospice 1600 E Expy 83 La Feria TX 78559 TX - Cameron www.calidadhh.com/Home Health Agency Corporation CDP_USER 2021-11-22 07:39:57
Output 应该是 -
hospital_id,hospital_name,hq_address,hq_address1,hq_city,hq_state,hq_zip_code,hq_county,website,firm_type,rec_add_user_nm,rec_add_tms
929719 Calidad Home Health & Hospice 1600 E Expy 83 La Feria TX 78559 TX - Cameron www.calidadhh.com/\ Home Health Agency Corporation CDP_USER 2021-11-22 07:39:57
问题似乎是 '' 被视为转义字符(serde 默认)。 目前尚不清楚您想要的 output(看起来像一个空格)中的 '' 后面是什么字符,所以它很混乱。 如果将转义字符更改为不在数据中的字符,则这些字符 ('\') 应该未经解释。 我认为添加
ESCAPECHAR='^'
到 SERDEPROPERTIES 会让你更接近。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.