如何將拉丁數據插入雪花表

Question

我們有一個場景，我們需要將一些來自文件的特殊字符插入到雪花表中。

對於經驗：

emp_id| emp_name
110|Famille immédiate 

由於雪花僅允許 UTF-8 格式，因此在運行 dml 操作時，數據不會插入到表中並引發錯誤。

已嘗試更新文件格式命令，但尚無解決方案。

CREATE OR REPLACE FILE FORMAT DB.LayOut01_FORMAT TYPE = CSV FIELD_DELIMITER = '|' SKIP_HEADER = 1 ESCAPE_UNENCLOSED_FIELD = NONE REPLACE_INVALID_CHARACTERS = TRUE VALIDATE_UTF8 = FAlSE

允許特殊字符進入表中需要哪些更改，因為它來自源文件？

插入語句：

INSERT INTO DB.EMP_T ( emp_id, emp_name) 
SELECT
(temp.$1)  AS emp_id , (temp.$2)  AS emp_name 
from
$AZURE_FILE_STORAGE_LOCATION (file_format => DB.LayOut01_FORMAT, pattern=>'filename.csv') temp

Answer 1

UTF-8 是半結構化數據的唯一格式，但對於結構化數據，您可以插入具有不同編碼的數據。

在文件格式上使用 ENCODING 參數並將其設置為 IS-8859-1，例如：

CREATE FILE FORMAT ... ENCODING='ISO-8859-1'

欲了解更多信息，請查看此處。