如何從 apache 梁（谷歌雲數據流）中的列字符串中刪除特殊字符，包括逗號、引號

Question

我的 CSV 中幾乎沒有包含特殊字符的記錄。 考慮 CSV 中的員工數據示例。 列 id,name,designation,address,salary 1001, Peter Ocon, Manager, "42, Willis Way St, Waterloo, Ohio, US", 5000 等等...

如您所見，我需要刪除 apache 梁中“地址”列中的逗號和引號。

Answer 1

這是使用這個實現的 -

beam.Regex.replace_all(r'"([^"]*)"',lambda x:x.group(1).replace(',',''))

注意 - 這應該寫在管道中的“拆分”function 之前。