尝试自动化数据标准化过程，我在 Python 的 SSMS 中开始

Question

我有一堆从各种来源收集的地址点数据。 我之前已将 SQL 中的这些数据集标准化为以下列：

1. 地址1：街道地址
2. 地址2：单位地址
3. 城市
4. State
5. Zip

这些列中的每一列都是从不同的数据集构建的，并且由于数据是从不同的来源收集的，因此我需要手动构建它。

例如，一个县的标准化可能如下所示：

INSERT INTO Standardized_Addresses_02020 (Address1, Address2, City, State, Zip)
SELECT 
    Address1 = Number + PreDir + Street+ StType
    Address2 = Unit
    City = Postal_Area
    State = StateAbbv
    Zip = ZIP_CODE
FROM Raw_Address_02020

但是对于另一个县，用于构建标准化数据中的列的原始数据中的列是不同的。 例如：

INSERT INTO Standardized_Addresses_02100 (Address1, Address2, City, State, Zip)
SELECT 
    Address1 = Add_num+ Prefix + St_name+ PostDir + Type
    Address2 = Suite
    City = POST_COMM
    State = State
    Zip = ZIP
FROM Raw_Address_02100

我正在尝试编写一些 python 代码来自动化整个过程，但是由于原始数据具有不同的列名，它开始变得复杂。

我目前正在考虑的方法是从 INFORMATION_SCHEMA.COLUMNS 创建一个包含所有列名（'Master_Columns'）的表，并将这些列标记为 Address1、Address2、City、State 或 ZIP。 然后我将创建一个 python function 来检查原始数据中的列是否存在于 Master_Columns 中，如果存在，则在标准化中使用它们。

不过，这似乎很混乱而且冗长，我很想知道是否有人有更好的想法可以优化它。 我希望我的解释很清楚。 先感谢您！

Answer 1

您可以创建一个像config.ini这样的配置文件，您可以在其中定义每个源数据的每个列的映射。 这样您只需参考配置文件，代码中不需要太多更改。

[source-1]
address1=Number + PreDir + Street+ StType

[source-2]
address=Add_num+ Prefix + St_name+ PostDir + Type