处理SQL数据问题的最佳方法

Question

我有一个数据密集型问题，需要大量的按摩和数据操作，我把它放在那里，看看是否有人知道如何处理它。

最简单的形式。 我有很多桌子可以连在一起给我一个牙医的价格清单以及每个手术费用。

所以我们有多个看起来像这样的表。

Dentist | Procedure1 | Procedure2 | Procedure3 | .........| Procedure?
John    | 500        | 342        | 434        | .........| 843
Dave    | 343        | 434        | 322        | NULLs....|
Mary    | 500        | 342        | 434        | .........| 843
Linda   | 500        | 342        | Null       | .........| 843

牙医可以为每个程序提供不同数量的程序和不同的定价。 但是，有很多牙医拥有相同数量的手术和相同的费率。 在内部，我们为每个所谓的费用列表创建一个唯一的ID。

就像约翰将是001，戴夫将是002，但玛丽将是费用001而琳达将是003如果我必须处理这些数据一次但是这些费用列表来自平面文件（csvs），我基本上有到DTS一直到SQL服务器使用。 他们每月来一次。 每个牙医的定价可能会逐月变化，然后在内部将它们放入不同的唯一ID中。

有人能否解释如何最好地解决这个问题，以便每月处理最有效，而无需进行大量数据操作？

1. 找出费用清单重复的最佳方法是什么？
2. 我如何跟踪更新牙医的费用列表，以便他们在下个月更改费率？ 如果Mary决定对procedure2收取不同的费用，那么她将在内部拥有不同的唯一ID。 如何在每月的基础上跟踪，而不必删除所有内容并重新插入？
3. 我正在使用几百万的费用清单，有些基于zipcodes的标准规则，有些只是独特的费用列表，这里的方法是什么？
4. 我可以编写某种特殊的.net程序来处理它，但是它有很多数据并且在SQL服务器中直接工作对我来说会更容易。

任何帮助都会很棒，谢谢你们。

Answer 1

您可能需要将数据取消对数据进行标准化，以便最终得到：

Doctor: DoctorID, DoctorDetails...
FeeSchedule: DoctorID, ScheduleID, EffectiveDate, OtherDetailAtThisLevel...
FeeScheduleDetail: ScheduleID, ProcedureCode, Fee, OtherDetailAtThisLevel...

当数据进入医生时，它会被旋转，创建一个新的计划，并从不透明的数据创建详细信息行。

SSIS有一个univot组件很好 - 你先加载计划然后再加载细节。 如果格式差异很大，您可能需要自定义数据源或只是避免SSIS。

该系统将跟踪医生的新时间表。 如果医生的时间表相同，您可能根本就不插入它。

如果这个逻辑很广泛，你可以将数据加载到登台表（SSIS或其他），并在SQL中完成所有这些（T-SQL也有一个UNPIVOT运算符）。 这可以具有以下优点：代码全部在一个地方并且可以在集合中执行其所有操作。

关于邮政编码，如果医生没有收费，这些是常规和惯常费用吗？ 这可以简单地从医生行的邮政编码确定。 在这种情况下，您有几个选择。 您可以通过邮政编码费用表覆盖医生费用表：

ZipCodeSchedule: ZipScheduleID, ZipCode, EffectiveDate
ZipCodeScheduleDetail: ZipScheduleID, ProcedureCode, Fee

或者你可以将它保存在常规费用计划中（可能带有某种标志，它默认为UCR）。