我应使用哪种数据结构进行地理编码？

Question

我正在尝试创建一个Python脚本，该脚本将一个地址作为输入，并吐出其纬度和经度，或者在多次匹配的情况下吐出纬度和经度，就像Nominatim一样。

因此，可能的输入和输出可能是：

1. 进：美国纽约=>出：纽约（lat：x1 lon：y1）
2. 进：纽约=>出：纽约（lat：x1 lon：y1）
3. 在：美国纽约珍珠街=>在：珍珠街（lat：x2 lon：y2）
4. 在：美国珍珠街=>在：珍珠街（lat：x2 lon：y2），珍珠街（lat：x3 lon：y3）
5. 输入：珍珠街=>输出：珍珠街（lat：x2 lon：y2），珍珠街（lat：x3 lon：y3）
6. 进： 103 Alkazam，美国纽约=>出：纽约（lat：x1 lon：y1）

在上面的6中，纽约归还，原因是找不到地址为103 Alkazam, New York, USA地方，但它至少可以找到New York, USA 。

最初，我想到构建一棵表示层次结构关系的树，其中兄弟姐妹按字母顺序排序。 可能是这样的：

                                     GLOBAL
                                       |
                   ---------------------------------------------
                   |            | ...
                  USA
             ---------------
             |        | ...
         CALIFORNIA  NEW YORK 
            |         |
     -----------    -------------
     |        |..   |          |....
 PEARL STREET      PEARL STREET

但是问题是用户可以提供不完整的地址，如2、4和5。

因此，我接下来想到了使用搜索树并将完全限定的地址存储在每个节点中。 但这也很糟糕，因为：

• 这将在每个节点中存储高度冗余的数据。 由于这将是一个非常大的数据，因此节省空间至关重要。
• 它无法利用用户缩小搜索空间的事实。

我还有一个额外的要求 。 我需要检测拼写错误。 我想这将必须作为一个单独的问题来处理，并且可以将每个节点视为通用字符串。

更新1

一点点阐述。 输入将是一个列表，其中索引较低的项是索引较高的项的父项； 他们当然可以是或不是直系父母或子女。 因此，对于查询1，输入将为["USA", "NEW YORK"] 。 因此， USA, New York绝对没有结果。

如果用户有地址并且我们的数据如此详细，则用户应该能够找到建筑物。

更新2（遗漏案例）

如果用户查询Pearl Street, USA那么我们的算法应该可以找到该地址，因为它知道Pearl Street父母为New York ，而USA为其父母。

更新3（剩余案例）

假设用户查询101 C, Alley A, Pearl Street, New York 。 还假设我们的数据确实知道101 C但不知道Alley A 根据它101 C是Pearl Street的直接子女。 即使在这种情况下，它也应该能够找到地址。

Answer 1

感谢所有人的回答，他们的回答很有帮助，但没有解决我所需要的一切。 我终于找到了一种照顾我所有情况的方法。 该方法是我在问题中建议的修改版本。

基本方法

在这里，我将称为“节点”，它是一个类对象，它将包含地理信息，例如位置实体的纬度，经度，也许还有尺寸及其完整地址。

如果该实体的地址为“ 101 C，美国纽约明珠街”，则这意味着我们的数据结构将至少具有四个节点-“ 101 C”，“珍珠街”，“纽约”和“美国'。 每个节点都有一个name和一个address部分。 对于“ 101 C”， name为“ 101 C”，地址为“美国纽约皮尔街”。

基本思想是拥有这些节点的搜索树，其中节点name将用作搜索的关键字。 我们可能会获得多个匹配项，因此稍后我们需要对节点address与查询到的address匹配程度进行排名。

                                    EARTH
                                      |
                ---------------------------------------------
                |                                           |
               USA                                        INDIA
                |                                           |
        ---------------------------                     WEST BENGAL
        |                         |                         |
     NEW YORK                 CALIFORNIA                 KOLKATA
        |                         |                         |
   ---------------            PEARL STREET              BARA BAZAR
   |             |                                          |
PEARL STREET   TIME SQUARE                                 101 C
   |             |
  101 C         101 C

假设我们有一个如上所述的地理数据。 因此，搜索“ 101 C，纽约”不仅会返回“纽约”中的“ 101 C”节点，还会返回“印度”中的节点。 这是因为算法将仅使用name （即此处的“ 101 C”）来搜索节点。 稍后，我们可以通过测量节点address与查询地址之间的差异来对结果的质量进行分级。 在这种情况下，由于允许用户提供不完整的地址，因此我们没有使用完全匹配。

评分搜索结果

为了对结果的质量进行分级，我们可以使用最长公共子序列 。 这种算法很好地处理了“遗漏”和“剩余”案件。

最好让我的代码来讨论。 以下是为此目的而量身定制的Python实现。

def _lcs_diff_cent(s1, s2):
    """
    Calculates Longest Common Subsequence Count Difference in percentage between two strings or lists.

    LCS reference: http://en.wikipedia.org/wiki/Longest_common_subsequence_problem.
    Returns an integer from 0-100. 0 means that `s1` and `s2` have 0% difference, i.e. they are same.
    """
    m = len(s1)
    n = len(s2)

    if s1 == s2:
        return 0
    if m == 0: # When user given query is empty then that is like '*'' (match all)
        return 0
    if n == 0:
        return 100

    matrix = [[0] * (n + 1)] * (m + 1)
    for i in range(1, m+1):
        for j in range(1, n+1):
            if s1[i-1] == s2[j-1]:
                matrix[i][j] = matrix[i-1][j-1] + 1
            else:
                matrix[i][j] = max(matrix[i][j-1], matrix[i-1][j])

    return int( ( 1 - float(matrix[m][n]) / m ) * 100 )

优化方法

我支持上述（基本）方法，因为它强制了冗余，并且无法利用以下事实：如果用户在查询中提供了“ USA”，那么我们就不必查看“ INDIA”中的节点。

这种优化的方法在很大程度上解决了上述两个问题。 解决方案是不要有一棵大搜索树。 我们可以将搜索空间划分为“美国”和“印度”。 稍后，我们可以进一步按状态对这些搜索空间进行分区。 这就是我所说的“切片”。

在下图中SearchSlice代表“切片”， SearchPool代表搜索树。

                            SearchSlice()
                                  |
            ---------------------------------------------
            |                                           |
        SearchSlice(USA)                           SearchSlice(INDIA)
            |                                           |
    ---------------------------                  SearchPool(WEST BENGAL)
    |                         |                   |
 SearchPool(NEW YORK)     SearchPool(CALIFORNIA)  |- KOLKATA
    |                         |                   |- BARA BAZAR, KOLKATA
    |- PEARL STREET           |- PEARL STREET     |- 101 C, BARA BAZAR, KOLKATA
    |- TIME SQUARE
    |- 101 C, PEARL STREET
    |- 101 C, TIME SQUARE

上面没有几个要注意的重点...

• 每个切片只有一个级别的深度。 嗯，这在上面并不十分明显。
• 切片级别的名称未出现在其子级地址中。 例如， SearchSlice(USA)维护“美国”中的部分州。 因此，“ NEW YORK”下的节点在其address中不包含名称“ NEW YORK”或“ USA”。 其他地区也是如此。 层次关系隐式定义了完整地址。
• “ 101 C” address包括其父级name因为它们没有被切片。

扩展可能性

如果有一个存储桶（池），则存在隐式缩放的可能性。 我们（说）将“美国”的地理数据分为两组。 两者都可以在不同的系统上。 因此，如果“ NEW YORk”池位于系统A上，而“ CALIFORNIA”池位于系统B上，则完全可以，因为它们不共享任何数据，当然除了父级。

请注意。 我们需要复制父母，这将永远是片面。 由于切片的数量受到限制，因此层次结构不会太深，因此复制它们不应太多余。

工作守则

请参考我的GitHub以获取有效的演示Python代码 。

Answer 2

如何使用键值存储映射和全文本搜索。

• 位置字符串的键
• location_level和经纬度数据的值。
• 搜索依据：
  • 将用户输入字符串拆分为单个位置的单词（不仅用逗号）
  • 搜索地图中的每个单词
  • 返回最小位置级别的经纬度

python.dict，memcached，mongodb ....将满足您的需求。

• 如果您有太多位置词，请将location_level拆分为新地图，则将加快两次搜索
• 忘记位置级别，traet作为全文搜索
• 庞大的数据？ 短字符串或数字的哈希键

需要考虑的一些问题：

• 如何在数据库中存储数据
• 如何根据数据初始化搜索树
• 如何在运行时扩展/编辑搜索树
• 输入/存储的容错
• 存储空间>速度？ 还是速度>储存空间？

因此，更多有用的测试用例可供用户输入

 101 C, Time Square, New York, US 101 C, Pearl street, New York, US 101 C, Time Square, SomeCity, Mars 101 C 101 C, US 101 C, New York, US 101 C, New York, Time Square, US North Door, 101 C, Time Square, New York, US South Door, 101 C, Time Square, New York, US 

针对情况 ：

• 快速处理海量数据；
• 完全容错
• 通过存储和运行时轻松调整

最好的解决方案 ：（也是最复杂的）

• 平面键值映射存储
• 全文搜索
  • 或使用B树搜索进行哈希键

您的程序/网站可能能够像Google一样快地运行。

Answer 3

如果您尝试为该问题创建数据结构，我认为您将具有数据冗余。 相反，您可以使用树/图并尝试实现一种搜索算法，以根据节点值搜索用户输入中的单词。 模糊匹配可以帮助您生成最可能的结果，并且可以根据相似度的置信度来向用户建议/显示其中的前几个。

这也可以解决拼写错误等问题。